La bellezza del virtual stage è multipla: ti permette immediatamente di avere sugli attori i colori della scena finale, secondariamente è pensabile di mettere un personaggio vicino al tuo attore sullo schermo e quindi anche per l'attore la performance è più credibile, non solo negli occhi dell'attore se gli fai un primo piano vedi il riflesso del personaggio,

dall'altra parte ti permette se come nel caso del virtual stage puoi muovere la telecamera, come ti pare, puoi sempre rimetterti in gioco.

Salve a tutti, siete all'ascolto di INSiDER - Dentro la Tecnologia, un podcast di Digital People e io sono il vostro host, Davide Fasoli.

Oggi parleremo con Chaos dell'evoluzione degli stage virtuali in ambito cinematografico, partendo dai green screen e blue screen, per arrivare alle ultime evoluzioni basate su schermi in grado di trasportare gli attori in tempo reale all'interno di un'ambientazione del tutto artificiale.

Prima di passare alle notizie che più ci hanno colpito questa settimana, vi ricordo che potete seguirci su Instagram a @dentrolatecnologia, iscrivervi alla newsletter e ascoltare un nuovo episodio ogni sabato mattina su Spotify, Apple Podcast, YouTube Music oppure direttamente sul nostro sito.

Durante il congresso Ehra 2025 della European Society of Cardiology, che si è concluso lo scorso 1 aprile, un team di ricercatori dell'università sudcoreana Inha University Hospital ha presentato un progetto innovativo nel campo della prevenzione dei rischi legati al sistema cardiaco, come infarti o ictus e altre patologie cardiovascolari.

In particolare, quello che è stato presentato è un algoritmo di intelligenza artificiale che è stato addestrato su oltre 400.000 elettrocardiogrammi svolti negli ultimi 15 anni.

L'obiettivo di questo modello è quello di stimare l'età cardiaca del paziente, osservandone solamente l'ECG, per poi confrontarlo con la sua reale età anagrafica.

A questo punto, confrontando i due valori, il team di ricercatori ha notato che un'età cardiaca superiore di 7 anni all'età anagrafica si traduce in un aumento del rischio di mortalità del 62% per qualsiasi causa e del 92% per cause cardiovascolari.

Al contrario, un'età cardiaca inferiore di 7 anni rispetto a quella reale è associata a una diminuzione del rischio di mortalità rispettivamente del 14% e del 27%.

Grazie a questa tecnologia, dunque, non solo si potrà stimare l'età cardiaca dei pazienti per ridurre la mortalità e prevenire rischi cardiovascolari, ma lo si potrà fare a costi molto ridotti e con una strumentazione già in possesso di medici e ospedali.

La crescente diffusione dei powerbank, le batterie esterne per ricaricare i nostri smartphone, ha sollevato preoccupazioni per la sicurezza durante i voli aerei, spingendo diverse compagnie a introdurre limitazioni. Essendo essenzialmente batterie a litio, questi dispositivi sono infatti sensibili a calore, urti e cortocircuiti, con potenziali rischi di incendio. Le normative

generali impongono perciò che i powerbank siano trasportati esclusivamente nel bagaglio a mano e mai in stiva, dove un eventuale incidente sarebbe difficile da gestire. Recentemente però, alcune compagnie asiatiche hanno introdotto restrizioni più severe. In Corea del Sud, ad esempio, i powerbank devono essere tenuti sotto il sedile o nella tasca del sedile anteriore,

ma mai nelle cappelliere, e non possono essere ricaricati tramite le porte USB dei sedili.

Dal primo marzo, invece, Eva Air, China Airlines, Uni Air e Air Asia hanno vietato completamente l'uso dei powerbank durante il volo. Singapore Airlines ha implementato lo stesso divieto dal primo aprile, mentre le compagnie di Hong Kong lo adotteranno dal 7 aprile in seguito a un incidente che ha richiesto un atterraggio d'emergenza. Attualmente in Europa molte

compagnie consentono ancora l'utilizzo dei powerbank, purché rispettino specifici requisiti di integrità, imballaggio e capacità, ma in ogni caso si raccomanda sempre di verificare le politiche specifiche della compagnia aerea prima di partire.

Gli effetti speciali nel settore cinematografico hanno subito una rivoluzione straordinaria negli ultimi decenni, passando da tecniche pratiche e meccaniche a soluzioni interamente digitali sempre più sofisticate. Grazie a innovazioni come i virtual stage, la computer grafica o la motion capture, i registi hanno potuto ricreare mondi incredibilmente realistici

o fantascientifici senza porre alcun freno all'immaginazione. E per comprendere come funzionano gli stage virtuali nel settore cinematografico moderno è con noi Emanuele Lecchi, Technical Artist dell'Innovation Lab di Chaos. Benvenuto Emanuele.

Grazie mille, buongiorno.

Chi è quindi Chaos e che ruolo avete nell'ambito delle tecnologie per l'intrattenimento?

Chaos è stata fondata nel '97 e si è espansa di recente ed è un'azienda leader a livello mondiale nelle tecnologie di visualizzazione. Abbiamo una serie di software e soluzioni che semplificano e abilitano, oltre ad accelerare, i flussi di lavoro che hanno a che fare con la visualizzazione, da l'architettura, al prodotto, agli effetti visuali, appunto di cui parleremo

oggi. Abbiamo diversi prodotti, i principali sono appunto V-Ray che è il papà, originariamente Vlado era il fondatore di Chaos e la V in questo prodotto è il path tracer offline, come si dice, quindi tante ore a fotogramma di calcolo, per VFX e architettura e visualizzazione prodotto.

Enscape è una plugin per il rendering in tempo reale questa volta, quindi con la capacità di muoverci all'interno della scena in tempo reale, se uno desidera un elmetto di realtà virtuale e quindi avere un'alta qualità di visualizzazione ma la possibilità di interagire con il contenuto.

Corona per il rendering offline ad alta qualità e quindi anche lì visualizzazione architettonica di alta qualità e con un target però leggermente diverso, quindi non così concentrato sugli effetti visuali e quindi non con lo stesso livello di complessità operativa pratica.

Ecco, diciamo, non ha altrettanti bottoni, mettiamola così, però di qualità assolutamente ineccepibile.

Cylindo, invece, è una piattaforma di visualizzazione di prodotti d'arredo in 3D, di altissima qualità, è integrabile con varie soluzioni di e-commerce eccetera eccetera e quindi c'è tutta una sezione che si occupa di modellazione di altissima qualità dei prodotti in 3D, di modellazione e texturizzazione, quindi resa fotorealistica, dei prodotti dei clienti.

Un cliente potrebbe essere un produttore di divani, ad esempio, e gli porta tutto il catalogo e dal pratico noi tiriamo fuori dei "digital doubles", come si chiamano, gemelli digitali.

In ultimo ci siamo... ultimo perché è l'ultimo ad essersi unito al gruppo, ciascuno di questi prodotti era inizialmente una società diversa, siamo poi venuti assieme perché ci troviamo dal punto di vista delle scelte.

Anima è una plug-in, un software di animazione 3D e anche 4D, nel senso che è una soluzione che "scansisce" persone, anche animate, e produce modelli 3D animati di queste persone, semplicemente inseribili nei vari prodotti, nelle varie... scene Maya, 3D Studio Max, nelle varie DCC (Digital Content Creation) che si utilizzano per preparare scene di visualizzazione architettonica tipicamente.

Per quanto concerne poi V-Ray, dallo stesso gruppo di persone è arrivato Vantage, che è un altro prodotto di Chaos, che ha portato una qualità veramente molto vicina a quella del rendering offline da tante ore a fotogramma, a invece velocità da interattività completa. Da Vantage, che è il software con il motore di rendering per fare rendering in tempo reale, nasce poi

Chaos Arena, di cui ora parleremo.

Sì, esatto. Quindi vi occupate di visualizzazione non solo nell'ambito cinematografico, ma oggi ci occupiamo in particolare di quello.

E quindi ci racconti, anche per avere un po' il quadro generale di come si è evoluto questo settore, qual è appunto un po' la storia, brevemente, degli effetti visivi fino ad oggi?

Io nei primi anni 2000 ho avuto la fortuna di lavorare a Londra a una società che si chiama Passion Pictures, fondata dalle stesse persone che lavorarono a "Chi ha incastrato Roger Rabbit", film con un misto di cartoni animati su live action, molto vecchio ma molto bello.

Queste persone le ho viste coi miei occhi disegnare le maschere per integrare dell'altro contenuto animato in pubblicità di persone filmate con le telecamere, fotogramma per fotogramma e poi si sentiva il fruscio di questi che facevano avanti e indietro con i fogli per guardare l'animazione della maschera che fosse a posto e non avesse il

bollore classico di quando la maschera non è a posto.

Da lì io stesso ho fatto degli anni a pulire filmati, stecchini infilati in caramelle finte per fare le animazioni in stop motion, a mano con software di compositing, un'altra volta per rimettere insieme un qualcosa in primo piano con uno sfondo in cui loro originariamente non erano.

Se ci muoviamo rapidamente in avanti nel tempo, nel 2013 ho lavorato al film Oblivion in cui perché avevano una navicella con un vetro sferico non riuscivano a filmarla con il classico blue screen, ecco la tecnologia del blue screen che abbiamo visto nella televisione usata ed abusata perché è un colore facile da rintracciare ed eliminare.

Che sarebbero queste pareti verdi o blu, come hai detto, che venivano poi sostituite in post-produzione con delle immagini, un'ambientazione penso.

Sì esattamente, quindi il classico... se uno si ricorda Mai dire Gol c'era Caccamo seduto con il Golfo di Napoli dietro che si vedeva però attraverso la cravatta blu perché era blu lo sfondo ed era blu la cravatta chiaramente.

Questo è un errore da blue screen, però effettivamente è ancora un problema, cioè se uno ha un green screen deve vestire delle cose arancio, devi stare dall'altra parte e in ogni caso poi hai il cosiddetto "spill", quindi la luce si riflette sullo schermo azzurro o verde e ti viene addosso la luce azzurra o verde e quindi poi devi toglierla in post

produzione, andare a cercarla e toglierla ed è un lavoraccio.

Quindi nel 2013 non potevano fare questo lavoro di rimozione del blue screen da una sfera di vetro che era il cockpit, era lo schermo diciamo, il cruscotto della navicella, hanno provato e hanno immediatamente realizzato che hai il blu e il verde che si vedrà sempre.

e quindi hanno deciso di mettere un intero muro di led in cui hanno proiettato delle nuvole e una scena di distanza, di un cielo e quello che era nel film e lo hanno legato al movimento meccanico del braccio della navicella per quelle sequenze predeterminate, "prescriptate", quindi già calcolate in 3d magari però per lo sfondo, però a tante ore a fotogramma e quindi tutto predeterminato ha

funzionato benissimo, le riflessioni erano quelle giuste, la scena è venuta insieme perfettamente, meno male che è andata bene così perché poi per rifarla bisognava ricalcolare di nuovo tutto lo sfondo, bisognava rifare tutta la sincronizzazione con il braccio meccanico, rifilmare eccetera eccetera.

Perché... mi permetto di aggiungere una cosa in questo senso. Il senso di utilizzare, nel film che hai citato, Oblivion, una navicella fissa, il grande vantaggio era il fatto che se uscivano fuori sincronizzazione... quello che era l'immagine proiettata sul video, sullo schermo e quello che succedeva all'interno della navicella, si vedeva qual era il trucco

e quindi era importante che le due cose fossero sincronizzate.

Sì, e non invidio per niente i due attori, Tom Cruise e la ragazza a fianco che nel film finale si vede lui che muove la cloche e la navicella fa delle cose. La realtà è ben diversa, quindi la navicella avrebbe fatto delle cose che lui muovesse la cloche o no. A un certo punto sta cosa fisicamente si girava e lo prendeva e lo girava testa in giù. Quindi il vantaggio

di avercelo in pratico, lo schermo, era che poi la navicella girava fisicamente e quindi Tom Cruise e l'altra attrice giravano fisicamente, il sangue gli andava alla testa e i vestiti gli si giravano come da gravità. Quindi grande sensazione di realismo e grande realismo anche nella performance dell'attore.

Ok perfetto e questo che c'è appena ho descritto questi schermi sono corrispondono a quello che oggi è forse più comunemente noto come virtual stage? Cioè questi qua sono dei virtual stage?

Sì e no, nel senso che certamente sono un virtual stage perché hai un background animato e proiettato.

C'è da distinguere tra virtual stage offline e virtual stage in tempo reale, nel senso che in questo caso non c'era bisogno di fare il camera tracking su Oblivion perché avevi già predeterminato il movimento della telecamera, l'avevi già sincronizzato con lo sfondo che avevi renderizzato prima...

E che cos'è scusa il camera tracking?

Il camera tracking è la capacità di seguire il movimento e la rotazione, cioè dove sta guardando essenzialmente, dove è posizionata e dove sta guardando la tua telecamera e tutti gli altri parametri, chiaramente con telemetria, all'interno di uno stage. Non è diverso da quello che si fa con un headset VR, quindi hai varie tecnologie, diversi tipi di tecnologia

con pro e contro ciascuna, che contribuiscono a questo. Cosa ci fai con il camera tracking? Se hai la potenza di calcolo e il software, ci muovi in tempo reale la telecamera virtuale, a quel punto guardi attraverso la telecamera virtuale come se stessi guardando dalla telecamera reale la tua scena 3D che riproietti sugli stage. In questo caso è attivo, quindi il

tuo live, il tuo stage non è precalcolato e ti permette di cambiare idea. Se ricordi ci sono dei video che circolano di come fu fatto per "Il Signore degli Anelli - Le due torri", dove con uno stecchino e un tracker c'era Jackson che girava all'interno dei modelli e questo era sufficiente perché loro potevano scalare questa cosa e quindi poi

creare una telecamera 3D virtuale, quella era una delle prime forme di tracking da cui poi derivano le tecnologie moderne diciamo.

Ok, quindi in un virtual stage in tempo reale, come quello che hai descritto adesso, tanto per dare un'idea, praticamente può esserci un cameraman, una persona che ha la telecamera fisica in mano e la tiene appunto in mano e può muoversi inquadrando gli attori che stanno recitando in quella scena e di conseguenza lo sfondo,

lo schermo che c'è dietro, l'ambientazione, si muove in modo coerente con quello che è il movimento della telecamera, quindi il pubblico da casa non vede uno schermo dietro, ma vede un ambiente che si cambia prospettiva in base alla posizione della camera nello spazio 3D.

Certamente.

Certamente, e quindi c'è un'immersività. Bisogna immaginarsi che questi stage sono veramente grossi, quindi quando si vedono dal vivo sono delle cose giganti, fanno un caldo enorme perché sono una superficie radiante gigantesca, quindi si usano per poco tempo per volta perché poi la gente cola e quindi la sensazione di presenza è veramente forte.

Diciamo che sono quattro superfici su sei di un cubo, quindi... il pavimento a volte anche cinque, a volte anche il pavimento perché puoi dare dell'illuminazione accessoria da lì interessante e/o puoi inquadrarlo, quindi puoi avere ad esempio una strada, un rolling road, una strada che va, sei in macchina e nello stage fai quello, fai passare quello e davanti chiaramente un lato è

aperto così che tu possa filmare, possa vedere da lontano, possa tenere la telecamera lontana a sufficienza con la lente che ti serve e far circolare dell'aria perché sennò li cuoci come il pollo nel forno gli attori.

Ok, e per capire meglio quali sono le caratteristiche di un virtual stage, la differenza anche con sistemi più tradizionali, quindi quella che è stata l'evoluzione nel mondo del cinema da questo punto di vista, parliamo degli aspetti... le caratteristiche positive e negative di questa tecnologia.

Partiamo dagli aspetti positivi e quindi perché ha senso preferire un virtual stage rispetto appunto a un green screen o un blue screen, anche perché mi verrebbe da dire che un bluescreen o un greenscreen sono più versatili perché posso decidere ex post, in post-produzione come modificare la scena, l'ambientazione.

Quindi mi verrebbe da dire che c'è più flessibilità, però in realtà non è così e casomai appunto adesso ce lo dirai.

E poi l'altro aspetto è quello negativo, cioè quali sono gli aspetti negativi, gli svantaggi che hanno i virtual stage, questa tecnologia e come voi di Chaos state provando a mitigare o risolvere questi problemi.

Il vantaggio di avere il "fix-it in post" o "we do it in post" come tradizionalmente con gli schermi blu è che appunto tu hai scelto come posizionare la tua telecamera, come illuminare il tuo soggetto, la scena che hai in mente è quella, è una parte di stage pratico, metti in blu e con il loro marker i tuoi attori vestiti di tutina blu che fanno la posa per dove poi ci saranno

le creature di fantasia e fai il filmato.

Dopodiché passano mesi e da lì viene fuori il film, magicamente, attraverso la post produzione e un sacco di persone che lavorano come i matti per mesi.

C'è un problema, che se vuoi cambiare il punto di vista della telecamera sull'attore originale, sei fregato, devi ricominciare da capo.

Poi ci sono tutte le problematiche che sono tutte curabili, ma costano, costano in risorse e quindi poi ultimamente denaro e tempo della gente, che hanno a che fare con la riflessione della luce, il rimbalzo della luce dagli sfondi blu e verdi sul colore della pelle degli attori e così via.

Il blu e il verde sono scelti perché sono diametralmente opposti nella ruota del colore al colore della pelle, della carne, quindi poi hai anche tutti questi problemi da affrontare quando il colore della pelle della carne non è esattamente quello di quelli che hanno sviluppato la tecnologia e quindi se hai degli attori di colore il green screen e il

blue screen incominciano a comportarsi malissimo e tu le chiavi non le tiri più... i buchi non li fai più senza prendere il volto, quindi diventa una cosa folle e ci sono dei limiti purtroppo inevitabili.

La bellezza del virtual stage è multipla: ti permette immediatamente di avere sugli attori i colori della scena finale, quindi non devi stare a fare dei giochi dopo a togliergli l'illuminazione come l'era e colorarla di qui e di lì a fotogramma per fotogramma, no, semplicemente naturalmente sembrerà seduto, impostato il personaggio all'interno della

scena che viene filmata.

Secondariamente è pensabile di mettere un personaggio virtuale... anziché avere una persona in 3D reale vestita di blu, pensare di avere il personaggio vicino al tuo attore sullo schermo e quindi anche per l'attore la performance è più credibile, non solo negli occhi dell'attore se gli fai un primo piano vedi il riflesso del personaggio naturalmente, e quello che

lui vede e quindi i tuoi "shot" e "controshot" sono tutti con grande continuità naturale.

Dall'altra parte ti permette se come nel caso del virtual stage puoi muovere la telecamera come ti pare puoi sempre rimetterti in gioco fino a che non sei arrivato in fondo puoi sempre decidere di cambiare l'illuminazione un po' così un po' cosa volevo fare l'illuminazione notturna ho fatto la luna troppo bianca fammi provare a metterla più azzurra e rifacciamo

la scena. Sei già lì ci metti un secondo a muovere uno slider è cambiato lo stage, è cambiata l'illuminazione sul personaggio virtuale e sul tuo attore. Se cambi il punto di vista della telecamera col tracking hai risolto anche quello, la scena è coerente.

Il problema qual è appunto? Che già questo è fattibile, però la qualità per i motori di render da videogioco è limitata, alcuni effetti sono approssimati non benissimo, non che sia una colpa, è che ci sono altri target, altri obiettivi, bisogna mantenere il numero di fotogrammi a secondo.

E poi di mezzo c'è tutta una fase di preparazione del contenuto, da quello che dovresti fruire per fare il render finale della scena ad alto tempo e ad alto costo di calcolo, a quello che ti serve per fruirlo in tempo reale e non vuoi mettercelo, davvero è una quantità di lavoro notevole, poi per scene complesse ci mette proprio anche con le macchine più potenti, ci mette tanto

tempo a prepararsi e tu non vuoi rimanere appeso senza sapere se andrà bene o no per delle ore tutte le volte.

La cosa bella di Vantage e quindi di Arena che lo usa...

E quindi in questo senso la soluzione proposta da Chaos per questo problema.

Aggira sì questo problema e in più offre una qualità che è cinematografica essenzialmente e quindi aggira il problema dell'ottimizzazione perché noi siamo da sempre con V-Ray alla fine del processo di preparazione delle scene 3D, siamo sempre stati quelli che l'hanno renderizzata alla fine e quindi nativamente capiamo quello che c'è nella scena 3D, la gente già la produce con i

nostri materiali, i nostri modelli di telecamere, i nostri modelli di luci e luminarie eccetera eccetera. Modelli qui non intendo il modello di automobili, intendo il modello matematico che le descrive quindi utilizzano le nostre luci per fare il sole e il cielo, la simulazione di cielo e sole eccetera eccetera. E quindi nativamente tu dalla tua applicazione in cui hai preparato

la scena che vorrai fruire così com'è per il render finale, con un click direttamente in memoria senza nemmeno passare per un file su disco, ce l'hai in secondi sullo stage virtuale in LED, quindi puoi proprio caricare una scena via l'altra e immediatamente viene calcolata, insomma immediatamente, chiaramente col tempo che ci vuole per caricare la scena e per passarsela

e tradurla ma la traduzione avviene in memoria quindi la traduzione verso la fase di render vera e propria avviene in memoria e quindi è immediata. Arena è la tecnologia che permette di sfruttare sia il camera tracking e il clustering del calcolo e quindi l'espansione della capacità di calcolo per poter disegnare tutti quei pixel e fare il render di tutti quei pixel sul motore

di Vantage che invece si prende cura proprio di capire come sono le luci, come sono i materiali e di disegnarci alla fine il fotogramma. Questo detto, il primo passaggio dal precalcolato al tempo reale passa per le tecnologie simili, analoghe a quelle del gaming. Sono belle, permettono di ottenere dei risultati decisamente convincenti, c'è un problema, il costo di passaggio

dal software di creazione, Maya, 3D Studio Max, Houdini, questi sono i nomi dei software principali per creare queste scene 3D complesse dove animi i tuoi personaggi, fai le simulazioni di fumo, fuoco e fiamme, distruzione dei supereroi come abbiamo visto negli anni e poi il tuo stage virtuale se devi passare queste informazioni normalmente c'è di mezzo una quantità di

lavoro di ottimizzazione e di lavoro pedissequo e manuale enorme, quindi sì una volta che poi dopo l'hai fatta questa parte di lavoro quella versione della tua scena 3D è in tempo reale e puoi cambiare le luci, puoi cambiare questo e quell'altro, se però poi devi tornare indietro su alcune parti c'hai un'altra parte importante di ri-ottimizzazione.

Noi con Project Arena ci presentiamo sul mercato in tempo reale in tutti i sensi, con però una qualità che è veramente prossimale a quella dell'offline e quindi siamo in grado di scalare... se ci viene fornito l'hardware, funzioniamo con una scheda, Vantage funziona con una scheda normalissima, scheda 3D normale, se funziona RTX, da una serie 20 in poi, purché

sia RTX, Vantage ti fa rendering in tempo reale in path tracing delle tue scene, è in grado di scalare con i cluster che vengono prodotti da Nvidia per questo scopo e scopi di questo tipo, quindi "compute", grossa scala diciamo e quindi è in grado di muovere tutti quei pixel che compongono uno stage LED a risoluzione da cinema, calcolando con un'approssimazione

veramente credibile di quello che sarebbe invece un calcolo che ci metterebbe minuti o ore a fotogramma e quindi riesce a fare tutto questo a 25 fotogrammi al secondo, 30 fotogrammi al secondo, quello che può essere quello filmato, calcolando comunque un'interazione tra luci, materiali e scene veramente credibile.

Ok e come avete fatto appunto ad aggirare questo problema cioè perché è appunto è particolarmente complesso, diciamo così, renderizzare queste ambientazioni e invece qual è la soluzione che avete trovato per ovviare al problema?

Guarda, il problema del rendering moderno è squisitamente un problema statistico.

Si cerca di capire che cosa c'è in un'immagine senza averne particolari informazioni pregresse.

Quindi è come giocare a freccette con gli occhi bendati per un renderer.

Uno dei modi di capire se sei preso il centro è sparare tante freccette. Dopo un po' il centro l'avrai preso e poi dire: "ok ho finito il mio lavoro". Questo è come, semplifico tantissimo, questo è più o meno come funziona il rendering offline, quindi il render che vedi per i tuoi film al cinema ci mette tante ore a fotogramma, per ciascun fotogramma viene calcolato per diverse

ore e poi c'è ancora tutta una parte di lavoro in più dopo che è stato calcolato e renderizzato in 3D per integrarlo eccetera eccetera.

Dall'altra parte ci sono metodi moderni e qui sì c'è una storia di convergenza tecnologica. Ci sono dei filmati nel 2012 di Vlado con Boris Simandoff su un aeroplano che guardano il rendering in tempo reale di un progetto a cui presero parte Construct, dove c'erano delle persone "trackate" su uno stage virtuale in 3D e V-Ray, una versione

di V-Ray in quel momento su cloud renderizzava e loro riuscivano a muovere la telecamera dal telefonino sull'aeroplano. Era il 2012, era una demo, era per capire se si poteva fare, non si poteva fare.

Si poteva di principio non era fruibile, la tecnologia non c'era. Nel 2018 NVIDIA è uscita con la tecnologia RTX che ha prodotto degli acceleratori, delle funzionalità che usiamo anche noi per calcolare queste immagini e tirare queste freccette - c'è tanta trigonometria e bisogna fare tutti quei calcoli di seni e coseni e queste cose qui, tanti - e quindi ci sono questi

acceleratori che hanno aiutato e assieme agli acceleratori una serie di tecnologie accessorie, sono cresciute le bande della internet e delle varie connessioni anche cablate, le memorie e queste cose e ad ora siamo ad un livello dove possiamo permetterci di risolvere il problema statistico in maniera diciamo approssimativa, ma l'approssimazione viene

aiutata... è buona di partenza ma ha dei buchi, non capiamo tutto per essere rapidi, non possiamo proprio capire esattamente tutto della scena come si farebbe normalmente e quindi veniamo aiutati da tecnologie che sono intelligenza artificiale, essenzialmente basate su intelligenza artificiale, non generativa ma computazionale e quindi tecnologie che sono diventate fruibili

soltanto negli ultimi anni e che stanno per fortuna migliorando, quindi ora potremo andare nello specifico se vorrai.

Sì, casomai raccontaci appunto come è integrata in questo senso l'intelligenza artificiale computazionale per ovviare al problema del rendering.

Dicevo prima che è un problema statistico, guardare un pixel e dargli un colore sembra una stupidata, invece per un renderer non sa che cosa c'è dall'altra parte, immaginate di guardare il mondo attraverso una zanzariera, attraverso un quadretto di zanzariera, quante cose potrebbero esserci lungo una direttrice che va fuori da un quadratino di zanzariera

nel mondo reale e il renderer non lo sa, deve capire qual è la testa e qual è la coda di quel cane anche se non lo vede e questo è un problema matematico noto, addirittura i fondamenti arrivano da un paper scientifico del 1964 sul trasporto di neutroni nei reattori atomici.

La matematica è ancora la stessa, la matematica statistica.

Normalmente nell'offline questo processo va fatto ripetuto miliardi di volte per un'immagine anche piccola. Ci vogliono tante ore e tanta capacità di calcolo. Con l'intelligenza artificiale si riesce a fare invece una campionatura statistica sparsa, è un termine tecnico per dire che guardiamo una volta ogni tanto invece che tante volte ogni pixel, guardiamo una volta

ogni pixel, ogni tot pixel addirittura, sparsa sia nel tempo che nello spazio. Quindi una volta ogni tot pixel e una volta ogni tot fotogrammi in quel pixel, una volta lì, una volta là.

Poi utilizziamo tecniche di ricostruzione matematica e queste tecniche di ricostruzione...

quelle algoritmiche avevano dei limiti, quelle con l'intelligenza artificiale hanno incominciato a mostrare grande promessa appunto quando Nvidia, la nostra cara partner effettivamente per questo tipo di tecnologie, ha incominciato a sviluppare RTX e le tecnologie DLSS.

Questo tipo di partnership vanno diciamo di pari passo, loro sviluppano le tecnologie, noi proviamo a implementarle e ci vorremmo delle cose in più per il tipo di uso che vorremmo farne noi, parliamo con loro e loro ce le implementano e il processo continua diciamo ad autoalimentarsi finché non si arriva a maturazione.

DLSS è un asset di tecnologie basato su AI computazionale, lo stesso utilizzato... parti di questo sono gli stessi utilizzati per il gaming e quindi nei videogiochi normalmente.

E noi ne utilizziamo alcune, quindi l'upscaling di DLSS che aiuta a far sembrare l'immagine nativa ma invece è calcolata a metà risoluzione, la usiamo anche noi e quella è basata su intelligenza artificiale per riempire i pixel che mancano molto semplicemente.

C'è una parte che ha a che fare con il "denoising", partiamo da prima: la campionatura intanto, il primo pilastro di quattro su cui si basa Vantage e quindi Arena è la campionatura sparsa.

Questa viene aiutata da diversi algoritmi che abbiamo creato noi, altri che abbiamo utilizzato, sviluppati dalla comunità scientifica che lavora intorno a queste tecnologie e questa parte diciamo è la più proprietaria. Poi ci siamo appoggiati e lavorato con Nvidia per quello che riguarda Ray Reconstruction e quindi abbiamo tirato le freccette soltanto in alcuni

posti. Cosa c'è dove non abbiamo tirato le freccette? si può pensare di riempire in qualche modo, un po' come con Photoshop e l'IA generativa, in qualche modo con Ray Reconstruction troviamo... creiamo, riempiamo questi buchi e riusciamo ad avere delle informazioni che sono utilizzabili, che sono decisamente utilizzabili, se non

perfettamente esatte, sono decisamente credibili e quindi buone a sufficienza, "good enough" come si dice, per essere credibili nel tempo di fruizione di un fotogramma, pochi millesimi di secondo, quindi uno non starà fermo a guardare l'immagine a lungo come in un poster, ma la vedrà passare in un attimo e quindi è buono a sufficienza. Quello che manca come

informazione lo possiamo rappresentare soltanto come un pixel nero, non sappiamo cosa c'è e non abbiamo idea, è inutile mettere un colore via l'altro.

Questo pixel nero nella statistica, una volta che abbiamo calcolato e raccolto tutte le informazioni, statisticamente risulterà come rumore, un po' come quando uno scatta una foto scura la notte e la macchina fotografica non ce la fa.

NVIDIA ha un'altra tecnologia in DLSS, il Denoiser appunto, che rimuove questo rumore in maniera non algoritmica, come tradizionalmente si faceva, ma tramite intelligenza artificiale, "trainata", addestrata a capire quali sono i pattern che vengono sviluppati dalle nostre tecniche di calcolo e che forma ha questo rumore, come aspettarselo e quindi fa un lavoro eccellente.

Messe tutte assieme e accoppiate con la capacità di calcolo dei cluster NVIDIA, effettivamente possiamo mandare una versione essenzialmente finale, nella fase di previsualizzazione certamente della creazione di un film, però possiamo mandare un render quasi di qualità finale mentre l'attore recita e il direttore della fotografia cambia le luci e il regista se ne

va in giro per il set con la telecamera in mano, che è molto bello.

Esatto e proprio in conclusione ti chiedo questo cioè se ci fai qualche esempio specifico anche di quelli che sono i vantaggi che può portare un rendering in tempo reale di questo tipo, cioè immagino in tema di costi anche che hai citato anche prima ma anche da un punto di vista di performance, creatività del regista perché alla fine poi alla base di tutto c'è una mente

creativa che deve utilizzare questi strumenti nel modo più facile e semplice possibile, non chiedendosi come funzionano.

Certamente e la creatività la devi liberare. Se la costringi a passare per processi che durano giorni, ore, settimane tutte le volte, ti passa quel momento di creatività. Ce l'avevi lì, volevi girare la telecamera appena appena, ma porca miseria, devo rifare tutto da capo, no, non puoi. Quindi, in questo senso, per fare lo sviluppo,

nella fase di ricerca e sviluppo di Project Arena, Vlado ha capito immediatamente che c'era bisogno di avere una produzione vera e quindi con la nostra branch di Los Angeles abbiamo creato un film, Ray Tracing for the Win (FTW), e il materiale da proiettare sull'head stage per le riprese è arrivato un giorno prima dell'inizio delle riprese. Una cosa così normalmente avrebbe

prodotto un caos incredibile, gente urlante e la qualsiasi, invece è semplicemente funzionato tutto.

Una sorpresa, ammissibilmente, però ha funzionato tutto perché veramente la ragione è che c'è flessibilità legata a questo tipo di approccio e alla tecnologia che abbiamo messo in ballo.

Forse è quella la parola chiave, flessibilità.

Flessibilità senza compromettere la qualità, perché non ti diamo una versione un po' così, tu semplicemente se gli dai l'hardware per calcolare, e l'hardware è l'ultimo dei problemi negli effetti visuali, lui è in grado di tirarti fuori un'immagine di qualità indistinguibile dalla finale, quindi non abbiamo scorciatoie, le scorciatoie te

le ho descritte prima, ma poi una volta che andiamo a tirare la freccetta guardiamo davvero tutta la qualità del materiale, gli aspetti complessi legati all'illuminazione, l'illuminazione secondaria eccetera eccetera, e lì non facciamo scorciatoie particolari, quindi il risultato finale è davvero molto convincente pur essendo in tempo reale.

Perfetto va bene allora grazie Emanuele per averci raccontato di che cosa vi occupate in Chaos e nello specifico per questo approfondimento veramente molto interessante su quella che è stata l'evoluzione dei VFX e in particolare i virtual stage. Alla prossima.

Alla prossima, grazie a voi.

E così si conclude questa puntata di INSiDER - Dentro la Tecnologia, io ringrazio come sempre la redazione e in special modo Matteo Gallo e Luca Martinelli che ogni sabato mattina ci permettono di pubblicare un nuovo episodio.

Per qualsiasi tipo di domanda o suggerimento scriveteci a redazione@dentrolatecnologia.it, seguiteci su Instagram a @dentrolatecnologia dove durante la settimana pubblichiamo notizie e approfondimenti.

In qualsiasi caso nella descrizione della puntata troverete tutti i nostri social.

Se trovate interessante il podcast condividetelo che per noi è un ottimo modo per crescere e non dimenticate di farci pubblicità.

Noi ci sentiamo la settimana prossima.