☰

Het hoe en waarom van Volumetric Video

Een van de ontwikkelingen waar we bijvoorbeeld tijdens IBC veel over hoorden, is 'volumetric video'. Maar wat is het precies? En wat levert het in praktijk nou eigenlijk op? Is het 'the next stage of video' of een trend die uiteindelijk overwaait? Een nadere blik op een interessant fenomeen.
Lees het volledige artikel onlineLees volledige uitgave online

Alle edities

AV-Entertainment Nr4 2024
AV-Entertainment Nr3 2024
AV-Entertainment Nr2 2024
AV-Entertainment Nr1 2024
AV-Entertainment Nr6 2023
AV-Entertainment Nr5 2023
AV-Entertainment Nr4 2023
AV-Entertainment Nr3 2023
AV-Entertainment Nr2 2023
AV-Entertainment Nr1 2023
AV-Entertainment Nr6 2022
AV-Entertainment Nr5 2022
AV-Entertainment Nr4 2022
AV-Entertainment Nr3 2022
AV-Entertainment Nr2 2022
AV-Entertainment Nr1 2022
AV-Entertainment Nr6 2021
AV-Entertainment Nr5 2021
AV-Entertainment Nr4 2021
AV-Entertainment Nr3 2021
AV-Entertainment Nr2 2021
AV-Entertainment Nr1 2021
AV-Entertainment Nr6 2020
AV-Entertainment Nr5 2020
AV-Entertainment Nr4 2020
AV-Entertainment Nr3 2020
AV-Entertainment Nr2 2020
AV-Entertainment Nr1 2020
AV-Entertainment Nr6 2019
AV-Entertainment Nr5 2019
AV-Entertainment Nr4 2019
AV-Entertainment Nr3 2019
AV-Entertainment Nr2 2019
AV-Entertainment Nr1 2019
AV-Entertainment Nr6 2018
AV-Entertainment Nr5 2018
AV-Entertainment Nr4 2018
AV-Entertainment Nr3 2018
AV-Entertainment Nr2 2018
AV-Entertainment Nr1 2018
AV-Entertainment Nr6 2017
AV-Entertainment Nr5 2017
AV-Entertainment Nr4 2017
AV-Entertainment Nr3 2017
AV-Entertainment Nr2 2017
AV-Entertainment Nr1 2017
AV-Entertainment Nr6 2016
AV-Entertainment Nr5 2016
AV-Entertainment Nr4 2016
AV-Entertainment Nr3 2016
AV-Entertainment Nr2 2016
AV-Entertainment Nr1 2016
AV-Entertainment Nr6 2015
AV-Entertainment Nr5 2015
AV-Entertainment Nr4 2015
AV-Entertainment Nr3 2015
AV-Entertainment Nr2 2015
AV-Entertainment Nr1 2015
AV-Entertainment Nr6 2014
AV-Entertainment Nr5 2014
AV-Entertainment Nr4 2014
AV-Entertainment Nr3 2014
AV-Entertainment Nr2 2014
AV-Entertainment Nr1 2014
AV-Entertainment Nr6 2013
AV-Entertainment Nr5 2013
AV-Entertainment Nr4 2013
AV-Entertainment Nr3 2013
AV-Entertainment Nr2 2013
AV-Entertainment Nr1 2013
AV-Entertainment Nr6 2012
AV-Entertainment Nr5 2012
AV-Entertainment Nr4 2012
AV-Entertainment Nr3 2012
AV-Entertainment Nr2 2012
AV-Entertainment Nr1 2012
AV-Entertainment Nr6 2011
AV-Entertainment Nr5 2011
AV-Entertainment Nr4 2011
AV-Entertainment Nr3 2011
AV-Entertainment Nr2 2011
AV-Entertainment Nr1 2011
AV-Entertainment Nr6 2010
AV-Entertainment Nr5 2010
AV-Entertainment Nr4 2010
AV-Entertainment Nr3 2010
AV-Entertainment Nr2 2010
AV-Entertainment Nr1 2010
AV-Entertainment Nr6 2009
AV-Entertainment Nr5 2009
AV-Entertainment Nr4 2009
AV-Entertainment Nr3 2009
AV-Entertainment Nr2 2009
AV-Entertainment Nr1 2009
AV-Entertainment Nr6 2008
AV-Entertainment Nr5 2008
AV-Entertainment Nr4 2008
AV-Entertainment Nr3 2008
AV-Entertainment Nr2 2008
AV-Entertainment Nr1 2008
AV-Entertainment Nr6 2007
AV-Entertainment Nr5 2007
AV-Entertainment Nr4 2007
AV-Entertainment Nr3 2007
AV-Entertainment Nr2 2007
AV-Entertainment Nr1 2007
AV-Entertainment Nr6 2006
AV-Entertainment Nr5 2006
AV-Entertainment Nr4 2006
AV-Entertainment Nr3 2006
AV-Entertainment Nr2 2006
AV-Entertainment Nr1 2006
AV-Entertainment Nr1 2005

Het hoe en waarom van Volumetric Video

Magazines | AV-Entertainment Nr6 2022

Een van de ontwikkelingen waar we bijvoorbeeld tijdens IBC veel over hoorden, is ‘volumetric video’. Maar wat is het precies? En wat levert het in praktijk nou eigenlijk op? Is het ‘the next stage of video’ of een trend die uiteindelijk overwaait? Een nadere blik op een interessant fenomeen. 

Door Ulco Schuurmans

Het ‘volume’ in volumetric video slaat niet letterlijk op de omvang, maar de op de enorme hoeveelheid flexibel vastgelegde 3D-data vanuit de opnameruimte. Het betreft een opnametechniek die nog een stuk verder gaat dan spatial video. Realtime digitaliseren, capturing en tracking plus dieptesensatie van personen en objecten met een array van camera’s, gepositioneerd rondom de opnamesetting. Vervolgens kan je het opgeslagen spatiale videodatavolume van alle kanten bekijken, afspelen en bewerken. Dat verhoogt de interactieve ervaring, beleving, onderdompeling en het engagement aanzienlijk.

3D-samenvoeging
Volumetric video is in feite een nieuwe evolutionaire 3D-samenvoeging van traditionele lineaire workflows met interactieve media, zoals evenementen, onderdompelende videoproducties, games en digitale leefomgevingen. Er wordt een realtime 3D-beeld van alle kanten (kijkhoeken) geschoten en omgezet in een model dat meteen in een digitale omgeving geplaatst kan worden. Aldaar vindt verdere integratie plaats in de digitale VR/AR/VR-gebeurtenissen. Het volume is daarbij zoals gezegd de hoeveelheid 3D video- en audiodata die daarvoor te benutten is. Zo gaan opgenomen volumetrische beelden direct in 3D het web of netwerk op, de evenementruimte in of naar de Cloud, het mobieltje, socialmedia, games en virtuele werelden. Volop kansen voor de content creator om immersive, rijkere en engagerende producties te maken. Een trend die snel groeit, zoals ondermeer op de IBC 2022 te ervaren was.

Next stage of video?
Maar wat levert volumetric video in de praktijk op? Deze techniek verandert de wijze waarop cineasten hun verhaal vertellen, kijkers in interactie treden met de media en productieteams gaan werken. Alweer een belangrijke bijdrage voor realtime immersive video. In 2019 trad superster Madonna bij de Billboard Music Awards op met meerdere versies van zichzelf. Een geslaagd staaltje van volumetrische videotechniek met fans die eigenlijk niet wisten wat zij zagen. En we zagen president Zelensky die wereldwijd acte de présence in de virtuele ruimte gaf of in een soort rondtoer het slagveld bezocht. Verder waren er overdonderende muziekclips die wel in een andere dimensie gemaakt lijken te zijn, bijvoorbeeld van Radiohead, Coldplay of Taylor Swift. Als fan kon je ook een selfie maken met volumetrische opnamen van bekende Koreaanse bands.

Sportevenementen waarbij de camera als het ware met de ogen van toeschouwers overal door het stadion rolt. En het virtueel in tracking 3D bijwonen van concerten en evenementen. Dit compleet met een groot aantal verschillende achtergronden met LED-schermen. Beleef mode alsof je het zelf aanhebt. En realistische in elke denkbare spatiale scenery documentaires en spectaculaire cinematografie waar de limits in de creatieve 3D-sky zitten. Is dit de next stage of video? Eigenlijk wel, ja. En het vindt al grotendeels plaats in de Metaverse.

Het kan ook in combinatie met oud bestaand materiaal. Zo werden de performers van Grease door Paramount in samenwerking met Intel in een nieuw volumetrisch jasje gestoken bij het brengen van het nummer ‘You're The One That I Want’. Engines (o.a.van Epic games en Unity Technologies) voor games en AR/VR/MR-video brengen echte virtuele producties op de video stage. En Tedtalk schonk in 2019 al aandacht aan het verdwijnen van de traditionele filmset, die deels wordt vervangen door volumetrische videotoepassingen.

Van alle kanten bekijken
Het bijzondere aan volumetric video is dat het doorgegeven 3D-eindproduct niet een vast bekijkpunt of bepaalde gezichtshoek heeft. De eindgebruiker heeft de vrijheid om het aangeboden driedimensionale videomateriaal naar believen van alle kanten te aanschouwen en daar ook levensechte interactie mee aan te gaan. Dat geeft een hogere belevingswaarde en zelfs onderdompeling (immersive) in de scène of virtuele wereld. Ideaal voor het zelf deel uitmaken van de filmische ervaring, VR/AR/MR, sportwedstrijden, gaming en onderwijs of training. 

En de 360 graden video dan? Die techniek maakt het weliswaar mogelijk om de gehele scene in 360 booggraden op te nemen, maar de kijker zit vast aan een constante ingestelde diepte. Er is geen naar believen variërende dieptebeleving zoals bij volumetric video wel het geval is. Je wordt als het ware de regisseur van jouw videoscene of film en de daaraan gekoppelde immersive beleving.

Belangrijk is om te onderstrepen dat eenmaal opgenomen volumetrisch materiaal geen eindproduct is. Eerder een rijk gevuld immersive en interactief spatial 3D contentvat met steeds opnieuw te variëren en weer te geven AV-data. Vroeger moest je daarvoor meestal weer een andere array-opstelling maken. Nu is het echt ‘wat in het volumetrische vat zit verzuurt niet’ en kan je steeds weer vanuit andere gezichtspunten en interactieve benaderingen te werk gaan.

Toepassingen en veranderingen
Inmiddels zijn er al verschillende toepassingen van volumetric video beschikbaar. Bijvoorbeeld één op één interactie met een favoriete sporter, acteur of entertainer in de eigen woonkamer. Of het trainen van werknemers, hoogwaardige klantenservice die interactief meekijkt wat het probleem is, diagnose op afstand (producten en medisch), adverteren (Metaverse-commercials), hologrammen en interne communicatie. Relatief nieuw zijn entertainmentparken, musea, games en tv-shows. Toppers zijn muziekclips, korte featurefilms, sporttraining en -analyse, cinematografie en interactief onderwijs.

In het geval van filmproductie maakt volumetric video het mogelijk om eenmaal opgenomen materiaal op allerlei manieren te bewerken. We noemen verschillende camerahoeken, het aanpassen van diepte en afstand, het veranderen van belichting/lichtval, framing en camerabewegingen. Een geheel nieuwe dimensie voor de postproduction.

Concerten en evenementen bereiken qua sensatie van het realtime realistisch bijwonen grote hoogten. Je kunt thuis elke denkbare positie innemen. Hetzelfde geldt voor attracties in entertainmentparken en geavanceerde game- of e-sport-settings.

Ook de Cloud laat zich niet onbetuigd. Volumetric streaming is al gemeengoed geworden. Studio’s voor het opnemen van volumetric video schieten wereldwijd als paddenstoelen uit de grond. Tevens zijn er mobiele varianten. Het aldaar geproduceerde materiaal kan in de Cloud worden samengevoegd, ge-edit en bewerkt in postproduction. Volumetric collaboration in optima forma.

Veranderpunten
Volumetric video verandert de interactie van de kijkers met de media ingrijpend. De grenzen tussen de reële en virtuele wereld vervagen. Je zit er als het ware echt in. Dat heeft weer gevolgen voor de wijze waarop cinematografen hun verhalen gaan vertellen. Meer verrijkend, diepgaand en pakkend in de VR/AR/MR-ruimte. Bovendien kan je het eenmaal opgenomen volumetrisch AV-materiaal voor meerdere doeleinden gebruiken. Flexibel te presenteren in andere settings en voor verschillende audiences. In Nederland gingen o.a. Ziggo en Vodafone er al mee aan de slag. Daar bleek dat volumetric video relatief makkelijk schaalbaar is. K3 presenteerde Dans van de Farao in volumetric video.

De techniek vereist nieuw te leren vaardigheden en inzichten van de productieteams. Het kan allemaal met een relatief kleine en ervaren deskundige crew. Het onderwijs voor mediatechnici heeft zich inmiddels al op volumetric video gestort. Hoe creëer je naadloze interactieve immersive events en pakken de modelling, verlichting en animatie daarbij anders uit? Een ander veranderpunt vormt het snel groeiende aanbod van volumetrische software om aan de slag te gaan met 3D-content en IR-dieptemeting. Niet eens echt duur en geschikt voor een grote diversiteit aan onderwerpen en toepassingen. Voor iedereen bereikbaar en zelfs te doen op het mobieltje.

In het verleden moesten producenten van onderdompelende engagerende video 2D materiaal integreren in een Virtual of Augmented Reality-omgeving. Dat blijft behelpen en is niet het ware onderdompelende en engagerende ding. Bij volumetric video is het allemaal real 3D met dieptesensatie en directe interacterende experience. De bijbehorende dieptemetingen om straks de 3D-ruimte te kunnen construeren gaan via infraroodmetingen. Die vormen een compleet spatial puntenmodel voor de beeld- en geluidsreferenties. Diepte metende IR-technologie wordt zo ingezet voor het opdoen van geheel nieuwe onderdompelende ervaringen in de Metaverse.

Techniek
De achterliggende techniek bestaat onder andere uit uniforme camera’s in een rig-bevestiging rondom het onderwerp. Die nemen het doelwit uit alle mogelijke richtingen op. Er zijn drie cameratypen in gebruik: 360 graden, lichtveld en LIDAR. De ondersteuning voor het bepalen van diepte en afstanden verloopt via IR-trackingcamera’s of sensoren. In de productiepraktijk zet men IR-laserstralen waarvan de reflectie naar registrerende camera’s gaat die daar een digitaal 3D-puntenmodel van genereren. Het heet LIDAR (een acroniem voor laser imaging, detection and ranging). Je vindt LIDAR tegenwoordig ook al in de iPhone 12 en 13,voor wie eens in het veld met volumetric shots aan de slag wil. Als cameravoorbeeld de Canon Volumetric Studio in Kawasaki (bij Tokyo) met honderd dedicated 4K camera’s. Microsoft is met partners eveneens heel actief met volumetrische (camera-)studio’s, waaronder de Mixed Reality Capture studio in San Francisco, de Metastage in Los Angeles en Dimension in Londen.
Elke output van de afzonderlijke camera’s wordt exact gesynchroniseerd en bewerkt tot een 3D mesh (het samengestelde beeld). Deze 3D mesh gaat naar de export voor virtuele omgevingen, games en uitzending op social media tv-kanalen.

De benodigde setup van de rig voor de productie betreft in het algemeen: minimaal drie camera’s per opnamesectie van 15 graden. In de praktijk zijn meer dan honderd opgestelde camera’s mogelijk. Elk onderwerp dient in focus van de camera te staan. Anders komen er straks interactieve sensatiemissers. Dat betekent ook geen gebruik van autofocus. Een global shutter heeft de voorkeur om vertekeningen en het achter de actie aanlopen te voorkomen. Fisheye-objectieven zijn niet bruikbaar.

Instellingen
Aanvullend zijn de cameraspecificaties en instelling(en). Je stelt niet zomaar wat budgetcamera’s in de array op om op kosten te besparen. Hoe hoger de beeldkwaliteit van de toegepaste camera’s, des te beter de resultaten. De resolutie, (dezelfde) kleurweergave, contrast, dynamisch bereik en helderheid maken echt het verschil! In videofilmpjes zie je dat volumetric video ook met een iPhone kan, die heeft immers eveneens IR-dieptemeting. Leuk voor een clipje of zo, maar niet echt geschikt voor evenementen en hoog cinematografisch productieniveau.

Gebruik in ieder geval dezelfde brandpuntsafstand bij de objectieven en geen autofocus. Een zich verstellende AF verstoort de beleving en onderdompeling. Bij de instellingen in ieder geval dezelfde file start- en stoptijden gesynchroniseerd over de gehele sequence. Bij de verlichting zoveel mogelijk egaliteit. Diffuus, vlak en geen hotspots of spotlights zijn een must. Hoe interessanter en gevarieerder de achtergrond des te beter. Geen solide blauw of groen in beeld. Dan het onderwerp in kwestie, met name personen: vermijd schitteren en glanzen. Juwelen, brillen, glanzende kleding en haar kunnen een storende factor zijn. Aandacht voor het meenemen van de top en achterkant van het hoofd. Oren, voeten en torso moeten allemaal natuurlijk en scherp in beeld komen.

Zoals te verwachten is er bij volumetric video een grote rol weggelegd voor kunstmatige intelligentie (AI) en deep learning. Die nemen niet alleen veel productiewerk (het genereren van omgevingen, tracking en timing) uit handen, maar leren ook hoe optimaal met het publiek immersive te interacteren.

Combineren
Het opgenomen volume aan 3D-videodata valt gemakkelijk met andere VR/AR/MR-componenten te combineren. Levende mensen en metahumans kunnen gewoon in de 3D interactieve scenewereld van volumetric video participeren. Choreografie samenvoegen met de motion tracking, al of niet in combinatie met een exoskelet. Een of meerdere hologrammen toevoegen. Hologrammen in combinatie met volumetric video vormen een grote groeimarkt. Een sporter, politicus, popster of docent net echt voor jouw neus. Je kunt er mee praten of debatteren, volgen, zingen, dansen, koken, sporten, mee acteren in een film, theater of shows, schilderen met de meester zelf en op tal van andere wijzen mee interacteren. Weg met de avatar, leven het hologram.

Beperking
Plaats volumetrische video in elke denkbare mediaomgeving en computer-gegenereerde realiteit. De magie zit hem in hoe je de volumetrische videodata allemaal creatief kunt gebruiken. Er is nog wel een beperking. De doorsnee kwaliteit van de opgenomen volumetrische video is nog niet helemaal op de broadcaststandaard van mainstream 4K (en helemaal 8K). Je blijft het bij combineren toch een beetje zien aan bijvoorbeeld het glitchy-effect. En veel shots staan nog in 2K. Overigens kan de producer daar juist ook creatief gebruik van maken. De verwachting is dat volumetric video binnen enkele jaren door evolueert naar echte broadcast 4K en beter.

Software
Veelbelovend zijn technieken zoals Google Immersive Light Field Video. Die verzorgt de natuurlijke weergave van reflecties en laat de kijker op natuurlijke wijze zelfs achter het object kijken. Arcturus heeft drie interessante softwareproducten. Met HoloStream heb je een relatief hoge kwaliteit adaptieve volumetrische streamingoplossing voor het world wide web, mobieltje, desktop en headset. De gebruiker kan zich hiermee vloeiend in de virtuele ruimte ronddraaien (dus geen schokkerige beelden meer). De bitrate past zich aan voor de beschikbare netwerkcapaciteit van glasvezel, 5G en LTE. Tevens geschikt voor 6DoF gameplatforms. HoleEdit biedt een complete NLE montageomgeving voor volumetrische video. En De HoloSuite is de ontwerpfabriek. Andere noemenswaardige producten zijn 3DViews (Raise virtual to reality), Microsoft Azure en Evercoast (Metahumans en op stap met Zelensky).

Metaverse content
Volumetric video staat niet op zichzelf. Het is een substantieel onderdeel van de Metaverse. Metahumans en Virtual, Augmentend en Mixed Reality vormen samen het Meta-universum in videoland en op het 3D-internet. Een algemene definitie van het Metaversum is ‘een parallel universum, waar je je digitale leven doorbrengt’. Dit is een plek waar jij en andere mensen een avatar (tegenwoordig ook al een hologram) hebben en waar je interacties hebt met de avatars van de andere deelnemers. Die deelnemers hanteren via hun mobieltje, tv-kanaal of gameconsole avatars, objecten en digitale valuta. Het e-geld komt naar alle waarschijnlijkheid terecht op een blockchain. Voor 2024 wordt de markt voor Metaverse geschat op 800 miljard dollar.

Interactieve immersive videobeelden spelen in het Metaversum een voorname rol. Disney (o.a. de Mandalorian) integreert deze technieken al in de eigen videoproducties met als doel de kijkers interactiever en meer immersive te betrekken bij haar films. Ook in Stranger Things van Netflix zijn al imponerende toepassingen te bewonderen. Bij het spel Fortnite is het al dagelijkse kost.

De avatars zijn geen geanimeerde spelfiguurtjes meer, maar real-life (inter)acterende en belevende kunstmatige mensen, de metahumans of een hologram. De bewegingen en stemmen zijn niet of nauwelijks meer van echt te onderscheiden. Hierom is een compleet nieuwe animatie-industrie ontstaan. Opmerkelijk is dat op de virtuele opnameset het groene keying-scherm in de achtergrond gaandeweg wordt vervangen door LED-techniek met een afzonderlijk scherm of complete wall. Flexibeler, precies op de sfeer of stemming af te regelen een geen storende reflecties. Verder spreekt men tegenwoordig over Extended Reality (XR), een samenvoegsel van VR, AR en MR.

Nieuw videopodium
Volumetric video opent een nieuw immersive, interactieve en echt belevend videopodium, rijp voor de Metaverse. Dit zowel bij de creatieve content production op een echte videosetting en geheel virtuele productie als bij de postproduction. Een ontwikkeling die het storytellen en cinematografisch vormgeven ingrijpend gaat veranderen. Bovendien wordt de kijker ook nog eens de regisseur van zijn of haar eigen immersive beeldervaring.
 

Facebook

Aanbevolen

Gratis AV & Entertainment ontvangen

Vul hier uw emailadres in en u wordt op de hoogte gehouden van de laatste nieuwtjes op AV gebied én ontvangt tevens de gratis digitale editie van AV & Entertainment