De post 15 VR-games die we niet kunnen wachten om te spelen in 2022 verscheen eerst op Weg naar VR.

Tokio zal veel primeurs zien wanneer het de Spelen van de XXXII Olympiade organiseert. Niet in de laatste plaats dat de Spelen van 2020 een jaar later worden gehouden dan gepland en minder dan een jaar voor de Olympische Winterspelen van 2022 in Peking.

De wereldwijde pandemie betekent ook dat er geen internationale bezoekers in Tokio zullen zijn, maar Olympic Broadcasting Services (OBS) zal voortbouwen op virtual reality (VR)-technologie die in 2016 in Rio is geïntroduceerd en de Olympische Winterspelen van PyeongChang in 2018 om tv-kijkers het gevoel te geven deel uit te maken van de Spelen vanuit het comfort van hun eigen huis.

OBS is de host omroeporganisatie voor de Olympische, Jeugd Olympische en Paralympische Spelen. Het werd in 2001 opgericht door het IOC. Het biedt uitzendingen voor gebruik door alle omroepen met rechten (bijv. de BBC, Eurosport) over de hele wereld, en het helpt omroepen ook om zich voor te bereiden op de Spelen; OBS houdt toezicht op de inrichting van het International Broadcast Center (IBC), de thuisbasis van de omroepactiviteiten van de Spelen. Het bereidt ook de verbindingen voor op elke wedstrijdlocatie, waar de productie- en technische faciliteiten van OBS en de rechthebbende omroepen zijn gevestigd en van waaruit internationale televisie- en radiosignalen zullen worden geproduceerd.  

OBS verwacht 56 ​​live feeds en bijna 9,500 uur aan content te produceren tijdens het 17-daagse evenement, dat bestaat uit 339 evenementen in 50 sportdisciplines. Het heeft een team van bijna 8,000 mensen uit meer dan 70 landen, met specialiteiten en vaardigheden in verschillende sportuitzendingen.

Tokio zullen de eerste Olympische Spelen zijn die native worden geproduceerd in ultra-high definition (UHD) – of 4K – en high dynamic range (HDR). UHD-inhoud heeft een resolutie van 3,840 x 2,160 pixels, vier keer het aantal pixels van Full HD, om meer details te geven. HDR-technologie verbetert het contrast tussen zwarte en witte pixels voor een nauwkeurig beeld met meer kleurschakeringen. De verslaggeving van eerdere Games is gedaan in parallelle dekking met omroepen, maar dit jaar zal de oorspronkelijke uitzending voor de OBS-wereldfeed rechtstreeks worden geproduceerd als UHD en HDR voor alle competities en ceremonies van de Games van dit jaar.

Tot voor kort was er geen universele standaard voor UHD en de toepassing van HDR was geen vanzelfsprekendheid, zegt Yiannis Exarchos, chief executive officer van OBS. Vooral HDR hecht hij veel waarde. “Het brengt, vooral bij buitensporten, een detailniveau, zowel in kleur als lichtrotatie, waardoor de beelden echt aanzienlijk realistischer zijn dan je in HD krijgt; het gaat niet alleen om resolutie.”

OBS heeft een standaard ontwikkeld die de best mogelijke HDR-output uit de UHD-oplossing haalt, waardoor deze efficiënter en duurzamer wordt omdat OBS de uitzendbronnen niet hoeft te verdubbelen.

De slotceremonie wordt uitgezonden in 8K om optimaal te profiteren van de traditioneel levendige spektakels. 8K verdubbelt het aantal pixels van 4K tot 7,680 x 4,320 en is 16 keer groter dan HD. Andere sporten (atletiek, gymnastiek, judo en sommige > < zwemevenementen) zullen beschikbaar zijn in 8K in Japan, hoewel andere omroepen de feed kunnen oppikken en experimenteren met proefuitzendingen. Er zijn al plannen voor 8K-uitzendingen door Chinese omroepen voor de Olympische Winterspelen van 2022 in Peking.

Een andere primeur in Tokio is immersieve audio. Alle locaties zullen een meeslepende audiofeed leveren als discrete kanalen in een 5.1.4-formaat. Dit zijn vijf microfoons die links, rechts en in het midden zijn geplaatst en aan beide zijden of achter voor surround-geluid, met een speciaal baskanaal en vier luidsprekers boven de ruisbron. Er zullen 85 afzonderlijke 5.1.4-audiofeeds beschikbaar zijn voor nationale omroepen.

Meeslepende audio brengt een driedimensionale ervaring voor kijkers of luisteraars. Exarchos zegt: "Ik ben een grote audiofan omdat ik geloof dat audio in zekere zin de drager is van emoties... dus ik ben blij dat we voor het eerst, in alle sporten, 5.1.4 meeslepende audio zullen doen. .” Landen zoals Japan, China, de VS, Brazilië en het grootste deel van Europa (via Discovery- en Eurosport-kanalen) kunnen 5.1.4-audiotransmissie ervaren.  

Door de 3D-kwaliteit van de Spelen naar de kijkers te brengen van evenementen die in arena's worden gehouden, is OBS een samenwerking aangegaan met Intel om zijn True View-technologie naar Tokio te brengen. TrueView is gebaseerd op regisseurs die afbeeldingen van virtuele camera's rondom een ​​locatie gebruiken om perspectieven te bieden die niet door fysieke camera's kunnen worden gezien. Hiermee kunnen kijkers de hoek selecteren van waaruit ze de camera willen zien, met opties voor drie of zes bewegingsgraden. Het maakt gebruik van een reeks camera's met hoge resolutie die zijn gepositioneerd om het hele speelveld vast te leggen, verbonden met on-site servers, gebaseerd op Intel's Xeon-processors. Gegevens van de camera's worden naar de cloud gestuurd om te worden gesynchroniseerd, geanalyseerd en verwerkt.

In de productiesuite kunnen ingenieurs virtuele stationaire en volgcamera's gebruiken om inhoud te creëren die is gericht op bepaalde punten in het spel, misschien wel de meest opwindende actie of sequenties, voor analyse door commentatoren. Beelden van de virtuele camera's worden gerenderd en omgezet in gecomprimeerde digitale video in de cloud. Per gebeurtenis wordt tot 200 terabyte aan onbewerkte gegevens verwerkt, inclusief hoogte, breedte, diepte en relatieve kenmerken om high-fidelity 3D-video te creëren.

TrueView ondersteunt de gangbare industriestandaard videocodecs (H.264, H.265, MPEG en AAC voor audio) voor gebruik op verschillende platforms en apparaten. De gecodeerde video wordt omgezet in bitstreams voor livestreaming. De bitstreams worden door de rechthebbende omroeporganisatie geconverteerd om de video te decomprimeren tot een reeks afbeeldingen, die opeenvolgend worden weergegeven en uitgezonden.

De output van volumetrische inhoud stelt kijkers in staat om alle perspectieven van het spel te zien, of om een ​​bepaalde speler te volgen of het spel te zien vanaf elke positie op het veld - inclusief de scheidsrechters.

In Tokio zal TrueView worden gebruikt voor basketbalspellen. Het is, zegt Exarchos, een van de sporten waar het echt uitstekend zou kunnen zijn, vanwege het driedimensionale karakter van de sport. "Het is ook een zeer snelle sport, die in veel verschillende richtingen beweegt en er is een aanzienlijke verticale beweging." OBS zal voor elke game vijf tot zeven volumetrische replay-clips produceren, die beschikbaar zullen worden gesteld aan regisseurs om te integreren in live-verslaggeving. "Ik ben er vrij zeker van dat sommige van deze clips viraal zullen gaan op sociale-mediaplatforms", voegt hij eraan toe.

Tokyo is de eerste stap waarin omroepen ontdekken hoe ze spannende content kunnen maken. Het kan iemand zijn die het speelveld 'wandelt', zich omdraait en naar de atleten om zich heen kijkt, suggereert Exarchos. Hij verwacht dit te zien ontwikkelen en kijkt uit naar wat er zal worden uitgezonden op de Olympische Spelen van 2024 in Parijs.

Een bijkomend voordeel is dat True View kosten bespaart en COXNUMX-voetafdruk bespaart doordat er geen cameraploeg naar de locatie hoeft te reizen.

'Covid, reisverboden en uitstel zijn uitdagingen die moeten worden aangegrepen om de omroep vooruit te helpen.'

Hoewel Exarchos tot geheimhouding is verplicht en geen details van de openingsceremonie kan onthullen, kan hij bevestigen dat deze zal worden uitgezonden met meerdere camera's voor een meeslepende virtual reality-ervaring.

VR is niet nieuw voor de Olympische Spelen; het werd gebruikt in 2016 in Rio en in 2018's Winterspelen in Zuid-Korea. Voor de openingsceremonie zijn er zes 180°-camerasystemen en één 360° VR-systeem. Ook zal er tijdens de ceremonie geëxperimenteerd worden met 5G-technologie om ervoor te zorgen dat content snel wordt ontvangen met hoge resoluties en wordt omgedraaid voor het wereldwijde publiek.

"Ik geloof dat 5G een grote gamechanger kan zijn voor uitzendingen", zegt Exarchos. “Het kan ons helpen veel van de technische beperkingen, apparatuur en regelgevende behoeften weg te werken, evenals vergunningen voor RF-transmissies... We moeten een manier vinden waarop we al deze interessante technologieën kunnen gebruiken op een manier die even effectief als we doen met de tools die we nu hebben.” VR heeft een enorme bandbreedte en de verminderde latentie van 5G zou synchronisatieproblemen rond live-evenementen kunnen oplossen. "5G biedt voldoende bandbreedte en verslaat ook in hoge mate de digitale problemen van latentie", vervolgt hij. Er zullen ook mogelijkheden zijn om vooruitgang te boeken met behulp van schermen van mobiele telefoons en de rekenmogelijkheden; "vandaar onze samenwerking met Intel", zegt Exarchos.

De VR-ervaring zal "aanzienlijk worden verbeterd" in vergelijking met die van PyeongChang, met een dekking van 47 live-evenementen en tussen 50 en 100 VR-hoogtepunten. "We hebben gemerkt dat mensen de neiging hebben om hoogtepunten op VR te ervaren", zegt Exarchos. "Voor Beijing is ons gemeenschappelijke doel, met Intel, om een ​​8K VR-product te produceren."

De Winterspelen van 2018 introduceerden Intel True VR, waarbij OBS 30 evenementen uitzond met live en video-on-demand VR-evenementen. Er zullen drie tot zes camerastandpunten zijn die elk evenement opnemen voor inhoud die compatibel is met de meeste commercieel verkrijgbare VR-headsets. Kijkers kunnen een meeslepende 'VR Cast' bekijken, gezien vanuit verschillende hoeken, evenals graphics en beeld-in-beeld-overlays. True VR kan ook worden gebruikt voor hoogtepunten na het evenement, en productieteams kunnen statistieken of beeld-in-beeld-inhoud over elkaar heen leggen.

De zoektocht naar statistieken door kijkers heeft er ook toe geleid dat Intel's 3D Athlete Tracking (3DAT) dit jaar bij de Spelen wordt gebruikt. Oorspronkelijk een coachingtool, gebruikt het AI om 20 skeletpunten op een atleet te identificeren. Bij het naspelen van de race geven deze punten aan waar druk of stress wordt uitgeoefend of om momenten van versnelling en vertraging te analyseren. In Tokio zal het na de races worden gebruikt voor kijkers om de race in detail te analyseren.

Intel's directeur van sportprestatietechnologie, Jonathan Lee, legt uit hoeveel gegevensverwerking daarbij komt kijken. “We zullen alle acht of negen sprinters volgen, dus dat zijn negen video's met 60 frames per seconde gedurende 10 tot 12 seconden. Het is niet alleen het detecteren van atleten, maar het volgen van skeletpunten... We gebruiken AI omdat de atleten naast elkaar staan, dus we kunnen bijvoorbeeld de arm van de sprinter in baan vijf niet zien, "zegt hij. . AI wordt gebruikt om te onderscheiden welke sprinter welke is op een bepaald moment.

Gegevens die van belang zijn voor een atleet en coach zijn misschien te gedetailleerd voor een kijker, maar het is waarschijnlijk dat statistieken zoals topsnelheid, wanneer een sprinter die topsnelheid bereikt en wanneer ze vertragen, worden getoond. Met 3DAT kunnen atleten en coaches een race beoordelen en zien dat ze hun topsnelheid bijvoorbeeld 20 of 30 meter behouden en dan beginnen te vertragen bij de 70 meter. "Om eerlijk te zijn, om al die informatie snel te kunnen verwerken, zie je kleurindicatoren, bijna als een warmtekaart", zegt Lee. Het klassieke beeld van de sprinters die naar de finish rennen, wordt verfraaid met kleuren die hun snelheid aangeven, van geel naar rood en donkerder naarmate ze sneller gaan, legt Lee uit. Dit is op zich een visuele weergave, maar postproductieteams kunnen overlappen wanneer een bepaalde sprinter zijn topsnelheid bereikt en welke snelheid dat is.

"We zullen samenwerken met omroepen om te begrijpen hoe ze dit soort inhoud gebruiken... misschien vinden coaches en atleten sommige dingen interessant, we kunnen merken dat fans ze ook aantrekkelijk vinden, en we zouden ze ook kunnen gaan weven, ’ stelt Leen voor. De technologie is ontworpen als aanvulling op de berichtgeving van omroepen met rechten. De 3DAT-clips met overlappende 'heatmaps' kunnen door commentatoren worden gebruikt om te onderzoeken wat er is gebeurd.

De grafische partner van Intel ontvangt de video van OBS, neemt de 3DAT-gegevens op en rendert de clips. AI-verwerking vindt plaats in de cloud op schaalbare Xeon-processors. Het is in minder dan 60 seconden omgedraaid.

"Om volumetrische replay te kunnen hebben, mogelijk ook met analyse, en om het als een vierde of vijfde replay na een race te kunnen gebruiken, is een groot probleem", zegt Exarchos. "Ik weet zeker dat het steeds sneller zal gaan... en hopelijk zullen we meer doen in Peking."