Zephyrnet-logo

Een AI heeft video's opnieuw gemaakt die mensen hebben bekeken op basis van hun hersenactiviteit

Datum:

Het vermogental van machines aan lees onze gedachten gaat de laatste jaren gestaag vooruit. Nu hebben onderzoekers AI-technologie voor het genereren van video's gebruikt om ons een kijkje te geven in het oog van de geest.

De belangrijkste drijfveer achter pogingen om hersensignalen te interpreteren, is de hoop dat we op een dag nieuwe communicatiemogelijkheden kunnen bieden aan mensen in coma of met verschillende vormen van verlamming. Maar er is ook hoop dat de technologie meer intuïtieve interfaces tussen mensen en machines zou kunnen creëren die ook toepassingen voor gezonde mensen zouden kunnen hebben.

Tot nu toe heeft het meeste onderzoek zich gericht op pogingen om de interne monoloog na te bootsens van patiënten, met behulp van AI-systemen uitkiezen aan welke woorden ze denken. De meest veelbelovende resultaten zijn ook afkomstig van invasieve hersenimplantaten die voor de meeste mensen waarschijnlijk geen praktische aanpak zullen zijn.

Maar nu hebben onderzoekers van de National University of Singapore en de Chinese University of Hong Kong aangetoond dat ze niet-invasieve hersenscans en AI-technologie voor het genereren van beelden kunnen combineren om korte videofragmenten te maken die griezelig veel lijken op clips die de proefpersonen aan het bekijken waren toen hun hersengegevens werden verzameld.

Het werk is een uitbreiding van het onderzoek van dezelfde auteurs verscheen eind vorig jaar, waar ze lieten zien dat ze stilstaande beelden konden genereren die ongeveer overeenkwamen met de foto's die de proefpersonen hadden getoond. Dit werd bereikt door eerst één model te trainen op grote hoeveelheden gegevens die werden verzameld met behulp van fMRI-hersenscanners. Dit model werd vervolgens gecombineerd met de open-source beeldgeneratie AI Stable Diffusion om de afbeeldingen te maken.

In een nieuw artikel gepubliceerd op de preprint-server arXiv, de auteurs nemen een vergelijkbare aanpak, maar passen deze aan zodat het systeem stromen van hersengegevens kan interpreteren en deze kan omzetten in video's in plaats van stilstaande beelden. Eerst trainden ze één model op grote hoeveelheden fMRI, zodat het de algemene kenmerken van deze hersenscans kon leren. Dit werd vervolgens uitgebreid zodat het een opeenvolging van fMRI-scans kon verwerken in plaats van individuele, en vervolgens opnieuw getraind op combinaties van fMRI-scans, de videofragmenten die die hersenactiviteit opwekten en tekstbeschrijvingen.

Afzonderlijk pasten de onderzoekers het vooraf getrainde Stable Diffusion-model aan om video te produceren in plaats van stilstaande beelden. Het werd vervolgens opnieuw getraind op dezelfde video's en tekstbeschrijvingen waarop het eerste model was getraind. Ten slotte werden de twee modellen gecombineerd en samen verfijnd op fMRI-scans en de bijbehorende video's.

Het resulterende systeem was in staat nieuwe fMRI-scans te maken die het nog niet eerder had gezien en video's te genereren die in grote lijnen leken op de clips van menselijke proefpersonen.d was op dat moment aan het kijken. Hoewel verre van een perfecte match, kwam de output van de AI over het algemeen vrij dicht in de buurt van de originele video, waarbij scènes van menigten of kuddes paarden nauwkeurig werden nagebootst en vaak overeenkwam met het kleurenpalet.

Om hun systeem te evalueren, gebruikten de onderzoekers een videoclassificator die was ontworpen om te beoordelen hoe goed het model de semantiek van de scène had begrepen - bijvoorbeeld of het zich had gerealiseerd dat de video vissen was die in een aquarium zwommen of een gezin dat over een pad liep - zelfs als de beelden iets anders waren. Hun model scoorde 85 procent, wat een verbetering van 45 procent is ten opzichte van de state-of-the-art.

Hoewel de video's die de AI genereert nog steeds glitchy zijn, zeggen de auteurs dat deze onderzoekslijn uiteindelijk toepassingen zou kunnen hebben in zowel de fundamentele neurowetenschappen als ook in de toekomst. hersen-machine-interfaces. Ze erkennen echter ook mogelijke nadelen van de technologie. "Overheidsvoorschriften en inspanningen van onderzoeksgemeenschappen zijn vereist om de privacy van iemands biologische gegevens te waarborgen en elk kwaadwillig gebruik van deze technologie te voorkomen", schrijven ze.

Dat is waarschijnlijk een knipoog naar de bezorgdheid dat de combinatie van AI-hersenscantechnologie het voor mensen mogelijk zou kunnen maken om opdringerige gedachten van anderen vast te leggen zonder hun toestemming. Aangsten waren ook eerder dit jaar geuit toen onderzoekers een vergelijkbare aanpak gebruikten om in wezen een ruwe te creëren transcriptie van de stem in de hoofden van mensen, hoewel experts erop hebben gewezen dat dit zou zijn onpraktisch, zo niet onmogelijk voor de nabije toekomst.

Maar of je het nu ziet als een griezelige inbreuk op je privacy of een opwindende nieuwe manier om met technologie om te gaan, het lijkt erop dat machine-geestlezers dichter bij de realiteit komen.

Krediet van het beeld: Claudia Dewald oppompen van Pixabay

spot_img

Laatste intelligentie

spot_img