Iförd en elektroddubbad keps med trådar läser en ung man tyst en mening i hans huvud. En stund senare bryter en Siri-liknande röst in, försöker översätta sina tankar till text, "Ja, jag skulle vilja ha en skål med kycklingsoppa, tack." Det är det senaste exemplet på datorer som översätter en persons tankar till ord och meningar.

Tidigare har forskare använt implantat kirurgiskt placerade i hjärnan eller skrymmande, dyra maskiner för att översätta hjärnaktivitet till text. De ny metod, som presenterades på veckans NeurIPS-konferens av forskare från University of Technology Sydney, är imponerande för sin användning av en icke-invasiv EEG-mössa och potentialen att generalisera bortom en eller två personer.

Teamet byggde en AI-modell som heter DeWave som är tränad på hjärnaktivitet och språk och kopplade den till en stor språkmodell – tekniken bakom ChatGPT – för att hjälpa till att omvandla hjärnaktivitet till ord. I en förtryck publicerat på arXiv, slog modellen tidigare toppbetyg för EEG-tänkt-till-text-översättning med en noggrannhet på ungefär 40 procent. Chin-Teng Lin, motsvarande författare på tidningen, berättade för MSN de har nyligen höjt noggrannheten till 60 procent. Resultaten håller fortfarande på att granskas.

Även om det finns en lång väg att gå när det gäller tillförlitlighet, visar det framsteg i icke-invasiva metoder för att läsa och översätta tankar till språk. Teamet tror att deras arbete kan ge röst åt dem som inte längre kan kommunicera på grund av skada eller sjukdom eller användas för att styra maskiner, som gående robotar eller robotarmar, enbart med tankar.

Gissa vad jag tänker

Du kanske kommer ihåg rubriker om "tankeläsande" maskiner som i hög hastighet översätter tankar till text. Det beror på att sådana ansträngningar knappast är nya.

Tidigare i år, Stanford forskare beskrivit arbete med en patient, Pat Bennett, som hade förlorat förmågan att tala på grund av ALS. Efter att ha implanterat fyra sensorer i två delar av hennes hjärna och omfattande träning kunde Bennett kommunicera genom att ha sina tankar konverteras till text med en hastighet av 62 ord per minut—en förbättring av samma lags rekord 2021 på 18 ord per minut.

Det är ett fantastiskt resultat, men hjärnimplantat kan vara riskabelt. Forskare skulle älska att få ett liknande resultat utan operation.

In ytterligare en studie i år, forskare vid University of Texas i Austin vände sig till en hjärnavsökningsteknik som kallas fMRI. I studien var patienterna tvungna att ligga väldigt stilla i en maskin och registrera blodflödet i deras hjärnor när de lyssnade på berättelser. Efter att ha använt dessa data för att träna en algoritm – delvis baserad på ChatGPT-förfader, GPT-1 – använde teamet systemet för att gissa vad deltagarna hörde baserat på deras hjärnaktivitet.

Systemets noggrannhet var inte perfekt, det krävde stor anpassning för varje deltagare, och fMRI-maskiner är skrymmande och dyra. Ändå fungerade studien som ett bevis på att tankar kan avkodas icke-invasivt, och det senaste inom AI kan hjälpa till att få det att hända.

Sorteringshatten

In Harry Potter, elever sorteras in i skolhus med en magisk hatt som läser tankar. Vi mugglare tar till roliga badmössor som punkteras av kablar och elektroder. Kända som elektroencefalograf (EEG) caps, dessa enheter läser och registrerar den elektriska aktiviteten i våra hjärnor. Till skillnad från hjärnimplantat kräver de ingen operation men är betydligt mindre exakta. Utmaningen är alltså att separera signal från brus för att få ett användbart resultat.

I den nya studien använde teamet två datauppsättningar som innehöll eye-tracking och EEG-inspelningar från 12 respektive 18 personer när de läste text. Eye-tracking-data hjälpte systemet att skära upp hjärnaktivitet för ord. Det vill säga, när en persons ögon pendlar från ett ord till nästa, betyder det att det bör finnas en paus mellan hjärnaktiviteten som är förknippad med det ordet och den aktivitet som borde vara korrelerad med nästa.

De tränade sedan DeWave på dessa data, och med tiden lärde sig algoritmen att associera speciella hjärnvågsmönster med ord. Slutligen, med hjälp av en förtränad storspråksmodell som heter BART – finjusterad för att förstå modellens unika utdata – översattes algoritmens hjärnvåg-till-ord-associationer tillbaka till meningar.

I tester överträffade DeWave de bästa algoritmerna i kategorin i både översättningen av råa hjärnvågor och hjärnvågor uppdelade efter ord. De senare var mer exakta, men släpade fortfarande efter översättning mellan språk – som engelska och franska – och taligenkänning. De fann också att algoritmen fungerade på liknande sätt bland deltagarna. Tidigare experiment har tenderat att rapportera resultat för en person eller kräva extrem anpassning.

Teamet säger att forskningen är mer bevis på att stora språkmodeller kan hjälpa till att utveckla hjärn-till-text-system. Även om de använde en relativt antik algoritm i den officiella studien, inkluderade de i kompletterande material resultat från större modeller, inklusive Metas ursprungliga Llama-algoritm. Intressant nog förbättrade de större algoritmerna inte resultaten mycket.

"Detta understryker problemets komplexitet och utmaningarna med att överbrygga hjärnaktiviteter med LLM", skrev författarna och efterlyste mer nyanserad forskning i framtiden. Ändå hoppas teamet att de kan driva sitt eget system ytterligare, kanske upp till 90 procents noggrannhet.

Arbetet visar på framsteg på området.

"Människor har velat förvandla EEG till text under lång tid och lagets modell visar en anmärkningsvärd mängd korrekthet," berättade Craig Jin vid University of Sydney. MSN. "För flera år sedan var omvandlingarna från EEG till text fullständiga och totalt nonsens."

Image Credit: University of Technology Sydney

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://singularityhub.com/2023/12/12/this-mind-reading-cap-can-translate-thoughts-to-text-thanks-to-ai/