Zephyrnet-logo

Over die “AI kan autisme diagnosticeren!” Claims

Datum:

Is het waar dat AI autisme kan diagnosticeren?

Kort antwoord: Nee.

Iets langer en waarschijnlijk nauwkeuriger antwoord: nog niet.

Er is de laatste tijd wat ophef geweest over artikelen met koppen als "AI kan autisme bij kinderen diagnosticeren aan de hand van oogfoto's met '100% nauwkeurigheid'" en... nou ja, nee, dat kan niet. Ik ga uitleggen waarom ik vind dat het onderzoek nooit de peer review had mogen doorstaan. Het onderzoek is gebrekkig en de berichtgeving is onverantwoord. Er bestaat potentieel voor AI uiteindelijk leren autisme te diagnosticeren, maar dat is niet wat er in dit onderzoek gebeurt.

Wat probeerde de studie te doen?

De De studie probeerde een AI Deep Ensemble Model te leren hoe autisme te diagnosticeren via retinale scans—beelden van de binnenkant van het oog. De onderzoekers lieten het AI-model kijken naar scans van 479 autistische kinderen en adolescenten en 479 zich normaal ontwikkelende kinderen die gematcht waren op zaken als leeftijd, geslacht en sociaal-economische achtergrond.

Een Deep Ensemble-model betekent dat ze veel individuele AI hadden die naar hetzelfde keken. Je kunt het zien als een technische versie van de oude gelijkenis over blinde mannen die een olifant aanraken. In het verhaal houdt een man de staart vast en zegt dat een olifant als een touw is. Een ander raakt het been aan en zegt dat een olifant op een boom lijkt. Weer een ander raakt de stam aan en zegt dat het op een slang lijkt, terwijl een ander een slagtand aanraakt en zegt dat het op een speer lijkt. Ze hebben allemaal gelijk, maar elk heeft slechts een deel van het antwoord.

Het Deep Ensemble doet iets soortgelijks, waarbij elke AI de scans van het netvlies vanuit een ander perspectief bekijkt, waarna alle AI met elkaar 'praat' over wat ze hebben gezien, elkaar corrigeert en zich verdiept in het begrijpen van de 'volledige olifant'. van de beelden die ze analyseren. Deep Ensemble moet een nauwkeuriger resultaat opleveren, omdat de computers elkaars werk onderweg controleren.

Het resultaat van hun onderzoek was...nou ja, naar mijn mening te mooi om waar te zijn. Het AI-model identificeerde correct 100% van de proefpersonen bij wie de diagnose autistisch was gesteld en 100% van de proefpersonen bij wie was vastgesteld dat zij zich normaal ontwikkelden. Maar ik ga je uitleggen waarom ik geloof dat de AI niet leerde hoe autisme te identificeren, maar eerder hoe de vooroordelen van het medische systeem dat deze 958 proefpersonen wel of niet had gediagnosticeerd, kon worden nagebootst.

Was hun doelstelling plausibel?

Maar allereerst wil ik zeggen dat ik niet denk dat de onderzoekers het spoor bijster waren. Ik geloof echt dat retinale scans uiteindelijk kunnen worden gebruikt om autisme te identificeren. Het is nu al mogelijk voor artsen en onderzoekers zie de ziekte van Alzheimer en Parkinson op netvliesscans. 

Het netvlies is de ‘achterwand’ van de binnenkant van het oog. Je hebt er waarschijnlijk op school over geleerd met een metafoor alsof het het filmscherm is waarop het oog het licht projecteert dat we zien. In het midden van het netvlies bevindt zich een plek die de optische schijf wordt genoemd, maar u kent deze waarschijnlijk onder de meer gebruikelijke naam 'blinde vlek', als u zich daar al van bewust bent. Onze hersenen verbergen die blinde vlek in een typisch oog door het gevoel te creëren dat we de dingen zien die we daar zojuist hebben gezien. Onze ogen bewegen rond en de blinde vlek beweegt rond. Onze hersenen overtuigen ons ervan dat we alles zien en verdoezelen onze perceptie van de blinde vlek in ons gezichtsveld.

Die blinde vlek op de optische schijf is de plaats waar zenuwen ons oog verlaten en verbinding maken met onze hersenen om signalen van het netvlies naar de visuele cortex aan de achterkant van ons hoofd te sturen. En de zenuwen waaruit de optische schijf bestaat, zijn ouder dan onze hersenen! De optische schijf ontwikkelt zich in de eerste maanden van ons leven vanuit de neurale buis in de baarmoeder. Het is een van de oudste zenuwstructuren in ons lichaam en kan dingen laten zien over de fundamenten van onze hersenen.

Omdat autisme structurele en functionele verschillen in de hersenen omvat in vergelijking met de meeste hersenen, is het theoretisch mogelijk dat sommige van deze verschillen kunnen worden waargenomen op een netvliesscan. En ikAls onderzoekers erachter kunnen komen hoe ze autisme kunnen identificeren via een netvliesscan, zou dat een goede zaak kunnen zijn voor autistische mensen en onze families. Het zou de diagnose sneller, nauwkeuriger en veel toegankelijker kunnen maken, vooral voor gemarginaliseerde mensen. Ook al geloof ik dat deze specifieke studie alleen nuttig is als voorbeeld van wat niet Ik wil dat onderzoekers het blijven proberen, omdat ze zoeken naar manieren waarop AI een zeer nuttige assistent kan worden in het diagnostische proces.

Waarom noem ik het een mislukt onderzoek?

Op het moment dat ik die krantenkoppen zag die 100% succes uitschreeuwden, begon ik het onderzoek nader te bekijken. Waarom was ik zo achterdochtig? 

De onderwerpen voor het onderzoek werden geïdentificeerd door artsen, onderzoekers en verzorgers die het waargenomen gedrag van kinderen en adolescenten bestudeerden. Het AI deep-ensemble keek naar biologisch bewijs. De correlatie tussen waargenomen gedrag en biologische structuren zou moeten zijn niet zijn perfect geweest.

Waarom? Omdat menselijke artsen vooroordelen hebben en sommige mensen niet diagnosticeren. Ik ben bereid te geloven dat de AI de autistische proefpersonen met 100% nauwkeurigheid had kunnen identificeren, omdat de onderzoekers hun autistische proefpersonen als kers op de taart hebben uitgekozen en alleen degenen hebben gebruikt die hoog scoorden op diagnostische hulpmiddelen die waren ontworpen om de ‘ernst’ van autisme te beoordelen. (Ik zet ‘ernstig’ tussen aanhalingstekens omdat ik een hekel heb aan de door niet-autisten geleide campagne om te praten over ‘streng"Of"diepgaand autisme' en ook omdat ik niet geloof dat de effecten van autisme op iemands leven zo duidelijk zijn als een valse binaire waarde van 'ernstig versus niet'. Bovendien werd de ervaring van de proefpersonen met hun eigen leven nooit onderzocht; de hele diagnostische beoordeling werd gedaan door professionals en verzorgers, zonder inbreng van de autistische kinderen en adolescenten zelf.)

Voor een voorbeeld van hoe slecht opgeleide professionals zich kunnen vergissen, neem eens Dr. Tony Attwood, een wereldwijd erkende professional op het gebied van het diagnosticeren en bestuderen van autisme. Zijn eigen zoon is autistisch, maar dr. Attwood besefte dit pas toen zijn dochter, die in het speciaal onderwijs werkt, haar vader, dr. Attwood, benaderde om te zeggen dat ze dacht dat haar broer waarschijnlijk in het spectrum zat. 

Will Attwood was dertig jaar oud voordat zijn beroemde vader, een diagnosticus, zich realiseerde dat de levenslange worsteling van zijn zoon met middelenmisbruik en gevangenisstraf een bedreiging vormde. het resultaat van het leven met niet-herkend autisme. Will Attwood heeft sindsdien gepubliceerd een boek over zijn ervaringen met laat gediagnosticeerd autisme en de gevangenis, in de hoop andere autistische volwassenen te helpen die achter de tralies zitten. Het verhaal van Will Attwood lijkt misschien extreem, maar in deze fase van ons collectieve begrip van autisme is het heel gebruikelijk dat autistische mensen door de diagnostische kieren glippen. 

Als het AI Deep Ensemble Model daadwerkelijk getraind zou zijn om autisme te herkennen, zou het ten minste één autistische persoon moeten hebben ontdekt die verborgen was in dat cohort van 479 kinderen en adolescenten waarvan werd aangenomen dat ze zich normaal ontwikkelden. Maar in plaats daarvan was het het eens met het gebrek aan diagnose voor 100% van deze proefpersonen.

Waarom? Omdat de gegevens gebrekkig waren. Dit is een rechtstreeks citaat uit het onderzoek: 

“Bij het verkrijgen van netvliesfoto’s van patiënten met ASS begeleidden zorgverleners hen om comfort en stabiliteit te garanderen. De fotografiesessies voor patiënten met ASS vonden plaats in een ruimte die speciaal voor hen bedoeld was, verschillend van een algemene oogheelkundige onderzoekskamer. Deze ruimte is ontworpen om warm en uitnodigend te zijn, waardoor een vertrouwde omgeving voor patiënten ontstaat. Retinale foto’s van individuen die zich normaal ontwikkelen (TD) werden verkregen in een algemene oogheelkundige onderzoekskamer.”

Een mens die de foto's bekijkt, merkt misschien niet dat ze in verschillende kamers zijn gemaakt. Of ze zien misschien dat de beelden uit verschillende kamers komen, maar besteden geen aandacht aan die informatie en concentreren zich in plaats daarvan op de daadwerkelijke beelden op het netvlies.

Maar AI merkt alles op. Het feit dat alle beelden van autistische ogen in een andere kamer zijn genomen dan de beelden van proefpersonen bij wie niet de diagnose autistisch was gesteld, betekent dat dit onderzoek nutteloos is en nooit door de peer review had mogen komen. Dit is een mislukt onderzoek omdat de gegevens gebrekkig zijn.

Ik weet niet hoe de AI het ruimteverschil herkende, maar het is mij duidelijk dat dit wel het geval was, omdat de resultaten “te perfect” zijn en de AI eenvoudigweg leert de vooroordelen van de onderzoekers te repliceren. Het is alsof een van de AI-leden van het Deep Ensemble buiten het olifantenverblijf ging en een brailleboek over olifanten vond en overtuigend genoeg was voor de andere AI-modellen om ze allemaal hun observaties rond dat kamerverschil te laten vormgeven.

Zijn externe signalen een bekend probleem bij AI?

Ja absoluut. Het is in AI-onderzoek bekend dat studies rekening moeten houden met dit soort externe signalen, omdat ze de resultaten van een onderzoek kunnen verwarren. 

Een voorbeeld van externe signalen komt van a dermatologie en AI-onderzoek uitgevoerd door Dr. Roberto Novoa van Stanford University. Dr. Novoa's vroege pogingen om AI te trainen om kanker te herkennen hadden vergelijkbare resultaten als de huidige retinale scan naar autismeonderzoek: de AI leek net zo nauwkeurig als artsen…. totdat Novoa merkte dat ze de AI alleen maar aan het trainen waren om heersers te herkennen! Als een dermatoloog denkt dat een laesie mogelijk een kankergezwel is, fotograferen ze het met een liniaal – een eenvoudige houten liniaal zoals je waarschijnlijk op de basisschool gebruikte – om de grootte aan te geven. De AI leerde heersers gelijk te stellen aan kanker, dus moest het onderzoek opnieuw worden ontworpen.

Je zou kunnen denken dat het maken van retinale beelden in een andere kamer te subtiel is voor AI om op te merken, maar het hele punt van het gebruik van een AI Deep Ensemble-model is om signalen op te pikken die zo subtiel zijn dat een menselijke waarnemer het misschien niet opmerkt. Dit retinale scanonderzoek moet opnieuw worden gedaan allen onderwerpen die in de kamer worden gefotografeerd en die speciaal zijn voorbereid om autistische personen te helpen kalm te blijven. Zolang de foto's uit verschillende kamers komen (en waarschijnlijk uit verschillende apparatuur) is dit onderzoek nog niet klaar voor peer review of publicatie.

Dus daar is de lange versie van mijn korte antwoord: Nee, dat is de AI niet autisme herkennen.... nog. 

En elke verslaggever die die 100% statistiek verkondigt en een grote doorbraak in de diagnose van autisme verkondigt, heeft zojuist laten zien dat hij onbetrouwbare wetenschapsverslaggevers is, meer geïnteresseerd in sensationele krantenkoppen dan in zorgvuldige, repliceerbare wetenschap.

De hand en witte mouw van een dokter met een bruine huid, die met een vergrootglas in de ogen van een robotkind kijkt. In kubistische stijl. Gegenereerd door DALL-E.
Gegenereerd door DALL-E.
spot_img

Laatste intelligentie

spot_img