De COVID-19-pandemie heeft verontrustende gegevens over ongelijkheid op gezondheidsgebied aan het licht gebracht. In 2020 publiceerde het National Institute for Health (NIH) een verslag waarin wordt gesteld dat zwarte Amerikanen in hogere aantallen aan COVID-19 stierven dan blanke Amerikanen, ook al vormen ze een kleiner percentage van de bevolking. Volgens de NIH waren deze verschillen te wijten aan de beperkte toegang tot zorg, tekortkomingen in het overheidsbeleid en een onevenredige last van comorbiditeiten, waaronder hart- en vaatziekten, diabetes en longziekten.

De NIH verklaarde verder dat tussen de 47.5 miljoen en 51.6 miljoen Amerikanen het zich niet kunnen veroorloven om naar een dokter te gaan. Er is een grote kans dat historisch achtergestelde gemeenschappen een generatieve transformator zullen gebruiken, vooral een die onbewust in een zoekmachine is ingebed, om medisch advies te vragen. Het is niet ondenkbaar dat individuen naar een populaire zoekmachine gaan met een ingebedde AI-agent en -query: “Mijn vader kan de hem voorgeschreven hartmedicatie niet meer betalen. Wat is er zonder recept verkrijgbaar dat in plaats daarvan zou kunnen werken?"

Volgens onderzoekers van de Long Island Universiteit ChatGPT is onnauwkeurig 75% van die tijd, en volgens CNN gaf de chatbot soms zelfs gevaarlijk advies, zoals het goedkeuren van de combinatie van twee medicijnen die ernstige bijwerkingen konden hebben.

Gegeven het feit dat generatieve transformatoren de betekenis niet begrijpen en onjuiste resultaten zullen opleveren, kunnen historisch achtergestelde gemeenschappen die deze technologie gebruiken in plaats van professionele hulp, in veel grotere mate worden geschaad dan andere.

Hoe kunnen we proactief investeren in AI voor eerlijkere en betrouwbaardere resultaten?

Met de nieuwe generatieve AI-producten van vandaag, vertrouwens-, veiligheids- en regelgevingskwesties blijven topzorgen voor overheidsfunctionarissen in de gezondheidszorg en C-suite leiders die biofarmaceutische bedrijven, gezondheidszorgsystemen, fabrikanten van medische apparatuur en andere organisaties vertegenwoordigen. Het gebruik van generatieve AI vereist AI-governance, inclusief gesprekken over passende gebruiksscenario's en vangrails rond veiligheid en vertrouwen (zie AI US Blueprint voor een AI Bill of Rights, de EU AI ACT en de AI Executive Order van het Witte Huis).

Het verantwoord beheren van AI is een sociotechnische uitdaging die een holistische aanpak vereist. Er zijn veel elementen nodig om het vertrouwen van mensen te winnen, waaronder ervoor zorgen dat uw AI-model accuraat, controleerbaar, verklaarbaar en eerlijk is en de gegevensprivacy van mensen beschermt. En institutionele innovatie kan daarbij een rol spelen.

Institutionele innovatie: een historische noot

Institutionele veranderingen worden vaak voorafgegaan door een rampzalige gebeurtenis. Denk eens aan de evolutie van de Amerikaanse Food and Drug Administration, wiens voornaamste rol het is ervoor te zorgen dat voedsel, medicijnen en cosmetica veilig zijn voor openbaar gebruik. Hoewel de wortels van deze toezichthoudende instantie teruggaan tot 1848, was het toezicht op de veiligheid van geneesmiddelen pas in 1937 een direct aandachtspunt – het jaar van de Elixer Sulfanilamide-ramp.

Elixir Sulfanilamide, gemaakt door een gerespecteerd farmaceutisch bedrijf uit Tennessee, was een vloeibaar medicijn dat werd aangeprezen om keelontsteking dramatisch te genezen. Zoals gebruikelijk in die tijd, werd het medicijn niet getest op toxiciteit voordat het op de markt kwam. Dit bleek een dodelijke vergissing te zijn, aangezien het elixer diethyleenglycol bevatte, een giftige chemische stof die in antivries wordt gebruikt. Meer dan 100 mensen stierven door het innemen van het giftige elixer, wat ertoe leidde dat de Food, Drug and Cosmetic Act van de FDA voorschreef dat medicijnen moesten worden geëtiketteerd met adequate aanwijzingen voor veilig gebruik. Deze belangrijke mijlpaal in de geschiedenis van de FDA zorgde ervoor dat artsen en hun patiënten volledig konden vertrouwen op de kracht, kwaliteit en veiligheid van medicijnen – een zekerheid die we vandaag de dag als vanzelfsprekend beschouwen.

Op dezelfde manier is institutionele innovatie nodig om eerlijke resultaten uit AI te garanderen.

5 belangrijke stappen om ervoor te zorgen dat generatieve AI de gemeenschappen ondersteunt die het bedient

Het gebruik van generatieve AI op het gebied van de gezondheidszorg en de levenswetenschappen (HCLS) vereist hetzelfde soort institutionele innovatie als de FDA tijdens de Elixer Sulfanilamide-ramp. De volgende aanbevelingen kunnen ervoor zorgen dat alle AI-oplossingen eerlijkere en rechtvaardigere resultaten opleveren voor kwetsbare bevolkingsgroepen:

1. Operationaliseer principes voor vertrouwen en transparantie. Eerlijkheid, uitlegbaarheid en transparantie zijn grote woorden, maar wat betekenen ze in termen van functionele en niet-functionele eisen aan uw AI-modellen? U kunt tegen de wereld zeggen dat uw AI-modellen eerlijk zijn, maar u moet ervoor zorgen dat u uw AI-model traint en controleert om de bevolkingsgroepen die historisch gezien het meest onderbediend zijn, te bedienen. Om het vertrouwen te winnen van de gemeenschappen die het bedient, moet AI bewezen, herhaalbare, uitgelegde en vertrouwde resultaten hebben die beter presteren dan een mens.
2. Wijs personen aan die verantwoordelijk zijn voor eerlijke resultaten van het gebruik van AI in uw organisatie. Geef ze vervolgens de macht en de middelen om het harde werk uit te voeren. Controleer of deze domeinexperts een volledig gefinancierd mandaat hebben om het werk te doen, want zonder verantwoording is er geen vertrouwen. Iemand moet de macht, de mentaliteit en de middelen hebben om het werk te doen dat nodig is voor bestuur.
3. Bied domeinexperts de mogelijkheid om betrouwbare gegevensbronnen te beheren en te onderhouden die worden gebruikt om modellen te trainen. Deze vertrouwde gegevensbronnen kunnen inhoudsbasis bieden voor producten die gebruik maken van grote taalmodellen (LLM's) om taalvariaties te bieden voor antwoorden die rechtstreeks afkomstig zijn van een vertrouwde bron (zoals een ontologie of semantische zoekopdracht). 
4. Mandaat dat de resultaten controleerbaar en verklaarbaar moeten zijn. Sommige organisaties investeren bijvoorbeeld in generatieve AI die medisch advies biedt aan patiënten of artsen. Om institutionele veranderingen aan te moedigen en alle bevolkingsgroepen te beschermen, moeten deze HCLS-organisaties worden onderworpen aan audits om verantwoording en kwaliteitscontrole te garanderen. De resultaten van deze modellen met een hoog risico moeten test-hertestbetrouwbaarheid bieden. De output moet 100% nauwkeurig zijn en de gegevensbronnen gedetailleerd zijn, samen met bewijsmateriaal.
5. Vereist transparantie. Naarmate HCLS-organisaties generatieve AI integreren in de patiëntenzorg (bijvoorbeeld in de vorm van geautomatiseerde patiëntenintake bij het inchecken in een Amerikaans ziekenhuis of door een patiënt te helpen begrijpen wat er zou gebeuren tijdens een klinische proef), moeten ze patiënten informeren dat een generatief AI-model nodig is. in gebruik. Organisaties moeten patiënten ook interpreteerbare metadata aanbieden waarin de verantwoordelijkheid en nauwkeurigheid van dat model, de bron van de trainingsgegevens voor dat model en de auditresultaten van dat model worden beschreven. De metadata moeten ook laten zien hoe een gebruiker zich kan afmelden voor het gebruik van dat model (en elders dezelfde service kan krijgen). Omdat organisaties synthetisch gegenereerde tekst gebruiken en hergebruiken in een gezondheidszorgomgeving, moeten mensen geïnformeerd worden over welke gegevens synthetisch gegenereerd zijn en welke niet.

Wij zijn van mening dat we van de FDA kunnen en moeten leren om onze aanpak voor het transformeren van onze activiteiten met AI institutioneel te innoveren. De reis naar het winnen van het vertrouwen van mensen begint met het doorvoeren van systemische veranderingen die ervoor zorgen dat AI een betere afspiegeling is van de gemeenschappen die het bedient.   

Ontdek hoe u verantwoord AI-beheer kunt verweven in de structuur van uw bedrijf