La pandémie de COVID-19 a révélé des données inquiétantes sur les inégalités en matière de santé. En 2020, l'Institut national de la santé (NIH) a publié un rapport déclarant que les Noirs américains sont morts du COVID-19 à des taux plus élevés que les Américains blancs, même s'ils représentent un pourcentage plus faible de la population. Selon le NIH, ces disparités étaient dues à un accès limité aux soins, à des insuffisances des politiques publiques et à un fardeau disproportionné de comorbidités, notamment les maladies cardiovasculaires, le diabète et les maladies pulmonaires.

La NIH a en outre déclaré qu'entre 47.5 millions et 51.6 millions d'Américains n'ont pas les moyens de consulter un médecin. Il est fort probable que des communautés historiquement mal desservies utilisent un transformateur génératif, en particulier celui intégré sans le savoir dans un moteur de recherche, pour demander un avis médical. Il n’est pas inconcevable que des individus accèdent à un moteur de recherche populaire doté d’un agent d’IA intégré et effectuent une requête : «Mon père n’a plus les moyens de payer les médicaments pour le cœur qui lui ont été prescrits. Qu'est-ce qui est disponible en vente libre et qui pourrait fonctionner à la place ? »

Selon des chercheurs de l'Université de Long Island, ChatGPT est inexact à 75 % de l'époque, et selon CNN, le chatbot donnait même parfois des conseils dangereux, comme approuver la combinaison de deux médicaments qui pourraient avoir des effets indésirables graves.

Étant donné que les transformateurs génératifs n’en comprennent pas la signification et auront des résultats erronés, les communautés historiquement mal desservies qui utilisent cette technologie à la place de l’aide professionnelle peuvent être touchées bien plus que d’autres.

Comment pouvons-nous investir de manière proactive dans l’IA pour obtenir des résultats plus équitables et plus fiables ?

Avec les nouveaux produits d’IA générative d’aujourd’hui, les questions de confiance, de sécurité et de réglementation restent les principales préoccupations des responsables gouvernementaux de la santé et des dirigeants de la suite C représentant des sociétés biopharmaceutiques, des systèmes de santé, des fabricants de dispositifs médicaux et d'autres organisations. L’utilisation de l’IA générative nécessite une gouvernance de l’IA, y compris des conversations sur des cas d’utilisation appropriés et des garde-fous autour de la sécurité et de la confiance (voir le plan américain d’AI pour une déclaration des droits de l’IA, l’EU AI ACT et le décret exécutif de la Maison Blanche sur l’IA).

Organiser l’IA de manière responsable est un défi sociotechnique qui nécessite une approche holistique. De nombreux éléments sont nécessaires pour gagner la confiance des gens, notamment s’assurer que votre modèle d’IA est précis, vérifiable, explicable, juste et protège la confidentialité des données des personnes. Et l’innovation institutionnelle peut jouer un rôle utile.

Innovation institutionnelle : une note historique

Le changement institutionnel est souvent précédé d’un événement cataclysmique. Considérez l’évolution de la Food and Drug Administration des États-Unis, dont le rôle principal est de garantir que les aliments, les médicaments et les cosmétiques sont sans danger pour l’usage public. Bien que les origines de cet organisme de réglementation remontent à 1848, la surveillance de la sécurité des médicaments n’était pas une préoccupation directe avant 1937, année de la création de cet organisme. Catastrophe de l'élixir sulfanilamide.

Créé par une société pharmaceutique respectée du Tennessee, l'Elixir Sulfanilamide était un médicament liquide censé guérir considérablement l'angine streptococcique. Comme c’était courant à l’époque, la toxicité du médicament n’a pas été testée avant sa mise sur le marché. Cela s’est avéré être une erreur mortelle, car l’élixir contenait du diéthylèneglycol, un produit chimique toxique utilisé dans l’antigel. Plus de 100 personnes sont mortes après avoir pris cet élixir toxique, ce qui a conduit à l’adoption par la FDA de la loi sur les aliments, les médicaments et les cosmétiques exigeant que les médicaments soient étiquetés avec des instructions adéquates pour une utilisation sûre. Cette étape majeure dans l’histoire de la FDA a permis de garantir que les médecins et leurs patients puissent avoir pleinement confiance dans la force, la qualité et la sécurité des médicaments – une assurance que nous tenons aujourd’hui pour acquise.

De même, l’innovation institutionnelle est nécessaire pour garantir des résultats équitables de l’IA.

5 étapes clés pour garantir que l'IA générative soutient les communautés qu'elle dessert

L'utilisation de l'IA générative dans le domaine de la santé et des sciences de la vie (HCLS) nécessite le même type d'innovation institutionnelle que celle exigée par la FDA lors de la Catastrophe de l'élixir sulfanilamide. Les recommandations suivantes peuvent contribuer à garantir que toutes les solutions d’IA obtiennent des résultats plus équitables et plus justes pour les populations vulnérables :

1. Opérationnaliser les principes de confiance et de transparence. L'équité, l'explicabilité et la transparence sont de grands mots, mais que signifient-ils en termes d'exigences fonctionnelles et non fonctionnelles pour vos modèles d'IA ? Vous pouvez dire au monde que vos modèles d’IA sont équitables, mais vous devez vous assurer que vous formez et auditez votre modèle d’IA pour servir les populations historiquement les plus mal desservies. Pour gagner la confiance des communautés qu’elle dessert, l’IA doit avoir des résultats éprouvés, reproductibles, expliqués et fiables qui fonctionnent mieux qu’un humain.
2. Nommez des personnes responsables des résultats équitables de l’utilisation de l’IA dans votre organisation. Donnez-leur ensuite le pouvoir et les ressources nécessaires pour accomplir le travail acharné. Vérifiez que ces experts du domaine disposent d'un mandat entièrement financé pour effectuer le travail, car sans responsabilité, il n'y a pas de confiance. Quelqu’un doit avoir le pouvoir, la mentalité et les ressources nécessaires pour effectuer le travail nécessaire à la gouvernance.
3. Donnez aux experts du domaine les moyens d’organiser et de maintenir des sources de données fiables utilisées pour entraîner les modèles. Ces sources de données fiables peuvent offrir une base de contenu pour les produits qui utilisent des modèles de langage étendus (LLM) pour fournir des variations de langage pour les réponses provenant directement d'une source fiable (comme une ontologie ou une recherche sémantique). 
4. Exigez que les résultats soient vérifiables et explicables. Par exemple, certaines organisations investissent dans l’IA générative qui offre des conseils médicaux aux patients ou aux médecins. Pour encourager le changement institutionnel et protéger toutes les populations, ces organisations HCLS devraient être soumises à des audits pour garantir la responsabilité et le contrôle de la qualité. Les résultats de ces modèles à haut risque devraient offrir une fiabilité test-retest. Les résultats doivent être précis à 100 % et détailler les sources de données ainsi que les preuves.
5. Exiger de la transparence. À mesure que les organisations HCLS intègrent l’IA générative dans les soins aux patients (par exemple, sous la forme d’une admission automatisée des patients lors de leur arrivée dans un hôpital américain ou en aidant un patient à comprendre ce qui se passerait au cours d’un essai clinique), elles devraient informer les patients qu’un modèle d’IA générative est utilisé. Les organisations doivent également proposer aux patients des métadonnées interprétables qui détaillent la responsabilité et l'exactitude de ce modèle, la source des données de formation pour ce modèle et les résultats d'audit de ce modèle. Les métadonnées doivent également montrer comment un utilisateur peut refuser d'utiliser ce modèle (et obtenir le même service ailleurs). Alors que les organisations utilisent et réutilisent du texte généré synthétiquement dans un environnement de soins de santé, les personnes doivent être informées des données qui ont été générées synthétiquement et de celles qui ne l'ont pas été.

Nous pensons que nous pouvons et devons apprendre de la FDA pour innover institutionnellement dans notre approche de la transformation de nos opérations grâce à l’IA. Le cheminement pour gagner la confiance des gens commence par des changements systémiques qui garantissent que l’IA reflète mieux les communautés qu’elle sert.   

Apprenez à intégrer une gouvernance responsable de l’IA dans le tissu de votre entreprise