Par John P. Desmond, rédacteur en chef des tendances de l'IA  

Un nouveau rapport sur l'IA responsable de Fair Isaac Corp. (FICO), la société qui vous apporte des notations de crédit, constate que la plupart des entreprises déploient l'IA à un risque important. 

Le rapport, L'état de l'IA responsable : 2021, évalue dans quelle mesure les entreprises adoptent une IA responsable, en s'assurant qu'elles utilisent l'IA de manière éthique, transparente, sécurisée et dans le meilleur intérêt de leurs clients.  

« La réponse courte : pas génial », déclare Scott Zoldi, directeur de l'analyse chez FICO, dans un compte rendu récent sur le blog de Fair Isaac. En collaboration avec la société d'intelligence de marché Corinium pour la deuxième édition du rapport, les analystes ont interrogé 100 leaders axés sur l'IA dans les secteurs des services financiers, des assurances, de la vente au détail, de la santé et de la pharmacie, de la fabrication, des services publics et des services publics en février et mars 2021.  

Parmi les points forts: 

• 65% des entreprises interrogées ne peuvent pas expliquer comment les décisions ou les prédictions spécifiques des modèles d'IA sont prises ; 
• 73 % ont eu du mal à obtenir le soutien de la direction pour donner la priorité à l'éthique de l'IA et aux pratiques d'IA responsables ; et  
• Seulement 20% surveillent activement leurs modèles en production pour l'équité et l'éthique. 

Avec des revenus mondiaux pour le marché de l'IA, y compris les logiciels, le matériel et les services, qui devraient augmenter de 16.4% en 2021 pour atteindre 327.5 milliards de dollars, selon les prévisions des chercheurs d'IDC, la dépendance à l'égard de la technologie de l'IA augmente. Parallèlement à cela, les auteurs du rapport citent « un besoin urgent » d'élever l'importance de la gouvernance de l'IA et de l'IA responsable au niveau des conseils d'administration.  

Définir l'IA responsable 

Zoldi, qui détient plus de 100 brevets d'auteur dans des domaines tels que l'analyse de la fraude, la cybersécurité, les recouvrements et le risque de crédit, étudie les comportements imprévisibles. Il définit IA responsable ici et a donné de nombreuses conférences sur le sujet à travers le monde.  

"OLes entreprises tirent de plus en plus parti de l'IA pour automatiser des processus clés qui, dans certains cas, prennent des décisions qui changent la vie de leurs clients », a-t-il déclaré. "Ne pas comprendre comment ces décisions sont prises, et si elles sont éthiques et sûres, crée d'énormes vulnérabilités juridiques et des risques commerciaux." 

L'étude FICO a révélé que les dirigeants n'avaient pas de consensus sur les responsabilités d'une entreprise en matière d'IA. Près de la moitié (45%) ont déclaré qu'ils n'avaient aucune responsabilité au-delà de la conformité réglementaire pour gérer de manière éthique les systèmes d'IA qui prennent des décisions qui pourraient affecter directement les moyens de subsistance des personnes. « À mon avis, cela témoigne de la nécessité de davantage de réglementation », a-t-il déclaré.  

Des cadres de gouvernance des modèles d'IA sont nécessaires pour surveiller les modèles d'IA afin de garantir que les décisions qu'ils prennent sont responsables, justes, transparentes et responsables. Seuls 20% des personnes interrogées surveillent activement l'IA en production aujourd'hui, selon le rapport. « Les équipes de direction et les conseils d'administration ne peuvent pas réussir avec un mantra « ne pas faire le mal » sans un guide d'application de la gouvernance modèle et des processus d'entreprise pour surveiller l'IA en production", a déclaré Zoldi. « Les dirigeants de l'IA doivent établir des normes pour leurs entreprises là où il n'en existe pas aujourd'hui, et promouvoir une surveillance active. » 

Les entreprises reconnaissent que les choses doivent changer. Quelque 63 % pensent que l'éthique de l'IA et l'IA responsable deviendront au cœur de la stratégie de leur organisation d'ici deux ans.  

"Je pense qu'il y a maintenant beaucoup plus de conscience que les choses vont mal", a déclaré Cortnie Abercrombie, fondateur et PDG du groupe de défense de l'IA responsable AI Truth, et un contributeur au rapport FICO. "Mais je ne sais pas s'il y a nécessairement plus de connaissances sur la façon dont cela se produit." 

Certaines entreprises connaissent des tensions entre les dirigeants qui souhaitent mettre rapidement des modèles en production et les data scientists qui souhaitent prendre le temps de bien faire les choses. « J'ai vu beaucoup de ce que j'appelle des data scientists maltraités », a déclaré Abercrombie. 

Peu de consensus sur les responsabilités éthiques autour de l'IA  

Concernant le manque de consensus sur les responsabilités éthiques autour de l'IA, les entreprises doivent y travailler, suggère le rapport. « Pour le moment, les entreprises décident elles-mêmes de tout ce qu'elles pensent être éthique et contraire à l'éthique, ce qui est extrêmement dangereux. L'autorégulation ne fonctionne pas », a déclaré Ganna Pogrebna, responsable de la science des données comportementales à l'Institut Alan Turing, également contributeur au rapport FICO. "Je recommande à chaque entreprise d'évaluer le niveau de préjudice qui pourrait potentiellement résulter du déploiement d'un système d'IA, par rapport au niveau de bien qui pourrait potentiellement résulter", a-t-elle déclaré.   

Pour lutter contre les biais des modèles d'IA, le rapport FICO a révélé que de plus en plus d'entreprises intègrent le processus, avec seulement 10 % des dirigeants interrogés s'appuyant sur une entreprise tierce pour évaluer les modèles pour eux.   

La recherche montre que les entreprises utilisent une gamme d'approches pour éliminer les causes des biais de l'IA lors du développement de modèles, et que peu d'organisations disposent d'une suite complète de freins et de contrepoids.  

Seulement 22% des personnes interrogées ont déclaré que leur organisation dispose d'un comité d'éthique de l'IA pour examiner les questions sur l'éthique et l'équité de l'IA. Un sur trois déclare avoir une équipe de validation de modèle pour évaluer les modèles nouvellement développés, et 38% déclarent avoir des étapes d'atténuation des biais de données intégrées dans le développement de modèle.  

La recherche de cette année montre un changement surprenant dans les priorités des entreprises, passant de l'explicabilité à la précision du modèle. « Les entreprises doivent être en mesure d'expliquer aux gens pourquoi toute ressource qui leur a été refusée par une IA a été refusée », a déclaré Abercrombie d'AI Truth.  

Les attaques d'IA accusatoires seraient en augmentation  

Les attaques d'IA contradictoires, dans lesquelles les entrées des modèles d'apprentissage automatique sont piratées dans le but de contrecarrer le bon fonctionnement du modèle, sont en augmentation, selon le rapport, 30% des organisations signalant une augmentation, contre 12% l'année dernière. enquête. Zoldi a déclaré que le résultat l'avait surpris et a suggéré que l'enquête nécessite un ensemble de définitions autour de l'IA contradictoire.  

L'empoisonnement des données et d'autres technologies d'IA contradictoires frôlent la cybersécurité. "C'est peut-être un domaine où la cybersécurité n'est pas là où elle doit être", a déclaré Zoldi.  

La politique organisationnelle a été citée comme le principal obstacle à l'établissement de pratiques d'IA responsables. "Ce qui nous manque aujourd'hui, c'est une discussion honnête et directe sur les algorithmes les plus responsables et les plus sûrs", a déclaré Zoldi. 

Les personnes interrogées provenant d'entreprises qui doivent se conformer aux réglementations ont peu confiance qu'elles font du bon travail, 31 % déclarant que les processus qu'elles utilisent pour s'assurer que les projets sont conformes aux réglementations sont efficaces. Quelque 68 % déclarent que leurs processus de conformité aux modèles sont inefficaces.  

En ce qui concerne les pistes d'audit de développement de modèles, XNUMX% admettent ne pas maintenir de pistes d'audit standardisées, ce qui signifie que certains modèles d'IA utilisés aujourd'hui dans les entreprises ne sont compris que par les data scientists qui les ont initialement codés.  

Cela ne correspond pas à ce que l'on pourrait qualifier d'IA responsable, selon Melissa Koide, PDG de l'organisation de recherche sur l'IA FinRegLab et contributeur au rapport FICO. « Je m'occupe principalement du risque de conformité et des prêts équitables des banques et des fintechs », a-t-elle déclaré. "Je pense qu'ils sont tous assez à l'écoute et assez inquiets de la façon dont ils gèrent la gouvernance en utilisant avec succès des modèles plus opaques."  

De plus en plus d'organisations se regroupent autour du passage à l'IA responsable, y compris le Partenariat sur l'IA, formé en 2016 et comprenant Amazon, Facebook, Google, Microsoft et IBM, The Commission européenne en 2019 a publié un ensemble de lignes directrices éthiques non contraignantes pour le développement d'une IA digne de confiance, avec la contribution de 52 experts indépendants, selon un rapport récent de VentureBeat. En outre, le Organisation de coopération et de développement économiques (OCDE) a créé un cadre mondial pour l'IA autour de valeurs communes.  

Également World Economic Forum développe une boîte à outils pour les dirigeants d'entreprise pour opérationnaliser l'IA de manière responsable. Des dirigeants du monde entier y participent.   

« Nous avons lancé la plate-forme pour créer un cadre permettant d'accélérer les avantages et d'atténuer les risques de l'IA et du ML », a déclaré Kay Firth-Butterfield, responsable de l'IA et de l'apprentissage automatique et membre du comité exécutif du Forum économique mondial. « Le premier point de départ pour chaque entreprise lorsqu'elle déploie une IA responsable est une déclaration d'éthique. Cela définit votre feuille de route d'IA pour qu'elle soit réussie et responsable. » 

Wison Pang, le CTO d'Appen, une société de développement d'apprentissage automatique, qui est l'auteur de l'article VentureBeat, a cité trois domaines prioritaires pour passer à une IA responsable : la gestion des risques, la gouvernance et l'éthique.  

« Les entreprises qui intègrent des pipelines et intègrent des contrôles tout au long de la construction, du déploiement et au-delà sont plus susceptibles de connaître le succès », a-t-il déclaré.  

Lisez les articles sources et les informations sur le blog de Fair Isaac, dans le rapport Fair Isaac, L'état de l'IA responsable : 2021, sur la définition dans IA responsable et en VentureBeat. 

Coinsmart. Beste Bitcoin-Börse en Europe
Source : https://www.aitrends.com/ethics-and-social-issues/deployed-ai-putting-companies-at-significant-risk-says-fico-report/