Les biais dans les systèmes d'IA s'avèrent être une pierre d'achoppement majeure dans les efforts visant à intégrer plus largement la technologie dans notre société. Une nouvelle initiative qui récompensera les chercheurs pour avoir trouvé des préjugés dans Systèmes d'IA pourrait aider à résoudre le problème.
L'effort est calqué sur les primes de bogues que les éditeurs de logiciels paient aux experts en cybersécurité qui les alertent of toute faille de sécurité potentielle dans leurs produits. L'idée n'est pas nouvelle ; les "primes de biais" étaient premier proposé par unJ'ai été chercheur et entrepreneur JB Rubinovitz en 2018, et diverses organisations ont déjà relevé de tels défis.
Mais le nouvel effort vise à créer un forum permanent pour les compétitions de primes biaisées qui soit indépendant de toute organisation particulière. Composés de bénévoles de diverses entreprises, dont Twitter, les soi-disant «Bias Buccaneers» prévoient d'organiser des compétitions régulières, ou «mutinies», et ont lancé plus tôt ce mois-ci le premier défi de ce type.
"Les primes de bogues sont une pratique standard en matière de cybersécurité qui n'a pas encore trouvé sa place dans la communauté des biais algorithmiques », a déclaré l'organisation.niçois dire sur leur site. "Alors que les premiers événements ponctuels ont démontré un enthousiasme pour les primes, Bias Buccaneers est la première organisation à but non lucratif destinée à créer des mutineries en cours, à collaborer avec des entreprises technologiques et à ouvrir la voie à des évaluations transparentes et reproductibles des systèmes d'IA."
Ce premier concours vise à lutter contre les biais dans les algorithmes de détection d'images, mais plutôt que d'amener les gens à cibler des systèmes d'IA spécifiques, la compétition va chinvitent les chercheurs à créer des outils capables de détecter des ensembles de données biaisés. L'idée est de créer un modèle d'apprentissage automatique capable d'étiqueter avec précision chaque image d'un ensemble de données avec son teint, son sexe perçu et son groupe d'âge. Le concours se termine le 30 novembre et a un premier prix de 6,000 4,000 $, un deuxième prix de 2,000 XNUMX $ et un troisième prix de XNUMX XNUMX $.
Le défi repose sur le fait que souvent la source de biais algorithmique n'est pas tant l'algorithme lui-même, mais la nature des données sur lesquelles il est formé. Des outils automatisés permettant d'évaluer rapidement l'équilibre d'une collection of Les images sont en relation avec des attributs qui sont souvent des sources de discrimination pourraient aider les chercheurs en IA à éviter des sources de données clairement biaisées.
Mais les organisateurs disent que ce n'est que la première étape d'un effort visant à créer une boîte à outils pour évaluer les biais dans les ensembles de données, les algorithmes et les applications, et finalement créer des normes sur la façon de traiterl avec biais algorithmique, équité et explicabilité.
Il s'agit d'avoir un lien direct avec le cœur des opérations de votre pas le seul effort de ce genre. L'un des leaders du nouveau à l'AMS est Rumman Chowdhury de Twitter, qui a aidé à organiser le premier concours de primes sur les biais de l'IA l'année dernière, ciblant un algorithme utilisé par la plate-forme pour recadrer les images qui les utilisateurs se sont plaints préféraient les visages blancs et masculins aux visages noirs et féminins.
Le concours a permis aux pirates d'accéder au modèle de l'entreprise et les a mis au défi d'y trouver des failles. Participants trouvé un large éventail de problèmes, inclureayant une préférence pour les beaux visages stéréotypés, une aversion pour les personnes aux cheveux blancs (un marqueur de l'âge), et une préférence pour les mèmes avec une écriture anglaise plutôt qu'arabe.
L'Université de Stanford a également récemment conclu un concours qui a mis les équipes au défi de proposer des outils conçus pour aider les gens à auditer les systèmes d'IA déployés commercialement ou open source pour la discrimination. Et les lois européennes actuelles et à venir pourraient obliger les entreprises à auditer régulièrement leurs données et leurs algorithmes.
Mais en prenant Primes de bogue de l'IA et audit algorithmique généraliser et les rendre efficaces sera plus facile à dire qu'à faire. Inévitablement, les entreprises qui bâtissent leurs activités sur leurs algorithmes vont résister à tout effort visant à les discréditer.
S'appuyer sur les enseignements tirés des systèmes d'audit dans d'autres domaines, tels que la finance et la réglementation environnementale et sanitaire, les chercheurs récemment décrit quelques-uns des ingrédients cruciaux d'une responsabilisation efficace. L'un des plus importants critères qu'ils ont identifié était la participation significative de tiers indépendants.
Les chercheurs ont souligné que les audits volontaires actuels de l'IA impliquent souvent des conflits d'intérêts, tels que l'organisation cible qui paie l'audit, aide à définir la portée de l'audit ou a la possibilité d'examiner les résultats avant qu'ils ne soient rendus publics. Cette préoccupation a été reflétée dans un rapport récent de la Ligue de justice algorithmique, quich a noté la taille démesuréed rôle des organisations cibles dans les programmes actuels de primes de bogue de cybersécurité.
Trouver un moyen de financer et de soutenir des auditeurs et des chasseurs de bogues véritablement indépendants sera un défi de taille, d'autant plus qu'ils se heurteront à certaines des entreprises les mieux dotées au monde. Heureusement cependant, il semble y avoir un sentiment croissant au sein de l'industrie que la résolution de ce problème sera essentielle pour maintenir la confiance des utilisateurs dans leurs services.
Crédit image: Jacob Rosen / Unsplash
