By Éric Siegel, Ph.D., Semaine de l'apprentissage automatique
Le dernier sondage KDnuggets confirme à nouveau le terrible buzz actuel de l'industrie : très peu de modèles d'apprentissage automatique sont réellement déployés. Dans cet article, je résumerai les résultats du sondage et soutiendrai que cet échec généralisé des projets ML provient d'un manque de leadership prudent. Je soutiendrai également que MLops n'est pas l'ingrédient manquant fondamental - au lieu de cela, une pratique de leadership ML efficace doit être le chien qui remue la queue de l'intégration du modèle.
Compte tenu des discussions croissantes sur l'échec du lancement de ML, il y a eu relativement peu de recherches concrètes sur l'industrie - en particulier lorsqu'il s'agit d'enquêtes sur le déploiement de modèles en particulier plutôt que sur le retour sur investissement en général - j'ai donc proposé ce sondage à Gregory Piatetsky et Matthew Mayo de KDnuggets. Ils m'ont aidé à formuler et à forger des mots.
Les résultats sont lamentables, mais il y a une tendance optimiste : dans la plupart des cas, le seul ingrédient manquant pour parvenir à un déploiement qui génère une valeur réelle est la bonne pratique de leadership, ainsi qu'une montée en puissance assez rudimentaire de la direction. Autrement dit, l'excitation suscitée par le ML est méritée. Le problème est que cette excitation se concentre actuellement presque entièrement sur la technologie de base elle-même, plutôt que sur son lancement en production.
PREMIÈRE QUESTION DE SONDAGE : Quel pourcentage de modèles d'apprentissage automatique (créés par vous ou vos collègues avec l'intention d'être déployés) ont effectivement été déployés ?
La majorité des data scientists affirment que seuls 0 à 20% des modèles générés pour être déployés y sont parvenus. En d'autres termes, la plupart disent que 80 % ou plus de leurs projets s'arrêtent avant de déployer un modèle ML.
Ce taux de réussite étonnamment faible est conforme aux recherches antérieures de l'industrie. Voir Article de Thomas Davenport et Katie Malone pour un aperçu bien présenté du bilan, qui comprend les résultats de Enquête de Rexer Analytics auprès des data scientists montrant qu'il y a plusieurs années, seuls 13% ont déclaré que leurs modèles étaient toujours déployés (dans l'enquête plus récente de 2020, ce chiffre est tombé à 11%, m'a dit Karl Rexer). Les managers emboîtent le pas, indiquant que "seulement 10% des entreprises tirent des avantages financiers significatifs des technologies d'IA", selon recherche du MIT Sloan Management. Un analyste de Gartner a également estimé que près de 85 % des projets Big Data échouent. De plus, "le rendement moyen de tous les investissements en IA par entreprise n'est que de 1.3 %" et "seulement 20 % des projets d'IA sont largement déployés", selon une enquête 2020 auprès des cadres supérieurs par ESI ThoughtLab.
Le leadership du ML à la rescousse
Voici la racine du problème : nous fétichisons les méthodes de base de ML qui génèrent des modèles plutôt que ce qui devrait nous intéresser le plus : en fait, nous utilisons ces modèles sur le terrain. Si nous devions vraiment donner la priorité au déploiement du modèle, nous dirigerions de manière agressive dans cette direction en le planifiant rigoureusement dès le départ, avant même que tout travail pratique n'ait commencé.
En d'autres termes. Le battage médiatique d'aujourd'hui sur la capacité de traitement des chiffres elle-même - avec relativement peu d'accent sur la réalisation du déploiement - revient à être plus excité par la construction d'une fusée que par son lancement.
L'impulsion du scientifique des données est de se lancer dans la modélisation dès que possible. Cela s'applique tout aussi bien aux nouveaux arrivants, qui se lancent presque exclusivement dans des cours pratiques et des livres qui supposent que les données de formation sont déjà préparées. Cela forme un récit manifestement faux dans lequel la première étape d'un projet ML consiste à charger les données dans le logiciel de modélisation.
Cette présomption erronée, selon laquelle les données sont déjà en place, est un symptôme flagrant du syndrome collectif du « Missing the Point » de l'industrie du ML. Cela révèle que nous n'entraînons pas les pratiquants à avoir l'œil sur la balle : le déploiement. Après tout, avant même que vous puissiez commencer à préparer les données, ses exigences - notamment la définition de la variable dépendante - dépendent fortement d'un projet bien défini, informé, socialisé et finalement éclairé par le feu conçu pour réaliser le déploiement. Le déploiement signifie un changement radical des opérations existantes. Vous ne pouvez pas présumer que les décideurs adhéreront facilement. Une collaboration approfondie avec eux est plus essentielle que la génération d'un modèle.
L'apprentissage en profondeur, avec toutes ses promesses et son importance, ne fait qu'amplifier le problème, en augmentant le rapport battage publicitaire/valeur atteinte. De tels projets sont encore plus susceptibles d'être spéculatifs et exploratoires - davantage du côté de la R&D avec une distance plus large à parcourir avant toute possibilité éventuelle de déploiement. Les projets d'apprentissage en profondeur introduisent souvent de nouvelles opérations et capacités, telles que des modèles de traitement d'images qui suggèrent des diagnostics aux médecins ou conduisent des véhicules autonomes. Cela contraste avec les applications commerciales plus établies de méthodes de modélisation généralement plus simples, qui ne font qu'améliorer les opérations existantes, telles que la détection des fraudes et l'évaluation du crédit. De plus, la complexité des modèles d'apprentissage en profondeur signifie également que les défis d'intégration sont beaucoup plus susceptibles d'être sous-estimés et pas suffisamment planifiés.
Le battage médiatique de «l'IA» détourne encore plus notoirement l'attention du déploiement pratique. Lorsque vous passez à la poursuite de "l'intelligence", vous arrêtez de résoudre un problème particulier avec des scores prédictifs. Au lieu de cela, vous poursuivez une erreur. L'intelligence est un objectif qui ne peut être défini de manière significative dans le contexte de l'ingénierie. Voir le nouveau livre de Richard Heimann, Faire de l'IA, qui expose le faux récit de l'IA : sa prétention d'être - ou du moins d'être bientôt - la solution ultime à taille unique, une solution miracle capable de résoudre tous les problèmes. Et pour en savoir plus, j'ai fait une petite série de vidéos sur les raisons pour lesquelles la légitimation de l'IA en tant que domaine entraîne des coûts élevés pour les entreprises.
La bonne pratique de leadership ML comble un fossé plus grand que la plupart ne le pensent. Il ouvre une voie viable vers le déploiement, ce qui inclut l'obtention de l'adhésion des principaux dirigeants d'entreprise, qui fournissent souvent des informations qui modifient la conception initiale d'un projet par le scientifique des données. Sans être engagés de manière proactive, ces personnes feront généralement obstacle au déploiement.
Pour une plongée plus approfondie, consultez mes articles sur le leadership du ML dans KDnuggetsGenericName, Harvard Business Reviewet Magazine analytique (INFORMS), ainsi que mon cours de ML en ligne (voir la vidéo sur pourquoi les scientifiques des données doivent apprendre le côté commercial du ML) et la piste de conférence d'opérationnalisation de Semaine de l'apprentissage automatique. En parlant de cela, l'hôte de cette piste de conférence, le consultant James Taylor, est une autorité de premier plan dans ce domaine. Il a publié de nombreux articles sur le sujet, dont un sur les bases de l'opérationnalisation du ML et un sur pourquoi les organisations ont du mal à devenir axées sur les données.
Les problèmes causés par un manque de leadership en ML
La deuxième question du sondage a exploré les types de problèmes qui entravent le déploiement.
DEUXIÈME QUESTION DE SONDAGE : D'après votre expérience, quel est le principal obstacle au déploiement du modèle ?
C'est le manque de leadership qui entrave le plus souvent le déploiement. Parmi les trois premières réponses, qui représentent ensemble 91 %, une seule fait allusion à un possible échec de modélisation plutôt qu'à un échec de planification de projet : « une performance jugée trop faible par les décideurs ». Cependant, vous pouvez parier que cela provient souvent d'une mauvaise gestion des attentes des superviseurs quant à savoir si les modèles seront "très précis" (la plupart ne seront pas) et si des modèles plus réalistes seraient utiles s'ils étaient néanmoins déployés (la plupart le seraient). Le leadership du ML doit renforcer les décideurs en conséquence.
Les défis d'intégration (35%) reflètent en fait un échec de direction plutôt qu'un échec de la technologie ou un manque de MLops, dans la plupart des cas. Après tout, avec le déploiement, l'objectif défini dès le début d'un projet ML, l'évaluation des exigences d'intégration technique - et la planification de leur réalisation - doit être égale en priorité à la modélisation elle-même. MLops peut être un élément clé de cette réalisation, mais ce n'est pas une panacée de déploiement. Le plus grand goulot d'étranglement pour le déploiement est généralement l'adhésion des décideurs humains, même si les défis d'intégration sont également impressionnants. Dans tous les cas, le leadership est le fondamental qui s'attaque à tous les obstacles, alors que MLops n'est qu'un des nombreux outils à la disposition du leadership. S'il s'avère que MLops est le principal ingrédient manquant, cela est dû à un échec du leadership, et non à un argument selon lequel MLops est la solution unique à nos problèmes de déploiement en général.
Les problèmes de « vie privée/juridique » de rang inférieur peuvent également provenir d'un manque de prévoyance et de planification - bien que de tels problèmes puissent survenir de manière inattendue. Compte tenu de la grande importance et de l'attention généralisée accordées à ces questions, il est à noter qu'elles ne sont pas plus souvent classées comme le principal obstacle. Il se peut que les projets ML ne vont tout simplement pas assez loin pour faire face à ces problèmes, s'arrêtant plus tôt en raison des autres problèmes.
Plus de signes de la crise du déploiement de ML
Ce sondage a reçu 114 réponses, bien moins que de nombreux sondages KDnuggets. Il se peut que la question du déploiement ne s'applique tout simplement pas à de nombreux scientifiques des données, qui ne sont pas encore sur le point de générer des modèles prédictifs destinés au déploiement - ou qui ne se dirigent même pas dans cette direction, employant à la place des modèles "descriptifs". méthodes d'analyse autres que le ML. Mais il peut aussi y avoir une auto-sélection défavorable parmi ceux qui ne veulent pas vraiment affronter mentalement ce manque de succès particulier. Il peut être frustrant de découvrir à la dure, au fil du temps, que ce qui semble être une proposition de valeur "évidente" n'est pas si évident pour les pouvoirs en place, qui préfèrent plutôt pécher par excès de prudence à la lumière de les pièges potentiels qu'ils envisagent s'ils donnent leur feu vert au déploiement du modèle. Après tout, KDnuggets se concentre presque exclusivement sur le processus technique pratique, ne publiant que rarement des articles axés sur le déploiement commercial. Ses lecteurs composent une communauté d'experts techniquement avertis qui se concentrent beaucoup plus sur le calcul des chiffres que sur son opérationnalisation. S'il est vrai que ces data scientists frustrés se sont retenus de participer à cette enquête, alors la situation est encore plus grave que ce qui est reflété dans les résultats de cette enquête.
Compte tenu du faible nombre, il n'y a presque rien à conclure via des tableaux croisés. Dans tous les cas, voici le jeu de données complet au cas où vous voudriez creuser.
Enfin, les réponses à la dernière de ce sondage en trois questions confirment encore sa pertinence :
TROISIÈME QUESTION DE SONDAGE : Quel est votre type d'employeur ?
La majorité des répondants sont des praticiens de l'industrie, et c'est là que le déploiement compte en fin de compte. Nous pouvons nous attendre à ce que les fournisseurs aient tendance à signaler moins d'échecs ; leurs outils permettent l'analyse et, dans certains cas, l'intégration technique du déploiement, mais la pratique de leadership nécessaire pour réaliser le déploiement est une entreprise humaine plutôt que logicielle. Ils ne vendent pas ça. Pour contrebalancer ce biais possible, les universitaires et les étudiants sont beaucoup moins susceptibles de travailler en premier lieu au déploiement industriel. Ces suppositions semblent se concrétiser dans les chiffres, mais les segments séparés sont trop petits pour tirer des conclusions.
Enfin, les quatre qui ont sélectionné "Autre" pour la deuxième question (le principal obstacle au déploiement) ont écrit dans ces entrées sans surprise :
- Fins de recherche [ce répondant a indiqué « Académique/Recherche » comme type d'employeur]
- trop de battage médiatique, l'apprentissage en profondeur échoue souvent à la réalité
- Perte d'intérêt
- Adoption
Les prochaines étapes
D'autres recherches de l'industrie sont nécessaires. Cette courte enquête laisse beaucoup d'incertitudes et beaucoup plus sur lesquelles sonder. Après tout, certains projets ML bien rodés - comme la formation d'un modèle mis à jour pour un système de notation de crédit existant dans une grande banque - ont beaucoup plus de chances de réussir que de nouvelles initiatives. Idéalement, les futures enquêtes différencieraient par domaine d'application, secteur vertical, si l'initiative est nouvelle et si elles utilisent l'apprentissage en profondeur. Nous pouvons constater que, en dehors des circonstances les plus idéales, le taux d'échec est encore plus élevé.
Mais je conclurai avec un appel à l'action plus important : dirigez bien le ML. Prenez la direction des projets ML vers le déploiement avec autant de rigueur que vous prenez en charge l'application des algorithmes ML de base !
Éric Siegel, Ph.D., est un consultant de premier plan et ancien professeur à l'Université de Columbia qui fait le pont entre les aspects commerciaux et technologiques de l'apprentissage automatique. Il est le fondateur de la Monde de l'analyse prédictive et Monde du Deep Learning série de conférences, ensemble Semaine de l'apprentissage automatique, qui a accueilli plus de 17,000 2009 participants depuis XNUMX. En tant qu'instructeur du cours en ligne acclamé "Leadership et pratique de l'apprentissage automatique - Maîtrise de bout en bout", lauréat de prix d'enseignement en tant que professeur et conférencier populaire, Eric a livré plus de 110 discours liminaires. Le rédacteur en chef de Les temps d'apprentissage automatique, il a écrit le best-seller Analyse prédictive: le pouvoir de prédire qui cliquera, achètera, mentira ou mourra, qui a été adopté pour des cours dans des centaines d'universités. Eric est apparu sur de nombreuses chaînes médiatiques, y compris Bloomberg, national Geographicet Radio Nationale Publique, et a publié dans Newsweek, HBR, Blog SciAm, WaPo, WSJ, et PLUS - Y compris éditions d'opinion sur l'analyse et la justice sociale. Suis-le @predictanalytic.
