Logo Zéphyrnet

XAI : précision vs interprétabilité pour les modèles liés au crédit

Date :

Introduction

La crise financière mondiale de 2007 a eu un effet durable sur les économies de nombreux pays. Dans l'effondrement financier et économique épique, beaucoup ont perdu leur emploi, leurs économies et bien plus encore. Lorsque trop de risques sont limités à très peu d'acteurs, cela est considéré comme un échec notable du cadre de gestion des risques. Depuis la crise financière mondiale, il y a eu une augmentation rapide de la popularité de termes comme « faillite », « défaut » et « détresse financière ». Le processus de prévision de détresse/défaut/faillite est désormais considéré comme un outil important pour la prise de décisions financières et le principal facteur de risque de crédit. La Grande Dépression de 1932, la crise de Suez de 1956, la crise internationale de la dette de 1982 et la dernière récession de 2007 ont poussé le monde à essayer de comprendre la prédiction de la chute le plus tôt possible.

Précision de l'IA

Source : Image de pikisuperstar on Freepik

La prévision des difficultés financières et des faillites est une application qui a suscité beaucoup d'attention ces dernières années, grâce à l'engouement suscité par la technologie financière (FinTech) et les progrès rapides et continus de l'IA. Les institutions financières peuvent utiliser les cotes de crédit pour les aider à décider d'accorder ou non un crédit à un emprunteur, ce qui augmente la probabilité que les emprunteurs à risque voient leur demande refusée. Aux difficultés engendrées par des données à la fois bruitées et très déséquilibrées s'ajoutent aujourd'hui de nouvelles réformes réglementaires auxquelles il faut répondre, comme Règlement général sur la protection des données (GDPR). Les régulateurs s'attendent à ce que l'interprétabilité du modèle soit là pour garantir que les résultats algorithmiques sont compréhensibles et cohérents. Alors que la pandémie de COVID-19 blessé marchés financiers, une meilleure compréhension du crédit est nécessaire pour éviter une situation comme celle de 2007.

Équilibre : interprétabilité et précision

Les modèles d'évaluation du crédit ou les modèles de prédiction de faillite, qui prédisent si un individu rendra l'argent au prêteur ou si une entreprise déposera le bilan, doivent être très précis et interprétables. Deux de mes amis de la même université aux États-Unis, avec à peu près le même salaire, le même âge et bien d'autres paramètres équivalents, ont demandé un prêt immobilier. L'un a obtenu son prêt approuvé, tandis que l'autre a fait face à un refus. Ne pensez-vous pas que celui qui est rejeté mérite une réponse ? Que se passe-t-il si une société a demandé un prêt pour son expansion, mais que la banque a décidé de ne pas offrir de crédit ?

Interprétation

Avec la croissance de plusieurs variables indépendantes pertinentes (score de sentiment des états financiers et des ratios), une difficulté d'interprétation évidente est apparue. Dans le passé, un nombre minimal de variables indépendantes et un modèle de base suffisaient pour que le modèle soit facilement interprétable. En conséquence, la recherche visant à sélectionner les variables les plus significatives et à simuler l'insolvabilité en fonction des caractéristiques choisies et d'un modèle statistique simple a gagné en popularité. L'utilisation d'algorithmes d'apprentissage automatique est une autre méthode pour traiter des fonctionnalités qui ne sont pas toujours limitées en nombre. 

Source : Image de Guo et coll. (2019) - researchgate

Précision

La technique conventionnelle basée sur la sélection de fonctionnalités et l'approche basée sur l'apprentissage automatique présentent des avantages et des inconvénients. Les approches basées sur la sélection de fonctionnalités sont facilement interprétables puisqu'ils utilisent un petit nombre de variables qui ont été sélectionnées comme étant significatives pour la prédiction d'un événement, faillite/défaut, dans le cadre de cet article. Les approches basées sur la sélection de caractéristiques utilisent souvent un modèle de prédiction de base, tel qu'une fonction multivariée. Cependant, la précision est bien inférieure à celle des modèles basés sur l'apprentissage automatique. En revanche, même si les approches basées sur l'apprentissage automatique atteignent une plus grande précision, ces modèles sont trop complexes pour être compris facilement.

IA explicable pour les humains – XAI

IA explicable

Source : image de Caltech

L'intelligence artificielle explicable (XAI) tente de simplifier les modèles de boîte noire et de les rendre plus interprétables. Il permet aux humains de comprendre et de faire confiance à la sortie de l'algorithme d'apprentissage automatique. Il décrit la précision, la transparence et les résultats du modèle de prise de décision basé sur l'IA. L'explicabilité et la transparence indispensables aident les organisationsune approche L'IA autrement. Le succès de l'apprentissage automatique a déclenché un flot d'applications d'IA. Cependant, l'incapacité de la machine à expliquer ses actions aux humains limite l'efficacité de ces systèmes. Au fur et à mesure que l'IA progresse, les humains ont du mal à comprendre et à retracer les résultats de l'algorithme.

XAI

Source : image de freepik sur Freepik

Lorsqu'elles sont présentées avec un modèle basé sur ML, les techniques XAI peuvent être utilisées pour auditer le modèle et le mettre à l'épreuve pour voir s'il peut fournir des résultats précis de manière cohérente dans différents cas d'utilisation liés à la notation de crédit et à la prédiction de détresse. Ces techniques, par exemple, évaluent la cohérence des règles de prédiction du modèle avec les informations précédentes sur le problème commercial, ce qui peut aider à révéler les défis susceptibles d'entraver la précision du modèle lorsqu'il est appliqué à des données hors échantillon. Problèmes dans l'ensemble de données utilisé pour entraîner le modèle, tels qu'un incomplet ou biaisé représentation de la population d'intérêt ou des conditions d'entraînement qui conduisent le modèle à apprendre des règles de prévision erronées, peuvent être découvertes par les techniques XAI.

Après Covid, XAI a fait d'énormes progrès pour résoudre les problèmes commerciaux liés au crédit :

  • du zeste La technologie basée sur l'intelligence artificielle permet aux prêteurs d'ajuster les modèles pour plus d'équité en réduisant l'impact des données de crédit discriminatoires sans compromettre les performances. 
  • FICO a déclaré publiquement son intention de compléter la compréhension du domaine humain par l'intelligence artificielle pour permettre le développement rapide de modèles de notation du risque de crédit hautement prédictifs et explicables.
  • Orcolus libère les prêteurs des ensembles de données biaisés et les aide à analyser les données financières plus efficacement. Le logiciel d'Ocrolus analyse les relevés bancaires, les fiches de paie, les documents fiscaux, les formulaires de prêt hypothécaire, les factures et d'autres documents pour déterminer l'admissibilité à un prêt pour un prêt hypothécaire, une entreprise, un consommateur, une notation de crédit et KYC.
  • Souscrire.ai utilisé une modélisation algorithmique non linéaire pour estimer le risque de prêt dans les zones où l'utilisation des bureaux de crédit est minime ou inexistante.
  • Temenos a lancé des modèles XAI transparents fournis en tant que SaaS pour aider les banques et les coopératives de crédit à accélérer l'intégration numérique et le traitement des prêts afin de relever les défis post-Covid concernant le secteur des prêts.

 Modèles : modernes ou conventionnels

Les techniques modernes d'application de modèles d'apprentissage automatique à la notation de crédit pour la prédiction des défauts dans le secteur financier ont sans aucun doute abouti à meilleures performances prédictives que les modèles classiques tels que les régressions logistiques. Les nouvelles technologies numériques ont stimulé l'adoption de modèles d'apprentissage automatique, permettant aux institutions financières d'acquérir et d'utiliser ensembles de données plus grands comprenant de nombreuses fonctionnalités et observations pour la formation de modèles. Les approches d'apprentissage automatique, par opposition aux modèles conventionnels tels que le modèle logit, peuvent découvrir expérimentalement des non-linéarités dans les liens entre la variable de résultat et ses prédicteurs et les effets d'interaction entre ces derniers. Par conséquent, lorsque l'ensemble de données de formation est suffisamment volumineux, les modèles ML sont censés battre régulièrement les modèles statistiques classiques utilisés dans l'évaluation des crédits. Par conséquent, une plus grande précision dans la prévision des défauts peut profiter aux établissements de crédit en réduisant les pertes sur créances et les économies liées au capital réglementaire.

Rôle des régulateurs

Les régulateurs financiers ont récemment exprimé leur ferme soutien à ce que les institutions financières utilisent simultanément des modèles d'apprentissage traditionnels et automatiques, avec des humains chargés de gérer tout écart important. La plupart des régulateurs financiers ne limitent pas où ni comment les établissements de crédit peuvent utiliser les boîtes noires. Pourtant, l'Allemagne Autorité fédérale de surveillance financière a recommandé que les établissements considèrent les avantages d'utiliser un modèle plus complexe et enregistrent pourquoi ils ont opté pour des alternatives interprétables. Selon de nombreux décideurs politiques, il n'existe pas de méthode universelle pour évaluer les coûts et les avantages. Ils suggèrent que les banques examinent la justification, le contexte de déploiement et l'objectif du modèle avant de le mettre en œuvre. Un travail breveté a été réalisé par Equifax, qui utilise des réseaux de neurones pour analyser le risque de crédit à la consommation et propose des codes de raison qui aident les entreprises à respecter les obligations réglementaires.

XAI

Source : image de freepik sur Freepik

 Des informations exploitables pour les clients

Les techniques XAI pour les modèles liés au crédit s'adaptent facilement aux décisions binaires des consommateurs, y compris « prêter » et « ne pas prêter ». Les explications fournies par les techniques XAI peuvent ne pas tenir compte d'aspects cruciaux du crédit, tels que le taux d'intérêt, le calendrier de remboursement, les modifications de la limite de crédit ou les préférences de prêt du client. Cependant, les institutions financières utilisant XAI devraient informer les clients des raisons pour lesquelles leurs demandes de prêt ont été refusées et comment améliorer leurs informations d'identification. Imaginez que l'on suggère au client d'obtenir une augmentation de son salaire ou de ses diplômes ou qu'on lui demande de payer ses factures de carte de crédit à temps pendant quelques mois pour obtenir l'approbation du prêt. Ce ne sont que des informations exploitables qu'un client peut utiliser et demander à nouveau pour le prêt. 

 Le succès n'est pas linéaire, ou l'est-il ?

De nombreuses institutions financières enquêtent actuellement algorithmes intrinsèquement interprétables, telles que la régression linéaire, la régression logistique, l'amplification de gradient explicable et les réseaux de neurones. Constamment, il y a un désir d'étudier de nouvelles techniques pour développer des modèles qui sont transparents par conception et ne nécessitent aucune explication post-hoc. Expliquer les modèles pré-construits de manière post hoc est l'autre partie de l'histoire. Un réseau neuronal profond avec, disons, 200 couches ou un modèle de boîte noire transmet les entrées à l'algorithme explicatif, qui divise davantage le modèle complexe en éléments plus petits et plus simples qui sont plus faciles à comprendre. Ces sorties plus simples consisteraient également en une liste de fonctionnalités et de paramètres importants pour le problème métier. Dans les deux scénarios ci-dessus, un compromis entre haute précision et interprétabilité est le besoin de l'heure. 

XAI

Source : Image par Ajitesh Kumar sur Flux Vital

 

SHAP (SHapley Additive exPlanation) et LIME (Local Interpretable Model-agnostic Explanations) sont des approches d'explicabilité largement utilisées. SHAP utilise les valeurs de Shapley pour évaluer l'influence des caractéristiques du modèle. Les valeurs de Shapley prennent en compte toutes les prédictions réalisables en utilisant toutes les entrées. L'approche approfondie de SHAP garantit la cohérence et l'exactitude locale. D'autre part, LIME construit des modèles linéaires clairsemés autour de chaque prédiction pour décrire comment le modèle de boîte noire fonctionne localement.

Plus important encore, qu'est-ce qui est le plus pertinent, un modèle précis ou un modèle facilement compréhensible par les entreprises comme par les clients ? Si les données sont linéairement séparables, nous pouvons créer un intrinsèquement interprétable et modèle précis. Mais si les données sont compliquées et que les limites de décision ne sont pas droites, nous devrons peut-être examiner le modèle compliqué pour nous assurer qu'il est correct, puis réfléchir à des explications post-hoc.

Conclusion

Dans un monde idéal, l'explicabilité aide les gens à comprendre comment fonctionne un modèle et quand l'utiliser. Les établissements de crédit, les organismes de réglementation et le gouvernement doivent collaborer pour élaborer des lignes directrices sur l'IA protégeant les intérêts des clients. Si différents groupes ne précisent pas clairement les objectifs d'explicabilité, l'IA servira les intérêts de quelques-uns, comme lors de la crise financière mondiale de 2007. Une solution XAI bien conçue tient compte des besoins des parties prenantes et personnalise l'explication. Les algorithmes d'IA et d'apprentissage automatique ont déjà révolutionné les opérations de établissements de crédit. Certains des principaux points à retenir concernant XAI sont les suivants :

  1. Précision/performance du modèle versus interprétabilité – XAI vise à rendre les modèles d'IA plus intuitifs et compréhensibles sans sacrifier la précision/performance.
  2. Mise en œuvre et mise à l'échelle de XAI - L'inexplicabilité a longtemps empêché les établissements de crédit d'utiliser pleinement l'IA. Cependant, XAI a aidé les institutions non seulement avec une intégration fluide ainsi qu'avec la personnalisation.
  3. Transparence de l'IA responsable - Comment le modèle de crédit a atteint un résultat et en utilisant quels paramètres.
  4. Informativité (donner aux humains de nouvelles informations pour les aider à prendre des décisions) et estimation de l'incertitude (déterminer à quel point un résultat est incertain) (quantifier la fiabilité d'une prédiction).

spot_img

Dernières informations

spot_img