L'objectif IDP Well-Architected est destiné à tous les clients AWS qui utilisent AWS pour exécuter des solutions de traitement intelligent de documents (IDP) et qui recherchent des conseils sur la manière de créer des solutions IDP sécurisées, efficaces et fiables sur AWS.

La création d'une solution prête pour la production dans le cloud implique une série de compromis entre les ressources, le temps, les attentes des clients et les résultats commerciaux. Le Framework AWS Well-Architected vous aide à comprendre les avantages et les risques des décisions que vous prenez lors de la création de charges de travail sur AWS. En utilisant le Framework, vous apprendrez les meilleures pratiques opérationnelles et architecturales pour concevoir et exploiter des charges de travail fiables, sécurisées, efficaces, rentables et durables dans le cloud.

Un pipeline IDP combine généralement la reconnaissance optique de caractères (OCR) et le traitement du langage naturel (NLP) pour lire et comprendre un document et extraire des termes ou des mots spécifiques. L'objectif personnalisé IDP Well-Architected décrit les étapes d'un examen AWS Well-Architected, qui vous permet d'évaluer et d'identifier les risques techniques au sein de vos charges de travail IDP. Cette optique personnalisée intègre les meilleures pratiques et des conseils pour naviguer et surmonter efficacement les défis courants liés à la gestion des charges de travail des PDI.

Cet article se concentre sur le pilier Excellence Opérationnelle de la solution IDP. L'excellence opérationnelle dans l'IDP signifie appliquer les principes d'un développement logiciel robuste et maintenir une expérience client de haute qualité dans le domaine du traitement des documents, tout en respectant ou dépassant systématiquement les accords de niveau de service (SLA). Cela implique d'organiser efficacement les équipes, de concevoir des systèmes IDP pour gérer efficacement les charges de travail, d'exploiter ces systèmes à grande échelle et de les faire évoluer en permanence pour répondre aux besoins des clients.

Dans cet article, nous commençons par l'introduction du pilier de l'excellence opérationnelle et des principes de conception, puis nous approfondissons quatre domaines prioritaires : la culture organisationnelle, la conception de la charge de travail, l'optimisation de la construction et de la publication et l'observabilité. En lisant cet article, vous découvrirez le pilier de l'excellence opérationnelle dans le cadre bien architecturé avec l'étude de cas IDP.

Les principes de conception

Pour les charges de travail IDP, l’excellence opérationnelle se traduit par les éléments suivants :

• Haute précision et faibles taux d'erreur dans l'extraction de données documentaires – La précision dans l’extraction des données des documents est primordiale, ce qui minimise les erreurs et garantit que les informations utilisées pour la prise de décision sont fiables
• Traitement rapide de volumes de documents élevés avec une faible latence – L’efficacité du traitement rapide de gros volumes de documents permet aux organisations de suivre le rythme des demandes commerciales, réduisant ainsi les goulots d’étranglement.
• Surveillance continue pour un diagnostic et une résolution rapides des problèmes – La surveillance et la maintenance proactives aident à identifier et à résoudre rapidement toute interruption dans le pipeline de traitement des documents, maintenant ainsi un flux opérationnel fluide.
• Itération rapide pour améliorer les modèles et les flux de travail – La mise en œuvre d’une boucle de rétroaction qui facilite l’affinement constant des algorithmes et des processus garantit que le système évolue pour répondre aux défis émergents et aux normes d’efficacité.
• Optimisation des coûts pour garantir que les ressources correspondent aux demandes de charge de travail – La gestion stratégique des ressources garantit que l’investissement financier dans les systèmes IDP génère une valeur maximale, en ajustant les ressources de manière dynamique en fonction des demandes fluctuantes de traitement des documents.
• Respect des SLA – Respecter ou dépasser les normes et les délais d’exécution promis aux clients est crucial pour maintenir la confiance et la satisfaction.

Des stratégies de conception efficaces doivent être alignées sur ces objectifs, garantissant que les systèmes IDP sont non seulement techniquement capables, mais également optimisés pour les défis du monde réel. Cela élève l’excellence opérationnelle d’un objectif back-end à un atout stratégique, qui fait partie intégrante du succès de l’ensemble de l’entreprise. Basé sur principes de conception du pilier Excellence Opérationnelle, nous proposons les principes de conception suivants pour cet objectif personnalisé.

Zones de concentration

Les principes de conception et les meilleures pratiques du pilier Excellence opérationnelle proviennent de ce que nous avons appris de nos clients et de nos experts IDP. Utilisez-les comme guide lorsque vous faites des choix de conception, en vous assurant qu'ils correspondent bien à ce dont votre entreprise a besoin en matière de solution IDP. L’application de l’objectif IDP Well-Architected vous aide également à valider que ces choix visent à atteindre l’excellence opérationnelle, en garantissant qu’ils répondent à vos objectifs opérationnels spécifiques.

Voici les principaux domaines d’intervention pour l’excellence opérationnelle de la solution IDP dans le cloud :

• Culture organisationnelle – La culture organisationnelle joue un rôle essentiel dans la manière dont les projets de déplacés internes sont mis en œuvre et gérés. Cette culture est soutenue par des SLA clairs qui fixent des attentes définitives en matière de délais de traitement et de précision, garantissant que tous les membres de l'équipe sont orientés vers des objectifs communs. Ceci est complété par une fonction centralisée qui fait office de centre d’excellence opérationnelle, consolidant les meilleures pratiques et guidant les projets IDP vers le succès.
• Conception de la charge de travail – Cela implique de créer un système capable de gérer de manière flexible des demandes variables, d’optimiser la qualité et la précision du traitement des documents et de s’intégrer efficacement aux systèmes externes.
• Optimisation de la construction et de la publication – Ce domaine met l’accent sur la mise en œuvre de processus DevSecOps standardisés. L’objectif est de rationaliser le cycle de vie de développement et d’utiliser l’automatisation pour garantir un déploiement fluide et rapide des mises à jour ou des nouvelles fonctionnalités. Cette approche vise à améliorer l’efficacité, la sécurité et la fiabilité du développement et du déploiement du système IDP.
• Observabilité – Dans IDP, l’observabilité se concentre sur des capacités complètes de surveillance, d’alerte et de journalisation, ainsi que sur la gestion des quotas de service. Cela implique de garder un œil vigilant sur les performances du système, de mettre en place des mécanismes d'alerte efficaces pour les problèmes potentiels, de tenir des journaux détaillés à des fins d'analyse et de garantir que le système fonctionne dans les limites de ses ressources allouées.

Culture organisationnelle

Pour atteindre l’excellence opérationnelle en matière d’IDP, les organisations doivent intégrer certaines bonnes pratiques dans leur culture et leurs opérations quotidiennes. Voici quelques domaines critiques qui peuvent guider les organisations dans l’optimisation de leurs flux de travail IDP :

• Culture et modèle opérationnel – Cultiver une culture qui défend la conception stratégique, le déploiement et la gestion des charges de travail des personnes déplacées. Cela devrait être une norme culturelle, intégrée au modèle opérationnel pour soutenir l'agilité et la réactivité dans le traitement des documents.
• Alignement des activités et des SLA – Aligner les initiatives IDP sur les objectifs commerciaux et les SLA. Cette pratique garantit que le traitement des documents soutient la stratégie commerciale globale et répond aux indicateurs de performance appréciés par les parties prenantes.
• Formation continue AWS – S'engager à suivre une formation et un perfectionnement réguliers dans les services AWS pour améliorer les capacités IDP. Une équipe bien formée peut utiliser les fonctionnalités évolutives d'AWS pour améliorer l'efficacité et l'innovation du traitement des documents.
• Gestion du changement – Établir des processus robustes de gestion du changement pour naviguer dans la nature dynamique du paysage des personnes déplacées. Une gestion efficace du changement favorise des transitions fluides et permet de maintenir des opérations IDP ininterrompues lors de mises à niveau ou de changements de stratégie.
• Paramètres définis pour le succès des PDI – Établir et surveiller des mesures claires pour mesurer le succès et l’impact des opérations de déplacement interne. Par exemple : avec Amazon CloudWatch, vous pouvez surveiller le nombre de documents traités via Amazon Textract. De même, la surveillance du volume et de la taille des documents téléchargés sur Amazon Simple Storage Service (Amazon S3) peut donner un aperçu de la vitesse à laquelle la demande de traitement augmente. De plus, avec AWS Step Functions, vous pouvez utiliser les métriques intégrées pour suivre le taux de réussite des tâches de traitement, offrant ainsi des informations sur l'efficacité de l'orchestration du flux de travail.
• Améliorations itératives – Encourager une culture de feedback et de développement itératif pour affiner les processus de PDI. En analysant régulièrement les données de performance et les commentaires des utilisateurs, l'organisation peut apporter des améliorations éclairées et progressives au système IDP.
• Boucle de rétroaction issue de l'examen humain – Intégrer une boucle de rétroaction issue de l’examen humain dans le système IDP. Cela fournit des informations précieuses que vous pouvez utiliser pour améliorer continuellement la précision et l’efficacité des processus automatisés.

Conception de la charge de travail

Une conception efficace de la charge de travail est essentielle pour une gestion réussie des systèmes intelligents de traitement des documents. Cette conception doit être adaptable pour répondre à diverses demandes, en maintenant une qualité et une précision élevées et en réalisant une intégration transparente avec d'autres systèmes. Voici les meilleures pratiques qui peuvent vous aider à atteindre ces objectifs :

• Utilisation des étapes du workflow IDP– Lors de la conception d'une architecture pour IDP, il est important de prendre en compte les étapes typiques d'un flux de travail IDP, qui peuvent varier en fonction des cas d'utilisation spécifiques et des besoins de l'entreprise. Les étapes courantes incluent la capture de données, la classification des documents, l'extraction du texte du document, l'enrichissement du contenu, l'examen et la validation des documents et la consommation des données. En définissant et en séparant clairement ces étapes dans votre architecture, vous créez un système plus résilient. Cette approche permet d'isoler les différents composants en cas de panne, conduisant à des opérations plus fluides et à une maintenance plus facile.
• Gestion flexible de la demande – Créer un système de traitement de documents pouvant facilement s’adapter aux changements de la demande. Cela garantit qu'à mesure que les besoins de l'entreprise évoluent, le système peut évoluer en conséquence et continuer à fonctionner sans problème.
  • Par exemple, lors de l'interface avec Amazon Textract, assurez-vous de gérer la limitation et les connexions interrompues en définissant le paramètre de configuration lors de la création du client Amazon Textract. Il est recommandé de définir un nombre de tentatives de 5, car le kit SDK AWS réessaye une opération ce nombre de fois spécifié avant de la considérer comme un échec. L'intégration de ce mécanisme permet de gérer la limitation plus efficacement en utilisant la stratégie d'attente exponentielle intégrée au SDK.
  • AWS peut mettre à jour périodiquement les limites de service en fonction de divers facteurs. Restez à jour avec la dernière documentation et ajustez vos stratégies de gestion de limitation en conséquence. Par exemple, vous pouvez utiliser Amazon Texttract Calculateur de quotas de service pour estimer les valeurs de quota qui satisferont votre cas d'utilisation. Si votre application rencontre constamment des limites de limitation, envisagez de demander à AWS d'augmenter vos quotas de service pour Extrait d'Amazon ainsi que Amazon comprendre.
• Optimisation de la qualité et de la précision – Maximisez la précision de l'extraction des données avec Amazon Textract en préparant les documents dans un format propice à une grande précision, comme indiqué dans les meilleures pratiques AWS Textract. Profitez de la fonctionnalité de mise en page de Texttract, qui est pré-formée sur un large éventail de documents provenant de divers secteurs, notamment les services financiers et les assurances. Cette fonctionnalité simplifie l'extraction des données en réduisant le besoin de code de post-traitement complexe, améliorant ainsi l'efficacité des opérations de traitement des documents, améliorant ainsi à la fois la qualité et l'efficacité de leurs opérations de traitement des documents.
• Intégrations externes transparentes – Assurez-vous que votre système IDP peut s’intégrer efficacement aux services et systèmes externes. Cela fournit un flux de travail cohérent et permet des fonctionnalités plus larges au sein du pipeline de traitement des documents. Par exemple, examinez la modularité de l'architecture existante et identifiez les composants qui gèrent les intégrations de systèmes externes et décomposez la logique d'intégration en fonctions plus petites et granulaires à l'aide de AWS Lambda pour la flexibilité et l’évolutivité. Recherchez en permanence les commentaires des développeurs et des partenaires d'intégration pour affiner et optimiser l'architecture. Utiliser des stratégies pour les opérations découplées, telles que le traitement piloté par les événements, où des services tels que Amazon Event Bridge peut être utilisé pour capturer et acheminer des événements provenant de systèmes externes.
• Traitement transparent et adaptable – Établissez des chemins clairs et traçables pour chaque élément de données, de son origine à son extraction, ce qui renforce la confiance dans le système. Maintenir la documentation des règles de traitement complète et à jour, favorisant ainsi un environnement transparent pour toutes les parties prenantes.
• Améliorez l'IDP avec les requêtes personnalisées Amazon Comprehend Flywheel et Amazon Textract
  • Tirez parti du volant d'inertie Amazon Comprehend pour un processus de ML rationalisé, de l'ingestion des données au déploiement. En centralisant les ensembles de données au sein du lac de données Amazon S3 dédié du volant d'inertie, vous garantissez une gestion efficace des données. Des itérations régulières du volant d'inertie garantissent que les modèles sont formés avec les dernières données et évalués pour des performances optimales. Promouvez toujours les modèles les plus performants au statut actif et déployez des points de terminaison synchronisés avec le modèle actif, réduisant ainsi les interventions manuelles. Cette approche systématique, fondée sur les principes MLOps, favorise l'excellence opérationnelle et garantit une qualité supérieure des modèles.
  • De plus, avec l'introduction récente d'Amazon Text Requêtes personnalisées Grâce à cette fonctionnalité, vous pouvez affiner le processus d'extraction pour répondre aux exigences métier uniques en utilisant des questions en langage naturel, améliorant ainsi la précision pour des types de documents spécifiques. Les requêtes personnalisées simplifient l'adaptation de la fonctionnalité Amazon Textract Queries, éliminant le besoin d'une expertise approfondie en ML et facilitant une manière plus intuitive d'extraire des informations précieuses à partir de documents.

Optimisation de la construction et de la publication

La rationalisation des processus de création et de publication est essentielle pour l’agilité et la sécurité des solutions IDP. Voici les pratiques clés en matière d'optimisation des builds et des versions, axées sur l'automatisation, l'intégration et la livraison continues (CI/CD) et la sécurité :

• Déploiement automatisé – Concevez votre solution IDP en utilisant les principes d'infrastructure en tant que code (IaC) pour des déploiements cohérents et reproductibles ; l'infrastructure sans serveur peut être déployée avec Kit de développement cloud AWS (AWS CDK) et orchestré avec un service de flux de travail visuel low-code comme AWS Step Functions.
• Pipelines CI / CD – Tirer parti d’outils comme AWS CodePipeline, Création de code AWS, AWS CodeDeploy pour l'automatisation des phases de construction, de test et de publication des composants et modèles IDP. Configurez des restaurations automatisées pour atténuer les risques de déploiement et intégrez le suivi des modifications et la gouvernance pour une validation approfondie avant le déploiement en production.
• Sécurité avec AWS KMS – L'excellence opérationnelle n'est pas seulement une question d'efficacité ; la sécurité joue également un rôle essentiel. Plus précisément, pour les points de terminaison Amazon Comprehend où les clés gérées par le client chiffrent les modèles sous-jacents, en maintenant l'intégrité à l'aide de Service de gestion des clés AWS (AWS KMS) les autorisations des clés deviennent vitales. Utiliser Conseiller de confiance AWS pour vérifier les risques d’accès aux points de terminaison et gérer les autorisations des clés KMS.
• Intégration transparente avec divers systèmes externes – Adaptez les pipelines de création et de publication pour mettre l’accent sur une intégration transparente avec divers systèmes externes. Utilisez les services et les bonnes pratiques AWS pour concevoir des flux de travail de traitement de documents afin de s'interfacer et de s'adapter facilement à diverses exigences externes. Cela garantit la cohérence et l’agilité des déploiements, en donnant la priorité à l’excellence opérationnelle même dans des scénarios d’intégration complexes.

Observabilité

Atteindre l’excellence opérationnelle en matière de PDI nécessite une approche intégrée dans laquelle le suivi et l’observabilité jouent un rôle central. Vous trouverez ci-dessous les pratiques clés pour garantir la clarté, la compréhension et l'amélioration continue au sein d'un environnement AWS :

• Observabilité complète – Mettre en œuvre une solution approfondie de surveillance et d’observabilité avec des outils tels que Journaux Amazon CloudWatch pour des services tels qu'Amazon Textract et Amazon Comprehend. Cette approche fournit des informations opérationnelles claires à toutes les parties prenantes, favorisant un fonctionnement efficace, une gestion réactive des événements et un cycle d'amélioration continue.
• Amazon Comprehend Endpoint surveillance et mise à l'échelle automatique – Utilisez Trusted Advisor pour une surveillance diligente des points de terminaison Amazon Comprehend afin d'optimiser l'utilisation des ressources. Ajustez les configurations de débit ou utilisez Mise à l'échelle automatique des applications AWS pour aligner les ressources sur la demande, améliorant ainsi l’efficacité et la rentabilité.
• Stratégie de surveillance d'Amazon Text – Pour l’excellence opérationnelle dans l’utilisation d’Amazon Textract, adoptez une approche holistique :
  • Utilisez CloudWatch pour surveiller avec diligence les opérations d'Amazon Textract, en tirant des informations à partir de mesures clés telles que SuccessfulRequestCount, ThrottledCount, ResponseTime, ServerErrorCount, UserErrorCount
  • Définissez des alarmes précises basées sur ces mesures et intégrez-les à Service de notification simple d'Amazon (Amazon SNS) pour la détection des anomalies en temps réel.
  • Agissez rapidement sur ces notifications, garantissant une rectification rapide des problèmes et une efficacité constante du traitement des documents. Cette stratégie combine une surveillance méticuleuse avec une intervention proactive, établissant la référence en matière d’excellence opérationnelle.
• Journalisation des appels d'API avec AWS CloudTrail – Avec AWS CloudTrail , vous pouvez gagner en visibilité sur l'historique des appels d'API et l'activité des utilisateurs, ce qui est crucial pour la surveillance opérationnelle et la réponse rapide aux incidents. Les services Amazon Textract et Amazon Comprehend sont intégrés à AWS CloudTrail.

Conclusion

Dans cet article, nous avons partagé les principes de conception, les domaines d'intervention, les fondements et les meilleures pratiques pour atteindre l'excellence opérationnelle dans votre solution IDP. En adoptant les principes du cadre bien architecturé abordés dans cet article, vous pouvez optimiser vos charges de travail IDP pour l'excellence opérationnelle. Concentrez-vous sur des domaines clés tels que l'IaC, l'instrumentation, l'observabilité et l'amélioration continue, qui vous aideront à atteindre l'excellence opérationnelle et à garantir que vos systèmes IDP génèrent de la valeur commerciale à grande échelle, de manière sécurisée et conforme.

AWS s'engage à utiliser l'objectif IDP Well-Architected en tant qu'outil vivant. À mesure que les solutions IDP et les services AWS AI associés évoluent et que de nouveaux services AWS deviennent disponibles, nous mettrons à jour l'IDP Lens Well-Architected en conséquence.

Si vous souhaitez en savoir plus sur le framework AWS Well-Architected, reportez-vous à AWS bien architecturé.

Si vous avez besoin de conseils d'experts supplémentaires, contactez l'équipe de votre compte AWS pour engager un architecte de solutions spécialisé IDP.

À propos des auteurs

Brijesh Pati est un architecte de solutions d'entreprise chez AWS. Son objectif principal est d'aider les entreprises clientes à adopter les technologies cloud pour leurs charges de travail. Il possède une expérience en développement d'applications et en architecture d'entreprise et a travaillé avec des clients de divers secteurs tels que le sport, la finance, l'énergie et les services professionnels. Ses intérêts incluent les architectures sans serveur et l'IA/ML.

Mia Chang est un architecte de solutions spécialisé en ML pour Amazon Web Services. Elle travaille avec des clients de la région EMEA et partage les meilleures pratiques pour exécuter des charges de travail IA/ML sur le cloud grâce à son expérience en mathématiques appliquées, en informatique et en IA/ML. Elle se concentre sur les charges de travail spécifiques à la PNL et partage son expérience en tant que conférencière et auteure de livres. Pendant son temps libre, elle aime faire de la randonnée, jouer à des jeux de société et préparer du café.

Rui Cardoso est un architecte de solutions partenaires chez Amazon Web Services (AWS). Il se concentre sur l'IA/ML et l'IoT. Il travaille avec les partenaires AWS et les accompagne dans le développement de solutions dans AWS. Lorsqu'il ne travaille pas, il aime faire du vélo, de la randonnée et apprendre de nouvelles choses.

Tim Condello est un architecte senior de solutions spécialisées en intelligence artificielle (IA) et en apprentissage automatique (ML) chez Amazon Web Services (AWS). Son objectif est le traitement du langage naturel et la vision par ordinateur. Tim aime prendre les idées des clients et les transformer en solutions évolutives.

Xérès Ding est un architecte senior de solutions spécialisées en intelligence artificielle (IA) et en apprentissage automatique (ML) chez Amazon Web Services (AWS). Elle possède une vaste expérience en apprentissage automatique avec un doctorat en informatique. Elle travaille principalement avec des clients du secteur public sur divers défis commerciaux liés à l'IA/ML, les aidant à accélérer leur parcours d'apprentissage automatique sur le cloud AWS. Lorsqu’elle n’aide pas les clients, elle aime les activités de plein air.

Suyin Wang est un architecte de solutions spécialisé en IA/ML chez AWS. Elle possède une formation interdisciplinaire en apprentissage automatique, en services d'information financière et en économie, ainsi que des années d'expérience dans la création d'applications de science des données et d'apprentissage automatique qui ont résolu des problèmes commerciaux réels. Elle aime aider les clients à identifier les bonnes questions commerciales et à créer les bonnes solutions IA/ML. Dans ses temps libres, elle aime chanter et cuisiner.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-1-operational-excellence/