Dit bericht is geschreven in samenwerking met Jayadeep Pabbisetty, Sr. Specialist Data Engineering bij Merck, en Prabakaran Mathaiyan, Sr. ML Engineer bij Tiger Analytics.

De grote levenscyclus van machine learning (ML)-modellen vereist een schaalbaar modelreleaseproces dat vergelijkbaar is met dat van softwareontwikkeling. Modelontwikkelaars werken vaak samen bij het ontwikkelen van ML-modellen en hebben een robuust MLOps-platform nodig om in te werken. Een schaalbaar MLOps-platform moet een proces omvatten voor het afhandelen van de workflow van registratie, goedkeuring en promotie van ML-modellen naar het volgende omgevingsniveau (ontwikkeling, testen , UAT of productie).

Een modelontwikkelaar begint doorgaans te werken in een individuele ML-ontwikkelomgeving Amazon Sage Maker. Wanneer een model is getraind en klaar is om te worden gebruikt, moet het worden goedgekeurd nadat het is geregistreerd in het Amazon SageMaker-modelregister. In dit bericht bespreken we hoe het AWS AI/ML-team samenwerkte met het Merck Human Health IT MLOps-team om een ​​oplossing te bouwen die een geautomatiseerde workflow gebruikt voor de goedkeuring en promotie van ML-modellen, met menselijke tussenkomst in het midden.

Overzicht van de oplossing

Dit bericht richt zich op een workflowoplossing die de levenscyclus van de ML-modelontwikkeling kan gebruiken tussen de trainingspijplijn en de deductiepijplijn. De oplossing biedt een schaalbare workflow voor MLOps ter ondersteuning van het goedkeurings- en promotieproces van het ML-model met menselijke tussenkomst. Een door een datawetenschapper geregistreerd ML-model heeft een goedkeurder nodig om het te beoordelen en goed te keuren voordat het wordt gebruikt voor een gevolgtrekkingspijplijn en op het volgende omgevingsniveau (test, UAT of productie). De oplossing gebruikt AWS Lambda, Amazon API-gateway, Amazon EventBridgeen SageMaker om de workflow te automatiseren met tussenkomst van menselijke goedkeuring. Het volgende architectuurdiagram toont het algehele systeemontwerp, de gebruikte AWS-services en de workflow voor het goedkeuren en promoten van ML-modellen met menselijke tussenkomst, van ontwikkeling tot productie.

De workflow omvat de volgende stappen:

1. De trainingspijplijn ontwikkelt en registreert een model in het SageMaker-modelregister. Op dit moment is de modelstatus PendingManualApproval.
2. EventBridge bewaakt statuswijzigingsgebeurtenissen om automatisch acties te ondernemen met eenvoudige regels.
3. De EventBridge-modelregistratiegebeurtenisregel roept een Lambda-functie aan die een e-mail samenstelt met een link om het geregistreerde model goed te keuren of af te wijzen.
4. De goedkeurder ontvangt een e-mail met de link om het model te beoordelen en goed te keuren of af te wijzen.
5. De goedkeurder keurt het model goed door de link in de e-mail naar een API Gateway-eindpunt te volgen.
6. API Gateway roept een Lambda-functie aan om modelupdates te initiëren.
7. Het modelregister wordt bijgewerkt voor de modelstatus (Approved voor de ontwikkelomgeving, maar PendingManualApproval voor test, UAT en productie).
8. Het modeldetail wordt opgeslagen in AWS-parameteropslag, een vermogen van AWS-systeembeheerder, inclusief de modelversie, goedgekeurde doelomgeving, modelpakket.
9. De inferentiepijplijn haalt het model op dat is goedgekeurd voor de doelomgeving uit Parameter Store.
10. De Lambda-functie voor kennisgeving na de gevolgtrekking verzamelt batchgewijze gevolgtrekkingsgegevens en verzendt een e-mail naar de goedkeurder om het model naar de volgende omgeving te promoveren.

Voorwaarden

De workflow in dit bericht gaat ervan uit dat de omgeving voor de trainingspijplijn is opgezet in SageMaker, samen met andere bronnen. De invoer voor de trainingspijplijn is de gegevensset met functies. De details over het genereren van functies zijn niet opgenomen in dit bericht, maar het richt zich op de registratie, goedkeuring en promotie van ML-modellen nadat ze zijn getraind. Het model wordt geregistreerd in het modellenregister en wordt beheerst door een monitoringframework Amazon SageMaker-modelmonitor om eventuele afwijkingen te detecteren en over te gaan tot herscholing in geval van modelafwijkingen.

Workflowdetails

De goedkeuringsworkflow begint met een model dat is ontwikkeld op basis van een trainingspijplijn. Wanneer datawetenschappers een model ontwikkelen, registreren ze dit bij het SageMaker Model Registry met de modelstatus van PendingManualApproval. EventBridge controleert SageMaker op de modelregistratiegebeurtenis en activeert een gebeurtenisregel die een Lambda-functie aanroept. De Lambda-functie bouwt dynamisch een e-mail op voor goedkeuring van het model met een link naar een API Gateway-eindpunt naar een andere Lambda-functie. Wanneer de goedkeurder de link volgt om het model goed te keuren, stuurt API Gateway de goedkeuringsactie door naar de Lambda-functie, die het SageMaker Model Registry en de modelattributen in Parameter Store bijwerkt. De goedkeurder moet zijn geverifieerd en moet deel uitmaken van de goedkeurdersgroep die wordt beheerd door Active Directory. De eerste goedkeuring markeert het model als Approved voor ontwikkelaar maar PendingManualApproval voor test, UAT en productie. De modelkenmerken die in Parameter Store zijn opgeslagen, omvatten de modelversie, het modelpakket en de goedgekeurde doelomgeving.

Wanneer een inferentiepijplijn een model moet ophalen, controleert deze in Parameter Store op de nieuwste modelversie die is goedgekeurd voor de doelomgeving en worden de inferentiedetails opgehaald. Wanneer de inferentiepijplijn voltooid is, wordt er na de inferentie een e-mailbericht verzonden naar een belanghebbende met het verzoek om goedkeuring om het model naar het volgende omgevingsniveau te promoveren. De e-mail bevat details over het model en de statistieken, evenals een goedkeuringslink naar een API Gateway-eindpunt voor een Lambda-functie die de modelkenmerken bijwerkt.

Hieronder volgt de reeks gebeurtenissen en implementatiestappen voor de goedkeurings-/promotieworkflow van het ML-model, van het maken van het model tot de productie. Het model wordt gepromoveerd van ontwikkelings- naar test-, UAT- en productieomgevingen met een expliciete menselijke goedkeuring bij elke stap.

We beginnen met de trainingspijplijn, die klaar is voor modelontwikkeling. De modelversie begint als 0 in SageMaker Model Registry.

1. De SageMaker-trainingspijplijn ontwikkelt en registreert een model in SageMaker Model Registry. Modelversie 1 is geregistreerd en begint met In afwachting van handmatige goedkeuring statuut.De metagegevens van het Modelregister hebben vier aangepaste velden voor de omgevingen: dev, test, uat en prod.
2. EventBridge controleert het SageMaker Model Registry op de statuswijziging om automatisch actie te ondernemen met eenvoudige regels.
3. De gebeurtenisregel voor modelregistratie roept een Lambda-functie aan die een e-mail samenstelt met de link om het geregistreerde model goed te keuren of af te wijzen.
4. De goedkeurder ontvangt een e-mail met de link om het model te beoordelen en goed te keuren (of af te wijzen).
5. De goedkeurder keurt het model goed door de link naar het API Gateway-eindpunt in de e-mail te volgen.
6. API Gateway roept de Lambda-functie aan om modelupdates te initiëren.
7. Het SageMaker-modelregister wordt bijgewerkt met de modelstatus.
8. De modeldetailinformatie wordt opgeslagen in Parameter Store, inclusief de modelversie, de goedgekeurde doelomgeving en het modelpakket.
9. De inferentiepijplijn haalt het model op dat is goedgekeurd voor de doelomgeving uit Parameter Store.
10. De Lambda-functie voor kennisgeving na de gevolgtrekking verzamelt batchgewijze gevolgtrekkingsgegevens en verzendt een e-mail naar de goedkeurder om het model naar de volgende omgeving te promoveren.
11. De goedkeurder keurt de modelpromotie naar het volgende niveau goed door de link naar het API Gateway-eindpunt te volgen, waardoor de Lambda-functie wordt geactiveerd om het SageMaker Model Registry en Parameter Store bij te werken.

De volledige geschiedenis van het versiebeheer en de goedkeuring van het model wordt ter beoordeling opgeslagen in Parameter Store.

Conclusie

De grote levenscyclus van de ontwikkeling van ML-modellen vereist een schaalbaar goedkeuringsproces voor ML-modellen. In dit bericht hebben we een implementatie gedeeld van een ML-modelregistratie, goedkeurings- en promotieworkflow met menselijke tussenkomst met behulp van SageMaker Model Registry, EventBridge, API Gateway en Lambda. Als u een schaalbaar ML-modelontwikkelingsproces voor uw MLOps-platform overweegt, kunt u de stappen in dit bericht volgen om een ​​vergelijkbare workflow te implementeren.

Over de auteurs

Tom Kim is Senior Solution Architect bij AWS, waar hij zijn klanten helpt hun zakelijke doelstellingen te bereiken door oplossingen op AWS te ontwikkelen. Hij heeft uitgebreide ervaring met de architectuur en bedrijfsvoering van bedrijfssystemen in verschillende sectoren, met name in de gezondheidszorg en de levenswetenschappen. Tom leert altijd nieuwe technologieën die leiden tot het gewenste bedrijfsresultaat voor klanten – b.v. AI/ML, GenAI en data-analyse. Hij houdt er ook van om naar nieuwe plaatsen te reizen en nieuwe golfbanen te spelen wanneer hij maar tijd kan vinden.

Shamika Ariyawansa, werkzaam als Senior AI/ML Solutions Architect in de divisie Healthcare and Life Sciences bij Amazon Web Services (AWS), gespecialiseerd in Generative AI, met een focus op Large Language Model (LLM)-training, inferentie-optimalisaties en MLOps (Machine Learning Activiteiten). Hij begeleidt klanten bij het inbedden van geavanceerde generatieve AI in hun projecten, waarbij hij zorgt voor robuuste trainingsprocessen, efficiënte inferentiemechanismen en gestroomlijnde MLOps-praktijken voor effectieve en schaalbare AI-oplossingen. Naast zijn professionele verplichtingen houdt Shamika zich hartstochtelijk bezig met skiën en offroad-avonturen.

Jayadeep Pabbisetty is Senior ML/Data Engineer bij Merck, waar hij ETL- en MLOps-oplossingen ontwerpt en ontwikkelt om datawetenschap en -analyse voor het bedrijf te ontsluiten. Hij is altijd enthousiast over het leren van nieuwe technologieën, het verkennen van nieuwe wegen en het verwerven van de vaardigheden die nodig zijn om mee te evolueren met de steeds veranderende IT-industrie. In zijn vrije tijd volgt hij zijn passie voor sport en houdt hij van reizen en nieuwe plekken ontdekken.

Prabakaran Mathaiyan is Senior Machine Learning Engineer bij Tiger Analytics LLC, waar hij zijn klanten helpt hun zakelijke doelstellingen te bereiken door oplossingen te bieden voor het bouwen van modellen, training, validatie, monitoring, CICD en verbetering van machine learning-oplossingen op AWS. Prabakaran leert altijd nieuwe technologieën die leiden tot het gewenste zakelijke resultaat voor klanten – b.v. AI/ML, GenAI, GPT en LLM. Hij speelt ook graag cricket wanneer hij tijd kan vinden.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/