Amazon SageMaker JumpStart is een machine learning (ML) hub die u kan helpen uw ML-reis te versnellen. Met SageMaker JumpStart kunt u openbaar beschikbare en propriëtaire basismodellen ontdekken en inzetten voor toegewijde Amazon Sage Maker instanties voor uw generatieve AI-toepassingen. Met SageMaker JumpStart kunt u basismodellen implementeren vanuit een netwerkgeïsoleerde omgeving en deelt u geen klanttraining en inferentiegegevens met modelaanbieders.

In dit bericht laten we zien hoe u aan de slag kunt gaan met eigen modellen van modelaanbieders zoals AI21, Cohere en LightOn van Amazon SageMaker Studio. SageMaker Studio is een notebookomgeving waar SageMaker enterprise data scientist-klanten modellen evalueren en bouwen voor hun volgende generatieve AI-toepassingen.

Funderingsmodellen in SageMaker

Foundation-modellen zijn grootschalige ML-modellen die miljarden parameters bevatten en vooraf zijn getraind op terabytes aan tekst- en afbeeldingsgegevens, zodat u een breed scala aan taken kunt uitvoeren, zoals het samenvatten van artikelen en het genereren van tekst, afbeeldingen of video. Omdat basismodellen vooraf zijn getraind, kunnen ze helpen de training- en infrastructuurkosten te verlagen en maatwerk voor uw gebruik mogelijk te maken.

SageMaker JumpStart biedt twee soorten funderingsmodellen:

• Eigen modellen - Deze modellen zijn van providers zoals AI21 met Jurassic-2-modellen, Cohere met Cohere Command en LightOn met Mini, getraind op eigen algoritmen en gegevens. U kunt modelartefacten zoals gewicht en scripts niet bekijken, maar u kunt nog steeds gebruikmaken van SageMaker-instanties voor deductie.
• Openbaar beschikbare modellen - Deze zijn van populaire modelhubs zoals Hugging Face with Stable Diffusion, Falcon en FLAN, getraind op openbaar beschikbare algoritmen en gegevens. Voor deze modellen hebben gebruikers toegang tot modelartefacten en kunnen ze hun eigen gegevens verfijnen voordat ze worden geïmplementeerd voor inferentie.

Ontdek modellen

U hebt toegang tot de basismodellen via SageMaker JumpStart in de gebruikersinterface van SageMaker Studio en de SageMaker Python SDK. In dit gedeelte bespreken we hoe u de modellen in de gebruikersinterface van SageMaker Studio kunt ontdekken.

SageMaker Studio is een webgebaseerde geïntegreerde ontwikkelomgeving (IDE) voor ML waarmee u uw ML-modellen kunt bouwen, trainen, debuggen, implementeren en bewaken. Raadpleeg voor meer informatie over hoe u aan de slag kunt gaan en SageMaker Studio kunt instellen Amazon SageMaker Studio.

Zodra u zich in de gebruikersinterface van SageMaker Studio bevindt, hebt u toegang tot SageMaker JumpStart, dat vooraf getrainde modellen, notebooks en kant-en-klare oplossingen bevat, onder Kant-en-klare en geautomatiseerde oplossingen.

Vanaf de startpagina van SageMaker JumpStart kunt u zoeken naar oplossingen, modellen, notebooks en andere bronnen. De volgende schermafbeelding toont een voorbeeld van de bestemmingspagina met vermelde oplossingen en funderingsmodellen.

Elk model heeft een modelkaart, zoals weergegeven in de volgende schermafbeelding, die de modelnaam bevat, of deze al dan niet nauwkeurig kan worden afgesteld, de naam van de provider en een korte beschrijving van het model. U kunt ook de modelkaart openen om meer over het model te leren en te beginnen met trainen of implementeren.

Abonneer u op AWS Marketplace

Eigen modellen in SageMaker JumpStart worden gepubliceerd door modelaanbieders zoals AI21, Cohere en LightOn. U kunt eigen modellen herkennen aan de tag "Proprietary" op modelkaarten, zoals weergegeven in de volgende schermafbeelding.

Je kan kiezen Notitieboekje bekijken op de modelkaart om de notebook in alleen-lezenmodus te openen, zoals weergegeven in de volgende schermafbeelding. U kunt het notitieboek lezen voor belangrijke informatie over vereisten en andere gebruiksinstructies.

Nadat u de notebook hebt geïmporteerd, moet u de juiste notebookomgeving selecteren (image, kernel, instantietype, enzovoort) voordat u codes uitvoert. Volg ook de abonnements- en gebruiksinstructies per geselecteerde notebook.

Voordat u een eigen model gebruikt, moet u zich eerst abonneren op het model van AWS Marketplace:

1. Open de modellijstpagina in AWS Marketplace.

De URL staat in de belangrijk gedeelte van het notitieblok, of u kunt er toegang toe krijgen via de SageMaker JumpStart-servicepagina. De lijstpagina toont het overzicht, prijzen, gebruik en ondersteuningsinformatie over het model.

2. Kies op de AWS Marketplace-lijst Blijf abonneren.

Als u niet over de benodigde machtigingen beschikt om het model te bekijken of u erop te abonneren, neemt u contact op met uw IT-beheerder of inkoopcontactpersoon om u op het model te abonneren. Veel ondernemingen kunnen de machtigingen van AWS Marketplace beperken om de acties te controleren die iemand met die machtigingen kan uitvoeren in de AWS Marketplace Management Portal.

3. Op de Abonneer u op deze softwarepagina, bekijk de details en kies Accepteer bod als u en uw organisatie akkoord gaan met de EULA, prijzen en ondersteuningsvoorwaarden.

Als u vragen heeft of een verzoek om kwantumkorting, neem dan rechtstreeks contact op met de modelaanbieder via de ondersteunings-e-mail op de detailpagina of neem contact op met uw AWS-accountteam.

4. Kies Doorgaan naar configuratie en kies een Regio.

U ziet een product-ARN weergegeven. Dit is het modelpakket ARN dat u moet opgeven bij het maken van een inzetbaar model met Boto3.

5. Kopieer de ARN die overeenkomt met uw regio en specificeer hetzelfde in de celinstructie van de notebook.

Voorbeeld van gevolgtrekkingen met voorbeeldprompts

Laten we eens kijken naar enkele van de voorbeeldbasismodellen van A21 Labs, Cohere en LightOn die kunnen worden gevonden via SageMaker JumpStart in SageMaker Studio. Ze hebben allemaal dezelfde instructies om zich te abonneren op AWS Marketplace en de notebook te importeren en configureren.

AI21 Vat samen

Het Summarize-model van A121 Labs condenseert lange teksten tot korte, gemakkelijk leesbare stukjes die feitelijk consistent blijven met de bron. Het model is getraind om samenvattingen te genereren die belangrijke ideeën vastleggen op basis van een stuk tekst. Het vereist geen aansporing. U voert eenvoudig de tekst in die moet worden samengevat. Uw brontekst kan maximaal 50,000 tekens bevatten, wat neerkomt op ongeveer 10,000 woorden of een indrukwekkende 40 pagina's.

Het voorbeeldnotitieboekje voor het AI21-samenvattingsmodel biedt belangrijke vereisten waaraan moet worden voldaan. Het model is bijvoorbeeld geabonneerd op AWS Marketplace, heeft de juiste machtigingen voor IAM-rollen en de vereiste boto3-versie enz. Het laat u zien hoe u het modelpakket selecteert, eindpunten maakt voor real-time gevolgtrekking en vervolgens opschoont.

Het geselecteerde modelpakket bevat de toewijzing van ARN's aan regio's. Dit is de informatie die u hebt vastgelegd na het kiezen Doorgaan naar configuratie op de AWS Marketplace-abonnementspagina (in de sectie Evalueer en abonneer u op Marktplaats) en selecteer vervolgens een regio waarvoor u de bijbehorende product-ARN ziet.

Het notebook heeft mogelijk al ARN vooraf ingevuld.

Vervolgens importeert u enkele bibliotheken die nodig zijn om dit notitieblok uit te voeren en installeert u wikipedia, een Python-bibliotheek die het gemakkelijk maakt om toegang te krijgen tot gegevens van Wikipedia en deze te parseren. Het notitieboek gebruikt dit later om te laten zien hoe een lange tekst van Wikipedia kan worden samengevat.

De notebook gaat ook verder met het installeren van het ai21 Python SDK, een wrapper rond SageMaker API's zoals deploy en invoke endpoint.

De volgende paar cellen van het notitieblok doorlopen de volgende stappen:

• Selecteer de regio en haal het modelpakket ARN op van de modelpakketkaart
• Creëer uw inferentie-eindpunt door een instantietype te selecteren (afhankelijk van uw use case en ondersteunde instantie voor het model; zie Taakspecifieke modellen voor meer details) om het model uit te voeren
• Maak een implementeerbaar model vanuit het modelpakket

Laten we de gevolgtrekking uitvoeren om een ​​samenvatting te genereren van een enkele alinea uit een nieuwsartikel. Zoals u in de uitvoer kunt zien, wordt de samengevatte tekst door het model als uitvoer gepresenteerd.

AI21 Samenvatten kan invoer verwerken tot 50,000 tekens. Dit vertaalt zich in ongeveer 10,000 woorden of 40 pagina's. Als demonstratie van het gedrag van het model laden we een pagina van Wikipedia.

Nu u een real-time gevolgtrekking voor het testen hebt uitgevoerd, heeft u het eindpunt mogelijk niet meer nodig. U kunt het eindpunt verwijderen om te voorkomen dat er kosten in rekening worden gebracht.

Cohere-commando

Cohere Command is een generatief model dat goed reageert met instructieachtige prompts. Dit model biedt bedrijven en ondernemingen de beste kwaliteit, prestaties en nauwkeurigheid bij alle generatieve taken. U kunt het Command-model van Cohere gebruiken om uw inspanningen op het gebied van copywriting, benoemde entiteitherkenning, parafrasering of samenvatting te versterken en naar een hoger niveau te tillen.

Het voorbeeldnotitieblok voor het Cohere Command-model biedt belangrijke voorwaarden waaraan moet worden voldaan. Het model is bijvoorbeeld geabonneerd op AWS Marketplace, heeft de juiste machtigingen voor IAM-rollen en de vereiste boto3-versie enz. Het laat u zien hoe u het modelpakket selecteert, eindpunten maakt voor real-time gevolgtrekking en vervolgens opschoont.

Sommige taken zijn vergelijkbaar met die in het vorige notebookvoorbeeld, zoals het installeren van Boto3, het installeren cohere-sagemaker (het pakket biedt functionaliteit die is ontwikkeld om de interface met het Cohere-model te vereenvoudigen), en het verkrijgen van de sessie en regio.

Laten we eens kijken naar het maken van het eindpunt. U geeft de ARN van het modelpakket, de naam van het eindpunt, het te gebruiken exemplaartype en het aantal exemplaren op. Eenmaal gemaakt, verschijnt het eindpunt in uw eindpunt gedeelte van SageMaker.

Laten we nu de gevolgtrekking uitvoeren om enkele uitvoer van het Command-model te bekijken.

De volgende schermafbeelding toont een voorbeeldvoorbeeld van het genereren van een vacatureplaatsing en de uitvoer ervan. Zoals u kunt zien, heeft het model een bericht gegenereerd op basis van de gegeven prompt.

Laten we nu eens kijken naar de volgende voorbeelden:

• Genereer een productbeschrijving
• Genereer een hoofdgedeelte van een blogpost
• Genereer een outreach-e-mail

Zoals u kunt zien, genereerde het Cohere Command-model tekst voor verschillende generatieve taken.

Nu u real-time gevolgtrekkingen voor testen hebt uitgevoerd, heeft u het eindpunt mogelijk niet meer nodig. U kunt het eindpunt verwijderen om te voorkomen dat er kosten in rekening worden gebracht.

LightOn Mini-instrueren

Mini-instruct, een AI-model met 40 miljard miljard parameters gemaakt door LightOn, is een krachtig meertalig AI-systeem dat is getraind met behulp van hoogwaardige gegevens uit tal van bronnen. Het is gebouwd om natuurlijke taal te begrijpen en te reageren op commando's die specifiek zijn voor uw behoeften. Het presteert bewonderenswaardig in consumentenproducten zoals stemassistenten, chatbots en slimme apparaten. Het heeft ook een breed scala aan zakelijke toepassingen, waaronder assistentie van agenten en natuurlijke taalproductie voor geautomatiseerde klantenservice.

Het voorbeeldnotitieboekje voor het LightOn Mini-instruct-model biedt belangrijke vereisten waaraan moet worden voldaan. Het model is bijvoorbeeld geabonneerd op AWS Marketplace, heeft de juiste machtigingen voor IAM-rollen en de vereiste boto3-versie enz. Het laat u zien hoe u het modelpakket selecteert, eindpunten maakt voor real-time gevolgtrekking en vervolgens opschoont.

Sommige taken zijn vergelijkbaar met die in het vorige notebookvoorbeeld, zoals het installeren van Boto3 en het ophalen van de sessieregio.

Laten we eens kijken naar het maken van het eindpunt. Geef eerst de ARN van het modelpakket, de naam van het eindpunt, het te gebruiken exemplaartype en het aantal exemplaren op. Eenmaal gemaakt, verschijnt het eindpunt in uw eindpuntgedeelte van SageMaker.

Laten we nu proberen het model af te leiden door het te vragen een lijst met ideeën voor artikelen over een onderwerp te genereren, in dit geval aquarel.

Zoals u kunt zien, kon het LightOn Mini-instruct-model gegenereerde tekst leveren op basis van de gegeven prompt.

Opruimen

Nadat u de modellen hebt getest en de bovenstaande eindpunten hebt gemaakt voor de voorbeeldeigen Foundation-modellen, moet u ervoor zorgen dat u de SageMaker-inferentie-eindpunten verwijdert en de modellen verwijdert om te voorkomen dat er kosten in rekening worden gebracht.

Conclusie

In dit bericht hebben we u laten zien hoe u aan de slag kunt met eigen modellen van modelaanbieders zoals AI21, Cohere en LightOn in SageMaker Studio. Klanten kunnen eigen Foundation-modellen ontdekken en gebruiken in SageMaker JumpStart vanuit Studio, de SageMaker SDK en de SageMaker Console. Hiermee hebben ze toegang tot grootschalige ML-modellen die miljarden parameters bevatten en vooraf zijn getraind op terabytes aan tekst- en afbeeldingsgegevens, zodat klanten een breed scala aan taken kunnen uitvoeren, zoals het samenvatten van artikelen en het genereren van tekst, afbeeldingen of video. Omdat basismodellen vooraf zijn getraind, kunnen ze ook helpen de kosten voor training en infrastructuur te verlagen en maatwerk voor uw gebruik mogelijk te maken.

Resources

Over de auteurs

juni gewonnen is een productmanager bij SageMaker JumpStart. Hij richt zich op het gemakkelijk vindbaar en bruikbaar maken van basismodellen om klanten te helpen bij het bouwen van generatieve AI-applicaties.

Mani Khanuja is een Artificial Intelligence en Machine Learning Specialist SA bij Amazon Web Services (AWS). Ze helpt klanten die machine learning gebruiken om hun zakelijke uitdagingen op te lossen met behulp van de AWS. Ze besteedt het grootste deel van haar tijd aan het duiken in de diepte en het onderwijzen van klanten aan AI/ML-projecten met betrekking tot computervisie, natuurlijke taalverwerking, prognoses, ML aan de rand en meer. Ze is gepassioneerd door ML op het randje, daarom heeft ze haar eigen laboratorium gecreëerd met een zelfrijdende kit en productielijn voor het maken van prototypes, waar ze veel van haar vrije tijd doorbrengt.

Nitin Eusebius is Sr. Enterprise Solutions Architect bij AWS met ervaring in Software Engineering, Enterprise Architecture en AI/ML. Hij werkt samen met klanten om hen te helpen bij het bouwen van goed ontworpen applicaties op het AWS-platform. Hij is gepassioneerd door het oplossen van technologische uitdagingen en het helpen van klanten met hun cloudreis.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/use-proprietary-foundation-models-from-amazon-sagemaker-jumpstart-in-amazon-sagemaker-studio/