Gelanceerd in 2021, Amazon SageMaker-canvas is een visuele point-and-click-service voor het bouwen en implementeren van machine learning-modellen (ML) zonder dat u code hoeft te schrijven. Kant-en-klare Foundation Models (FM's) die beschikbaar zijn in SageMaker Canvas stellen klanten in staat generatieve AI te gebruiken voor taken zoals het genereren en samenvatten van inhoud.

We zijn verheugd de nieuwste updates voor Amazon SageMaker Canvas aan te kondigen, die opwindende nieuwe generatieve AI-mogelijkheden naar het platform brengen. Met ondersteuning voor Meta Llama 2- en Mistral.AI-modellen en de lancering van streaming-reacties blijft SageMaker Canvas iedereen in staat stellen die aan de slag wil met generatieve AI zonder ook maar één regel code te schrijven. In dit bericht bespreken we deze updates en hun voordelen.

Maak kennis met de Meta Llama 2- en Mistral-modellen

Llama 2 is een geavanceerd basismodel van Meta dat verbeterde schaalbaarheid en veelzijdigheid biedt voor een breed scala aan generatieve AI-taken. Gebruikers hebben gemeld dat Llama 2 in staat is betekenisvolle en samenhangende gesprekken aan te gaan, nieuwe inhoud te genereren en antwoorden uit bestaande aantekeningen te halen. Llama 2 is een van de modernste grote taalmodellen (LLM's) die momenteel verkrijgbaar zijn.

Mistral.AI, een toonaangevende Franse start-up op het gebied van AI, heeft de Mistral 7B ontwikkeld, een krachtig taalmodel met 7.3 miljard parameters. Mistral-modellen zijn zeer goed ontvangen door de open source-gemeenschap dankzij het gebruik van Grouped-Query Attention (GQA) voor snellere gevolgtrekking, waardoor het zeer efficiënt is en vergelijkbaar presteert als modellen met twee- of driemaal zoveel parameters.

Vandaag kondigen we met trots aan dat SageMaker Canvas nu drie Llama 2-modelvarianten en twee Mistral 7B-varianten ondersteunt:

Om deze modellen te testen, navigeert u naar het SageMaker Canvas Kant-en-klare modellen pagina, kies dan Inhoud genereren, extraheren en samenvatten. Hier vindt u de SageMaker Canvas GenAI-chatervaring. Hier kun je elk model van Amazon Bedrock of SageMaker JumpStart gebruiken door ze te selecteren in het vervolgkeuzemenu met modellen.

In ons geval kiezen we voor één van de Llama 2 modellen. Nu kunt u uw invoer of vraag doorgeven. Terwijl u de invoer verzendt, stuurt SageMaker Canvas uw invoer door naar het model.

Als u kiest welk van de beschikbare modellen in SageMaker Canvas het beste bij uw gebruikssituatie past, moet u rekening houden met informatie over de modellen zelf: het Llama-2-70B-chatmodel is een groter model (70 miljard parameters, vergeleken met 13 miljard met Llama-2-13B-chat), wat betekent dat de prestaties over het algemeen hoger zijn dan die van de kleinere, ten koste van een iets hogere latentie en hogere kosten per token. Mistral-7B heeft prestaties die vergelijkbaar zijn met Llama-2-7B of Llama-2-13B, maar wordt gehost op Amazon SageMaker. Dit betekent dat het prijsmodel anders is: van een prijsmodel per dollar per token naar een model per dollar per uur. Dit kan kosteneffectiever zijn met een aanzienlijk aantal verzoeken per uur en een consistent gebruik op schaal. Alle bovenstaande modellen kunnen goed presteren in verschillende gebruiksscenario's, dus onze suggestie is om te evalueren welk model het beste uw probleem oplost, rekening houdend met de afwegingen tussen output, doorvoer en kosten.

Als u op zoek bent naar een eenvoudige manier om te vergelijken hoe modellen zich gedragen, biedt SageMaker Canvas deze mogelijkheid in de vorm van modelvergelijkingen. U kunt maximaal drie verschillende modellen selecteren en dezelfde vraag naar alle modellen tegelijk sturen. SageMaker Canvas ontvangt vervolgens de antwoorden van elk van de modellen en toont deze in een zij-aan-zij chat-interface. Om dit te doen, kiest u Vergelijk en kies andere modellen om mee te vergelijken, zoals hieronder weergegeven:

Maak kennis met responsstreaming: realtime interacties en verbeterde prestaties

Een van de belangrijkste verbeteringen in deze release is de introductie van gestreamde reacties. Het streamen van reacties zorgt voor een rijkere ervaring voor de gebruiker en weerspiegelt een chatervaring beter. Met het streamen van reacties kunnen gebruikers direct feedback en naadloze integratie in hun chatbotapplicaties ontvangen. Dit zorgt voor een meer interactieve en responsieve ervaring, waardoor de algehele prestaties en gebruikerstevredenheid van de chatbot worden verbeterd. De mogelijkheid om op een chatachtige manier onmiddellijke reacties te ontvangen, zorgt voor een natuurlijkere gespreksstroom en verbetert de gebruikerservaring.

Met deze functie kunt u nu in realtime met uw AI-modellen communiceren, direct reacties ontvangen en naadloze integratie in een verscheidenheid aan applicaties en workflows mogelijk maken. Alle modellen die in SageMaker Canvas kunnen worden opgevraagd (van Amazon Bedrock en SageMaker JumpStart) kunnen reacties naar de gebruiker streamen.

Begin vandaag

Of u nu een chatbot, een aanbevelingssysteem of een virtuele assistent bouwt, de Llama 2- en Mistral-modellen in combinatie met gestreamde reacties zorgen voor verbeterde prestaties en interactiviteit voor uw projecten.

Om de nieuwste functies van SageMaker Canvas te gebruiken, moet u de app verwijderen en opnieuw maken. Om dat te doen, logt u uit bij de app door te kiezen Uitloggenen open vervolgens SageMaker Canvas opnieuw. Je zou de nieuwe modellen moeten zien en genieten van de nieuwste releases. Als u zich afmeldt bij de SageMaker Canvas-toepassing, worden alle bronnen vrijgegeven die door de werkruimte-instantie worden gebruikt, waardoor er geen onbedoelde extra kosten ontstaan.

Conclusie

Om aan de slag te gaan met de nieuwe gestreamde antwoorden voor de Llama 2- en Mistral-modellen in SageMaker Canvas, gaat u naar de SageMaker-console en verken de intuïtieve interface. Voor meer informatie over hoe SageMaker Canvas en generatieve AI u kunnen helpen uw bedrijfsdoelen te bereiken, raadpleegt u Geef uw zakelijke gebruikers de mogelijkheid inzichten uit bedrijfsdocumenten te halen met behulp van Amazon SageMaker Canvas en Genative AI en Veel voorkomende contactcenteruitdagingen overwinnen met generatieve AI en Amazon SageMaker Canvas.

Als je meer wilt weten over de functies van SageMaker Canvas en dieper wilt ingaan op andere ML-gebruiksscenario's, bekijk dan de andere berichten die beschikbaar zijn in de SageMaker Canvas-categorie van het AWS ML-blog. We kunnen niet wachten om de geweldige AI-toepassingen te zien die je met deze nieuwe mogelijkheden gaat maken!

Over de auteurs

David Gallitelli is een Senior Specialist Solutions Architect voor AI/ML. Hij is gevestigd in Brussel en werkt nauw samen met klanten over de hele wereld die Low-Code/No-Code Machine Learning-technologieën en generatieve AI willen adopteren. Hij is ontwikkelaar sinds hij heel jong was en begon op 7-jarige leeftijd met coderen. Hij begon AI/ML te leren op de universiteit en is er sindsdien verliefd op geworden.

Dan Sinnreich is Senior Product Manager bij AWS en helpt bij het democratiseren van low-code/no-code machine learning. Vóór AWS bouwde en commercialiseerde Dan zakelijke SaaS-platforms en tijdreeksmodellen die door institutionele beleggers worden gebruikt om risico's te beheren en optimale portefeuilles samen te stellen. Buiten zijn werk speelt hij hockey, duikt hij en leest hij sciencefiction.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/