Gestartet in 2021, Amazon SageMaker-Leinwand ist ein visueller Point-and-Click-Dienst zum Erstellen und Bereitstellen von Modellen für maschinelles Lernen (ML), ohne dass Code geschrieben werden muss. Die in SageMaker Canvas verfügbaren gebrauchsfertigen Foundation Models (FMs) ermöglichen es Kunden, generative KI für Aufgaben wie die Generierung und Zusammenfassung von Inhalten zu nutzen.

Wir freuen uns, die neuesten Updates für Amazon SageMaker Canvas ankündigen zu können, die der Plattform aufregende neue generative KI-Funktionen verleihen. Mit der Unterstützung der Modelle Meta Llama 2 und Mistral.AI und der Einführung von Streaming-Antworten bietet SageMaker Canvas weiterhin allen die Möglichkeit, mit generativer KI zu beginnen, ohne eine einzige Codezeile schreiben zu müssen. In diesem Beitrag diskutieren wir diese Updates und ihre Vorteile.

Wir stellen die Modelle Meta Llama 2 und Mistral vor

Llama 2 ist ein hochmodernes Basismodell von Meta, das verbesserte Skalierbarkeit und Vielseitigkeit für eine Vielzahl generativer KI-Aufgaben bietet. Benutzer haben berichtet, dass Llama 2 in der Lage ist, sinnvolle und zusammenhängende Gespräche zu führen, neue Inhalte zu generieren und Antworten aus vorhandenen Notizen zu extrahieren. Llama 2 gehört zu den hochmodernen Large Language Models (LLMs), die heute verfügbar sind.

Mistral.AI, ein führendes französisches KI-Startup, hat Mistral 7B entwickelt, ein leistungsstarkes Sprachmodell mit 7.3 Milliarden Parametern. Mistral-Modelle wurden von der Open-Source-Community dank der Verwendung von Grouped-Query Attention (GQA) für eine schnellere Inferenz sehr gut angenommen, was sie hocheffizient und vergleichbar mit Modellen mit der doppelten oder dreifachen Anzahl von Parametern macht.

Heute freuen wir uns, Ihnen mitteilen zu können, dass SageMaker Canvas jetzt drei Llama 2-Modellvarianten und zwei Mistral 7B-Varianten unterstützt:

Um diese Modelle zu testen, navigieren Sie zum SageMaker Canvas Gebrauchsfertige Modelle Seite, dann wählen Inhalte generieren, extrahieren und zusammenfassen. Hier finden Sie das SageMaker Canvas GenAI-Chat-Erlebnis. Hier können Sie jedes Modell von Amazon Bedrock oder SageMaker JumpStart verwenden, indem Sie es im Dropdown-Menü „Modell“ auswählen.

In unserem Fall entscheiden wir uns für eines der Llama 2-Modelle. Jetzt können Sie Ihre Eingabe oder Anfrage bereitstellen. Während Sie die Eingabe senden, leitet SageMaker Canvas Ihre Eingabe an das Modell weiter.

Um auszuwählen, welches der in SageMaker Canvas verfügbaren Modelle für Ihren Anwendungsfall am besten geeignet ist, müssen Sie Informationen über die Modelle selbst berücksichtigen: Das Llama-2-70B-Chat-Modell ist ein größeres Modell (70 Milliarden Parameter im Vergleich zu 13 Milliarden). mit Llama-2-13B-chat ), was bedeutet, dass seine Leistung im Allgemeinen höher ist als die des kleineren, auf Kosten einer etwas höheren Latenz und höherer Kosten pro Token. Mistral-7B bietet vergleichbare Leistungen wie Llama-2-7B oder Llama-2-13B, wird jedoch auf Amazon SageMaker gehostet. Dies bedeutet, dass das Preismodell anders ist und von einem Dollar-pro-Token-Preismodell zu einem Dollar-pro-Stunde-Modell übergeht. Dies kann bei einer erheblichen Anzahl von Anfragen pro Stunde und einer konsistenten Nutzung im großen Maßstab kosteneffizienter sein. Alle oben genannten Modelle können in einer Vielzahl von Anwendungsfällen gut funktionieren. Daher empfehlen wir Ihnen, zu bewerten, welches Modell Ihr Problem am besten löst, und dabei Leistung, Durchsatz und Kostenkompromisse zu berücksichtigen.

Wenn Sie nach einer einfachen Möglichkeit suchen, das Verhalten von Modellen zu vergleichen, bietet SageMaker Canvas diese Funktion nativ in Form von Modellvergleichen. Sie können bis zu drei verschiedene Modelle auswählen und an alle gleichzeitig die gleiche Anfrage senden. SageMaker Canvas erhält dann die Antworten von jedem der Modelle und zeigt sie in einer Chat-Benutzeroberfläche nebeneinander an. Wählen Sie dazu Vergleichen und wählen Sie andere Modelle zum Vergleich aus, wie unten gezeigt:

Einführung des Antwort-Streamings: Echtzeit-Interaktionen und verbesserte Leistung

Eine der wichtigsten Neuerungen in dieser Version ist die Einführung gestreamter Antworten. Das Streamen von Antworten bietet dem Benutzer ein umfassenderes Erlebnis und spiegelt ein Chat-Erlebnis besser wider. Mit Streaming-Antworten können Benutzer sofortiges Feedback und eine nahtlose Integration in ihre Chatbot-Anwendungen erhalten. Dies ermöglicht ein interaktiveres und reaktionsfähigeres Erlebnis und verbessert die Gesamtleistung und Benutzerzufriedenheit des Chatbots. Die Möglichkeit, sofortige Antworten auf Chat-ähnliche Weise zu erhalten, sorgt für einen natürlicheren Gesprächsfluss und verbessert das Benutzererlebnis.

Mit dieser Funktion können Sie jetzt in Echtzeit mit Ihren KI-Modellen interagieren, sofortige Antworten erhalten und eine nahtlose Integration in eine Vielzahl von Anwendungen und Arbeitsabläufen ermöglichen. Alle Modelle, die in SageMaker Canvas abgefragt werden können – von Amazon Bedrock und SageMaker JumpStart – können Antworten an den Benutzer streamen.

Starten Sie noch heute

Unabhängig davon, ob Sie einen Chatbot, ein Empfehlungssystem oder einen virtuellen Assistenten erstellen, sorgen die Llama 2- und Mistral-Modelle in Kombination mit gestreamten Antworten für eine verbesserte Leistung und Interaktivität Ihrer Projekte.

Um die neuesten Funktionen von SageMaker Canvas nutzen zu können, müssen Sie die App unbedingt löschen und neu erstellen. Melden Sie sich dazu von der App ab, indem Sie wählen Abmelden, und öffnen Sie dann SageMaker Canvas erneut. Sie sollten sich die neuen Modelle ansehen und die neuesten Veröffentlichungen genießen. Wenn Sie sich von der SageMaker Canvas-Anwendung abmelden, werden alle von der Arbeitsbereichsinstanz genutzten Ressourcen freigegeben, wodurch unbeabsichtigte zusätzliche Kosten vermieden werden.

Zusammenfassung

Um mit den neuen gestreamten Antworten für die Modelle Llama 2 und Mistral in SageMaker Canvas zu beginnen, besuchen Sie die SageMaker-Konsole und erkunden Sie die intuitive Benutzeroberfläche. Weitere Informationen darüber, wie SageMaker Canvas und generative KI Ihnen beim Erreichen Ihrer Geschäftsziele helfen können, finden Sie unter Ermöglichen Sie Ihren Geschäftsanwendern, mithilfe von Amazon SageMaker Canvas und generativer KI Erkenntnisse aus Unternehmensdokumenten zu gewinnen und Bewältigen Sie häufige Herausforderungen im Contact Center mit generativer KI und Amazon SageMaker Canvas.

Wenn Sie mehr über die Funktionen von SageMaker Canvas erfahren und tiefer in andere ML-Anwendungsfälle eintauchen möchten, schauen Sie sich die anderen verfügbaren Beiträge im an SageMaker Canvas-Kategorie des AWS ML-Blogs. Wir können es kaum erwarten, die erstaunlichen KI-Anwendungen zu sehen, die Sie mit diesen neuen Funktionen erstellen werden!

Über die Autoren

David Gallitelli ist Senior Specialist Solutions Architect für KI/ML. Er hat seinen Sitz in Brüssel und arbeitet eng mit Kunden auf der ganzen Welt zusammen, die Low-Code/No-Code-Technologien für maschinelles Lernen und generative KI einführen möchten. Er ist seit seiner Kindheit als Entwickler tätig und begann im Alter von 7 Jahren mit dem Programmieren. An der Universität begann er, KI/ML zu lernen und hat sich seitdem darin verliebt.

Dan Sinnreich ist Senior Product Manager bei AWS und hilft bei der Demokratisierung von Low-Code/No-Code-Maschinenlernen. Vor seiner Zeit bei AWS hat Dan Unternehmens-SaaS-Plattformen und Zeitreihenmodelle entwickelt und kommerzialisiert, die von institutionellen Anlegern zum Risikomanagement und zum Aufbau optimaler Portfolios verwendet werden. Außerhalb der Arbeit spielt er Hockey, taucht und liest Science-Fiction.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/