Google hat ein großes Open-Source-Sprachmodell veröffentlicht, das auf der Technologie basiert, die zur Erstellung von Gemini verwendet wurde. Es ist leistungsstark und dennoch leichtgewichtig und für den Einsatz in Umgebungen mit begrenzten Ressourcen wie auf einem Laptop oder einer Cloud-Infrastruktur optimiert.

Gemma kann zum Erstellen eines Chatbots, eines Tools zur Inhaltsgenerierung und so ziemlich allem anderen verwendet werden, was ein Sprachmodell tun kann. Dies ist das Tool, auf das SEOs gewartet haben.

Es wird in zwei Versionen veröffentlicht, eine mit zwei Milliarden Parametern (2B) und eine weitere mit sieben Milliarden Parametern (7B). Die Anzahl der Parameter gibt Aufschluss über die Komplexität und potenzielle Leistungsfähigkeit des Modells. Modelle mit mehr Parametern können ein besseres Sprachverständnis erreichen und anspruchsvollere Antworten generieren, erfordern aber auch mehr Ressourcen zum Trainieren und Ausführen.

Der Zweck der Veröffentlichung von Gemma besteht darin, den Zugang zu modernster künstlicher Intelligenz zu demokratisieren, die darauf trainiert ist, sofort sicher und verantwortungsbewusst zu sein, mit einem Toolkit, um sie im Hinblick auf die Sicherheit weiter zu optimieren.

Gemma von DeepMind

Das Modell wurde so entwickelt, dass es leicht und effizient ist, was es ideal macht, um es in die Hände von mehr Endbenutzern zu geben.

In der offiziellen Ankündigung von Google wurden die folgenden Kernpunkte erwähnt:

• „Wir bringen Modellgewichte in zwei Größen auf den Markt: Gemma 2B und Gemma 7B. Jede Größe wird mit vorab trainierten und auf Anweisungen abgestimmten Varianten veröffentlicht.
• Ein neues Responsible Generative AI Toolkit bietet Anleitungen und wichtige Tools für die Erstellung sichererer KI-Anwendungen mit Gemma.
• Wir stellen Toolchains für Inferenz und Supervised Fine-Tuning (SFT) für alle wichtigen Frameworks bereit: JAX, PyTorch und TensorFlow über natives Keras 3.0.
• Gebrauchsfertige Colab- und Kaggle-Notebooks sowie die Integration mit beliebten Tools wie Hugging Face, MaxText, NVIDIA NeMo und TensorRT-LLM erleichtern den Einstieg in Gemma.
• Vorab trainierte und durch Anweisungen abgestimmte Gemma-Modelle können auf Ihrem Laptop, Ihrer Workstation oder Google Cloud ausgeführt werden und lassen sich einfach auf Vertex AI und Google Kubernetes Engine (GKE) bereitstellen.
• Die Optimierung über mehrere KI-Hardwareplattformen hinweg gewährleistet branchenführende Leistung, einschließlich NVIDIA-GPUs und Google Cloud-TPUs.
• Die Nutzungsbedingungen erlauben eine verantwortungsvolle kommerzielle Nutzung und Verbreitung für alle Organisationen, unabhängig von ihrer Größe.“

Analyse von Gemma

Laut einer Analyse von Awni Hannun, einem Forscher für maschinelles Lernen bei Apple, ist Gemma auf eine hohe Effizienz optimiert, sodass es für den Einsatz in ressourcenarmen Umgebungen geeignet ist.

Hannun stellte fest, dass Gemma über ein Vokabular von 250,000 (250) Token verfügt, verglichen mit 32 bei vergleichbaren Modellen. Das Besondere daran ist, dass Gemma eine größere Vielfalt an Wörtern erkennen und verarbeiten kann und so Aufgaben mit komplexer Sprache bewältigen kann. Seine Analyse legt nahe, dass dieses umfangreiche Vokabular die Vielseitigkeit des Modells für verschiedene Arten von Inhalten erhöht. Er glaubt auch, dass es bei Mathematik, Code und anderen Modalitäten hilfreich sein könnte.

Es wurde auch festgestellt, dass die „Einbettungsgewichte“ enorm sind (750 Millionen). Die Einbettungsgewichte sind ein Verweis auf die Parameter, die bei der Zuordnung von Wörtern zu Darstellungen ihrer Bedeutungen und Beziehungen helfen.

Ein wichtiges Merkmal, das er hervorhob, ist, dass die Einbettungsgewichte, die detaillierte Informationen über Wortbedeutungen und -beziehungen kodieren, nicht nur bei der Verarbeitung des Eingabeteils, sondern auch bei der Generierung der Modellausgabe verwendet werden. Diese gemeinsame Nutzung verbessert die Effizienz des Modells, indem es ihm ermöglicht, sein Sprachverständnis bei der Texterstellung besser zu nutzen.

Für Endbenutzer bedeutet dies genauere, relevantere und kontextbezogenere Antworten (Inhalte) aus dem Modell, was seinen Einsatz bei der Inhaltserstellung sowie für Chatbots und Übersetzungen verbessert.

He twitterte:

„Der Wortschatz ist im Vergleich zu anderen Open-Source-Modellen riesig: 250 gegenüber 32 für Mistral 7B

Hilft vielleicht sehr bei Mathematik/Code/anderen Modalitäten mit einer großen Menge an Symbolen.

Außerdem sind die Einbettungsgewichte groß (~750 Millionen Parameter), sodass sie mit dem Ausgabekopf geteilt werden.“

In einem Folge-Tweet wies er außerdem auf eine Optimierung des Trainings hin, die möglicherweise zu genaueren und verfeinerten Modellreaktionen führt, da sie es dem Modell ermöglicht, während der Trainingsphase effektiver zu lernen und sich anzupassen.

He twitterte:

„Das RMS-Normgewicht hat einen Einheitenversatz.

Anstelle von „x * Gewicht“ verwenden sie „x * (1 + Gewicht)“.

Ich gehe davon aus, dass es sich hierbei um eine Trainingsoptimierung handelt. Normalerweise wird die Gewichtung auf 1 initialisiert, aber wahrscheinlich wird sie nahe bei 0 initialisiert. Ähnlich wie bei jedem anderen Parameter.“

Er fügte hinzu, dass es weitere Optimierungen bei Daten und Training gebe, diese beiden Faktoren jedoch besonders hervorstechen.

Entwickelt, um sicher und verantwortungsbewusst zu sein

Ein wichtiges Hauptmerkmal ist, dass es von Grund auf auf Sicherheit ausgelegt ist und sich daher ideal für den Einsatz eignet. Die Trainingsdaten wurden gefiltert, um persönliche und sensible Informationen zu entfernen. Google nutzte auch Reinforcement Learning from Human Feedback (RLHF), um das Modell für verantwortungsvolles Verhalten zu trainieren.

Es wurde durch manuelles Re-Teaming und automatisierte Tests weiter debuggt und auf Funktionen für unerwünschte und gefährliche Aktivitäten überprüft.

Google hat außerdem ein Toolkit veröffentlicht, das Endbenutzern dabei helfen soll, die Sicherheit weiter zu verbessern:

„Wir veröffentlichen auch ein neues Verantwortungsbewusstes generatives KI-Toolkit gemeinsam mit Gemma, um Entwicklern und Forschern dabei zu helfen, der Entwicklung sicherer und verantwortungsvoller KI-Anwendungen Priorität einzuräumen. Das Toolkit umfasst:

• Sicherheitsklassifizierung: Wir bieten eine neuartige Methodik zum Aufbau robuster Sicherheitsklassifikatoren mit minimalen Beispielen.
• Debugging: Ein Modell-Debugging-Tool hilft Ihnen, Gemmas Verhalten zu untersuchen und potenzielle Probleme zu beheben.
• Leitfaden: Sie können auf Best Practices für Modellersteller zugreifen, die auf der Erfahrung von Google bei der Entwicklung und Bereitstellung großer Sprachmodelle basieren.“

Lesen Sie die offizielle Ankündigung von Google:

Gemma: Wir stellen neue, hochmoderne offene Modelle vor

Ausgewähltes Bild von Shutterstock/Photo For Everything

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.searchenginejournal.com/google-announces-gemma-ai/508910/