Wie versprochen hat Elon Musk das Modell hinter dem xAI-Chatbot Grok-1 veröffentlicht.

Freigegeben Unter der Apache 2.0-Lizenz sind jetzt die Basismodellgewichte und die Netzwerkarchitektur verfügbar. Das Modell verfügt über 314 Milliarden Parameter und benötigt Hardware mit ausreichend GPU-Speicher, um es auszuführen. Es ist auf Anwendungen wie den Dialog in natürlicher Sprache abgestimmt und stellt den Rohbasismodell-Kontrollpunkt aus der Vortrainingsphase dar, die im Oktober 2023 abgeschlossen wurde.

Kritiker haben auf eine relativ schwache Leistung bei Benchmarks hingewiesen; Obwohl Grok ein großes Modell ist, schneidet es nach dem, was einige Ingenieure gesehen haben, schlecht ab. „Wenn man bedenkt, wie schlecht es im Vergleich zu anderen Modellen ist, unterstreicht es wirklich, wie wichtig die Feinabstimmung ist. Modelle mit VIEL kleineren Parameterzahlen übertreffen es in vielen Metriken“, sagte einer Plakat gestern Abend in den Hacker News-Foren.

Vielleicht finden Sie, dass es kleiner ist Mistral funktioniert genauso gut wie beispielsweise Grok-1.

Um seine Größe einzutragen PerspektiveSelbst bei 314 Milliarden Parametern hat es noch einiges aufzuholen mit OpenAIs GPT-4, das bei der letzten Zählung 1.76 Billionen Parameter hatte.

Bemerkenswert ist, dass Grok im Gegensatz zu bestehenden LLMs, die auf Daten mit einem Cutoff-Zeitpunkt trainiert werden, über X.com Zugriff auf den Echtzeit-Datenkorpus aller Xeets aller hat, was in den kommenden Tagen zu einigen interessanten Experimenten führen dürfte, wenn auch als eine andere Der Kommentator bemerkte: „Twitter-Tweet-Daten an sich sind sowohl höchst eigenwillig als auch von Natur aus kurz, was allein der Ausbildung eines LLM nicht förderlich ist.“

Grok wird Nutzern von Musks Social-Media-Plattform X bekannt sein und Abonnenten konnten dem Chatbot Fragen stellen und Antworten erhalten. Laut xAI, Grok wurde nach dem Vorbild von „Per Anhalter durch die Galaxis“ gestaltet. „Es soll fast alles beantworten und, noch viel schwieriger, sogar vorschlagen, welche Fragen man stellen sollte.“

Wenn ein Benutzer eine mit Eselsohren versehene Kopie von durchblättert Die Radioskripte „Per Anhalter durch die Galaxis“.In „Fit the Tenth“ lauert die folgende Definition: „Per Anhalter durch die Galaxis ist ein unverzichtbarer Begleiter für alle, die dem Leben in einem unendlich komplexen und verwirrenden Universum einen Sinn geben möchten, obwohl dies nicht der Fall sein kann.“ Obwohl es in allen Belangen nützlich oder informativ ist, erhebt es doch die beruhigende Behauptung, dass es zumindest dort, wo es ungenau ist, so ist endgültig ungenau.

„Bei großen Unstimmigkeiten ist es immer die Realität, die einen Fehler macht.“

Die Veröffentlichung erfolgt am ersten Jahrestag der Einführung des GPT-4-Modells von OpenAI, und Musks juristischer Streit mit seinen ehemaligen KI-Freunden bleibt im Hintergrund. Zu Beginn dieses Monats Musk verklagte OpenAI, mit der Begründung, es sei trotz des Namens kaum etwas über das Unternehmen bekannt. OpenAI reagiert indem sie eine Fülle von E-Mails veröffentlichten, in denen behauptet wurde, Musk sei sich seiner Pläne voll bewusst und wolle, dass sie in Tesla eingegliedert würden.

Patrik Backman, General Partner bei OpenOcean, sagte zur Veröffentlichung von Grok-1: „Ausnahmsweise setzt Elon Musk seine Prinzipien in die Tat um. Wenn Sie OpenAI wegen der Umwandlung in eine gewinnorientierte Organisation verklagen, müssen Sie bereit sein, denselben Idealen zu folgen.“

Was Hat nicht Bemerkenswert ist auch die von xAI veröffentlichte Version. Die Grok-1-Gewichte sind verfügbar, doch die für das Training verwendeten Daten sind nicht unter derselben Lizenz verfügbar, was den KI-Experten Gary Marcus dazu veranlasst witzeln: „TeilweiseOpenAI.“

Die Open-Source-Beschaffung generativer KI-Tools hat sich als umstritten erwiesen. Einige Entwickler befürchten, dass die Bereitstellung der Technologie ein Missbrauchsrisiko darstellt, andere weisen auf die inhärenten Vorteile der Transparenz hin.

Meta von Locals geführtes - irgendwie – seine Llama 2-Modelle im letzten Jahr, und andere Unternehmen sind diesem Beispiel gefolgt. Bei OpenAI hingegen ist das ganz sicher nicht der Fall.

Durch die Offenlegung der Gewichte hinter Grok-1 versucht Musk, im Gegenlager zur proprietären Welt von OpenAI ein Zeichen zu setzen.

Was seine ultimative Leistung angeht, könnte es, wie alles, was Musk anfasst, in beide Richtungen gehen. ®

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2024/03/18/grok_chatbot_code_released/