Comme promis, Elon Musk a publié le modèle derrière le chatbot xAI, Grok-1.

Libéré sous la licence Apache 2.0, les poids du modèle de base et l'architecture réseau sont désormais disponibles. Le modèle comporte 314 milliards de paramètres et nécessite un matériel doté de suffisamment de mémoire GPU pour l'exécuter. Il est affiné pour des applications telles que le dialogue en langage naturel et représente le point de contrôle du modèle de base brut de la phase de pré-formation, qui s'est terminée en octobre 2023.

Les critiques ont souligné des performances relativement médiocres dans les indices de référence ; bien que Grok soit un gros modèle, ses résultats sont médiocres d'après ce que certains ingénieurs ont vu. « Compte tenu de sa médiocrité par rapport aux autres modèles, cela souligne vraiment l’importance d’un réglage fin. Les modèles avec un nombre de paramètres BEAUCOUP plus petit les surpassent dans de nombreux paramètres », a déclaré l'un d'entre eux. affiche sur les forums Hacker News hier soir.

Vous constaterez peut-être que plus Mistral fonctionne aussi bien que Grok-1, par exemple.

Pour mettre sa taille objectifs, même avec 314 milliards de paramètres, il reste encore du retard par rapport au GPT-4 d'OpenAI, qui comptait 1.76 billion de paramètres au dernier décompte.

Notamment, contrairement aux LLM existants, qui sont formés sur des données avec un point limite dans le temps, Grok a accès au corpus de données en temps réel des Xeets de chacun via X.com, ce qui devrait donner lieu à des expériences intéressantes dans les jours à venir, bien que comme autre un commentateur a noté : « Les données des tweets Twitter en elles-mêmes sont à la fois très idiosyncrasiques et courtes de par leur conception, ce qui à lui seul n'est pas propice à la formation d'un LLM. »

Grok sera familier aux utilisateurs de la plateforme de médias sociaux de Musk, X, et les abonnés pourront poser des questions au chatbot et recevoir des réponses. Selon xAI, Grok s'inspire du Guide du voyageur galactique. "Il est destiné à répondre à presque tout et, bien plus difficilement, même à suggérer les questions à poser."

Si un utilisateur feuillette une copie écornée de Les scripts radio du Guide du voyageur galactique, la définition suivante se cache dans Fit the Tenth : « Le Guide du voyageur galactique est un compagnon indispensable à tous ceux qui souhaitent donner un sens à la vie dans un univers infiniment complexe et déroutant, car même s'il ne peut espérer être utile ou informatif sur tous les sujets, il affirme de manière rassurante que là où il est inexact, il l'est au moins définitivement inexacte.

"En cas de divergence majeure, c'est toujours la réalité qui se trompe."

Cette sortie intervient à l'occasion du premier anniversaire du lancement du modèle GPT-4 d'OpenAI, et la dispute juridique de Musk avec ses anciens amis de l'IA reste en arrière-plan. Au début de ce mois, Musk a poursuivi OpenAI, alléguant que l'entreprise était peu ouverte, malgré son nom. OpenAI répondu en publiant une multitude d'e-mails, affirmant que Musk était pleinement au courant de ses projets et souhaitait qu'ils soient intégrés à Tesla.

Patrik Backman, associé général d'OpenOcean, a déclaré à propos de la sortie de Grok-1 : « Pour une fois, Elon Musk met ses principes en action. Si vous poursuivez OpenAI pour sa transformation en une organisation à but lucratif, vous devez être prêt à adhérer aux mêmes idéaux.

Quoi n'a pas été publié par xAI est également à noter. Les poids Grok-1 existent, mais les données utilisées pour la formation ne sont pas disponibles sous la même licence, ce qui a incité l'expert en IA Gary Marcus à ironisait: «PartlyOpenAI.»

Les outils d’IA générative open source se sont révélés controversés. Certains développeurs craignent que la mise à disposition de la technologie ne risque d’entraîner des abus, tandis que d’autres soulignent les avantages inhérents de la transparence.

Meta commun - sorte de – ses modèles Llama 2 l’année dernière, et d’autres sociétés ont emboîté le pas. OpenAI, en revanche, ne l’a certainement pas fait.

En ouvrant les poids derrière Grok-1, Musk tente de planter un drapeau dans le camp opposé au monde propriétaire d’OpenAI.

Quant à sa performance ultime, comme tout ce que Musk touche, elle pourrait aller dans un sens ou dans l’autre. ®

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://go.theregister.com/feed/www.theregister.com/2024/03/18/grok_chatbot_code_released/