Conforme prometido, Elon Musk lançou o modelo por trás do chatbot xAI, Grok-1.
Lançado sob a licença Apache 2.0, os pesos do modelo básico e a arquitetura de rede estão agora disponíveis. O modelo possui 314 bilhões de parâmetros e precisa de hardware com memória GPU suficiente para rodá-lo. Ele é ajustado para aplicações como diálogo de linguagem natural e representa o ponto de verificação do modelo base bruto da fase de pré-treinamento, concluída em outubro de 2023.
Os críticos apontaram para um desempenho relativamente fraco nos benchmarks; embora Grok seja um modelo grande, ele tem um desempenho ruim pelo que alguns engenheiros viram. “Considerando o quão pobre é em comparação com outros modelos, isso realmente enfatiza a importância do ajuste fino. Modelos com contagens de parâmetros MUITO menores estão superando em muitas métricas”, disse um cartaz nos fóruns do Hacker News ontem à noite.
Você pode descobrir que quanto menor Mistral tem um desempenho tão bom quanto o Grok-1, por exemplo.
Para colocar seu tamanho perspectiva, mesmo com 314 bilhões de parâmetros, ainda tem alguma coisa a ver com o GPT-4 da OpenAI, que tinha 1.76 trilhão de parâmetros na última contagem.
Notavelmente, ao contrário dos LLMs existentes, que são treinados em dados com um ponto de corte no tempo, Grok tem acesso ao corpus de dados em tempo real dos Xeets de todos via X.com, o que deve proporcionar alguns experimentos interessantes nos próximos dias, embora como outro o comentarista observou: “Os dados de tweet do Twitter em si são altamente idiossincráticos e curtos por design, o que por si só não conduz ao treinamento de um LLM.”
Grok será familiar aos usuários da plataforma de mídia social de Musk, X, e os assinantes poderão fazer perguntas ao chatbot e receber respostas. De acordo com xAI, Grok foi modelado com base no Guia do Mochileiro das Galáxias. “O objetivo é responder a quase tudo e, o que é muito mais difícil, até mesmo sugerir quais perguntas fazer.”
Se um usuário folhear uma cópia com orelhas de Roteiros de rádio do Guia do Mochileiro das Galáxias, a seguinte definição pode ser encontrada em Fit the Tenth: “O Guia do Mochileiro das Galáxias é um companheiro indispensável para todos aqueles que desejam dar sentido à vida em um universo infinitamente complexo e confuso, pois embora não possa esperar ser útil ou informativo sobre todos os assuntos, faz a afirmação tranquilizadora de que quando é impreciso, é pelo menos definitivamente impreciso.
“Em caso de grande discrepância, é sempre a realidade que entende tudo errado.”
O lançamento ocorre no primeiro aniversário do lançamento do modelo GPT-4 da OpenAI, e a briga legal de Musk com seus ex-amigos de IA permanece em segundo plano. No início deste mês, Musk processou a OpenAI, alegando que havia pouco conhecimento sobre a empresa, apesar do nome. OpenAI respondeu ao divulgar uma série de e-mails, alegando que Musk estava totalmente ciente de seus planos e queria que ele fosse incorporado à Tesla.
Patrik Backman, sócio geral da OpenOcean, disse sobre o lançamento do Grok-1: “Pela primeira vez, Elon Musk está colocando seus princípios em ação. Se você processar a OpenAI por se transformar em uma organização com fins lucrativos, você deve estar preparado para aderir aos mesmos ideais.”
O Quê Não tem lançado pela xAI também é digno de nota. Os pesos Grok-1 estão disponíveis, mas os dados usados para treinamento não estão disponíveis sob a mesma licença, o que levou o especialista em IA Gary Marcus a ironizar: “ParcialmenteOpenAI.”
Ferramentas generativas de IA de código aberto têm se mostrado controversas. Alguns desenvolvedores temem que a disponibilização da tecnologia corra o risco de abuso e outros apontam para os benefícios inerentes da transparência.
Meta compartilhado - tipo de – seus modelos Llama 2 no ano passado, e outras empresas seguiram o exemplo. OpenAI, por outro lado, definitivamente não.
Ao abrir os pesos por trás do Grok-1, Musk está tentando fincar uma bandeira no campo oposto ao mundo proprietário do OpenAI.
Quanto ao seu desempenho final, como tudo o que Musk toca, pode acontecer de qualquer maneira. ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/03/18/grok_chatbot_code_released/
