O CCC apoiou três sessões científicas na Conferência Anual da AAAS deste ano e, caso você não tenha podido comparecer pessoalmente, estaremos recapitulando cada sessão. Esta semana, resumiremos os destaques das apresentações dos painelistas da sessão, “Grandes modelos de linguagem: assistentes prestativos, parceiros românticos ou vigaristas?” Este painel, moderado por Dra.Maria Gini, membro do Conselho do CCC e professor de Ciência da Computação e Engenharia da Universidade de Minnesota, apresentou Dr., Diretor Geral de AI Frontiers da Microsoft Research, Dr. Hal Daumé III, professor de Ciência da Computação na Universidade de Maryland, e Dr., professor de Ciência da Computação no Instituto de Ciências da Informação da Universidade do Sul da Califórnia.

Os grandes modelos de linguagem estão na vanguarda das conversas na sociedade hoje, e o júri ainda não decidiu se eles estão correspondendo ao entusiasmo que os rodeia. Os painelistas desta sessão AAAS abordaram as possibilidades, desafios e potencial dos LLMs.

O primeiro palestrante foi o Dr. Ece Kamar (Microsoft Research). Ela descreveu o status atual da IA ​​como uma “transição de fase”. Ela forneceu uma perspectiva única como alguém que viu as mudanças na IA na indústria e o crescimento exponencial nos modelos de aprendizagem profunda que muito poucas pessoas previram que continuaria em 2024.

O crescimento foi causado por um aumento na quantidade de dados nos quais os LLMs são treinados e pela arquitetura maior chamada transformadores. Um insight interessante que o Dr. Kamar compartilhou no gráfico é que os modelos estão sendo escalonados tão rapidamente porque foram inicialmente treinados apenas para uma tarefa específica; uma tarefa que eles poderiam executar com segurança. O ChatGPT mostrou que se você escalar grande o suficiente, incluindo o número de parâmetros que um modelo leva em consideração, os modelos poderão começar a concluir tarefas com um desempenho semelhante ao de um modelo que foi treinado para concluir especificamente as mesmas tarefas.

Esta é a definição da transição de fase LLM: os modelos não precisam mais ser treinados especificamente para uma tarefa específica, mas podem ser treinados de maneira geral e então executar muitas tarefas. E não há sinais de que o crescimento destas capacidades esteja a abrandar.

Kamar teve acesso antecipado ao GPT-4 e, durante seu extenso período de testes, ficou impressionada com suas melhorias significativas que vieram com escala e dados, e com o fato de que ele poderia realizar diferentes tarefas de forma síncrona.

O que o futuro reserva para esses LLMs? Dr. Kamar prevê que os LLMs irão além da linguagem humana, aprenderão linguagem de máquina e serão capazes de traduzir entre as duas línguas. Isto melhoraria as capacidades das modalidades de entrada e saída, o que poderia levar a que os modelos fossem capazes não apenas de gerar linguagem, mas também de ações e previsões de comportamentos.

Em seguida, o Dr. Kamar expandiu a significativa transição de fase que ocorre na computação. Os sistemas estão a ser desenvolvidos de forma muito diferente hoje em dia, e este desenvolvimento exigirá a criação de um novo paradigma de computação do qual apenas arranhámos a superfície neste momento. A forma como interagimos com os computadores será muito diferente nos próximos anos e isso exigirá repensar a Interação Humano-Computador (IHC).

Outra mudança é a maneira como os humanos trabalharão no futuro. A Microsoft conduziu estudos que mostram que a produtividade dos trabalhadores pode duplicar em termos de linhas de código escritas quando assistida por IA. Este é um feito incrível, mas a forma como esta tecnologia funciona e de onde vem a sua inteligência é em grande parte desconhecida, por isso há muitas questões de investigação nesta área.

Também há muitas perguntas sobre o potencial uso indevido de LLMs como esses. Existem preocupações em torno da justiça, dos diferentes riscos demográficos e de outras consequências ainda mais drásticas. Embora exista um grande potencial para descobertas científicas, existe também um grande potencial para danos; por exemplo, convencer os pais a não vacinarem os filhos, uma criança a fazer algo ruim ou convencer alguém de que o mundo é plano. Muitos esforços de segurança foram investidos no desenvolvimento de LLMs, e o código aberto também pode ser muito útil para progredir nesta área.  

Dr. Kamar então fez perguntas à comunidade científica:

• Como a ciência mudará com a interrupção da IA?
• Estamos tomando medidas para transformar a forma como educamos e treinamos a próxima geração?
• Você está construindo infraestrutura tecnológica para se beneficiar desta transição de fase?
• Estamos preparando as gerações futuras para o novo mundo?

Finalmente, o Dr. Kamar enfatizou que um dos aspectos centrais da transição de fase que é notável é a velocidade com que os LLMs estão se desenvolvendo. Esses modelos estão melhorando significativamente em um período muito curto de tempo, e os pesquisadores de computação ainda têm muito que se atualizar.

O segundo palestrante, Dr. Hal Daumé III (Universidade de Maryland), iniciou sua palestra explicando que modelos de IA deveriam ser desenvolvidos para ajudar as pessoas a fazerem o que desejam; aumentar o trabalho humano, não automatizar. Esta visão de automação permeia a sociedade desde a década de 60. Em vez de ajudar as pessoas a jogar xadrez melhor, os cientistas desenvolveram um sistema que joga xadrez por conta própria.

Esta filosofia não vai a lugar nenhum; A IA hoje ainda é interessante, uma vez que é inteligente o suficiente para realizar uma tarefa por conta própria. Isso está profundamente no sangue da IA. Antes de gastar tempo e dinheiro na automação de um sistema, devemos primeiro fazer uma pausa e perguntar: isso é do nosso interesse?

Daumé promoveu o conceito de aumento: como a IA pode ser usada como ferramenta? Sistemas como o copiloto do Github aumentam a produtividade, mas aumentar a produtividade não é suficiente. Um usuário do sistema exclamou que isso permitiu que eles se concentrassem em partes divertidas da codificação, o que está muito mais alinhado com a forma como a IA deve ser construída.

Os pesquisadores de IA não deveriam querer remover as partes divertidas do trabalho de uma pessoa; eles deveriam priorizar a remoção do trabalho penoso. Deveria melhorar vidas humanas, em vez de apenas melhorar os resultados financeiros de uma empresa.

Daumé foi coautor de um artigo levantando esses pontos, e surgiu o contra-argumento de que, do ponto de vista técnico, construir sistemas usando tecnologia de aprendizado de máquina em particular é muitas vezes muito mais fácil de automatizar do que aumentar. Isso ocorre porque os dados necessários para treinar um sistema que treinará um sistema são fáceis de obter. Fornecemos essas informações ao realizar nosso trabalho e é fácil treinar ML para imitar o comportamento humano. É muito mais difícil ensinar um sistema para ajudar alguém a completar uma tarefa. Essas informações estão espalhadas entre revisões de literatura da NSF, escritas em um pedaço de papel por um programador, etc. Os dados necessários para ajudar um ser humano a realizar tarefas não são registrados.

Outro aspecto importante da construção de sistemas úteis é perguntar ao usuário quais sistemas seriam úteis para sua vida. Por exemplo, as necessidades das pessoas cegas são muito diferentes das necessidades das pessoas com visão (que também são diferentes das necessidades das pessoas com visão). think as necessidades das pessoas cegas são). Um exemplo que o Dr. Daumé compartilhou foi que um sistema visual pode revelar que um objeto é uma lata de refrigerante, mas uma pessoa cega normalmente pode dizer isso por conta própria. Os ingredientes do refrigerante seriam muito mais úteis para eles. Existe uma enorme lacuna entre a qualidade das respostas de um sistema à simples compreensão de questões e à abordagem de questões de acessibilidade, e esta lacuna está a aumentar.

Um exemplo adicional da importância de determinar primeiro as necessidades da comunidade antes de criar tecnologia para “ajudá-la” é a moderação de conteúdo. Muitos moderadores de conteúdo voluntários se envolvem no trabalho porque querem tornar o mundo um lugar melhor e ajudar a construir uma comunidade que consideram importante. Quando questionados sobre que tipo de ferramenta eles desejam para auxiliar em sua função, muitas vezes eles não querem que seu trabalho seja totalmente automatizado, eles apenas querem que partes chatas, como consultar o histórico de bate-papo, sejam mais fáceis.

Dr. Daumé encerra esta discussão com um exemplo final de sua mãe, que adora carros e se recusa a dirigir carros automáticos. Ela escolhe a transmissão manual e é muito importante para ela ter essa escolha. As pessoas devem ter controle sobre se desejam que suas tarefas sejam automatizadas ou não.

O Dr. Daumé continua a conversa oferecendo alternativas às abordagens atuais da tecnologia de acessibilidade. Por exemplo, ao construir uma ferramenta em torno do reconhecimento de linguagem de sinais, em vez de vasculhar a Internet em busca de vídeos de pessoas assinando (o que tem muitas preocupações de consentimento e privacidade, além da maioria desses vídeos serem de profissionais e sem ruídos/distrações de fundo, o que não é (t realista), chegar à comunidade e iniciar um projeto que os capacite a enviar vídeos para treinar as ferramentas. Estratégias que priorizam a comunidade como essas são mais éticas e responsáveis ​​e dão mais controle aos usuários. 

LLMs e outras ferramentas devem ser desenvolvidas para priorizar a utilidade e não a inteligência, conclui o Dr. Daumé. Quanto mais útil for, mais poderá ajudar as pessoas a fazer algo que não podem ou não querem fazer, em vez de automatizar algo que as pessoas já fazem bem e gostam.

Jonathan May (Instituto de Ciências da Informação da Universidade do Sul da Califórnia) foi o próximo palestrante e começou sua palestra refletindo sobre o tema da conferência: “Rumo à Ciência sem Paredes”. Ele postula que, embora o desenvolvimento recente do LLM derrube barreiras para algumas pessoas, está construindo barreiras para muitas.

Ele primeiro discute como a Internet reduziu muitas barreiras para a realização de pesquisas; quando tinha 17 anos, ele se perguntou por que Star Wars e O Senhor dos Anéis tinham enredos tão semelhantes, e teve que dirigir até a biblioteca e encontrar um livro com a resposta. Ele fez pesquisas de alto risco, mas igualmente árduas, para sua tese de doutorado, mas no final de seu tempo de estudo, foi criada uma página da Wikipedia sobre o assunto, e depois uma pesquisa na Internet, e agora a pesquisa sem carros é a norma.

Dr. May continuou dizendo que se sentiu privilegiado por estar no grupo demográfico do público-alvo dos LLMs. Ele não codifica com frequência e nunca aprendeu muitas habilidades de codificação, mas quando precisar, pode perguntar ao ChatGPT e ele faz um ótimo trabalho. 

No entanto, existem muitos obstáculos para difundir a utilidade dos LLMs:

• Paredes de linguagem: os modelos funcionam melhor quanto mais dados forem treinados. Embora os LLMs comerciais de hoje sejam multilíngues, eles são fortemente voltados para o inglês. Por exemplo, ChatGPT é treinado 92% no idioma inglês. Além disso, os dados de instrução, que são o “molho secreto” dos LLMs, são em sua grande maioria em inglês (96% dos ChatGPTs, por exemplo). Atualmente, existem muito poucos esforços para melhorar o desempenho multilingue destes modelos, apesar das lacunas sistémicas de desempenho nos testes existentes, o que faz sentido devido ao consenso geral de que a tradução automática (TA) está “resolvida” e os esforços devem ser concentrados noutras tarefas.
• Paredes de Identidade: Se você perguntar ao ChatGPT o que deve fazer no Natal, ele se concentrará nas diferentes atividades e tradições nas quais você pode participar; não menciona que você poderia ir trabalhar. Foi demonstrado que os LLMs se comportam de maneira diferente ao descrever diferentes grupos demográficos, expressando sentimentos mais negativos e até mesmo toxicidade total em alguns casos. Existem probabilidades de sentenças estereotipadas que podem causar danos em comunidades como LGBTQ+ ou judaica; em geral, há muitos preconceitos e isso tem consequências na tomada de decisões implantadas. Existem algumas salvaguardas incorporadas, e perguntas de investigação mais explícitas têm menos probabilidade de receber respostas tóxicas, mas os modelos preferem probabilisticamente declarações e resultados estereotipados, e é aí que há danos, especialmente quando se utilizam modelos em capacidades a jusante onde não se vê o resultados (ou seja, elegibilidade para empréstimos). Ele deu um exemplo de LLMs que mostram preconceito ao gerar rostos de indivíduos com base em seu trabalho; os empregos com salários mais baixos são mostrados como mulheres e minorias, enquanto os empregos com salários mais altos são homens brancos.
• Paredes Ambientais (software): Os LLMs requerem uma quantidade significativa de energia para produzir e funcionar. Mesmo os LMs mais “modestos” utilizam 3x mais energia anual do que o uso de uma única pessoa. Há também uma lacuna significativa nos dados para os maiores modelos de linguagem, como o ChatGPT, mas as empresas que os possuem negam explicitamente o acesso ao seu consumo de energia.
• Paredes Ambientais (hardware): Para produzir chips, exigidos por todos os LLMs, são necessários “materiais de conflito” como o tântalo (extraído no Congo) e o háfnio (extraído no Senegal e na Rússia). Nos EUA, as empresas devem comunicar a quantidade de minerais de conflito que utilizam, mas os EUA mostram publicamente uma diminuição na utilização destes materiais, o que não pode ser verdade. Além disso, existem muitos problemas sócio-políticos, como a restrição do germânio e do gálio pela China em retaliação às restrições às exportações dos EUA.

Dr. May expressa que essas categorias revelam alguns dos muitos problemas posteriores de danos causados ​​pelos LLMs e casos em que as pessoas não estão se beneficiando. Há motivos para preocupação, mas também existem oportunidades para pesquisas e/ou mudanças de comportamento que poderiam mitigar alguns destes danos:

• Idioma: Dedicar mais financiamento de investigação ao multilinguismo (não apenas à tradução hegemónica de e para o inglês).
• Identidade: Pesquisa de baixo para cima e inclusiva na comunidade. Modificação e teste do modelo antes da implantação
• Ambiente: Desenvolvimento de algoritmo que utiliza menos dados e altera menos parâmetros (ex. LoRA, adaptadores, PO não RL). Seja cuidadoso com a computação e insista na abertura nos níveis regulatórios 

O Dr. May encerrou o painel reiterando o ponto de vista do Dr. Daumé de que as pessoas devem ser beneficiadas da maneira que desejam ao interagir com os LLMs, e isso precisa ser uma prioridade na fase de desenvolvimento.

Muito obrigado pela leitura e fique ligado amanhã para ler a recapitulação da parte de perguntas e respostas da sessão.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/