Fale com quase qualquer pessoa - isto é, qualquer ser humano - e sua conversa encontrará o que Malihe Alikhani chama de “atritos saudáveis”, momentos em que o seu objetivo na conversa esbarra no do seu parceiro, momentos que exigem esclarecimentos, geram confusão ou levam a desentendimentos.

O mesmo não acontece com grandes modelos de linguagem.

Alikhani, professor assistente do Khoury College of Computer Sciences da Northeastern University, diz que grandes modelos de linguagem como o ChatGPT têm um sério problema de certeza.

O novo projeto de Alikhani, denominado Friction for Accountability in Conversational Transactions (FACT), é uma colaboração entre a Northeastern University, a University of Illinois Urbana-Champaign e a University of Southern California.

Financiado através de uma subvenção de Exploração de Inteligência Artificial através da Defense Advanced Research Project Agency, o projeto FACT visa desenvolver ferramentas de inteligência artificial mais transparentes e equitativas.

“Uma das coisas que torna a comunicação humana uma ferramenta frutífera”, diz Alikhani, “é o facto de representarmos a nossa incerteza no nosso discurso, no nosso tom. Colocamos isso em nossa expressão facial.”

As fricções saudáveis ​​que surgem da incerteza na comunicação entre humanos ajudam a manter uma diversidade de opiniões e pontos de vista, continua ela.

Mas os grandes modelos de linguagem (ou LLMs) não estão interessados ​​em expressar a sua incerteza, resultando no que Alikhani chama de “comportamentos bajuladores”. Grandes modelos de linguagem “querem maximizar a satisfação” de seus usuários, diz ela, e “nunca introduzem qualquer atrito na conversa, esteja [o modelo] confiante” em suas declarações ou não.

Problemas adicionais surgem com grandes modelos de linguagem devido à sua tendência a alucinar. LLMs “inventam fatos. Eles são muito bons em persuadir as pessoas sobre fatos inventados.”

Apesar destas questões, Alikhani também diz que os humanos são propensos a confiar excessivamente nos “factos” gerados por estes modelos de inteligência artificial, que “podem inventar factos para o fazer feliz”.

Parte do que contribui para a dependência excessiva dos usuários nos LLMs são seus “comportamentos semelhantes aos humanos”, diz ela. “Isso manipulará nossa cognição.”

Grandes modelos de linguagem também parecem produzir suas respostas instantaneamente, outro fator que faz os usuários presumirem que estão corretos. “É difícil para nós, cientistas de IA, dizer às pessoas: 'Sim, é coerente. Sim, é rápido. Sim, está em sintonia com o seu estilo. Mas é uma alucinação'”, diz Alikhani.

Sob sua nova bolsa, Alikhani e sua equipe projetarão ferramentas que demonstrem os níveis de certeza que um LLM possui sobre uma declaração que faz e introduzirão atritos saudáveis ​​nas conversas entre humanos e IA.

“Como podemos prever e verbalizar a confiança do sistema?” Alikhani pergunta. Se um modelo de IA tiver “apenas 2% de confiança, ele deverá externalizar isso”.

“Um dos principais objetivos da pesquisa é modelar a incerteza, externalizar a incerteza” e ensinar aos LLMs como retratar essa incerteza dentro de uma conversa humano-IA. Isto pode aparecer na interface do usuário como uma pontuação percentual da certeza do modelo, ou o modelo pode refletir a incerteza em suas respostas de uma forma mais humana.

Por exemplo, Alikhani imagina uma situação em que um paciente pode fazer uma pergunta sobre sua saúde a um grande modelo de linguagem. A atual geração de LLMs tentará fornecer uma resposta, mesmo que essa resposta possa revelar-se perigosa. Alikhani espera construir modelos que possam dizer: “'Não sei. Você deveria ligar para sua enfermeira.

“A robustez é fundamental para a responsabilização na IA”, afirma Alikhani. No momento, é comum que um LLM responda com uma resposta a uma pergunta no momento da pergunta e uma resposta completamente diferente alguns minutos depois.

Quando se trata de projetar uma IA que seja segura e responsável, os sistemas anteriores de IA que poderiam ajudar em tarefas simples “não tinham acesso a vários outros conjuntos de dados”, diz Alikhani, “e não podiam dizer coisas que pudessem ser perigosas”. , porque não estava em seus dados.”

Exatamente o que esses conjuntos de dados incluem — ou excluem — é fundamental para superar os preconceitos que os LLMs apresentam em relação ao “género, mas também preconceitos mais subtis, como grupos internos versus grupos externos e diferentes preconceitos cognitivos que são refletidos em modelos [de linguagem grande]”.

Agora, Alikhani espera projetar modelos que atendam pessoas com “diferentes recursos e preferências”, diz ela.

“Não queremos apenas continuar a construir sistemas para a população sobre a qual temos dados, mas pensamos em quem estamos a deixar para trás e como podemos acabar com esta enorme lacuna de desigualdade em vez de a piorar?” ela pergunta. “O objetivo do meu laboratório é avançar nessa direção.”

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.mtlc.co/large-language-models-can-lie-to-you-this-professor-wants-you-to-know-when-they-do/