Os modelos de IA são porcos de poder.

À medida que os algoritmos crescem e se tornam mais complexos, eles sobrecarregam cada vez mais os chips de computador atuais. Várias empresas projetaram chips adaptados à IA para reduzir o consumo de energia. Mas todos se baseiam numa regra fundamental: utilizam eletricidade.

Este mês, uma equipe da Universidade Tsinghua, na China, mudou a receita. Eles construiu um chip de rede neural que usa luz em vez de eletricidade para executar tarefas de IA por uma fração do custo de energia de H100 da NVIDIA, um chip de última geração usado para treinar e executar modelos de IA.

Chamado de Taichi, o chip combina dois tipos de processamento baseado em luz em sua estrutura interna. Comparado com o anterior chips ópticos, o Taichi é muito mais preciso para tarefas relativamente simples, como reconhecer números escritos à mão ou outras imagens. Ao contrário de seus antecessores, o chip também pode gerar conteúdo. Pode fazer imagens básicas em estilo baseado no artista holandês Vincent van Gogh, por exemplo, ou números musicais clássicos inspirados em Johann Sebastian Bach.

Parte da eficiência do Taichi se deve à sua estrutura. O chip é feito de vários componentes chamados chips. Semelhante à organização do cérebro, cada chiplet realiza seus próprios cálculos em paralelo, cujos resultados são então integrados aos demais para chegar a uma solução.

Enfrentando um problema desafiador de separar imagens em mais de 1,000 categorias, o Taichi teve sucesso em quase 92% das vezes, igualando o desempenho atual do chip, mas reduzindo o consumo de energia em mais de mil vezes.

Para a IA, “a tendência de lidar com tarefas mais avançadas [é] irreversível”, escreveram os autores. “Taichi abre caminho para a computação fotônica [baseada em luz] em grande escala”, levando a uma IA mais flexível com custos de energia mais baixos.

Chip no ombro

Os chips de computador atuais não combinam bem com a IA.

Parte do problema é estrutural. O processamento e a memória nos chips tradicionais são fisicamente separados. O transporte de dados entre eles consome enormes quantidades de energia e tempo.

Embora eficiente para resolver problemas relativamente simples, a configuração consome muita energia quando se trata de IA complexa, como os grandes modelos de linguagem que alimentam o ChatGPT.

O principal problema é como os chips de computador são construídos. Cada cálculo depende de transistores, que são ligados ou desligados para representar os 0 e 1 usados ​​nos cálculos. Os engenheiros reduziram drasticamente os transistores ao longo das décadas para que possam amontoá-los cada vez mais nos chips. Mas a atual tecnologia de chips está caminhando para um ponto de ruptura onde não podemos diminuir.

Os cientistas há muito procuram renovar os chips atuais. Uma estratégia inspirada no cérebro depende de “sinapses” – a “doca” biológica que conecta os neurônios – que computam e armazenam informações no mesmo local. Esses chips inspirados no cérebro, ou neuromórficos, reduzem o consumo de energia e aceleram os cálculos. Mas, como os chips atuais, eles dependem de eletricidade.

Outra ideia é usar um mecanismo de computação totalmente diferente: a luz. A “computação fotônica” está “atraindo atenção cada vez maior”, escreveram os autores. Em vez de usar eletricidade, pode ser possível sequestrar partículas de luz para alimentar a IA na velocidade da luz.

Let There Be Light

Em comparação com chips baseados em eletricidade, a luz usa muito menos energia e pode realizar vários cálculos simultaneamente. Aproveitando essas propriedades, os cientistas construíram redes neurais ópticas que usam fótons – partículas de luz – para chips de IA, em vez de eletricidade.

Esses chips podem funcionar de duas maneiras. Em um deles, os chips espalham sinais de luz em canais projetados que eventualmente combinam os raios para resolver um problema. Chamadas de difração, essas redes neurais ópticas agrupam neurônios artificiais e minimizam os custos de energia. Mas eles não podem ser alterados facilmente, o que significa que só podem funcionar em um problema único e simples.

Uma configuração diferente depende de outra propriedade da luz chamada interferência. Tal como as ondas do oceano, as ondas de luz combinam-se e anulam-se. Quando dentro de microtúneis em um chip, eles podem colidir para aumentar ou inibir uns aos outros – esses padrões de interferência podem ser usados ​​para cálculos. Chips baseados em interferência podem ser facilmente reconfigurados usando um dispositivo chamado interferômetro. O problema é que eles são fisicamente volumosos e consomem toneladas de energia.

Depois, há o problema da precisão. Mesmo nos canais esculpidos frequentemente usados ​​para experimentos de interferência, a luz salta e se espalha, tornando os cálculos pouco confiáveis. Para uma única rede neural óptica, os erros são toleráveis. Mas com redes ópticas maiores e problemas mais sofisticados, o ruído aumenta exponencialmente e torna-se insustentável.

É por isso que as redes neurais baseadas em luz não podem ser facilmente ampliadas. Até agora, eles só conseguiram resolver tarefas básicas, como reconhecer números ou vogais.

“Ampliar a escala das arquiteturas existentes não melhoraria proporcionalmente o desempenho”, escreveu a equipe.

Double Trouble

A nova IA, Taichi, combinou as duas características para levar as redes neurais ópticas ao uso no mundo real.

Em vez de configurar uma única rede neural, a equipe usou um método chiplet, que delegou diferentes partes de uma tarefa a vários blocos funcionais. Cada bloco tinha seus próprios pontos fortes: um foi configurado para analisar difração, que poderia comprimir grandes quantidades de dados em um curto período de tempo. Outro bloco foi incorporado com interferômetros para fornecer interferência, permitindo que o chip fosse facilmente reconfigurado entre tarefas.

Comparado ao aprendizado profundo, o Taichi adotou uma abordagem “superficial”, em que a tarefa é distribuída por vários chips.

Com estruturas padrão de aprendizado profundo, os erros tendem a se acumular ao longo das camadas e do tempo. Essa configuração elimina problemas decorrentes do processamento sequencial pela raiz. Quando confrontado com um problema, o Taichi distribui a carga de trabalho em vários clusters independentes, facilitando a resolução de problemas maiores com o mínimo de erros.

A estratégia valeu a pena.

Taichi tem capacidade computacional de 4,256 neurônios artificiais no total, com quase 14 milhões de parâmetros que imitam as conexões cerebrais que codificam o aprendizado e a memória. Ao classificar as imagens em 1,000 categorias, o chip fotônico teve quase 92% de precisão, comparável às “redes neurais eletrônicas atualmente populares”, escreveu a equipe.

O chip também se destacou em outros testes padrão de reconhecimento de imagem de IA, como a identificação de caracteres escritos à mão de diferentes alfabetos.

Como teste final, a equipe desafiou a IA fotônica a captar e recriar conteúdo no estilo de diferentes artistas e músicos. Quando treinada com o repertório de Bach, a IA eventualmente aprendeu o tom e o estilo geral do músico. Da mesma forma, imagens de van Gogh ou Edvard Munch – o artista por trás da famosa pintura, O grito—alimentados na IA permitiram gerar imagens em um estilo semelhante, embora muitas parecessem uma recreação infantil.

As redes neurais ópticas ainda têm muito mais pela frente. Mas, se utilizados de forma ampla, poderão ser uma alternativa mais eficiente em termos energéticos aos atuais sistemas de IA. Taichi é 100 vezes mais eficiente em termos energéticos do que as iterações anteriores. Mas o chip ainda requer lasers para unidades de energia e transferência de dados, que são difíceis de condensar.

Em seguida, a equipe espera integrar minilasers e outros componentes prontamente disponíveis em um único chip fotônico coeso. Enquanto isso, eles esperam que Taichi “acelere o desenvolvimento de soluções ópticas mais poderosas” que possam eventualmente levar a “uma nova era” de IA poderosa e energeticamente eficiente.

Crédito de imagem: spainter_vfx / Shutterstock.com

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/