Модели искусственного интеллекта мощные свиньи.

По мере того, как алгоритмы растут и усложняются, они все больше нагружают современные компьютерные чипы. Многие компании разработали чипы, адаптированные к искусственному интеллекту, чтобы снизить энергопотребление. Но все они основаны на одном фундаментальном правиле — они используют электричество.

В этом месяце команда из Университета Цинхуа в Китае изменила рецепт. Они построил чип нейронной сети который использует свет, а не электричество для выполнения задач ИИ, затрачивая лишь небольшую часть затрат на энергию NVIDIA H100, современный чип, используемый для обучения и запуска моделей искусственного интеллекта.

Чип, получивший название Taichi, сочетает в своей внутренней структуре два типа обработки света. По сравнению с предыдущим оптические чипы, Тайчи гораздо точнее справляется с относительно простыми задачами, такими как распознавание рукописных чисел или других изображений. В отличие от своих предшественников, чип также может генерировать контент. Он может создавать базовые изображения в стиле, например, голландского художника Винсента Ван Гога, или классические музыкальные номера, вдохновленные Иоганном Себастьяном Бахом.

Частично эффективность Тайчи обусловлена ​​его структурой. Чип состоит из нескольких компонентов, называемых чиплетами. Подобно организации мозга, каждый чиплет параллельно выполняет свои собственные вычисления, результаты которых затем объединяются с другими для достижения решения.

Столкнувшись со сложной проблемой разделения изображений по более чем 1,000 категориям, Taichi добился успеха почти в 92 процентах случаев, сохранив производительность текущего чипа, но сократив энергопотребление более чем в тысячу раз.

Для ИИ «тенденция решения более сложных задач необратима», пишут авторы. «Тайчи прокладывает путь к крупномасштабным фотонным [световым] вычислениям», что приведет к более гибкому ИИ с меньшими затратами энергии.

Чип на плече

Сегодняшние компьютерные чипы плохо взаимодействуют с искусственным интеллектом.

Часть проблемы носит структурный характер. Обработка и память на традиционных чипах физически разделены. Передача данных между ними отнимает огромное количество энергии и времени.

Хотя эта установка эффективна для решения относительно простых задач, она невероятно энергоемка, когда дело касается сложного искусственного интеллекта, например, больших языковых моделей, лежащих в основе ChatGPT.

Основная проблема заключается в том, как создаются компьютерные чипы. Каждое вычисление основано на транзисторах, которые включаются или выключаются для представления нулей и единиц, используемых в расчетах. За последние десятилетия инженеры значительно уменьшили размеры транзисторов, чтобы их можно было втиснуть в чипы еще больше. Но нынешняя технология чипов приближается к переломному моменту, когда мы не можем стать меньше.

Ученые уже давно пытаются обновить существующие чипы. Одна из стратегий, вдохновленная мозгом, опирается на «синапсы» — биологический «док», соединяющий нейроны, — которые вычисляют и хранят информацию в одном и том же месте. Эти нейроморфные чипы, вдохновленные мозгом, сокращают потребление энергии и ускоряют вычисления. Но, как и нынешние чипы, они работают на электричестве.

Другая идея состоит в том, чтобы использовать совершенно другой вычислительный механизм: свет. «Фотонные вычисления» «привлекают все большее внимание», пишут авторы. Вместо использования электричества можно будет перехватывать частицы света, чтобы питать ИИ со скоростью света.

Пусть Там будет свет

По сравнению с чипами, работающими на электричестве, свет потребляет гораздо меньше энергии и может одновременно выполнять несколько вычислений. Используя эти свойства, ученые создали оптические нейронные сети, которые используют фотоны — частицы света — для чипов искусственного интеллекта вместо электричества.

Эти чипы могут работать двумя способами. В одном из них чипы рассеивают световые сигналы по специальным каналам, которые в конечном итоге объединяют лучи для решения проблемы. Эти оптические нейронные сети, называемые дифракцией, упаковывают искусственные нейроны близко друг к другу и минимизируют затраты энергии. Но их нелегко изменить, а это означает, что они могут работать только над одной простой проблемой.

Другая установка зависит от другого свойства света, называемого интерференцией. Подобно океанским волнам, световые волны комбинируются и нейтрализуют друг друга. Находясь внутри микротуннелей чипа, они могут сталкиваться, усиливая или подавляя друг друга — эти интерференционные картины можно использовать для вычислений. Чипы, основанные на интерференции, можно легко переконфигурировать с помощью устройства, называемого интерферометром. Проблема в том, что они физически громоздки и потребляют тонны энергии.

Тогда есть проблема с точностью. Даже в скульптурных каналах, часто используемых для интерференционных экспериментов, свет отражается и рассеивается, что делает расчеты ненадежными. Для одной оптической нейронной сети ошибки терпимы. Но с ростом оптических сетей и более сложными проблемами шум растет экспоненциально и становится неприемлемым.

Вот почему нейронные сети на основе света нелегко масштабировать. До сих пор им удавалось решать только базовые задачи, такие как распознавание чисел или гласных.

«Увеличение масштаба существующих архитектур не приведет к пропорциональному улучшению производительности», — написала команда.

Double Trouble

Новый ИИ, Taichi, объединил эти две особенности, чтобы подтолкнуть оптические нейронные сети к использованию в реальных условиях.

Вместо того, чтобы настраивать одну нейронную сеть, команда использовала метод чиплетов, который делегировал различные части задачи нескольким функциональным блокам. У каждого блока были свои сильные стороны: один был настроен для анализа дифракции, что позволяло сжимать большие объемы данных за короткий период времени. В другой блок были встроены интерферометры для обеспечения интерференции, что позволяло легко перенастраивать чип между задачами.

По сравнению с глубоким обучением, Тайчи применил «поверхностный» подход, при котором задача распределяется по нескольким чиплетам.

В стандартных структурах глубокого обучения ошибки имеют тенденцию накапливаться на разных уровнях и во времени. Эта установка устраняет проблемы, возникающие при последовательной обработке, в зародыше. При возникновении проблемы Taichi распределяет рабочую нагрузку между несколькими независимыми кластерами, что упрощает решение более крупных проблем с минимальными ошибками.

Стратегия оправдала себя.

Вычислительная мощность Тайчи равна 4,256 искусственным нейронам с почти 14 миллионами параметров, имитирующих связи мозга, которые кодируют обучение и память. При сортировке изображений по 1,000 категориям фотонный чип имел точность почти 92 процента, что сравнимо с «популярными в настоящее время электронными нейронными сетями», пишет команда.

Чип также преуспел в других стандартных тестах распознавания изображений ИИ, таких как идентификация рукописных символов из разных алфавитов.

В качестве заключительного теста команда поставила перед фотонным искусственным интеллектом задачу уловить и воссоздать контент в стиле разных художников и музыкантов. Обучившись репертуару Баха, ИИ в конечном итоге выучил высоту звука и общий стиль музыканта. Точно так же изображения Ван Гога или Эдварда Мунка — художника, написавшего знаменитую картину, Крик— введенные в ИИ, позволили ему генерировать изображения в похожем стиле, хотя многие из них выглядели как детские игры.

Оптическим нейронным сетям еще многое предстоит сделать. Но при широком использовании они могут стать более энергоэффективной альтернативой нынешним системам искусственного интеллекта. Taichi более чем в 100 раз более энергоэффективен, чем предыдущие версии. Но чипу по-прежнему требуются лазеры для блоков питания и передачи данных, которые трудно конденсировать.

Далее команда надеется интегрировать легкодоступные мини-лазеры и другие компоненты в единый фотонный чип. Между тем, они надеются, что Taichi «ускорит разработку более мощных оптических решений», что в конечном итоге может привести к «новой эре» мощного и энергоэффективного искусственного интеллекта.

Изображение Фото: spainter_vfx / Shutterstock.com

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/