КОММЕНТАРИЙ Определение Microsoft того, что является компьютером с искусственным интеллектом, а что нет, обретает форму. Благодаря последней версии Windows, выделенному ключу Copilot и NPU, способному выполнять не менее 40 триллионов операций в секунду, вы скоро сможете запускать Microsoft Copilot локально, то есть, на своем компьютере.

Редмонда большого города, для своей модели искусственного интеллекта для Windows были официально объявлены Intel — одним из самых сильных сторонников категории ПК с искусственным интеллектом — во время Саммит AI в Тайбэе на этой неделе.

Запуск большой языковой модели (LLM) локально имеет некоторые существенные преимущества. Конечные пользователи должны иметь более низкую задержку и, следовательно, улучшенное время отклика, поскольку запросы не нужно отправлять в удаленный центр обработки данных и из него, а также теоретически обеспечить большую конфиденциальность. Между тем, для Microsoft перенос большей части рабочей нагрузки ИИ на клиентские устройства высвобождает собственные ресурсы для других задач, таких как помощь в обучении следующей модели OpenAI или предложение ее в качестве облачного API.

Microsoft надеется в конечном итоге запустить свой Copilot LLM полностью на NPU или нейронных процессорах на компьютерах с искусственным интеллектом под управлением Windows, судя по комментарии видимо сделанное руководителями Intel на саммите. Мы можем представить себе, как гигант x86 продвигает эту линию, чтобы убедить всех, что его процессор достаточно мощный, чтобы запускать устройства Редмонда дома или в офисе.

Хотя идея отсоединить Copilot от шлангокабеля Azure может показаться кому-то привлекательной, похоже, не все являются поклонниками этой идеи. Клиппи воплощение и, по крайней мере, некоторая часть обработки в обозримом будущем почти наверняка будет выполняться в облаке.

Руководители Intel заявили то же самое: более быстрое оборудование позволит большему количеству «элементов» Copilot запускаться локально. Другими словами, вы по-прежнему будете полагаться на сетевое соединение, по крайней мере, для некоторых функций, а с остальным AI-ПК справится сам.

Причина не должна вызывать удивления. Эти ПК с искусственным интеллектом имеют ограниченные ресурсы, а модель, лежащая в основе Copilot — OpenAI GPT-4 — огромна. Мы не знаем точно, насколько велика версия, которую использует Microsoft, но Оценки поместите полную модель GPT-4 примерно в 1.7 триллиона параметров. Даже при квантовании или запуске модели на INT4 вам понадобится около 900 ГБ памяти.

Как мы думаем, что это сработает

GPT-4 — это так называемая модель смешанных экспертов. Короче говоря, это означает, что он фактически собирается из ряда более мелких специализированных предварительно обученных моделей, к которым направляются запросы. Имея несколько моделей, оптимизированных для генерации текста, обобщения, создания кода и т. д., можно повысить производительность вывода, поскольку для выполнения задачи не требуется запускать всю модель.

Использование Intel термина «элементы» для описания локального запуска функций Copilot предполагает, что некоторых из этих экспертов можно было бы заменить меньшими, более маневренными моделями, способными работать на оборудовании ноутбука. Как мы уже выяснили ранее, существующее персональное оборудование более чем способно запускать меньшие модели искусственного интеллекта, такие как Mistral или Meta.

По совпадению, Microsoft недавно закачивается 15 миллионов евро (16.3 миллиона долларов) во французский производитель мини-моделей Mistral AI, который планирует сделать свою работу доступной для клиентов Azure. Имея размер всего 7 миллиардов параметров, Mistral-7B, безусловно, достаточно мал, чтобы удобно вписаться в память AI-ПК, требуя около 4 ГБ памяти при использовании 4-битного квантования.

И это для модели общего назначения. Возможно, вы могли бы обойтись еще меньшими моделями, настроенными на генерацию исходного кода, которые загружаются в память только тогда, когда приложение, скажем, Visual Studio Code, запускается и обнаруживается активная подписка Github Copilot. Помните, Copilot — это больше, чем просто чат-бот; это набор функций искусственного интеллекта, которые внедряются в операционную систему и библиотеку программного обеспечения Microsoft.

Редмонд не сказал, какой объем памяти требуется для его спецификации AI-ПК, но, по нашему опыту, местные LLM, 16 ГБ скоростной памяти DDR5 должно хватить.

Какой бы путь Microsoft в конечном итоге ни выбрала, сочетание локальной и удаленной моделей может привести к интересному поведению. Мы пока не знаем, при каких обстоятельствах эти локальные модели вступят во владение, но корпоративный вице-президент Microsoft по устройствам Windows Паван Давулури предположил, что сочетание может быть динамичным.

«Мы хотим иметь возможность переключаться между облаком и клиентом, чтобы обеспечить лучшее от вычислений в обоих этих мирах», — сказал он на сцене во время конференции AMD Advancing AI. мероприятие в декабре. «Он объединяет преимущества локальных вычислений, такие как повышенная конфиденциальность, скорость реагирования и задержка, с мощью облака, высокопроизводительными моделями, большими наборами данных, межплатформенным логическим выводом».

Таким образом, мы можем увидеть пару сценариев того, как Microsoft может использовать локальный ИИ. Во-первых, разгрузить работу серверов Microsoft и сократить время отклика. По мере совершенствования аппаратного обеспечения больше функций Copilot можно будет перенести из облака на пользовательские устройства.

Второй вариант — использовать его в качестве запасного варианта на случай сбоев в работе сети. Вы можете себе представить, что ваш компьютер с искусственным интеллектом просто становится тупее, а не полностью останавливается, когда его отключают от сети.

Аппаратные ограничения

Прежде чем вы будете в восторге от компьютеров с искусственным интеллектом с разделенным мозгом, разрабатывающих автономные манифесты, отметим, что в настоящее время не существует машин, отвечающих аппаратным требованиям, и дело не в отсутствии ключа второго пилота.

Проблема в том, что NPU все еще являются относительно новыми процессорами x86, а те, что существуют, недостаточно мощны. AMD была одной из первых, кто добавил NPU в свои мобильные процессоры еще в начале 2023 года, выпустив свой Ryzen 7040 чипы серии.

Этот состав был изменен в декабре во время мероприятия House of Zen's Advancing AI. AMD также вывела свои NPU на настольные компьютеры, выпустив свой ВСУ 8000G на выставке CES в январе этого года.

Intel представила свои специализированные блоки ускорителей искусственного интеллекта с запуском своего Метеоритное озеро части микропроцессора в конце декабря. Эти чипы Core Ultra оснащены NPU, созданным на основе видеопроцессора Intel Movidius (VPU), который Intel предназначалась выполняла различные рабочие нагрузки во время своего мероприятия «Инновации» в прошлом году.

К сожалению, чипы способны выполнять только 10–16 триллионов (обычно INT4) операций в секунду, что намного ниже, чем в спецификации Microsoft 40 TOPS. Это означает, что большинство так называемых ПК с искусственным интеллектом на рынке не будут соответствовать этим требованиям — по крайней мере, без использования графического процессора, чтобы компенсировать разницу.

И у Intel, и у AMD есть более мощные чипы на базе Lunar Lake и Strix Point соответственно. Однако в ближайшем будущем, похоже, Qualcomm собирается загнать рынок в угол.

Ноутбуки с процессором Qualcomm Snapdragon X Elite мобильные процессоры должны выйти где-то в середине 2024 года и будут оснащены NPU мощностью 45 TOPS. По словам Qualcomm, в сочетании с графическим процессором Adreno, обеспечивающим производительность FP4.6 32 терафлопс, эта деталь сможет запускать модели искусственного интеллекта с 13 миллиардами параметров полностью на устройстве и генерировать 30 токенов в секунду при запуске меньших LLM с 7 миллиардами параметров.

По мере появления ПК с более производительными NPU и большими объемами памяти, а небольшие модели становятся все более функциональными, мы подозреваем, что Microsoft начнет переносить больше функций на локальные устройства – как только оборудование сможет с этим справиться. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/03/31/microsoft_copilot_hardware/