Предлагая обновление Meta AI для каждой платформы, Meta также опубликовала тест Llama 3 для энтузиастов технологий.

Этот тест предлагает независимым исследователям и разработчикам стандартизированный набор тестов для оценки производительности Llama 3 при выполнении различных задач.

Эта прозрачность позволяет пользователям сравнивать сильные и слабые стороны Llama 3 с другими LLM, используя тот же тест, способствуя более объективному пониманию ее возможностей.

Что показывает бенчмарк Llama 3?

Компания Meta AI разработала тест Llama 3 — комплексный набор тестов, предназначенный для оценки эффективности LLM при выполнении различных задач. Эти задачи включают в себя ответы на вопросы, подведение итогов, следование инструкциям и кратковременное обучение. Этот тест служит важнейшим инструментом для оценки сильных и слабых сторон Llama 3 по сравнению с другими LLM.

Хотя прямое сравнение тестов Llama 3 и тестов конкурентов затруднено из-за различий в методологиях оценки, Meta утверждает, что модели Llama 3, обученные на их наборе данных, достигли исключительной производительности во всех оцениваемых задачах. Это указывает на то, что Meta AI находится на одном уровне с лучшими в области LLM.

Вот более глубокий взгляд на результаты тестов Llama 3:

• Шкала параметров: Meta может похвастаться тем, что их модели Llama 8 с параметрами 70B и 3B превосходят Llama 2 и устанавливают новый уровень техники для LLM аналогичного масштаба.
• Человеческая оценка: Компания Meta провела оценку с участием людей комплексного набора данных, охватывающего 12 ключевых вариантов использования. Эта оценка выгодно ставит модель Llama 70, выполняющую инструкции, на фоне конкурентов сопоставимого размера в реальных сценариях.

Это собственные оценки Meta, и для более точного сравнения могут потребоваться независимые тесты.

Открытый вес против открытого исходного кода

Крайне важно различать «открытые версии» и «открытые исходные коды». Хотя Llama 3 предлагает бесплатно загружаемые модели и веса, она не подпадает под строгое определение открытого исходного кода из-за ограничений доступа и обучающих данных (в отличие от программного обеспечения с открытым исходным кодом).

Лама 3 выпускается в двух размерах: 8 миллиардов (8Б) и 70 миллиардов (70Б) параметры. Оба доступен для бесплатного скачивания на сайте Meta после простой процедуры регистрации.

Техническое погружение в Meta AI

Llama 3 предлагает две версии:

• Предварительное обучение: Это необработанная модель, ориентированная на прогнозирование следующего токена.
• Инструкция настроена: Эта версия настроена так, чтобы следовать конкретным инструкциям пользователя.

Обе версии имеют ограничение контекста в 8,192 токена.

Подробности обучения

• Тренировочное оборудование: Для обучения Llama 24,000 компания Meta использовала два специально созданных кластера, каждый из которых содержал ошеломляющие 3 XNUMX графических процессоров.
• Тренировочные данные: Марк Цукерберг, генеральный директор Meta, рассказал в интервью подкасту, что модель 70B была обучена на огромном наборе данных, насчитывающем около 15 триллионов токенов. Интересно, что модель так и не достигла точки насыщения (пиковой производительности) во время обучения, что позволяет предположить, что есть возможности для дальнейшего улучшения с еще большими наборами данных.
• Планы на будущее: Мета в настоящее время тренирует колоссальную версию Llama 400 с параметрами 3B, что потенциально ставит ее в ту же лигу производительности, что и такие соперники, как ГПТ-4 Турбо и Близнецы Ультра по таким тестам, как MMLU, GPQA, HumanEval и MATH.

Проблемы в тесте Llama 3

Нам необходимо признать ограничения текущих тестов LLM из-за таких факторов, как загрязнение обучающих данных и выборочный отбор результатов поставщиками.

Несмотря на эти ограничения, Meta предоставила несколько тестов, демонстрирующих производительность Llama 3 в таких задачах, как MMLU (общие знания), GSM-8K (математика), HumanEval (кодирование), GPQA (сложные вопросы) и MATH (словесные задачи).

Эти тесты выгодно отличают модель 8B от конкурентов с открытым весом, таких как Джемма 7B от Google. и Мистраль 7Б Инструктировать. Модель 70B также не уступает таким известным брендам, как Близнецы Про 1.5 и Клод 3 Сонет.

Доступность Ламы 3

Meta планирует сделать модели Llama 3 доступными на основных облачных платформах, таких как AWS, Databricks, Google Cloud и других, обеспечивая широкую доступность для разработчиков.

Llama 3 составляет основу виртуального помощника Meta, который будет занимать видное место. представлен в функциях поиска в Facebook, Instagram, WhatsApp, MessengerИ специальный веб-сайт напоминающий интерфейс ChatGPT (включая генерацию изображений).

Кроме того, Meta заключила партнерское соглашение с Google интегрировать результаты поиска в реальном времени в помощника, опираясь на их существующее партнерство с Microsoft Bing.

Рекомендуемое изображение кредит: Мета

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://dataconomy.com/2024/04/19/llama-3-benchmark-meta-ai-vs-chatgpt-vs-gemini/