Вступ

Уявіть, що ви використовуєте потужність передових мовних моделей прямо на своєму персональному комп’ютері чи мобільному пристрої, не покладаючись на хмарні служби чи потужні сервери. Звучить неймовірно, чи не так? Що ж, ці крихітні мовні моделі втілюють цю мрію в реальність. У НЛП ми спостерігали появу величезних мовних моделей, які засвоюють і створюють текст так само, як людина. Хоча результати часто чудові, обчислювальні вимоги однаково великі. Як наслідок, їх важко запускати поза центром обробки. Але це швидко змінюється! Хороша новина полягає в тому, що дослідники та інженери вклали всі сили у виробництво невеликих LLM, яких достатньо для роботи на ваших локальних пристроях і мають достатню потужність для виконання будь-яких корисних завдань.

У цій статті ми розглянемо найменші та найпотужніші мовні моделі, які можна запускати локально, не виходячи з власного пристрою. Ці компактні дива забезпечують ідеальний баланс між продуктивністю та ефективністю використання ресурсів, відкриваючи світ можливостей для розробників, дослідників та ентузіастів.

Які переваги малих LLM?

Ось деякі ключові переваги використання невеликих LLM (великих мовних моделей) порівняно з їх більшими аналогами:

1. Нижчі вимоги до обладнання: Малі LLM мають значно менше параметрів і вимагають меншої обчислювальної потужності, що робить їх ідеальними для роботи на пристроях з обмеженими апаратними ресурсами, таких як ноутбуки, смартфони та вбудовані системи. Це робить їх більш доступними та демократизує використання LLM для ширшого кола користувачів і програм.
2. Швидший висновок: Завдяки меншій кількості параметрів і меншим розмірам моделі невеликі LLM можуть швидше виконувати висновки, що означає швидший час відповіді та меншу затримку. Це особливо важливо для програм реального часу, таких як розмовний ШІ, де чуйність має вирішальне значення.
3. Зниження споживання енергії: для роботи менших моделей потрібно менше енергії, що робить їх більш енергоефективними та екологічно чистими. Це особливо корисно для пристроїв із живленням від акумулятора, де енергоефективність має вирішальне значення.
4. Просте розгортання та портативність: Малі LLM легше розгортати та розповсюджувати завдяки їх компактному розміру. Їх можна інтегрувати в різні додатки та системи без спеціального обладнання чи великомасштабної інфраструктури. Така портативність забезпечує ширше впровадження та розробку більш децентралізованих і периферійних програм.
5. Конфіденційність і суверенітет даних: запускаючи невеликі LLM локально, користувачі можуть підтримувати більший контроль над своїми даними та зменшити потребу надсилати конфіденційну інформацію на віддалені сервери або хмарні платформи. Це може допомогти усунути проблеми з конфіденційністю та дотримуватися правил захисту даних.
6. Економічна ефективність: Менші моделі зазвичай вимагають менше обчислювальних ресурсів, що може призвести до зниження операційних витрат, особливо при роботі на хмарних платформах або орендованому обладнанні. Ця економічна ефективність може зробити LLM технологія стає більш доступною для невеликих організацій та окремих розробників.
7. Спеціалізовані програми: Хоча менші моделі можуть не досягати такого ж рівня продуктивності, як великі моделі, для виконання загальних завдань, їх можна точно налаштувати та оптимізувати для конкретних програм або доменів, потенційно перевершуючи більші моделі в цих спеціалізованих областях.

Важливо відзначити, що переваги малих LLM пов’язані з компромісами в продуктивності та можливостях порівняно з їх більшими аналогами. Однак переваги малих LLM у ресурсоефективності, портативності та економічній ефективності можуть зробити їх переконливим вибором для багатьох програм, де висока продуктивність не є критичною вимогою.

Найменші LLM, які можна запускати на локальних пристроях

DistilBERT

• Розмір моделі: базова версія має близько 66 млн параметрів, що значно менше, ніж 110 млн параметрів BERT.
• Опис: DistilBERT — це дистильована версія моделі BERT, розроблена, щоб бути меншою та швидшою, зберігаючи при цьому більшу частину продуктивності BERT. Він використовує методи дистиляції знань, щоб стиснути велику модель BERT у меншу версію, що робить її ефективнішою та легшою для розгортання на локальних пристроях.
• Вимоги до обладнання: Компактний розмір DistilBERT дозволяє працювати на різних локальних пристроях, включаючи ноутбуки, настільні ПК і навіть мобільні пристрої високого класу.

Посилання на обличчя обіймів: DistilBERT

TinyBERT

• Розмір моделі: TinyBERT-4 має близько 14 млн параметрів, тоді як TinyBERT-6 має близько 67 млн.
• Опис: TinyBERT — це ще більш компактна версія BERT, розроблена дослідниками з Університету Карнегі-Меллона та Google Brain. Він використовує передові методи, як-от пошаровість і дистиляція уваги, щоб досягти значного стиснення моделі, зберігаючи при цьому конкурентоспроможну продуктивність у різних завданнях NLP.
• Вимоги до обладнання: Надзвичайно малий розмір TinyBERT дозволяє працювати на широкому діапазоні локальних пристроїв, включаючи недорогі ноутбуки, вбудовані системи та мобільні пристрої.

Посилання на обличчя обіймів: TinyBERT

MobileBERT

• Розмір моделі: MobileBERT має приблизно 25 млн параметрів, що значно менше, ніж оригінальна база BERT.
• Опис: MobileBERT — це компактна та ефективна модель BERT для мобільних і периферійних пристроїв. Він використовує такі методи, як дистиляція знань і квантування, щоб зменшити розмір моделі, зберігаючи високу продуктивність у широкому діапазоні завдань НЛП.
• Вимоги до обладнання: Як випливає з назви, MobileBERT оптимізовано для роботи на мобільних пристроях та інших середовищах з обмеженими ресурсами.

Посилання на обличчя обіймів: MobileBERT

АЛЬБЕРТ

• Розмір моделі: Залежно від конфігурації; одна з найменших — основа ALBERT з 12 шарами та 12 головками для уваги.
• Опис: ALBERT (A Lite BERT) розроблено для ефективного використання пам’яті та швидшого висновку. Він має міжрівневий механізм спільного використання параметрів і зменшений розмір вбудовування. Він ефективний для різних завдань НЛП, але легший, ніж оригінальний BERT.
• Вимоги до обладнання: ефективний дизайн ALBERT дозволяє працювати на різних локальних пристроях із помірною обчислювальною потужністю.

Посилання на обличчя обіймів: АЛЬБЕРТ

ГПТ-2 Малий

• Розмір моделі: GPT-2 Small має приблизно 117M параметрів, що значно менше, ніж у більших моделей GPT-2.
• Опис: GPT-2 Small — це зменшена версія популярної моделі GPT-2 (Generative Pre-trained Transformer 2), розробленої OpenAI. Хоча GPT-2 Small не такий компактний, як деякі інші моделі, він все ще відносно легкий і може використовуватися для таких завдань, як генерація тексту, резюмування та моделювання мови.
• Вимоги до обладнання: GPT-2 Small можна запускати на персональних комп’ютерах із помірними специфікаціями апаратного забезпечення, наприклад на ноутбуках або настільних комп’ютерах середнього класу.

Посилання на обличчя обіймів: ГПТ-2 Малий

ДециКодер-1Б

• Розмір моделі: 1 мільярд параметрів
• Опис: DeciCoder-1B — це мовна модель, орієнтована на генерацію та розуміння коду. Він може допомогти в таких завданнях кодування, як доповнення коду, переклад між мовами програмування та пояснення коду. Він навчається на великому корпусі вихідного коду та описів природною мовою.
• Вимоги до обладнання: Завдяки відносно невеликому розміру параметрів у 1 мільярд, DeciCoder-1B може працювати на різних локальних пристроях, таких як ноутбуки, настільні комп’ютери та потенційно високоякісні мобільні пристрої чи одноплатні комп’ютери.

Посилання на обличчя обіймів: Декодер – 1B

Фі-1.5

• Розмір моделі: 1.5 мільярд параметрів
• Опис: Phi-1.5 — це мовна модель загального призначення, здатна генерувати текст, відповідати на запитання, розуміти природну мову та виконувати інші завдання НЛП. Він призначений для адаптації до різних доменів і завдань шляхом тонкого налаштування або підказок.
• Вимоги до обладнання: Компактний розмір Phi-1.5, який містить 1.5 мільярда параметрів, дозволяє розгортати його на локальних пристроях із помірними обчислювальними ресурсами, таких як ноутбуки, настільні комп’ютери та потенційно високоякісні мобільні чи одноплатні обчислювальні пристрої.

Посилання на обличчя обіймів: Фі-1.5

Dolly-v2-3b

• Розмір моделі: 3 мільярд параметрів
• Опис: Dolly-v2-3b — це модель мови, що слідує за інструкціями, яка чудово розуміє та виконує детальні багатокрокові підказки та інструкції для різних завдань.
• Вимоги до обладнання: із 3 мільярдами параметрів Dolly-v2-3b потребує локальних пристроїв із середньою та високою обчислювальною потужністю, як-от високоякісні ноутбуки, настільні комп’ютери або робочі станції.

Посилання на обличчя обіймів: Dolly-v2-3b

StableLM-Zephyr-3B

• Розмір моделі: 3 мільярд параметрів
• Опис: StableLM-Zephyr-3B — це модель мови, навчена надавати надійні та правдиві відповіді. Він створений як стабільна та надійна модель для різноманітних завдань обробки природної мови.
• Вимоги до обладнання: Подібно до Dolly-v2-3b, StableLM-Zephyr-3B із 3 мільярдами параметрів може працювати на локальних пристроях із помірними та високими обчислювальними можливостями, наприклад, високоякісних ноутбуках, настільних комп’ютерах або робочих станціях.

Посилання на обличчя обіймів: StableLM-Zephyr-3B

ДециЛМ-7Б

• Розмір моделі: 7 мільярд параметрів
• Опис: DeciLM-7B — це мовна модель загального призначення для різноманітних завдань обробки природної мови. Його більший розмір параметрів у 7 мільярдів забезпечує покращену продуктивність порівняно з меншими моделями, залишаючись при цьому достатньо компактним для локального розгортання.
• Вимоги до обладнання: Щоб запускати DeciLM-7B локально, користувачам знадобиться доступ до систем із потужнішим апаратним забезпеченням, таких як настільні комп’ютери високого класу або робочі станції з потужними графічними чи TPU.

Посилання на обличчя обіймів: ДециЛМ-7Б

Mistral-7B-Instruct-v0.2

• Розмір моделі: 7 мільярд параметрів
• Опис: Mistral-7B-Instruct-v0.2 — це мовна модель, що слідує за інструкціями, яка може ефективно виконувати складні багатокрокові інструкції та завдання.
• Вимоги до обладнання: Подібно до DeciLM-7B, Mistral-7B-Instruct-v0.2 потребує локального апаратного забезпечення високого класу, такого як потужні настільні комп’ютери або робочі станції, для запуску 7 мільярдів параметрів.

Посилання на обличчя обіймів: Mistral-7B-Instruct-v0.2

Орка-2-7Б

• Розмір моделі: 7 мільярд параметрів
• Опис: Orca-2-7B — це модель мови з відкритим вихідним кодом, яка забезпечує безпечні, правдиві та орієнтовані на людину відповіді. Він спрямований на отримання результатів, які відповідають людським цінностям і етиці.
• Вимоги до обладнання: 7-мільярдний параметр Orca-2-7B вимагає потужного локального обладнання, наприклад високопродуктивних настільних ПК або робочих станцій для ефективної роботи.

Посилання на обличчя обіймів: Орка-2-7Б

бурштиновий

• Розмір моделі: 7 мільярд параметрів
• Опис: Amber — це багатозадачна мовна модель, призначена для виконання різноманітних завдань обробки природної мови з високою продуктивністю в різних доменах і програмах.
• Вимоги до обладнання: Для локального запуску 7 мільярдів параметрів Amber потрібен доступ до високоякісного апаратного забезпечення, наприклад потужних настільних комп’ютерів або робочих станцій із потужними графічними чи TPU.

Посилання на обличчя обіймів: бурштиновий

OpenHathi-7B-Hi-v0.1-Base

• Розмір моделі: 7 мільярд параметрів
• Опис: OpenHathi-7B-Hi-v0.1-Base — це велика модель мови хінді, одна з найбільших відкрито доступних моделей для мови гінді. Він може розуміти та генерувати текст на гінді.
• Вимоги до обладнання: Як і інші моделі 7B, для ефективної роботи OpenHathi-7B-Hi-v0.1-Base потрібне високопродуктивне локальне обладнання, наприклад потужні настільні ПК або робочі станції.

Посилання на обличчя обіймів: OpenHathi-7B-Hi-v0.1-Base

SOLAR-10.7B-v1.0

• Розмір моделі: 10.7 мільярд параметрів
• Опис: SOLAR-10.7B-v1.0 — це велика загальна мовна модель, яка розширює межі того, що може працювати локально на споживчому обладнанні. Він пропонує підвищену продуктивність для різних завдань НЛП.
• Вимоги до обладнання: Щоб розгорнути SOLAR-10.7B-v1.0 локально, користувачам знадобиться доступ до споживчого обладнання високого класу з потужними графічними процесорами або налаштуваннями з декількома графічними процесорами.

Посилання на обличчя обіймів: SOLAR-10.7B-v1.0

NexusRaven-V2-13B

• Розмір моделі: 13 мільярд параметрів
• Опис: NexusRaven-V2-13B — це велика мовна модель, зосереджена на створенні відкритого тексту в різних доменах і програмах.
• Вимоги до обладнання: З 13 мільярдами параметрів NexusRaven-V2-13B потребує дуже потужного апаратного забезпечення, наприклад високоякісних робочих станцій або установок із декількома графічним процесором, для локальної роботи на споживчих пристроях.

Посилання на обличчя обіймів: NexusRaven-V2-13B

Незважаючи на те, що ці компактні LLM пропонують значні переваги щодо портативності та ефективності використання ресурсів, важливо зазначити, що вони можуть не досягти такого ж рівня продуктивності, як їхні більші аналоги, у певних складних завданнях NLP. Однак для багатьох програм, які не вимагають найсучаснішої продуктивності, ці менші моделі можуть бути практичним і доступним рішенням, особливо під час роботи на локальних пристроях з обмеженими обчислювальними ресурсами.

Висновок

Підсумовуючи, наявність невеликих мовних моделей, які можуть працювати локально на ваших пристроях, означає значний крок вперед у ШІ та НЛП. Ці моделі пропонують ідеальне поєднання потужності, ефективності та доступності, дозволяючи вам виконувати розширені завдання обробки природної мови, не покладаючись на хмарні служби чи потужні центри обробки даних. Експериментуючи з цими компактними LLM, ви відкриваєте нові шляхи для інновацій і креативності у своїх проектах, незалежно від того, чи є ви досвідченим розробником, дослідником чи любителем. The майбутнє ШІ більше не обмежується масивними моделями; натомість йдеться про максимізацію потенціалу обладнання, яке у вас уже є. Дізнайтеся, чого можуть досягти ці маленькі, але могутні моделі!

Сподіваюся, ця стаття була для вас пізнавальною. Якщо у вас є пропозиції щодо статті, залишайте коментарі нижче. Щоб отримати більше статей, ви можете звернутися до цього link.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://www.analyticsvidhya.com/blog/2024/04/smallest-llms-that-you-can-run-on-local-devices/