അവതാരിക

ക്ലൗഡ് സേവനങ്ങളെയോ ശക്തമായ സെർവറുകളെയോ ആശ്രയിക്കാതെ തന്നെ നിങ്ങളുടെ സ്വകാര്യ കമ്പ്യൂട്ടറിലോ മൊബൈൽ ഉപകരണത്തിലോ വിപുലമായ ഭാഷാ മോഡലുകളുടെ ശക്തി പ്രയോജനപ്പെടുത്തുന്നത് സങ്കൽപ്പിക്കുക. അവിശ്വസനീയമായി തോന്നുന്നു, അല്ലേ? ശരി, ഈ ചെറിയ ഭാഷാ മാതൃകകൾ ഈ സ്വപ്നം യാഥാർത്ഥ്യമാക്കുന്നു. NLP-യിൽ, ഒരു മനുഷ്യനെപ്പോലെ വാചകം സ്വാംശീകരിക്കുകയും സൃഷ്ടിക്കുകയും ചെയ്യുന്ന വലിയ ഭാഷാ മാതൃകകളുടെ വരവ് ഞങ്ങൾ നിരീക്ഷിച്ചു. ഫലങ്ങൾ പലപ്പോഴും ശ്രദ്ധേയമാണെങ്കിലും, കമ്പ്യൂട്ടേഷണൽ ആവശ്യകതകൾ തുല്യമാണ്. തൽഫലമായി, ഒരു പ്രോസസ്സിംഗ് സെൻ്ററിന് പുറത്ത് അവ പ്രവർത്തിപ്പിക്കുന്നത് ബുദ്ധിമുട്ടാണ്. എന്നാൽ അത് പെട്ടെന്ന് മാറുകയാണ്! ഗവേഷകരും എഞ്ചിനീയർമാരും നിങ്ങളുടെ പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കാൻ പര്യാപ്തമായ ചെറിയ LLM-കൾ നിർമ്മിക്കുന്നതിന് അവരുടെ ഹൃദയം പകർന്നു എന്നതാണ് നല്ല വാർത്ത.

ഈ ലേഖനത്തിൽ, നിങ്ങളുടെ സ്വന്തം ഉപകരണത്തിൽ നിന്ന് നിങ്ങൾക്ക് പ്രാദേശികമായി പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന ഏറ്റവും ചെറുതും ശക്തവുമായ ഭാഷാ മോഡലുകൾ ഞങ്ങൾ പര്യവേക്ഷണം ചെയ്യും. ഈ ഒതുക്കമുള്ള അത്ഭുതങ്ങൾ പ്രകടനവും റിസോഴ്‌സ് കാര്യക്ഷമതയും തമ്മിൽ തികഞ്ഞ സന്തുലിതാവസ്ഥ സൃഷ്ടിക്കുന്നു, ഡവലപ്പർമാർക്കും ഗവേഷകർക്കും താൽപ്പര്യക്കാർക്കും ഒരുപോലെ സാധ്യതകളുടെ ഒരു ലോകം തുറക്കുന്നു.

ചെറിയ LLM-കളുടെ പ്രയോജനങ്ങൾ എന്തൊക്കെയാണ്?

ചെറിയ LLM-കൾ (വലിയ ഭാഷാ മോഡലുകൾ) അവയുടെ വലിയ എതിരാളികളെ അപേക്ഷിച്ച് ഉപയോഗിക്കുന്നതിൻ്റെ ചില പ്രധാന നേട്ടങ്ങൾ ഇതാ:

1. ലോവർ ഹാർഡ്‌വെയർ ആവശ്യകതകൾ: ചെറിയ LLM-കൾക്ക് വളരെ കുറച്ച് പാരാമീറ്ററുകളാണുള്ളത്, കുറഞ്ഞ കമ്പ്യൂട്ടേഷണൽ പവർ ആവശ്യമാണ്, ഇത് ലാപ്‌ടോപ്പുകൾ, സ്മാർട്ട്‌ഫോണുകൾ, എംബഡഡ് സിസ്റ്റങ്ങൾ എന്നിവ പോലുള്ള പരിമിതമായ ഹാർഡ്‌വെയർ ഉറവിടങ്ങളുള്ള ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കാൻ അനുയോജ്യമാക്കുന്നു. ഇത് അവരെ കൂടുതൽ ആക്സസ് ചെയ്യാവുന്നതാക്കുകയും വിശാലമായ ഉപയോക്താക്കൾക്കും ആപ്ലിക്കേഷനുകൾക്കുമായി LLM-കൾ ഉപയോഗിച്ച് ജനാധിപത്യവൽക്കരിക്കുകയും ചെയ്യുന്നു.
2. വേഗതയേറിയ അനുമാനം: കുറച്ച് പാരാമീറ്ററുകളും ചെറിയ മോഡൽ വലുപ്പങ്ങളും ഉപയോഗിച്ച്, ചെറിയ LLM-കൾക്ക് വേഗത്തിലുള്ള അനുമാനം നടത്താൻ കഴിയും, അതായത് വേഗത്തിലുള്ള പ്രതികരണ സമയവും കുറഞ്ഞ ലേറ്റൻസിയും. പോലുള്ള തത്സമയ ആപ്ലിക്കേഷനുകൾക്ക് ഇത് വളരെ പ്രധാനമാണ് സംഭാഷണ AI, അവിടെ പ്രതികരണശേഷി നിർണായകമാണ്.
3. കുറഞ്ഞ ഊർജ്ജ ഉപഭോഗം: ചെറിയ മോഡലുകൾക്ക് പ്രവർത്തിക്കാൻ കുറച്ച് ഊർജ്ജം ആവശ്യമാണ്, ഇത് കൂടുതൽ ഊർജ്ജക്ഷമതയുള്ളതും പരിസ്ഥിതി സൗഹൃദവുമാക്കുന്നു. ഊർജ്ജ കാര്യക്ഷമത നിർണായകമായ ബാറ്ററിയിൽ പ്രവർത്തിക്കുന്ന ഉപകരണങ്ങൾക്ക് ഇത് പ്രത്യേകിച്ചും പ്രയോജനകരമാണ്.
4. എളുപ്പത്തിലുള്ള വിന്യാസവും പോർട്ടബിലിറ്റിയും: ചെറിയ LLM-കൾ അവയുടെ ഒതുക്കമുള്ള വലിപ്പം കാരണം വിന്യസിക്കാനും വിതരണം ചെയ്യാനും എളുപ്പമാണ്. പ്രത്യേക ഹാർഡ്‌വെയറോ വലിയ തോതിലുള്ള ഇൻഫ്രാസ്ട്രക്ചറോ ഇല്ലാതെ അവ വിവിധ ആപ്ലിക്കേഷനുകളിലേക്കും സിസ്റ്റങ്ങളിലേക്കും സംയോജിപ്പിക്കാൻ കഴിയും. ഈ പോർട്ടബിലിറ്റി വിശാലമായ ദത്തെടുക്കൽ അനുവദിക്കുകയും കൂടുതൽ വികേന്ദ്രീകൃതവും എഡ്ജ് അധിഷ്ഠിതവുമായ ആപ്ലിക്കേഷനുകളുടെ വികസനം പ്രാപ്തമാക്കുകയും ചെയ്യുന്നു.
5. സ്വകാര്യതയും ഡാറ്റ പരമാധികാരവും: ചെറിയ LLM-കൾ പ്രാദേശികമായി പ്രവർത്തിപ്പിക്കുന്നതിലൂടെ, ഉപയോക്താക്കൾക്ക് അവരുടെ ഡാറ്റയിൽ കൂടുതൽ നിയന്ത്രണം നിലനിർത്താനും റിമോട്ട് സെർവറുകളിലേക്കോ ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകളിലേക്കോ സെൻസിറ്റീവ് വിവരങ്ങൾ അയയ്ക്കേണ്ടതിൻ്റെ ആവശ്യകത കുറയ്ക്കാനും കഴിയും. ഇത് സ്വകാര്യതാ ആശങ്കകൾ പരിഹരിക്കാനും ഡാറ്റ പരിരക്ഷണ നിയന്ത്രണങ്ങൾ പാലിക്കാനും സഹായിക്കും.
6. ചെലവ്-ഫലപ്രാപ്തി: ചെറിയ മോഡലുകൾക്ക് സാധാരണയായി കുറച്ച് കമ്പ്യൂട്ടേഷണൽ റിസോഴ്‌സുകൾ ആവശ്യമാണ്, അത് കുറഞ്ഞ പ്രവർത്തന ചിലവിലേക്ക് വിവർത്തനം ചെയ്യാവുന്നതാണ്, പ്രത്യേകിച്ചും ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകളിലോ വാടകയ്‌ക്ക് എടുത്ത ഹാർഡ്‌വെയറിലോ പ്രവർത്തിക്കുമ്പോൾ. ഈ ചെലവ്-ഫലപ്രാപ്തി ഉണ്ടാക്കാം എൽ എൽ എം ചെറിയ ഓർഗനൈസേഷനുകൾക്കും വ്യക്തിഗത ഡെവലപ്പർമാർക്കും കൂടുതൽ ആക്സസ് ചെയ്യാവുന്ന സാങ്കേതികവിദ്യ.
7. പ്രത്യേക ആപ്ലിക്കേഷനുകൾ: പൊതു ടാസ്ക്കുകളിൽ വലിയ മോഡലുകളുടെ അതേ നിലവാരത്തിലുള്ള പ്രകടനം ചെറിയ മോഡലുകൾ നേടിയേക്കില്ലെങ്കിലും, അവ പ്രത്യേക ആപ്ലിക്കേഷനുകൾക്കോ ​​ഡൊമെയ്‌നുകൾക്കോ ​​വേണ്ടി മികച്ച രീതിയിൽ ക്രമീകരിക്കാനും ഒപ്റ്റിമൈസ് ചെയ്യാനും കഴിയും, ആ പ്രത്യേക മേഖലകളിലെ വലിയ മോഡലുകളെ മറികടക്കാൻ സാധ്യതയുണ്ട്.

ചെറിയ LLM-കളുടെ നേട്ടങ്ങൾ അവയുടെ വലിയ എതിരാളികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ പ്രകടനത്തിലും കഴിവുകളിലും ട്രേഡ്-ഓഫുകൾക്കൊപ്പം വരുന്നു എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. എന്നിരുന്നാലും, റിസോഴ്സ് എഫിഷ്യൻസി, പോർട്ടബിലിറ്റി, ചെലവ്-ഫലപ്രാപ്തി എന്നിവയിലെ ചെറിയ LLM-കളുടെ നേട്ടങ്ങൾ, ഉയർന്ന നിലവാരത്തിലുള്ള പ്രകടനം ഒരു നിർണായകമായ ആവശ്യകതയല്ലാത്ത പല ആപ്ലിക്കേഷനുകൾക്കും അവരെ നിർബന്ധിത തിരഞ്ഞെടുപ്പാക്കി മാറ്റാൻ കഴിയും.

നിങ്ങൾക്ക് പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന ഏറ്റവും ചെറിയ LLM-കൾ

ഡിസ്റ്റിൽബെർട്ട്

• മോഡൽ വലുപ്പം: അടിസ്ഥാന പതിപ്പിന് ഏകദേശം 66M പാരാമീറ്ററുകൾ ഉണ്ട്, BERT-ൻ്റെ 110M പാരാമീറ്ററുകളേക്കാൾ വളരെ ചെറുതാണ്.
• വിവരണം: DistilBERT എന്നത് BERT മോഡലിൻ്റെ ഒരു വാറ്റിയെടുത്ത പതിപ്പാണ്, BERT-ൻ്റെ മിക്ക പ്രകടനങ്ങളും നിലനിർത്തിക്കൊണ്ട് ചെറുതും വേഗതയുള്ളതുമായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. വലിയ BERT മോഡലിനെ ഒരു ചെറിയ പതിപ്പിലേക്ക് കംപ്രസ്സുചെയ്യാൻ ഇത് വിജ്ഞാന വാറ്റിയെടുക്കൽ സാങ്കേതികതകൾ ഉപയോഗിക്കുന്നു, ഇത് കൂടുതൽ കാര്യക്ഷമവും പ്രാദേശിക ഉപകരണങ്ങളിൽ വിന്യസിക്കുന്നത് എളുപ്പവുമാക്കുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: ലാപ്‌ടോപ്പുകൾ, ഡെസ്‌ക്‌ടോപ്പുകൾ, ഉയർന്ന നിലവാരമുള്ള മൊബൈൽ ഉപകരണങ്ങൾ എന്നിവയുൾപ്പെടെയുള്ള വിവിധ പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കാൻ DistilBERT-ൻ്റെ കോംപാക്റ്റ് സൈസ് അനുവദിക്കുന്നു.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: ഡിസ്റ്റിൽബെർട്ട്

TinyBERT

• മോഡൽ വലുപ്പം: TinyBERT-4 ന് ഏകദേശം 14M പാരാമീറ്ററുകൾ ഉണ്ട്, അതേസമയം TinyBERT-6 ന് ഏകദേശം 67M ഉണ്ട്.
• വിവരണം: TinyBERT എന്നത് കാർണഗീ മെലോൺ യൂണിവേഴ്‌സിറ്റിയിലെയും ഗൂഗിൾ ബ്രെയിനിലെയും ഗവേഷകർ വികസിപ്പിച്ച BERT-ൻ്റെ കൂടുതൽ ഒതുക്കമുള്ള പതിപ്പാണ്. വിവിധ എൻഎൽപി ടാസ്‌ക്കുകളിൽ മത്സരാധിഷ്ഠിത പ്രകടനം നിലനിർത്തിക്കൊണ്ടുതന്നെ കാര്യമായ മോഡൽ കംപ്രഷൻ നേടുന്നതിന് ലെയർ-വൈസ്, അറ്റൻഷൻ ഡിസ്റ്റിലേഷൻ തുടങ്ങിയ നൂതന സാങ്കേതിക വിദ്യകൾ ഇത് ഉപയോഗിക്കുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: TinyBERT-ൻ്റെ വളരെ ചെറിയ വലിപ്പം, ലോ-എൻഡ് ലാപ്‌ടോപ്പുകൾ, എംബഡഡ് സിസ്റ്റങ്ങൾ, മൊബൈൽ ഉപകരണങ്ങൾ എന്നിവയുൾപ്പെടെയുള്ള പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കാൻ അനുവദിക്കുന്നു.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: TinyBERT

MobileBERT

• മോഡൽ വലുപ്പം: MobileBERT ന് ഏകദേശം 25M പാരാമീറ്ററുകൾ ഉണ്ട്, യഥാർത്ഥ BERT അടിത്തറയേക്കാൾ വളരെ ചെറുതാണ്.
• വിവരണം: മൊബൈൽ, എഡ്ജ് ഉപകരണങ്ങൾക്കുള്ള ഒതുക്കമുള്ളതും കാര്യക്ഷമവുമായ BERT മോഡലാണ് MobileBERT. NLP ടാസ്‌ക്കുകളുടെ വിശാലമായ ശ്രേണിയിൽ ഉയർന്ന പ്രകടനം നിലനിർത്തിക്കൊണ്ട് മോഡൽ വലുപ്പം കുറയ്ക്കുന്നതിന് നോളജ് ഡിസ്റ്റിലേഷൻ, ക്വാണ്ടൈസേഷൻ തുടങ്ങിയ സാങ്കേതിക വിദ്യകൾ ഇത് ഉപയോഗിക്കുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: പേര് സൂചിപ്പിക്കുന്നത് പോലെ, മൊബൈൽ ഉപകരണങ്ങളിലും മറ്റ് റിസോഴ്സ്-നിയന്ത്രിത പരിതസ്ഥിതികളിലും പ്രവർത്തിക്കുന്നതിന് MobileBERT ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: MobileBERT

ആൽബർട്ട്

• മോഡൽ വലുപ്പം: ഇത് കോൺഫിഗറേഷൻ അനുസരിച്ച് വ്യത്യാസപ്പെടുന്നു; 12 ലെയറുകളും 12 ശ്രദ്ധാകേന്ദ്രങ്ങളുമുള്ള ആൽബർട്ട് ബേസ് ആണ് ഏറ്റവും ചെറിയ ഒന്ന്.
• വിവരണം: ALBERT (A Lite BERT) കാര്യക്ഷമമായ മെമ്മറി ഉപയോഗത്തിനും വേഗത്തിലുള്ള അനുമാനത്തിനും വേണ്ടി രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ്. ഇത് ഒരു ക്രോസ്-ലെയർ പാരാമീറ്റർ-ഷെയറിംഗ് മെക്കാനിസവും കുറഞ്ഞ എംബെഡിംഗ് വലുപ്പവും അവതരിപ്പിക്കുന്നു. ഒറിജിനൽ BERT-നേക്കാൾ ഭാരം കുറവാണെങ്കിലും വിവിധ NLP ടാസ്‌ക്കുകൾക്ക് ഇത് ഫലപ്രദമാണ്.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: ALBERT-ൻ്റെ കാര്യക്ഷമമായ ഡിസൈൻ, മിതമായ പ്രോസസ്സിംഗ് പവർ ഉള്ള വിവിധ പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിപ്പിക്കാൻ അനുവദിക്കുന്നു.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: ആൽബർട്ട്

GPT-2 ചെറുത്

• മോഡൽ വലുപ്പം: GPT-2 സ്മോളിന് ഏകദേശം 117M പാരാമീറ്ററുകളുണ്ട്, വലിയ GPT-2 മോഡലുകളേക്കാൾ വളരെ ചെറുതാണ്.
• വിവരണം: OpenAI വികസിപ്പിച്ച ജനപ്രിയ GPT-2 (ജനറേറ്റീവ് പ്രീ-ട്രെയിൻഡ് ട്രാൻസ്‌ഫോർമർ 2) മോഡലിൻ്റെ ചെറിയ പതിപ്പാണ് GPT-2 സ്മോൾ. മറ്റ് ചില മോഡലുകളെപ്പോലെ കോംപാക്റ്റ് അല്ലെങ്കിലും, GPT-2 സ്മോൾ ഇപ്പോഴും താരതമ്യേന ഭാരം കുറഞ്ഞതാണ്, കൂടാതെ ടെക്‌സ്‌റ്റ് സൃഷ്‌ടിക്കൽ, സംഗ്രഹം, ഭാഷാ മോഡലിംഗ് തുടങ്ങിയ ജോലികൾക്കായി ഇത് ഉപയോഗിക്കാനാകും.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: GPT-2 മിഡ് റേഞ്ച് ലാപ്‌ടോപ്പുകൾ അല്ലെങ്കിൽ ഡെസ്‌ക്‌ടോപ്പുകൾ പോലുള്ള മിതമായ ഹാർഡ്‌വെയർ സവിശേഷതകളുള്ള പേഴ്‌സണൽ കമ്പ്യൂട്ടറുകളിൽ സ്മോൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയും.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: GPT-2 ചെറുത്

DeciCoder-1B

• മോഡൽ വലുപ്പം: 1 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: DeciCoder-1B എന്നത് കോഡ് സൃഷ്ടിക്കുന്നതിലും മനസ്സിലാക്കുന്നതിലും ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന ഒരു ഭാഷാ മാതൃകയാണ്. കോഡ് പൂർത്തീകരണം, പ്രോഗ്രാമിംഗ് ഭാഷകൾ തമ്മിലുള്ള വിവർത്തനം, കോഡ് വിശദീകരിക്കൽ തുടങ്ങിയ കോഡിംഗ് ജോലികളെ ഇതിന് സഹായിക്കാനാകും. സോഴ്‌സ് കോഡുകളുടെയും സ്വാഭാവിക ഭാഷാ വിവരണങ്ങളുടെയും ഒരു വലിയ കോർപ്പസിൽ ഇത് പരിശീലിപ്പിക്കപ്പെടുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: താരതമ്യേന ചെറിയ 1 ബില്ല്യൺ പാരാമീറ്റർ വലുപ്പത്തിൽ, ലാപ്‌ടോപ്പുകൾ, ഡെസ്‌ക്‌ടോപ്പുകൾ, ഉയർന്ന നിലവാരമുള്ള മൊബൈൽ ഉപകരണങ്ങൾ അല്ലെങ്കിൽ സിംഗിൾ ബോർഡ് കമ്പ്യൂട്ടറുകൾ എന്നിവ പോലുള്ള വിവിധ പ്രാദേശിക ഉപകരണങ്ങളിൽ DeciCoder-1B പ്രവർത്തിക്കാൻ കഴിയും.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: ഡെസികോഡർ - 1 ബി

ഫി-1.5

• മോഡൽ വലുപ്പം: 1.5 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: Phi-1.5 എന്നത് ടെക്‌സ്‌റ്റ് സൃഷ്‌ടിക്കാനും ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനും സ്വാഭാവിക ഭാഷയും മറ്റ് NLP ജോലികളും മനസ്സിലാക്കാനും കഴിവുള്ള ഒരു പൊതു-ഉദ്ദേശ്യ ഭാഷാ മോഡലാണ്. ഫൈൻ-ട്യൂണിങ്ങിലൂടെയോ പ്രോംപ്റ്റിംഗിലൂടെയോ വ്യത്യസ്ത ഡൊമെയ്‌നുകളിലേക്കും ടാസ്‌ക്കുകളിലേക്കും പൊരുത്തപ്പെടാൻ ഇത് രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: Phi-1.5 ൻ്റെ കോംപാക്റ്റ് 1.5 ബില്യൺ പാരാമീറ്റർ വലുപ്പം, ലാപ്‌ടോപ്പുകൾ, ഡെസ്‌ക്‌ടോപ്പുകൾ, ഉയർന്ന നിലവാരമുള്ള മൊബൈൽ അല്ലെങ്കിൽ സിംഗിൾ ബോർഡ് കമ്പ്യൂട്ടിംഗ് ഉപകരണങ്ങൾ എന്നിവ പോലുള്ള മിതമായ കമ്പ്യൂട്ടിംഗ് ഉറവിടങ്ങളുള്ള പ്രാദേശിക ഉപകരണങ്ങളിൽ വിന്യസിക്കാൻ ഇത് അനുവദിക്കുന്നു.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: ഫി-1.5

ഡോളി-v2-3b

• മോഡൽ വലുപ്പം: 3 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: Dolly-v2-3b, വിവിധ ടാസ്‌ക്കുകളിലുടനീളം വിശദമായ, മൾട്ടി-സ്റ്റെപ്പ് പ്രോംപ്റ്റുകളും നിർദ്ദേശങ്ങളും മനസ്സിലാക്കുന്നതിലും നടപ്പിലാക്കുന്നതിലും മികവ് പുലർത്തുന്ന ഒരു നിർദ്ദേശാനുസരണം ഭാഷാ മാതൃകയാണ്.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: 3 ബില്ല്യൺ പാരാമീറ്ററുകളുള്ള, ഉയർന്ന നിലവാരമുള്ള ലാപ്‌ടോപ്പുകൾ, ഡെസ്‌ക്‌ടോപ്പുകൾ അല്ലെങ്കിൽ വർക്ക്‌സ്റ്റേഷനുകൾ പോലുള്ള മിതമായതും ഉയർന്നതുമായ കമ്പ്യൂട്ടിംഗ് പവർ ഉള്ള പ്രാദേശിക ഉപകരണങ്ങൾ ഡോളി-വി2-3ബിക്ക് ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: ഡോളി-v2-3b

StableLM-Zephyr-3B

• മോഡൽ വലുപ്പം: 3 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: StableLM-Zephyr-3B എന്നത് വിശ്വസനീയവും സത്യസന്ധവുമായ പ്രതികരണങ്ങൾ നൽകുന്നതിന് പരിശീലിപ്പിച്ച ഒരു ഭാഷാ മാതൃകയാണ്. വിവിധ നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗ് ജോലികൾക്കായി ഇത് സുസ്ഥിരവും വിശ്വസനീയവുമായ മാതൃകയായി രൂപകൽപ്പന ചെയ്തിരിക്കുന്നു.
• ഹാർഡ്‌വെയർ ആവശ്യകതകൾ: Dolly-v2-3b പോലെ, 3 ബില്യൺ പാരാമീറ്ററുകൾ StableLM-Zephyr-3B-ക്ക് ഉയർന്ന നിലവാരമുള്ള ലാപ്‌ടോപ്പുകൾ, ഡെസ്‌ക്‌ടോപ്പുകൾ അല്ലെങ്കിൽ വർക്ക്‌സ്റ്റേഷനുകൾ പോലുള്ള മിതമായതും ഉയർന്നതുമായ കമ്പ്യൂട്ടിംഗ് കഴിവുകളുള്ള പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കാൻ കഴിയും.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: StableLM-Zephyr-3B

DeciLM-7B

• മോഡൽ വലുപ്പം: 7 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: DeciLM-7B എന്നത് വിവിധ സ്വാഭാവിക ഭാഷാ പ്രോസസ്സിംഗ് ജോലികൾക്കുള്ള ഒരു പൊതു-ഉദ്ദേശ്യ ഭാഷാ മാതൃകയാണ്. അതിൻ്റെ വലിയ 7 ബില്ല്യൺ പാരാമീറ്റർ വലുപ്പം ചെറിയ മോഡലുകളേക്കാൾ മെച്ചപ്പെട്ട പ്രകടനം വാഗ്ദാനം ചെയ്യുന്നു, അതേസമയം പ്രാദേശിക വിന്യാസത്തിന് വേണ്ടത്ര ഒതുക്കമുള്ളതാണ്.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: DeciLM-7B പ്രാദേശികമായി പ്രവർത്തിപ്പിക്കുന്നതിന്, ഉപയോക്താക്കൾക്ക് ഉയർന്ന നിലവാരമുള്ള ഡെസ്‌ക്‌ടോപ്പുകൾ അല്ലെങ്കിൽ കഴിവുള്ള GPU-കൾ അല്ലെങ്കിൽ TPU-കൾ ഉള്ള വർക്ക്‌സ്റ്റേഷനുകൾ പോലുള്ള കൂടുതൽ ശക്തമായ ഹാർഡ്‌വെയർ ഉള്ള സിസ്റ്റങ്ങളിലേക്ക് ആക്‌സസ് ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: DeciLM-7B

Mistral-7B-Instruct-v0.2

• മോഡൽ വലുപ്പം: 7 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: Mistral-7B-Instruct-v0.2 സങ്കീർണ്ണമായ മൾട്ടി-സ്റ്റെപ്പ് നിർദ്ദേശങ്ങളും ടാസ്ക്കുകളും ഫലപ്രദമായി കൈകാര്യം ചെയ്യാൻ കഴിയുന്ന ഒരു നിർദ്ദേശാനുസരണം ഭാഷാ മാതൃകയാണ്.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: DeciLM-7B-ന് സമാനമായി, Mistral-7B-Instruct-v0.2-ന് അതിൻ്റെ 7 ബില്യൺ പാരാമീറ്ററുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് ശക്തമായ ഡെസ്‌ക്‌ടോപ്പുകൾ അല്ലെങ്കിൽ വർക്ക്‌സ്റ്റേഷനുകൾ പോലുള്ള ഉയർന്ന നിലവാരമുള്ള പ്രാദേശിക ഹാർഡ്‌വെയർ ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: Mistral-7B-Instruct-v0.2

ഓർക്ക-2-7 ബി

• മോഡൽ വലുപ്പം: 7 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: Orca-2-7B ഒരു ഓപ്പൺ സോഴ്‌സ് ഭാഷാ മോഡലാണ്, അത് സുരക്ഷിതവും സത്യസന്ധവും മാനുഷികവുമായ പ്രതികരണങ്ങൾ നൽകുന്നു. മാനുഷിക മൂല്യങ്ങളോടും ധാർമ്മികതയോടും യോജിച്ച ഔട്ട്പുട്ടുകൾ സൃഷ്ടിക്കാൻ ഇത് ലക്ഷ്യമിടുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: 7 ബില്യൺ പാരാമീറ്റർ Orca-2-7B ഫലപ്രദമായി പ്രവർത്തിക്കാൻ ഉയർന്ന പ്രകടനമുള്ള ഡെസ്‌ക്‌ടോപ്പുകൾ അല്ലെങ്കിൽ വർക്ക്‌സ്റ്റേഷനുകൾ പോലുള്ള ശക്തമായ പ്രാദേശിക ഹാർഡ്‌വെയർ ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: ഓർക്ക-2-7 ബി

മഞ്ഞക്കുന്തിരിക്കം

• മോഡൽ വലുപ്പം: 7 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: ഡൊമെയ്‌നുകളിലും ആപ്ലിക്കേഷനുകളിലും ഉയർന്ന പ്രകടനത്തോടെ വിവിധ സ്വാഭാവിക ഭാഷാ പ്രോസസ്സിംഗ് ടാസ്‌ക്കുകൾ കൈകാര്യം ചെയ്യാൻ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഒരു മൾട്ടി-ടാസ്‌ക് ഭാഷാ മോഡലാണ് ആംബർ.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: ആമ്പറിൻ്റെ 7 ബില്യൺ പാരാമീറ്ററുകൾ പ്രാദേശികമായി പ്രവർത്തിപ്പിക്കുന്നതിന് ശക്തമായ ഡെസ്‌ക്‌ടോപ്പുകൾ അല്ലെങ്കിൽ കഴിവുള്ള ജിപിയു അല്ലെങ്കിൽ ടിപിയു ഉള്ള വർക്ക്‌സ്റ്റേഷനുകൾ പോലുള്ള ഉയർന്ന നിലവാരമുള്ള ഹാർഡ്‌വെയറിലേക്കുള്ള ആക്‌സസ് ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: മഞ്ഞക്കുന്തിരിക്കം

OpenHathi-7B-Hi-v0.1-ബേസ്

• മോഡൽ വലുപ്പം: 7 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: OpenHathi-7B-Hi-v0.1-Base ഒരു വലിയ ഹിന്ദി ഭാഷാ മോഡലാണ്, ഹിന്ദി ഭാഷയ്‌ക്കായി ലഭ്യമായ ഏറ്റവും വലിയ മോഡലുകളിൽ ഒന്നാണ്. ഇതിന് ഹിന്ദി ടെക്സ്റ്റ് മനസിലാക്കാനും സൃഷ്ടിക്കാനും കഴിയും.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: മറ്റ് 7B മോഡലുകൾ പോലെ, OpenHathi-7B-Hi-v0.1-Base-ന് ഫലപ്രദമായി പ്രവർത്തിക്കാൻ ശക്തമായ ഡെസ്‌ക്‌ടോപ്പുകളോ വർക്ക്‌സ്റ്റേഷനുകളോ പോലുള്ള ഉയർന്ന പ്രകടനമുള്ള പ്രാദേശിക ഹാർഡ്‌വെയർ ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: OpenHathi-7B-Hi-v0.1-ബേസ്

SOLAR-10.7B-v1.0

• മോഡൽ വലുപ്പം: 10.7 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: SOLAR-10.7B-v1.0 എന്നത് ഉപഭോക്തൃ ഹാർഡ്‌വെയറിൽ പ്രാദേശികമായി പ്രവർത്തിക്കാൻ കഴിയുന്നതിൻ്റെ പരിധികൾ ഉയർത്തുന്ന ഒരു വലിയ പൊതു ഭാഷാ മോഡലാണ്. വിവിധ NLP ടാസ്‌ക്കുകൾക്കായി ഇത് മെച്ചപ്പെടുത്തിയ പ്രകടനം വാഗ്ദാനം ചെയ്യുന്നു.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: SOLAR-10.7B-v1.0 പ്രാദേശികമായി വിന്യസിക്കാൻ, ഉപയോക്താക്കൾക്ക് ശക്തമായ ജിപിയുകളോ മൾട്ടി-ജിപിയു സജ്ജീകരണങ്ങളോ ഉള്ള ഉയർന്ന നിലവാരമുള്ള ഉപഭോക്തൃ ഹാർഡ്‌വെയറിലേക്ക് ആക്‌സസ് ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: SOLAR-10.7B-v1.0

NexusRaven-V2-13B

• മോഡൽ വലുപ്പം: 13 ബില്യൺ പാരാമീറ്ററുകൾ
• വിവരണം: NexusRaven-V2-13B എന്നത് വ്യത്യസ്‌ത ഡൊമെയ്‌നുകളിലും ആപ്ലിക്കേഷനുകളിലും ഓപ്പൺ-എൻഡ് ടെക്‌സ്‌റ്റ് സൃഷ്‌ടിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന ഒരു വലിയ ഭാഷാ മോഡലാണ്.
• ഹാർഡ്വെയർ ആവശ്യകതകൾ: 13 ബില്യൺ പാരാമീറ്ററുകളിൽ, ഉപഭോക്തൃ ഉപകരണങ്ങളിൽ പ്രാദേശികമായി പ്രവർത്തിക്കാൻ NexusRaven-V2-13B-ക്ക് ഉയർന്ന നിലവാരമുള്ള വർക്ക്സ്റ്റേഷനുകൾ അല്ലെങ്കിൽ മൾട്ടി-ജിപിയു സജ്ജീകരണങ്ങൾ പോലുള്ള വളരെ ശക്തമായ ഹാർഡ്‌വെയർ ആവശ്യമാണ്.

ആലിംഗനം ചെയ്യുന്ന മുഖ ലിങ്ക്: NexusRaven-V2-13B

ഈ കോംപാക്റ്റ് LLM-കൾ കാര്യമായ പോർട്ടബിലിറ്റിയും റിസോഴ്‌സ് എഫിഷ്യൻസി നേട്ടങ്ങളും വാഗ്ദാനം ചെയ്യുന്നുണ്ടെങ്കിലും, ചില സങ്കീർണ്ണമായ NLP ടാസ്‌ക്കുകളിൽ അവയുടെ വലിയ എതിരാളികളുടെ അതേ നിലവാരത്തിലുള്ള പ്രകടനം അവർ നേടിയേക്കില്ല എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. എന്നിരുന്നാലും, അത്യാധുനിക പ്രകടനം ആവശ്യമില്ലാത്ത പല ആപ്ലിക്കേഷനുകൾക്കും, ഈ ചെറിയ മോഡലുകൾ പ്രായോഗികവും ആക്സസ് ചെയ്യാവുന്നതുമായ പരിഹാരമാകും, പ്രത്യേകിച്ചും പരിമിതമായ കമ്പ്യൂട്ടേഷണൽ ഉറവിടങ്ങളുള്ള പ്രാദേശിക ഉപകരണങ്ങളിൽ പ്രവർത്തിക്കുമ്പോൾ.

തീരുമാനം

ഉപസംഹാരമായി, നിങ്ങളുടെ ഉപകരണങ്ങളിൽ പ്രാദേശികമായി പ്രവർത്തിക്കാൻ കഴിയുന്ന ചെറിയ ഭാഷാ മോഡലുകളുടെ ലഭ്യത AI-യിലും NLP. ഈ മോഡലുകൾ പവർ, കാര്യക്ഷമത, പ്രവേശനക്ഷമത എന്നിവയുടെ അനുയോജ്യമായ ഒരു മിശ്രിതം വാഗ്ദാനം ചെയ്യുന്നു, ഇത് ക്ലൗഡ് സേവനങ്ങളെയോ ശക്തമായ ഡാറ്റാ സെൻ്ററുകളെയോ ആശ്രയിക്കാതെ തന്നെ വിപുലമായ സ്വാഭാവിക ഭാഷാ പ്രോസസ്സിംഗ് ജോലികൾ ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഈ കോംപാക്റ്റ് LLM-കൾ ഉപയോഗിച്ച് നിങ്ങൾ പരീക്ഷിക്കുമ്പോൾ, നിങ്ങൾ പരിചയസമ്പന്നനായ ഒരു ഡെവലപ്പറോ, ഒരു ഗവേഷകനോ, ഒരു ഹോബിയിസ്റ്റോ ആകട്ടെ, നിങ്ങളുടെ പ്രോജക്റ്റുകളിൽ നവീകരണത്തിനും സർഗ്ഗാത്മകതയ്ക്കുമുള്ള പുതിയ വഴികൾ നിങ്ങൾ തുറക്കുന്നു. ദി AI യുടെ ഭാവി വമ്പിച്ച മോഡലുകളിൽ ഇനി പരിമിതപ്പെടുത്തിയിട്ടില്ല; പകരം, നിങ്ങളുടെ പക്കലുള്ള ഹാർഡ്‌വെയറിൻ്റെ സാധ്യതകൾ പരമാവധി വർദ്ധിപ്പിക്കുക എന്നതാണ്. ചെറുതും എന്നാൽ ശക്തവുമായ ഈ മോഡലുകൾക്ക് നിങ്ങൾക്കായി എന്തെല്ലാം നേടാനാകുമെന്ന് കണ്ടെത്തുക!

ഈ ലേഖനം ഉൾക്കാഴ്ചയുള്ളതായി നിങ്ങൾ കണ്ടെത്തിയെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു. ലേഖനവുമായി ബന്ധപ്പെട്ട് നിങ്ങൾക്ക് എന്തെങ്കിലും നിർദ്ദേശങ്ങൾ ഉണ്ടെങ്കിൽ, താഴെ കമൻ്റ് ചെയ്യുക. കൂടുതൽ ലേഖനങ്ങൾക്കായി, നിങ്ങൾക്ക് ഇത് റഫർ ചെയ്യാം ബന്ധം.

• SEO പവർ ചെയ്ത ഉള്ളടക്കവും PR വിതരണവും. ഇന്ന് ആംപ്ലിഫൈഡ് നേടുക.
• PlatoData.Network ലംബ ജനറേറ്റീവ് Ai. സ്വയം ശാക്തീകരിക്കുക. ഇവിടെ പ്രവേശിക്കുക.
• PlatoAiStream. Web3 ഇന്റലിജൻസ്. വിജ്ഞാനം വർധിപ്പിച്ചു. ഇവിടെ പ്രവേശിക്കുക.
• പ്ലേറ്റോഇഎസ്ജി. കാർബൺ, ക്ലീൻ ടെക്, ഊർജ്ജം, പരിസ്ഥിതി, സോളാർ, മാലിന്യ സംസ്കരണം. ഇവിടെ പ്രവേശിക്കുക.
• പ്ലേറ്റോ ഹെൽത്ത്. ബയോടെക് ആൻഡ് ക്ലിനിക്കൽ ട്രയൽസ് ഇന്റലിജൻസ്. ഇവിടെ പ്രവേശിക്കുക.
• അവലംബം: https://www.analyticsvidhya.com/blog/2024/04/smallest-llms-that-you-can-run-on-local-devices/