أصدرت Google نموذجًا لغويًا كبيرًا مفتوح المصدر يعتمد على التقنية المستخدمة لإنشاء Gemini، وهو نموذج قوي ولكنه خفيف الوزن، ومُحسَّن للاستخدام في البيئات ذات الموارد المحدودة مثل الكمبيوتر المحمول أو البنية التحتية السحابية.
يمكن استخدام Gemma لإنشاء روبوت دردشة وأداة لإنشاء المحتوى وأي شيء آخر يمكن لنموذج اللغة القيام به. هذه هي الأداة التي كان كبار المسئولين الاقتصاديين ينتظرونها.
تم إصداره في نسختين، واحدة تحتوي على ملياري معلمة (2B) والأخرى تحتوي على سبعة مليارات معلمة (7B). يشير عدد المعلمات إلى مدى تعقيد النموذج وقدرته المحتملة. يمكن للنماذج التي تحتوي على المزيد من المعلمات أن تحقق فهمًا أفضل للغة وتولد استجابات أكثر تعقيدًا، ولكنها تتطلب أيضًا المزيد من الموارد للتدريب والتشغيل.
الغرض من إطلاق Gemma هو إضفاء الطابع الديمقراطي على الوصول إلى أحدث تقنيات الذكاء الاصطناعي التي تم تدريبها لتكون آمنة ومسؤولة خارج الصندوق، مع مجموعة أدوات لتحسينها بشكل أكبر من أجل السلامة.
جيما بواسطة DeepMind
تم تطوير النموذج ليكون خفيف الوزن وفعالًا مما يجعله مثاليًا لوضعه في أيدي المزيد من المستخدمين النهائيين.
أشار إعلان Google الرسمي إلى النقاط الرئيسية التالية:
- "نحن نصدر أوزان النماذج بحجمين: Gemma 2B وGemma 7B. يتم إصدار كل حجم بمتغيرات مدربة مسبقًا ومضبوطة حسب التعليمات.
- توفر مجموعة أدوات الذكاء الاصطناعي المسؤولة الجديدة إرشادات وأدوات أساسية لإنشاء تطبيقات ذكاء اصطناعي أكثر أمانًا باستخدام Gemma.
- نحن نقدم سلاسل أدوات للاستدلال والضبط الدقيق تحت الإشراف (SFT) عبر جميع الأطر الرئيسية: JAX وPyTorch وTensorFlow من خلال Keras 3.0 الأصلي.
- تجعل دفاتر ملاحظات Colab وKaggle الجاهزة للاستخدام، إلى جانب التكامل مع الأدوات الشائعة مثل Hugging Face وMaxText وNVIDIA NeMo وTensorRT-LLM، من السهل البدء مع Gemma.
- يمكن تشغيل نماذج Gemma المدربة مسبقًا والمضبوطة حسب التعليمات على الكمبيوتر المحمول أو محطة العمل أو Google Cloud مع سهولة النشر على Vertex AI وGoogle Kubernetes Engine (GKE).
- يضمن التحسين عبر منصات أجهزة الذكاء الاصطناعي المتعددة أداءً رائدًا في الصناعة، بما في ذلك وحدات معالجة الرسومات NVIDIA وGoogle Cloud TPU.
- تسمح شروط الاستخدام بالاستخدام التجاري المسؤول والتوزيع لجميع المؤسسات، بغض النظر عن حجمها.
تحليل جيما
وفقًا لتحليل أجراه عوني حنون، عالم أبحاث التعلم الآلي في شركة Apple، تم تحسين جيما لتكون عالية الكفاءة بطريقة تجعلها مناسبة للاستخدام في البيئات منخفضة الموارد.
لاحظ حنون أن جيما لديها مفردات تبلغ 250,000 ألف (250 ألفًا) رمزًا مقابل 32 ألفًا للنماذج المماثلة. وتكمن أهمية ذلك في قدرة جيما على التعرف على مجموعة واسعة من الكلمات ومعالجتها، مما يسمح لها بالتعامل مع المهام بلغة معقدة. يشير تحليله إلى أن هذه المفردات الواسعة تعزز تنوع النموذج عبر أنواع مختلفة من المحتوى. ويعتقد أيضًا أنه قد يساعد في الرياضيات والبرمجة والطرائق الأخرى.
ولوحظ أيضًا أن "أوزان التضمين" ضخمة (750 مليونًا). تعتبر أوزان التضمين إشارة إلى المعلمات التي تساعد في تعيين الكلمات لتمثيل معانيها وعلاقاتها.
إحدى الميزات المهمة التي أشار إليها هي أن أوزان التضمين، التي تشفر معلومات مفصلة حول معاني الكلمات والعلاقات، لا تُستخدم فقط في معالجة جزء الإدخال ولكن أيضًا في توليد مخرجات النموذج. تعمل هذه المشاركة على تحسين كفاءة النموذج من خلال السماح له بالاستفادة بشكل أفضل من فهمه للغة عند إنتاج النص.
بالنسبة للمستخدمين النهائيين، يعني هذا استجابات (محتوى) أكثر دقة وذات صلة وملاءمة للسياق من النموذج، مما يحسن استخدامه في إنشاء المحتوى وكذلك لروبوتات الدردشة والترجمات.
He تويتد:
"المفردات هائلة مقارنة بالنماذج مفتوحة المصدر الأخرى: 250 ألفًا مقابل 32 ألفًا لـ ميسترال 7 بي
ربما يساعد كثيرًا في الرياضيات / الكود / الطرائق الأخرى ذات ذيل ثقيل من الرموز.
كما أن أوزان التضمين كبيرة (حوالي 750 مليون معلمة)، لذلك تتم مشاركتها مع رأس الإخراج.
وفي تغريدة متابعة، أشار أيضًا إلى التحسين في التدريب الذي يُترجم إلى استجابات نموذجية أكثر دقة وصقلًا، لأنها تمكن النموذج من التعلم والتكيف بشكل أكثر فعالية أثناء مرحلة التدريب.
He تويتد:
"إن الوزن المعياري RMS له وحدة إزاحة.
بدلاً من "x * الوزن" يفعلون "x * (1 + الوزن)".
أفترض أن هذا هو تحسين التدريب. عادةً ما تتم تهيئة الوزن إلى 1 ولكن من المحتمل أن تتم تهيئته بالقرب من 0. كما هو الحال مع كل المعلمات الأخرى.
وتابع أن هناك المزيد من التحسينات في البيانات والتدريب ولكن هذين العاملين هما ما برز بشكل خاص.
مصممة لتكون آمنة ومسؤولة
الميزة الرئيسية المهمة هي أنه تم تصميمه من الألف إلى الياء ليكون آمنًا مما يجعله مثاليًا للنشر للاستخدام. تمت تصفية بيانات التدريب لإزالة المعلومات الشخصية والحساسة. استخدمت Google أيضًا التعلم المعزز من التعليقات البشرية (RLHF) لتدريب النموذج على السلوك المسؤول.
وتم تصحيح الأخطاء بشكل أكبر من خلال إعادة تشكيل الفريق يدويًا والاختبار الآلي والتحقق من إمكانات الأنشطة غير المرغوب فيها والخطيرة.
أصدرت Google أيضًا مجموعة أدوات لمساعدة المستخدمين النهائيين على تحسين السلامة بشكل أكبر:
"نحن أيضًا نصدر إصدارًا جديدًا مجموعة أدوات الذكاء الاصطناعي التوليدية المسؤولة جنبًا إلى جنب مع جيما لمساعدة المطورين والباحثين على إعطاء الأولوية لبناء تطبيقات ذكاء اصطناعي آمنة ومسؤولة. تتضمن مجموعة الأدوات ما يلي:
- تصنيف السلامة: نحن نقدم منهجية جديدة لبناء مصنفات سلامة قوية مع الحد الأدنى من الأمثلة.
- تصحيح الأخطاء: تساعدك أداة تصحيح الأخطاء النموذجية على التحقيق في سلوك جيما ومعالجة المشكلات المحتملة.
- التوجيه: يمكنك الوصول إلى أفضل الممارسات لمنشئي النماذج استنادًا إلى خبرة Google في تطوير نماذج اللغات الكبيرة ونشرها.
اقرأ إعلان جوجل الرسمي:
جيما: تقديم نماذج مفتوحة جديدة ومتطورة
صورة مميزة بواسطة Shutterstock/صورة لكل شيء
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.searchenginejournal.com/google-announces-gemma-ai/508910/
