قدمت Microsoft AI Research مؤخرًا إطارًا جديدًا يسمى التحسين الفوري التلقائي (APO) لتحسين أداء نماذج اللغات الكبيرة (ماجستير). تم تصميم إطار العمل هذا لمساعدة المستخدمين على إنشاء مطالبات أفضل مع الحد الأدنى من التدخل اليدوي والتحسين الهندسة السريعة لنتائج أفضل. في هذه المقالة ، نتعمق في تفاصيل APO وتأثيرها المحتمل على مهام البرمجة اللغوية العصبية. أولاً ، لنبدأ بتعريفه.
ما هو APO؟
APO هو إطار عمل بسيط وعامة الأغراض يعمل تلقائيًا على تحسين المطالبات لـ LLM. إنها خوارزمية تحسين سريع غير معلمية مستوحاة من نزول التدرج العددي. تربط الخوارزمية بين نهجين آليين حاليين لمساعدة البشر على كتابة مطالبات أفضل. الأول هو تدريب النماذج المساعدة أو التمثيلات التفاضلية للموجه. والثاني هو تطبيق التلاعب المنفصل للمطالبات من خلال التعلم المعزز (RL) أو التعليقات المستندة إلى LLM.
كيف يعمل APO؟
يتبنى النهج المقترح أولاً دفعات صغيرة من بيانات التدريب للحصول على "التدرجات" في اللغة الطبيعية ، والتي تصف عيوب موجه معين. ثم يقوم بتحرير الموجه نحو الاتجاه الدلالي المعاكس للتدرج اللوني. تعمل هذه الخطوات كعنصر توسع في بحث شعاعي أوسع في مساحة المطالبات ، مما يجعل المهمة مشكلة اختيار مرشح الحزمة ، وبالتالي تحسين كفاءة الخوارزمية.
النتائج والتقييم
لتقييم فعالية APO ، قارنه فريق البحث في Microsoft بثلاثة خطوط أساسية للتعلم الفوري. تمت مقارنتها في مهام مختلفة في البرمجة اللغوية العصبية ، بما في ذلك الكشف عن كسر الحماية ، واكتشاف الكلام الذي يحض على الكراهية ، والكشف عن الأخبار المزيفة ، واكتشاف السخرية. أظهرت النتائج أن APO تفوق باستمرار على خطوط الأساس الأخرى ، وحقق تحسينات كبيرة على خطوط الأساس Monte Carlo (MC) والتعلم المعزز (RL) دون ضبط المعلمة الفائقة أو التدريب على النموذج.
تأثير APO
مع APO ، سيصبح تحسين الهندسة السريعة وتحسينها أكثر سهولة وفعالية حيث تصبح المطالبات معقدة ومعقدة بشكل متزايد. لدى APO القدرة على رفع كفاءة النماذج اللغوية الكبيرة وتقليل العمل اليدوي ووقت التطوير اللازمين للتطور السريع من خلال أتمتة عملية التحسين الفوري. يعد هذا تطورًا مهمًا لأنه يمكن أن يؤدي إلى أداء أفضل عبر مجموعة من مهام البرمجة اللغوية العصبية.
اقرأ أيضا: تخطط TCS لحل AI مثل GPT للترميز ، مما يمهد الطريق للمهندسين الفوريين
قلنا
سيكون لإدخال التحسين الفوري التلقائي (APO) بواسطة Microsoft AI Research تأثير كبير على تحسين الهندسة الفورية لـ LLMs. إطار العمل سهل الاستخدام ، والأغراض العامة ، وغير معلمي. هذا يجعلها أداة فعالة لتحسين الجودة الفورية دون ضبط إضافي للمعلمات الفائقة أو تدريب على النموذج. مع APO ، سيكون تحسين الهندسة السريعة أكثر سهولة وفعالية ودقة ، مما يؤدي إلى نتائج أفضل عبر مهام البرمجة اللغوية العصبية المختلفة.
مقالات ذات صلة
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://www.analyticsvidhya.com/blog/2023/05/microsoft-introduces-automatic-prompt-optimization-framework-for-llms/
