اليوم، يسعدنا أن نعلن عن توفر دعم Llama 2 للاستدلال والضبط الدقيق تدريب AWS و استدلال AWS حالات في أمازون سيج ميكر جومب ستارت. يمكن أن يساعد استخدام المثيلات المستندة إلى AWS Trainium وInferentia، من خلال SageMaker، المستخدمين على خفض تكاليف الضبط الدقيق بنسبة تصل إلى 50%، وخفض تكاليف النشر بمقدار 4.7 مرات، مع تقليل زمن الاستجابة لكل رمز مميز. Llama 2 هو نموذج لغة نصية توليدية ذات انحدار تلقائي يستخدم بنية محولات محسنة. كنموذج متاح للجمهور، تم تصميم Llama 2 للعديد من مهام البرمجة اللغوية العصبية مثل تصنيف النص، وتحليل المشاعر، وترجمة اللغة، ونمذجة اللغة، وتوليد النص، وأنظمة الحوار. يمكن أن يصبح ضبط ونشر LLMs، مثل Llama 2، مكلفًا أو صعبًا لتلبية الأداء في الوقت الفعلي لتقديم تجربة جيدة للعملاء. Trainium وAWS Inferentia، تم تمكينهما بواسطة AWS نيورون توفر مجموعة أدوات تطوير البرامج (SDK) خيارًا عالي الأداء وفعالاً من حيث التكلفة للتدريب والاستدلال على نماذج Llama 2.

في هذا المنشور، نوضح كيفية نشر Llama 2 وضبطها على مثيلات Trainium وAWS Inferentia في SageMaker JumpStart.

حل نظرة عامة

في هذه المدونة، سنستعرض السيناريوهات التالية:

1. انشر Llama 2 على مثيلات AWS Inferentia في كل من أمازون ساجميكر ستوديو واجهة مستخدم، مع تجربة نشر بنقرة واحدة، وSageMaker Python SDK.
2. قم بضبط Llama 2 على مثيلات Trainium في كل من واجهة مستخدم SageMaker Studio وSageMaker Python SDK.
3. قارن أداء نموذج Llama 2 المضبوط بدقة مع أداء النموذج المدرّب مسبقًا لإظهار فعالية الضبط الدقيق.

للحصول على الأيدي، راجع مثال على دفتر ملاحظات GitHub.

انشر Llama 2 على مثيلات AWS Inferentia باستخدام SageMaker Studio UI وPython SDK

في هذا القسم، نوضح كيفية نشر Llama 2 على مثيلات AWS Inferentia باستخدام واجهة مستخدم SageMaker Studio للنشر بنقرة واحدة وPython SDK.

اكتشف نموذج Llama 2 على واجهة مستخدم SageMaker Studio

يوفر SageMaker JumpStart إمكانية الوصول إلى كل من الوصول العام والمملوك نماذج الأساس. يتم إعداد النماذج الأساسية وصيانتها من موفري خدمات تابعين لجهات خارجية ومملوكين. وعلى هذا النحو، يتم إصدارها بموجب تراخيص مختلفة كما هو محدد بواسطة مصدر النموذج. تأكد من مراجعة الترخيص لأي نموذج أساسي تستخدمه. أنت مسؤول عن مراجعة أي شروط ترخيص معمول بها والامتثال لها والتأكد من أنها مقبولة لحالة الاستخدام الخاصة بك قبل تنزيل المحتوى أو استخدامه.

يمكنك الوصول إلى نماذج Llama 2 الأساسية من خلال SageMaker JumpStart في SageMaker Studio UI وSageMaker Python SDK. في هذا القسم، سنتعرف على كيفية اكتشاف النماذج في SageMaker Studio.

SageMaker Studio عبارة عن بيئة تطوير متكاملة (IDE) توفر واجهة مرئية واحدة قائمة على الويب حيث يمكنك الوصول إلى الأدوات المصممة خصيصًا لتنفيذ جميع خطوات تطوير التعلم الآلي (ML)، بدءًا من إعداد البيانات وحتى إنشاء تعلم الآلة الخاص بك وتدريبه ونشره. عارضات ازياء. لمزيد من التفاصيل حول كيفية البدء وإعداد SageMaker Studio، راجع ستوديو أمازون سيج ميكر.

بعد دخولك إلى SageMaker Studio، يمكنك الوصول إلى SageMaker JumpStart، الذي يحتوي على نماذج ودفاتر ملاحظات وحلول تم إنشاؤها مسبقًا، ضمن حلول آلية ومبنية مسبقًا. للحصول على معلومات أكثر تفصيلاً حول كيفية الوصول إلى النماذج الخاصة، راجع استخدم نماذج الأساس الخاصة من Amazon SageMaker JumpStart في Amazon SageMaker Studio.

من الصفحة المقصودة لـ SageMaker JumpStart، يمكنك استعراض الحلول والنماذج ودفاتر الملاحظات والموارد الأخرى.

إذا كنت لا ترى نماذج Llama 2، فقم بتحديث إصدار SageMaker Studio الخاص بك عن طريق إيقاف التشغيل وإعادة التشغيل. لمزيد من المعلومات حول تحديثات الإصدار، راجع قم بإيقاف تشغيل تطبيقات Studio Classic وتحديثها.

يمكنك أيضًا العثور على متغيرات الطراز الأخرى عن طريق الاختيار استكشف جميع نماذج إنشاء النص أو البحث عن llama or neuron في مربع البحث. ستتمكن من عرض نماذج Llama 2 Neuron على هذه الصفحة.

انشر نموذج Llama-2-13b باستخدام SageMaker Jumpstart

يمكنك اختيار بطاقة النموذج لعرض تفاصيل حول النموذج مثل الترخيص والبيانات المستخدمة للتدريب وكيفية استخدامه. يمكنك أيضًا العثور على زرين، نشر و افتح دفتر الملاحظات، والتي تساعدك على استخدام النموذج باستخدام هذا المثال بدون تعليمات برمجية.

عند اختيار أي من الزرين، ستظهر لك نافذة منبثقة اتفاقية ترخيص المستخدم النهائي وسياسة الاستخدام المقبول (AUP) لتقر بها.

بعد إقرارك بالسياسات، يمكنك نشر نقطة نهاية النموذج واستخدامها عبر الخطوات الواردة في القسم التالي.

انشر نموذج Llama 2 Neuron عبر Python SDK

عندما تختار نشر والموافقة على الشروط، سيبدأ نشر النموذج. وبدلاً من ذلك، يمكنك النشر من خلال مثال دفتر الملاحظات عن طريق الاختيار افتح دفتر الملاحظات. يوفر نموذج دفتر الملاحظات إرشادات شاملة حول كيفية نشر النموذج لموارد الاستدلال والتنظيف.

لنشر نموذج أو تحسينه على مثيلات Trainium أو AWS Inferentia، يتعين عليك أولاً الاتصال بـ PyTorch Neuron (الشعلة العصبية) لتجميع النموذج في رسم بياني خاص بالخلايا العصبية، مما سيؤدي إلى تحسينه لـ NeuronCores الخاصة بـ Inferentia. يمكن للمستخدمين توجيه المترجم لتحسين زمن الاستجابة الأقل أو أعلى إنتاجية، اعتمادًا على أهداف التطبيق. في JumpStart، قمنا بتجميع الرسوم البيانية العصبية مسبقًا لمجموعة متنوعة من التكوينات، للسماح للمستخدمين باستكمال خطوات التجميع، مما يتيح ضبط النماذج ونشرها بشكل أسرع.

لاحظ أنه يتم إنشاء الرسم البياني المترجم مسبقًا لـ Neuron بناءً على إصدار محدد من إصدار Neuron Compiler.

هناك طريقتان لنشر LIama 2 على المثيلات المستندة إلى AWS Inferentia. تستخدم الطريقة الأولى التكوين المبني مسبقًا، وتسمح لك بنشر النموذج في سطرين فقط من التعليمات البرمجية. وفي الحالة الثانية، لديك سيطرة أكبر على التكوين. لنبدأ بالطريقة الأولى، بالتكوين المبني مسبقًا، ونستخدم نموذج Llama 2 13B Neuron المدرب مسبقًا، كمثال. يوضح الكود التالي كيفية نشر Llama 13B بسطرين فقط:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

لإجراء الاستدلال على هذه النماذج، تحتاج إلى تحديد الوسيطة accept_eula أن تكون True كجزء من model.deploy() يتصل. تعيين هذه الوسيطة لتكون صحيحة، يعني أنك قرأت ووافقت على اتفاقية ترخيص المستخدم النهائي للنموذج. يمكن العثور على اتفاقية ترخيص المستخدم النهائي (EULA) في وصف بطاقة النموذج أو من موقع ميتا.

نوع المثيل الافتراضي لـ Llama 2 13B هو ml.inf2.8xlarge. يمكنك أيضًا تجربة معرفات النماذج المدعومة الأخرى:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (نموذج الدردشة)
• meta-textgenerationneuron-llama-2-13b-f (نموذج الدردشة)

وبدلاً من ذلك، إذا كنت تريد المزيد من التحكم في تكوينات النشر، مثل طول السياق ودرجة توازي الموتر والحد الأقصى لحجم الدفعة المتداول، فيمكنك تعديلها عبر المتغيرات البيئية، كما هو موضح في هذا القسم. حاوية التعلم العميق (DLC) الأساسية للنشر هي استدلال النموذج الكبير (LMI) NeuronX DLC. المتغيرات البيئية هي كما يلي:

• OPTION_N_POSITIONS - الحد الأقصى لعدد رموز الإدخال والإخراج. على سبيل المثال، إذا قمت بتجميع النموذج باستخدام OPTION_N_POSITIONS مثل 512، يمكنك استخدام رمز إدخال يبلغ 128 (حجم موجه الإدخال) بحد أقصى لرمز الإخراج يبلغ 384 (يجب أن يكون إجمالي رموز الإدخال والإخراج 512). بالنسبة إلى الحد الأقصى لرمز الإخراج، فإن أي قيمة أقل من 384 تكون جيدة، ولكن لا يمكنك تجاوزها (على سبيل المثال، الإدخال 256 والإخراج 512).
• OPTION_TENSOR_PARALLEL_DEGREE – عدد NeuronCores لتحميل النموذج في مثيلات AWS Inferentia.
• OPTION_MAX_ROLLING_BATCH_SIZE – الحد الأقصى لحجم الدفعة للطلبات المتزامنة.
• OPTION_DTYPE – نوع التاريخ لتحميل النموذج.

يعتمد تجميع الرسم البياني للخلايا العصبية على طول السياق (OPTION_N_POSITIONS) ، درجة متوازية الموتر (OPTION_TENSOR_PARALLEL_DEGREE)، الحد الأقصى لحجم الدفعة (OPTION_MAX_ROLLING_BATCH_SIZE) ونوع البيانات (OPTION_DTYPE) لتحميل النموذج. يحتوي SageMaker JumpStart على رسوم بيانية عصبية مجمعة مسبقًا لمجموعة متنوعة من التكوينات للمعلمات السابقة لتجنب التجميع في وقت التشغيل. يتم سرد تكوينات الرسوم البيانية المترجمة مسبقًا في الجدول التالي. طالما أن المتغيرات البيئية تقع ضمن إحدى الفئات التالية، فسيتم تخطي تجميع الرسوم البيانية العصبية.

فيما يلي مثال لنشر Llama 2 13B وتعيين كافة التكوينات المتاحة.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

الآن بعد أن قمنا بنشر نموذج Llama-2-13b، يمكننا تشغيل الاستدلال به عن طريق استدعاء نقطة النهاية. يوضح مقتطف التعليمات البرمجية التالي استخدام معلمات الاستدلال المدعومة للتحكم في إنشاء النص:

• الحد الاقصى للطول - يولد النموذج نصًا حتى يصل طول الإخراج (الذي يتضمن طول سياق الإدخال) max_length. إذا تم تحديده ، يجب أن يكون عددًا صحيحًا موجبًا.
• max_new_tokens - يقوم النموذج بإنشاء نص حتى يصل طول الإخراج (باستثناء طول سياق الإدخال). max_new_tokens. إذا تم تحديده ، يجب أن يكون عددًا صحيحًا موجبًا.
• عدد_الكتف – يشير هذا إلى عدد الحزم المستخدمة في البحث الجشع. إذا تم تحديده، فيجب أن يكون عددًا صحيحًا أكبر من أو يساوي num_return_sequences.
• no_repeat_ngram_size - يضمن النموذج تسلسل كلمات no_repeat_ngram_size لا يتكرر في تسلسل الإخراج. إذا تم تحديده ، يجب أن يكون عددًا صحيحًا موجبًا أكبر من 1.
• درجة الحرارة - هذا يتحكم في العشوائية في الإخراج. تؤدي درجة الحرارة المرتفعة إلى تسلسل إخراج بكلمات ذات احتمالية منخفضة؛ وينتج عن انخفاض درجة الحرارة تسلسل إخراج بكلمات ذات احتمالية عالية. لو temperature يساوي 0 ، ينتج عنه فك تشفير جشع. إذا تم تحديده ، يجب أن يكون عددًا عائمًا موجبًا.
• في وقت مبكر - إذا True، يتم الانتهاء من إنشاء النص عندما تصل جميع فرضيات الشعاع إلى نهاية الجملة المميزة. إذا تم تحديده، فيجب أن يكون منطقيًا.
• do_sample - إذا True، يقوم النموذج باختبار الكلمة التالية حسب الاحتمالية. إذا تم تحديده، فيجب أن يكون منطقيًا.
• top_k - في كل خطوة من خطوات إنشاء النص، يتم أخذ عينات النموذج من الملف فقط top_k على الأرجح الكلمات. إذا تم تحديده ، يجب أن يكون عددًا صحيحًا موجبًا.
• top_p - في كل خطوة من خطوات إنشاء النص، يأخذ النموذج عينات من أصغر مجموعة ممكنة من الكلمات مع احتمال تراكمي قدره top_p. إذا تم تحديده ، يجب أن يكون عددًا عشريًا بين 0-1.
• توقف - إذا تم تحديدها، يجب أن تكون قائمة من السلاسل. يتوقف إنشاء النص في حالة إنشاء أي من السلاسل المحددة.

يظهر الكود التالي مثالا:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

الناتج:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

لمزيد من المعلومات حول المعلمات في الحمولة، راجع معايير مفصلة.

يمكنك أيضًا استكشاف تنفيذ المعلمات في ملف مفكرة لإضافة المزيد من المعلومات حول رابط الدفتر.

ضبط نماذج Llama 2 على مثيلات Trainium باستخدام SageMaker Studio UI وSageMaker Python SDK

أصبحت النماذج التأسيسية للذكاء الاصطناعي التوليدي محورًا أساسيًا في تعلم الآلة والذكاء الاصطناعي، ومع ذلك، فإن تعميمها الواسع يمكن أن يكون قصيرًا في مجالات محددة مثل الرعاية الصحية أو الخدمات المالية، حيث تتضمن مجموعات البيانات الفريدة. يسلط هذا القيد الضوء على الحاجة إلى ضبط نماذج الذكاء الاصطناعي التوليدية هذه باستخدام بيانات خاصة بالمجال لتعزيز أدائها في هذه المجالات المتخصصة.

الآن بعد أن قمنا بنشر الإصدار المُدرب مسبقًا من نموذج Llama 2، فلننظر إلى كيفية ضبط هذا ليتوافق مع البيانات الخاصة بالمجال لزيادة الدقة، وتحسين النموذج من حيث الإكمال الفوري، وتكييف النموذج ليناسب حالة استخدام عملك المحدد والبيانات. يمكنك ضبط النماذج باستخدام SageMaker Studio UI أو SageMaker Python SDK. نناقش كلتا الطريقتين في هذا القسم.

قم بضبط نموذج Llama-2-13b Neuron باستخدام SageMaker Studio

في SageMaker Studio، انتقل إلى نموذج Llama-2-13b Neuron. على ال نشر علامة التبويب، يمكنك الإشارة إلى خدمة تخزين أمازون البسيطة مجموعة (Amazon S3) تحتوي على مجموعات بيانات التدريب والتحقق من الصحة من أجل الضبط الدقيق. بالإضافة إلى ذلك، يمكنك تكوين تكوين النشر والمعلمات الفائقة وإعدادات الأمان للضبط الدقيق. ثم اختر قطار لبدء مهمة التدريب على مثيل SageMaker ML.

لاستخدام نماذج Llama 2، يتعين عليك قبول اتفاقية ترخيص المستخدم النهائي (EULA) وسياسة الاستخدام المقبول (AUP). وسوف تظهر عندما تختار قطار. أختر لقد قرأت وقبلت اتفاقية ترخيص المستخدم النهائي (EULA) وسياسة الاستخدام المقبول (AUP). لبدء مهمة الضبط الدقيق.

يمكنك عرض حالة مهمة التدريب الخاصة بك للنموذج الذي تم ضبطه بدقة ضمن وحدة تحكم SageMaker عن طريق الاختيار وظائف التدريب في جزء التنقل.

يمكنك إما ضبط نموذج Llama 2 Neuron الخاص بك باستخدام هذا المثال الذي لا يحتوي على تعليمات برمجية، أو الضبط الدقيق عبر Python SDK، كما هو موضح في القسم التالي.

قم بضبط نموذج Llama-2-13b Neuron عبر SageMaker Python SDK

يمكنك ضبط مجموعة البيانات باستخدام تنسيق تكييف المجال أو الضبط الدقيق القائم على التعليمات شكل. فيما يلي الإرشادات الخاصة بكيفية تنسيق بيانات التدريب قبل إرسالها للضبط الدقيق:

• إدخال - A train الدليل الذي يحتوي إما على ملف بتنسيق خطوط JSON (.jsonl) أو نص (.txt).
  • بالنسبة لملف خطوط JSON (.jsonl)، يكون كل سطر عبارة عن كائن JSON منفصل. يجب أن يتم تنظيم كل كائن JSON كزوج من القيمة الرئيسية، حيث يجب أن يكون المفتاح textوالقيمة هي محتوى مثال تدريبي واحد.
  • يجب أن يساوي عدد الملفات الموجودة ضمن دليل القطار 1.
• الناتج – نموذج مدرب يمكن نشره للاستدلال.

في هذا المثال، نستخدم مجموعة فرعية من مجموعة بيانات دوللي في تنسيق ضبط التعليمات. تحتوي مجموعة بيانات Dolly على ما يقرب من 15,000 سجل لمتابعة التعليمات لفئات مختلفة، مثل الإجابة على الأسئلة والتلخيص واستخراج المعلومات. وهي متاحة بموجب ترخيص Apache 2.0. نحن نستخدم ال information_extraction أمثلة للضبط الدقيق.

1. قم بتحميل مجموعة بيانات دوللي وتقسيمها إلى train (للضبط الدقيق) و test (للتقييم):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. استخدم قالبًا سريعًا للمعالجة المسبقة للبيانات بتنسيق تعليمات لمهمة التدريب:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. افحص المعلمات الفائقة واستبدلها بحالة الاستخدام الخاصة بك:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. قم بضبط النموذج وبدء مهمة تدريب SageMaker. تعتمد البرامج النصية للضبط الدقيق على نيورونكس-نيمو-ميجاترون repository، وهي إصدارات معدلة من الحزم نيمو و قمة التي تم تكييفها للاستخدام مع مثيلات Neuron وEC2 Trn1. ال نيورونكس-نيمو-ميجاترون يحتوي المستودع على توازي ثلاثي الأبعاد (البيانات والموتر وخطوط الأنابيب) للسماح لك بضبط LLMs على نطاق واسع. مثيلات Trainium المدعومة هي ml.trn3xlarge وml.trn1.32n.1xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. وأخيرًا، انشر النموذج المضبوط في نقطة نهاية SageMaker:

   finetuned_predictor = estimator.deploy()

قارن الاستجابات بين نماذج Llama 2 Neuron المدربة مسبقًا والمضبوطة بدقة

الآن بعد أن قمنا بنشر الإصدار المدرب مسبقًا من نموذج Llama-2-13b وقمنا بضبطه بشكل دقيق، يمكننا عرض بعض مقارنات الأداء للإكمالات الفورية من كلا النموذجين، كما هو موضح في الجدول التالي. نقدم أيضًا مثالاً لضبط Llama 2 على مجموعة بيانات ملفات SEC بتنسيق .txt. للحصول على التفاصيل، راجع مثال على دفتر ملاحظات GitHub.

يمكننا أن نرى أن الاستجابات الواردة من النموذج المضبوط بدقة تظهر تحسنًا كبيرًا في الدقة والملاءمة والوضوح مقارنة بتلك الواردة في النموذج المُدرب مسبقًا. في بعض الحالات، قد لا يكون استخدام النموذج المُدرب مسبقًا لحالة الاستخدام الخاصة بك كافيًا، لذا فإن ضبطه باستخدام هذه التقنية سيجعل الحل أكثر تخصيصًا لمجموعة البيانات الخاصة بك.

تنظيف

بعد الانتهاء من مهمة التدريب الخاصة بك وعدم الرغبة في استخدام الموارد الموجودة بعد الآن، قم بحذف الموارد باستخدام الكود التالي:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

وفي الختام

يُظهر نشر نماذج Llama 2 Neuron وضبطها على SageMaker تقدمًا كبيرًا في إدارة نماذج الذكاء الاصطناعي التوليدية واسعة النطاق وتحسينها. تستخدم هذه النماذج، بما في ذلك المتغيرات مثل Llama-2-7b وLlama-2-13b، Neuron للتدريب والاستدلال الفعالين على المثيلات المستندة إلى AWS Inferentia وTrainium، مما يعزز أدائها وقابلية التوسع.

توفر القدرة على نشر هذه النماذج من خلال SageMaker JumpStart UI وPython SDK المرونة وسهولة الاستخدام. تتيح حزمة Neuron SDK، بدعمها لأطر تعلم الآلة الشائعة وقدرات الأداء العالي، التعامل بكفاءة مع هذه النماذج الكبيرة.

يعد ضبط هذه النماذج على البيانات الخاصة بالمجال أمرًا بالغ الأهمية لتعزيز أهميتها ودقتها في المجالات المتخصصة. تسمح العملية، التي يمكنك إجراؤها من خلال SageMaker Studio UI أو Python SDK، بالتخصيص حسب احتياجات محددة، مما يؤدي إلى تحسين أداء النموذج من حيث الإكمال الفوري وجودة الاستجابة.

وبالمقارنة، فإن الإصدارات المدربة مسبقًا من هذه النماذج، على الرغم من قوتها، قد توفر استجابات أكثر عمومية أو متكررة. يؤدي الضبط الدقيق إلى تخصيص النموذج ليناسب سياقات محددة، مما يؤدي إلى استجابات أكثر دقة وملاءمة وتنوعًا. ويتجلى هذا التخصيص بشكل خاص عند مقارنة الاستجابات من النماذج المدربة مسبقًا والمضبوطة بدقة، حيث يُظهر الأخير تحسنًا ملحوظًا في جودة وخصوصية المخرجات. في الختام، يمثل نشر نماذج Neuron Llama 2 وضبطها على SageMaker إطارًا قويًا لإدارة نماذج الذكاء الاصطناعي المتقدمة، مما يوفر تحسينات كبيرة في الأداء وقابلية التطبيق، خاصة عند تصميمها لمجالات أو مهام محددة.

ابدأ اليوم بالرجوع إلى نموذج SageMaker مفكرة.

لمزيد من المعلومات حول نشر وضبط نماذج Llama 2 المدربة مسبقًا على المثيلات المستندة إلى وحدة معالجة الرسومات، راجع قم بضبط Llama 2 لإنشاء النص على Amazon SageMaker JumpStart و نماذج Llama 2 الأساسية من Meta متاحة الآن في Amazon SageMaker JumpStart.

يود المؤلفون أن يعترفوا بالمساهمات الفنية لإيفان كرافيتز، وكريستوفر ويتن، وآدم كوزدرويتش، ومانان شاه، وجوناثان جينيجاني، ومايك جيمس.

حول المؤلف

شين هوانغ هو عالم تطبيقي كبير في Amazon SageMaker JumpStart وخوارزميات Amazon SageMaker المدمجة. يركز على تطوير خوارزميات التعلم الآلي القابلة للتطوير. تتركز اهتماماته البحثية في مجال معالجة اللغة الطبيعية ، والتعلم العميق القابل للتفسير على البيانات المجدولة ، والتحليل القوي لتجميع الزمكان غير المعياري. وقد نشر العديد من الأوراق في مؤتمرات ACL و ICDM و KDD والجمعية الملكية للإحصاء: السلسلة أ.

نيتين يوسابيوس هو مهندس حلول المؤسسات الأول في AWS، ويتمتع بخبرة في هندسة البرمجيات، وهندسة المؤسسات، والذكاء الاصطناعي/تعلم الآلة. إنه متحمس للغاية لاستكشاف إمكانيات الذكاء الاصطناعي التوليدي. وهو يتعاون مع العملاء لمساعدتهم في إنشاء تطبيقات جيدة التصميم على منصة AWS، كما أنه ملتزم بحل التحديات التقنية ومساعدتهم في رحلتهم السحابية.

مادور براشانت يعمل في مجال الذكاء الاصطناعي التوليدي في AWS. إنه شغوف بالتقاطع بين التفكير البشري والذكاء الاصطناعي التوليدي. تكمن اهتماماته في الذكاء الاصطناعي التوليدي، وتحديدًا بناء الحلول المفيدة وغير الضارة، والأهم من ذلك كله أنها مثالية للعملاء. خارج العمل، يحب ممارسة اليوجا والمشي لمسافات طويلة وقضاء الوقت مع توأمه والعزف على الجيتار.

ديوان شودري هو مهندس تطوير برمجيات مع Amazon Web Services. يعمل على خوارزميات Amazon SageMaker وعروض JumpStart. بصرف النظر عن بناء البنى التحتية للذكاء الاصطناعي / تعلم الآلة ، فهو متحمس أيضًا لبناء أنظمة موزعة قابلة للتطوير.

هاو تشو هو عالم أبحاث في Amazon SageMaker. وقبل ذلك، عمل على تطوير أساليب التعلم الآلي للكشف عن الاحتيال في Amazon Fraud Detector. إنه متحمس لتطبيق التعلم الآلي والتحسين وتقنيات الذكاء الاصطناعي التوليدية على العديد من مشكلات العالم الحقيقي. حصل على درجة الدكتوراه في الهندسة الكهربائية من جامعة نورث وسترن.

تشينغ لان هو مهندس تطوير برمجيات في AWS. لقد كان يعمل على العديد من المنتجات الصعبة في Amazon ، بما في ذلك حلول استدلال ML عالية الأداء ونظام تسجيل عالي الأداء. أطلق فريق Qing بنجاح أول نموذج مليار معلمة في إعلانات أمازون بزمن انتقال منخفض للغاية مطلوب. تتمتع Qing بمعرفة متعمقة حول تحسين البنية التحتية وتسريع التعلم العميق.

د. أشيش خيتان هو عالم تطبيقي أقدم مع خوارزميات Amazon SageMaker المضمنة ويساعد في تطوير خوارزميات التعلم الآلي. حصل على الدكتوراه من جامعة إلينوي في أوربانا شامبين. وهو باحث نشط في التعلم الآلي والاستدلال الإحصائي ، وقد نشر العديد من الأوراق البحثية في مؤتمرات NeurIPS و ICML و ICLR و JMLR و ACL و EMNLP.

الدكتور لي تشانغ هو مدير المنتج الرئيسي - الفني لخوارزميات Amazon SageMaker JumpStart وAmazon SageMaker المضمنة، وهي خدمة تساعد علماء البيانات وممارسي التعلم الآلي على البدء في التدريب ونشر نماذجهم، وتستخدم التعلم المعزز مع Amazon SageMaker. وقد فاز عمله السابق كعضو رئيسي في فريق البحث والمخترع الرئيسي في IBM Research بجائزة ورقة اختبار الزمن في IEEE INFOCOM.

كامران خان، مدير تطوير الأعمال الفنية الأول لـ AWS Inferentina/Trianium في AWS. يتمتع بخبرة تزيد عن عشر سنوات في مساعدة العملاء على نشر وتحسين التدريب على التعلم العميق وأحمال العمل الاستدلالية باستخدام AWS Inferentia وAWS Trainium.

جو سينيرشيا هو مدير منتج أول في AWS. يقوم بتحديد وبناء مثيلات Amazon EC2 للتعلم العميق والذكاء الاصطناعي وأحمال عمل الحوسبة عالية الأداء.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/