حلول الذكاء الاصطناعي التوليدية لديها القدرة على تحويل الشركات من خلال تعزيز الإنتاجية وتحسين تجارب العملاء، وأصبح استخدام نماذج اللغات الكبيرة (LLMs) مع هذه الحلول شائعًا بشكل متزايد. يعد بناء إثباتات المفهوم أمرًا بسيطًا نسبيًا لأنه متطور نماذج الأساس متاحة من مقدمي الخدمات المتخصصين من خلال استدعاء واجهة برمجة التطبيقات (API) البسيط. ولذلك، بدأت المؤسسات ذات الأحجام المختلفة والصناعات المختلفة في إعادة تصور منتجاتها وعملياتها باستخدام الذكاء الاصطناعي التوليدي.

على الرغم من ثروة المعرفة العامة التي يتمتعون بها، فإن الحاصلين على ماجستير إدارة الأعمال المتطورين لا يمكنهم الوصول إلا إلى المعلومات التي تم تدريبهم عليها. يمكن أن يؤدي هذا إلى عدم دقة الحقائق (الهلوسة) عندما يُطلب من LLM إنشاء نص بناءً على معلومات لم يروها أثناء تدريبهم. لذلك، من الضروري سد الفجوة بين المعرفة العامة لـ LLM وبيانات الملكية الخاصة بك لمساعدة النموذج على توليد استجابات أكثر دقة وسياقية مع تقليل خطر الهلوسة. إن الطريقة التقليدية للضبط الدقيق، على الرغم من فعاليتها، يمكن أن تكون كثيفة الاستخدام للحسابات، ومكلفة، وتتطلب خبرة فنية. هناك خيار آخر يجب مراعاته يسمى الجيل المعزز للاسترجاع (RAG)، والذي يزود طلاب LLM بمعلومات إضافية من مصدر معرفة خارجي يمكن تحديثه بسهولة.

بالإضافة إلى ذلك، يجب على المؤسسات ضمان أمان البيانات عند التعامل مع بيانات الملكية والحساسة، مثل البيانات الشخصية أو الملكية الفكرية. وهذا مهم بشكل خاص للمؤسسات العاملة في الصناعات شديدة التنظيم، مثل الخدمات المالية والرعاية الصحية وعلوم الحياة. لذلك، من المهم فهم تدفق بياناتك والتحكم فيه من خلال تطبيق الذكاء الاصطناعي التوليدي: أين يقع النموذج؟ أين تتم معالجة البيانات؟ من لديه حق الوصول إلى البيانات؟ هل سيتم استخدام البيانات لتدريب النماذج، مما يؤدي في النهاية إلى المخاطرة بتسريب البيانات الحساسة إلى حاملي شهادة الماجستير في القانون العام؟

يناقش هذا المنشور كيف يمكن للمؤسسات إنشاء تطبيقات ذكاء اصطناعي توليدية دقيقة وشفافة وآمنة مع الحفاظ على السيطرة الكاملة على البيانات الخاصة. الحل المقترح هو خط أنابيب RAG الذي يستخدم مجموعة تقنيات الذكاء الاصطناعي الأصلية، والتي تم تصميم مكوناتها من الألف إلى الياء مع وجود الذكاء الاصطناعي في جوهرها، بدلاً من إضافة قدرات الذكاء الاصطناعي كفكرة لاحقة. نوضح كيفية إنشاء تطبيق RAG شامل باستخدام نماذج لغة كوهير من خلال أمازون بيدروك و Weaviate قاعدة بيانات المتجهات على AWS Marketplace. كود المصدر المصاحب متاح في مستودع جيثب ذات الصلة باستضافة Weaviate. على الرغم من أن AWS لن تكون مسؤولة عن الحفاظ على التعليمات البرمجية أو تحديثها في مستودع الشريك، فإننا نشجع العملاء على التواصل مع Weaviate مباشرة فيما يتعلق بأي تحديثات مرغوبة.

حل نظرة عامة

يوضح الرسم البياني التالي للبنية عالية المستوى خط أنابيب RAG المقترح مع مجموعة تقنيات الذكاء الاصطناعي الأصلية لبناء حلول ذكاء اصطناعي توليدية دقيقة وشفافة وآمنة.

الشكل 1: سير عمل RAG باستخدام نماذج لغة Cohere من خلال Amazon Bedrock وقاعدة بيانات Weaviate Vector على AWS Marketplace

كخطوة تحضيرية لسير عمل RAG، يتم استيعاب قاعدة بيانات المتجهات، التي تعمل كمصدر خارجي للمعرفة، مع السياق الإضافي من البيانات الخاصة. يتبع سير عمل RAG الفعلي الخطوات الأربع الموضحة في الرسم التخطيطي:

1. يقوم المستخدم بإدخال استعلامه.
2. يتم استخدام استعلام المستخدم لاسترداد السياق الإضافي ذي الصلة من قاعدة بيانات المتجهات. يتم ذلك عن طريق إنشاء عمليات تضمين متجهة لاستعلام المستخدم باستخدام نموذج تضمين لإجراء بحث متجه لاسترداد السياق الأكثر صلة من قاعدة البيانات.
3. يتم استخدام السياق المسترد واستعلام المستخدم لزيادة قالب المطالبة. تساعد المطالبة المعززة بالاسترجاع برنامج LLM على إنشاء عملية إكمال أكثر صلة ودقة، مما يقلل من الهلوسة.
4. يتلقى المستخدم استجابة أكثر دقة بناءً على استفساره.

تحتوي مجموعة تقنيات الذكاء الاصطناعي الأصلية الموضحة في مخطط البنية على مكونين رئيسيين: نماذج لغة Cohere وقاعدة بيانات متجهات Weaviate.

نماذج اللغة Cohere في Amazon Bedrock

• منصة كوهير يقدم نماذج لغوية ذات أداء متطور للمؤسسات والمطورين من خلال استدعاء بسيط لواجهة برمجة التطبيقات (API). هناك نوعان رئيسيان من إمكانيات معالجة اللغة التي توفرها منصة Cohere - التوليدية والتضمين - ويتم تقديم كل منهما بواسطة نوع مختلف من النماذج:

• جيل النص مع أمر - يمكن للمطورين الوصول إلى نقاط النهاية التي تدعم قدرات الذكاء الاصطناعي التوليدية، وتمكين التطبيقات مثل المحادثة والإجابة على الأسئلة وكتابة النصوص والتلخيص واستخراج المعلومات والمزيد.
• تمثيل النص مع تضمين - يمكن للمطورين الوصول إلى نقاط النهاية التي تلتقط المعنى الدلالي للنص، وتمكين التطبيقات مثل محركات البحث المتجهة، وتصنيف النص وتجميعه، والمزيد. يأتي Cohere Embed في شكلين، نموذج اللغة الإنجليزية ونموذج متعدد اللغات، وكلاهما كذلك متوفر الآن على أمازون بيدروك.

تعمل منصة Cohere Platform على تمكين المؤسسات من تخصيص حلول الذكاء الاصطناعي التوليدية الخاصة بها بشكل خاص وآمن من خلال نشر Amazon Bedrock. Amazon Bedrock هي خدمة سحابية مُدارة بالكامل تمكن فرق التطوير من إنشاء تطبيقات الذكاء الاصطناعي المنتجة وتوسيع نطاقها بسرعة مع المساعدة في الحفاظ على بياناتك وتطبيقاتك آمنة وخاصة. لا يتم استخدام بياناتك لتحسين الخدمة، ولا تتم مشاركتها مطلقًا مع موفري النماذج التابعين لجهات خارجية، وتظل في بلد المنشأ حيث تتم معالجة استدعاء API. يتم دائمًا تشفير البيانات أثناء النقل وفي حالة عدم النشاط، ويمكنك تشفير البيانات باستخدام مفاتيحك الخاصة. تدعم Amazon Bedrock متطلبات الأمان، بما في ذلك الأهلية لقانون قابلية النقل والمساءلة للتأمين الصحي (HIPAA) والامتثال للائحة العامة لحماية البيانات (GDPR). بالإضافة إلى ذلك، يمكنك دمج تطبيقات الذكاء الاصطناعي التوليدية ونشرها بشكل آمن باستخدام أدوات AWS التي تعرفها بالفعل.

Weaviate قاعدة بيانات المتجهات على AWS Marketplace

نسج هو الذكاء الاصطناعي الأصلي قاعدة بيانات المتجهات وهذا يجعل من السهل على فرق التطوير إنشاء تطبيقات ذكاء اصطناعي آمنة وشفافة. يتم استخدام Weaviate لتخزين وبحث كل من البيانات المتجهة والكائنات المصدر، مما يبسط عملية التطوير من خلال إلغاء الحاجة إلى استضافة قواعد بيانات منفصلة ودمجها. يقدم Weaviate أداء بحث دلالي دون الثانية ويمكنه التوسع للتعامل مع مليارات المتجهات وملايين المستأجرين. بفضل بنية قابلة للتوسعة بشكل فريد، تتكامل Weaviate أصلاً مع نماذج مؤسسة Cohere المنتشرة في Amazon Bedrock لتسهيل النقل الملائم للبيانات واستخدام قدراتها التوليدية من داخل قاعدة البيانات.

تمنح قاعدة بيانات المتجهات الأصلية Weaviate AI للعملاء المرونة اللازمة لنشرها كحل جلب السحابة الخاصة بك (BYOC) أو كخدمة مُدارة. يستخدم هذا العرض Weaviate مجموعة Kubernetes على AWS Marketplace، وهو جزء من عرض BYOC من Weaviate، والذي يسمح بالنشر القابل للتطوير على أساس الحاوية داخل مستأجر AWS وVPC ببضع نقرات فقط باستخدام تكوين سحابة AWS نموذج. يضمن هذا النهج نشر قاعدة بيانات المتجهات الخاصة بك في منطقتك المحددة بالقرب من النماذج الأساسية وبيانات الملكية لتقليل زمن الوصول ودعم محلية البيانات وحماية البيانات الحساسة أثناء معالجة المتطلبات التنظيمية المحتملة، مثل اللائحة العامة لحماية البيانات.

نظرة عامة على حالة الاستخدام

في الأقسام التالية، نوضح كيفية إنشاء حل RAG باستخدام مجموعة تقنيات الذكاء الاصطناعي الأصلية مع Cohere وAWS وWeaviate، كما هو موضح في النظرة العامة على الحل.

تعمل حالة الاستخدام النموذجية على إنشاء إعلانات مستهدفة لقوائم إقامة العطلات بناءً على الجمهور المستهدف. الهدف هو استخدام استعلام المستخدم للجمهور المستهدف (على سبيل المثال، "عائلة لديها أطفال صغار") لاسترداد قائمة الإقامة الأكثر صلة بالإجازة (على سبيل المثال، قائمة بها ملاعب قريبة) ثم إنشاء إعلان لـ قائمة مستردة مصممة خصيصًا للجمهور المستهدف.

الشكل 2: الصفوف القليلة الأولى من قوائم إقامة العطلات المتاحة من Inside Airbnb.

مجموعة البيانات متاحة من داخل إير بي إن بي ومرخص بموجب أ ترخيص Creative Commons Attribution 4.0. يمكنك العثور على الكود المرافق في مستودع جيثب.

المتطلبات الأساسية المسبقة

لمتابعة واستخدام أي من خدمات AWS في البرنامج التعليمي التالي، تأكد من أن لديك حساب AWS.

تمكين مكونات مجموعة تقنيات الذكاء الاصطناعي الأصلية

أولاً، تحتاج إلى تمكين المكونات ذات الصلة التي تمت مناقشتها في النظرة العامة على الحل في حساب AWS الخاص بك. أكمل الخطوات التالية:

1. في اليسار وحدة تحكم أمازون بيدروك، اختر الوصول إلى النموذج في جزء التنقل.
2. اختار إدارة الوصول إلى النموذج في أعلى اليمين.
3. حدد نماذج الأساس التي تختارها واطلب الوصول.

الشكل 3: إدارة الوصول إلى النموذج في وحدة تحكم Amazon Bedrock.

بعد ذلك، تقوم بإعداد مجموعة Weaviate.

4. الاشتراك في Weaviate مجموعة Kubernetes على AWS Marketplace.
5. قم بتشغيل البرنامج باستخدام قالب CloudFormation وفقًا لمنطقة توافر الخدمات المفضلة لديك.

يتم تعبئة قالب CloudFormation مسبقًا بالقيم الافتراضية.

6. في حالة اسم المكدس، أدخل اسم المكدس.
7. في حالة helmauthenticationtype، فمن المستحسن تمكين المصادقة عن طريق الإعداد helmauthenticationtype إلى apikey وتعريف أ helmauthenticationapikey.
8. في حالة helmauthenticationapikey، أدخل مفتاح Weaviate API الخاص بك.
9. في حالة helmchartversion، أدخل رقم الإصدار الخاص بك. يجب أن يكون الإصدار v.16.8.0 على الأقل. الرجوع إلى جيثب ريبو للحصول على أحدث نسخة.
10. في حالة helmenabledmodules، تأكد tex2vec-aws و generative-aws موجودة في قائمة الوحدات الممكّنة داخل Weaviate.

الشكل 4: قالب CloudFormation.

يستغرق هذا القالب حوالي 30 دقيقة لإكماله.

الاتصال بـ Weaviate

أكمل الخطوات التالية للاتصال بـ Weaviate:

1. في مجلة وحدة الأمازون SageMaker، انتقل إلى مثيلات دفتر الملاحظات في جزء التنقل عبر دفتر > مثيلات دفتر الملاحظات على اليسار.
2. إنشاء مثيل دفتر ملاحظات جديد.
3. قم بتثبيت حزمة عميل Weaviate بالتبعيات المطلوبة:

$ pip install weaviate-client

4. اتصل بمثيل Weaviate الخاص بك باستخدام الكود التالي:

import weaviate

client = weaviate.Client(
  url = "http://<YOUR-WEAVIATE-URL>",
 auth_client_secret=weaviate.AuthApiKey(api_key="YOUR-WEAVIATE-API-KEY"),
    additional_headers={
        "X-AWS-Access-Key": "<YOUR-AWS-ACCESS-KEY>",
        "X-AWS-Secret-Key": "<YOUR-AWS-SECRET-ACCESS-KEY>"
    }
)

• عنوان URL Weaviate – قم بالوصول إلى Weaviate عبر عنوان URL لموازن التحميل. في ال الأمازون الحوسبة المرنة السحابية (Amazon EC2) ، اختر موازن التحميل في جزء التنقل وابحث عن موازن التحميل. ابحث عن عمود اسم DNS وأضفه http:// امامها.
• Weaviate مفتاح API – هذا هو المفتاح الذي قمت بتعيينه مسبقًا في قالب CloudFormation (helmauthenticationapikey).
• مفتاح وصول AWS ومفتاح الوصول السري – يمكنك استرداد مفتاح الوصول ومفتاح الوصول السري للمستخدم الخاص بك في إدارة الهوية والوصول AWS (IAM).

الشكل 5: وحدة تحكم AWS Identity and Access Management (IAM) لاسترداد مفتاح وصول AWS ومفتاح الوصول السري.

قم بتكوين وحدة Amazon Bedrock لتمكين نماذج Cohere

بعد ذلك، يمكنك تحديد مجموعة البيانات (class) مسمي Listings لتخزين كائنات بيانات القوائم، وهو ما يشبه إنشاء جدول في قاعدة بيانات علائقية. في هذه الخطوة، يمكنك تكوين الوحدات ذات الصلة لتمكين استخدام نماذج لغة Cohere المستضافة على Amazon Bedrock محليًا من داخل قاعدة بيانات Weaviate المتجهة. الناقل ("text2vec-aws") والوحدة التوليدية (""generative-aws") محددة في تعريف جمع البيانات. تأخذ كلتا الوحدتين ثلاث معلمات:

• "الخدمات" - يستخدم "bedrock" لـ Amazon Bedrock (بدلاً من ذلك، استخدم "sagemaker" إلى عن على أمازون سيج ميكر جومب ستارت)
• "منطقة" - أدخل المنطقة التي تم نشر النموذج الخاص بك فيها
• "نموذج" – تقديم اسم نموذج الأساس

انظر الكود التالي:

collection_definition = {
    "class": "Listings",
    "moduleConfig": {
        "text2vec-aws": {
            "service": "bedrock",
            "region": "us-east-1",
            "model": "cohere.embed-english-v3",
        },
        "generative-aws": {
            "service": "bedrock",
            "region": "us-east-1",
            "model": "cohere.command-text-v14"
        }
    },
    "vectorizer": "text2vec-aws"
}

استيعاب البيانات في قاعدة بيانات Weaviate للمتجهات

في هذه الخطوة، يمكنك تحديد بنية مجموعة البيانات عن طريق تكوين خصائصها. بصرف النظر عن اسم الخاصية ونوع بياناتها، يمكنك أيضًا تكوين ما إذا كان سيتم تخزين كائن البيانات فقط أو ما إذا كان سيتم تخزينه مع تضمينات المتجهات الخاصة به. في هذا المثال، host_name و property_type ليست متجهة:

collection_definition["properties"] = [
        { "name": "host_name", "dataType": ["text"], 
     "moduleConfig": {"text2vec-aws": {"skip": True}}
        },
        { "name": "property_type", "dataType": ["text"], 
     "moduleConfig": {"text2vec-aws": {"skip": True}}
        }
        { "name": "description", "dataType": ["text"] },
        {"name": "neighborhood_overview", "dataType": ["text"] },
]

قم بتشغيل التعليمة البرمجية التالية لإنشاء المجموعة في مثيل Weaviate الخاص بك:

client.schema.create_class(collection_definition)

يمكنك الآن إضافة كائنات إلى Weaviate. يمكنك استخدام عملية استيراد دفعة لتحقيق أقصى قدر من الكفاءة. قم بتشغيل التعليمة البرمجية التالية لاستيراد البيانات. أثناء الاستيراد، سيستخدم Weaviate المُتجه المحدد لإنشاء تضمين متجه لكل كائن. يقوم التعليمة البرمجية التالية بتحميل الكائنات وتهيئة عملية دفعية وإضافة الكائنات إلى المجموعة المستهدفة واحدًا تلو الآخر:

from weaviate.util import generate_uuid5
import pandas as pd

# Read CSV file
csv_file = './data/listings.csv'
df = pd.read_csv(csv_file, usecols = ['host_name', 
                                      'property_type',
                                      'description', 
                                      'neighborhood_overview', 
                                        ])

df.fillna('', inplace=True)

# Configure batch
client.batch.configure(batch_size=100) 

# Initialize batch process
with client.batch as batch:
    for _, row in df.iterrows():
        listing_object = {
            "host_name": row["host_name"],
            "property_type" : row["property_type"],
            "description": row["description"],
            "neighborhood_overview" : row["neighborhood_overview"],
        }
        batch.add_data_object(
            class_name = "Listings",
            data_object = listing_object,
            uuid = generate_uuid5(listing_object)
        )

الجيل المعزز الاسترداد

يمكنك إنشاء مسار RAG من خلال تنفيذ استعلام بحث مولد على مثيل Weaviate الخاص بك. لهذا، عليك أولاً تحديد قالب مطالبة على شكل سلسلة f يمكنها استيعاب استعلام المستخدم ({target_audience}) مباشرة والسياق الإضافي ({{host_name}}, {{property_type}}, {{description}}و {{neighborhood_overview}}) من قاعدة بيانات المتجهات في وقت التشغيل:

   prompt_template = f"""You are a copywriter.
    Write a short advertisement for the following vacation stay.
    Host: {{host_name}}
    Property type: {{property_type}}
    Description: {{description}}
    Neighborhood: {{neighborhood_overview}}
    Target audience: {target_audience}
    """

بعد ذلك، تقوم بتشغيل استعلام بحث توليدي. يؤدي هذا إلى مطالبة النموذج التوليدي المحدد بمطالبة تتكون من استعلام المستخدم بالإضافة إلى البيانات المستردة. يقوم الاستعلام التالي باسترداد كائن قائمة واحد (.with_limit(1)) من Listings المجموعة الأكثر تشابهًا مع استعلام المستخدم (.with_near_text({"concepts": target_audience})). ثم استعلام المستخدم (target_audience) وخصائص القوائم المستردة (["description", "neighborhood", "host_name", "property_type"]) يتم إدخالها في قالب المطالبة. انظر الكود التالي:

   result = client.query
                .get("Listings", 
            ["description", "neighborhood", "host_name", "property_type"])
                .with_near_text({"concepts": target_audience})
                .with_limit(1)
                .with_generate(single_prompt=prompt_template)
                .do()

في المثال التالي، يمكنك أن ترى أن الجزء السابق من التعليمات البرمجية لـ target_audience = “Family with small children” يسترد قائمة من المضيف Marre. يتم تعزيز القالب الفوري بتفاصيل قائمة Marre والجمهور المستهدف:

"You are a copywriter.
Write a short advertisement for the following vacation stay.
Host: Marre
Property type: Entire townhouse
Description: Welcome to our lovely home! You've come to the right place ...
Neighborhood: THE NEIGHBORHOOD:<br /><br />We are in the city centre ...
Target audience: Family with small children"

استنادًا إلى موجه الاسترجاع المعزز، يقوم نموذج أمر Cohere بإنشاء الإعلان المستهدف التالي:

"Looking for a kid-friendly home away from home in one of the trendiest areas of 
Amsterdam? Look no further than this stylish townhouse in the heart of the city! 
Our 120ft² space is perfect for a family of four or a group of adults, with two 
bedrooms featuring elevated beds suitable for kids and one bedroom with a single 
bed. The ground floor features a spacious living room, a kitchen with a large 
dining table, and a half bath while heading upstairs leads you to a master bedroom 
and a full bathroom. Our central location means you're just steps away from the 
best cafes, restaurants, and bars that the city has to offer, and the Vondelpark 
and other attractions are only a short walk away! Supermarkets and paid parking 
are also conveniently located nearby. Experience the best of Amsterdam in a 
laid-back,local way and create unforgettable memories with your family at our 
cozy townhouse."

التخصيصات البديلة

يمكنك إجراء تخصيصات بديلة لمكونات مختلفة في الحل المقترح، مثل ما يلي:

• نماذج لغة Cohere متاحة أيضًا من خلال أمازون سيج ميكر جومب ستارت، والذي يوفر الوصول إلى نماذج الأساس المتطورة ويمكّن المطورين من نشر LLMs في الأمازون SageMaker، وهي خدمة مُدارة بالكامل تجمع مجموعة واسعة من الأدوات لتمكين التعلم الآلي عالي الأداء ومنخفض التكلفة لأي حالة استخدام. تم دمج Weaviate مع SageMaker أيضًا.
• إضافة قوية لهذا الحل هي Cohere إعادة ترتيب نقطة النهاية، متاح من خلال SageMaker JumpStart. يمكن أن تؤدي إعادة الترتيب إلى تحسين أهمية نتائج البحث من البحث المعجمي أو الدلالي. تعمل ميزة إعادة الترتيب عن طريق حساب درجات الصلة الدلالية للمستندات التي يتم استردادها بواسطة نظام البحث وترتيب المستندات بناءً على هذه الدرجات. تتطلب إضافة إعادة الترتيب إلى التطبيق سطرًا واحدًا فقط من تغيير التعليمات البرمجية.
• لتلبية متطلبات النشر المختلفة لبيئات الإنتاج المختلفة، يمكن نشر Weaviate بطرق إضافية مختلفة. على سبيل المثال، فهو متاح للتنزيل المباشر من موقع ويفييت، الذي يعمل على خدمة أمازون مطاطا Kubernetes (Amazon EKS) أو محليًا عبر عامل في حوض السفن or Kubernetes. إنه متاح أيضًا كـ الخدمة المدارة يمكن تشغيلها بشكل آمن داخل VPC أو كخدمة سحابية عامة مستضافة على AWS مع نسخة تجريبية مجانية مدتها 14 يومًا.
• يمكنك تقديم الحل الخاص بك في VPC باستخدام سحابة أمازون الافتراضية الخاصة (Amazon VPC)، الذي يمكّن المؤسسات من إطلاق خدمات AWS في شبكة افتراضية معزولة منطقيًا، تشبه الشبكة التقليدية ولكن مع مزايا البنية التحتية القابلة للتطوير لـ AWS. اعتمادًا على مستوى حساسية البيانات المصنف، يمكن للمؤسسات أيضًا تعطيل الوصول إلى الإنترنت في VPCs هذه.

تنظيف

لمنع الرسوم غير المتوقعة، احذف جميع الموارد التي قمت بنشرها كجزء من هذا المنشور. إذا قمت بتشغيل مكدس CloudFormation، فيمكنك حذفه عبر وحدة تحكم AWS CloudFormation. لاحظ أنه قد تكون هناك بعض موارد AWS، مثل متجر أمازون مطاط بلوك مجلدات (Amazon EBS) و خدمة إدارة مفتاح AWS مفاتيح (AWS KMS)، التي قد لا يتم حذفها تلقائيًا عند حذف مكدس CloudFormation.

الشكل 6: حذف جميع الموارد عبر وحدة تحكم AWS CloudFormation.

وفي الختام

ناقش هذا المنشور كيف يمكن للمؤسسات إنشاء تطبيقات ذكاء اصطناعي توليدية دقيقة وشفافة وآمنة مع الاستمرار في التحكم الكامل في بياناتها. الحل المقترح هو خط أنابيب RAG الذي يستخدم مجموعة تقنيات الذكاء الاصطناعي الأصلية كمزيج من نماذج مؤسسة Cohere في Amazon Bedrock وقاعدة بيانات Weaviate Vector على AWS Marketplace. يمكّن نهج RAG المؤسسات من سد الفجوة بين المعرفة العامة لـ LLM وبيانات الملكية مع تقليل الهلوسة. تتيح مجموعة تقنيات الذكاء الاصطناعي الأصلية التطوير السريع والأداء القابل للتطوير.

يمكنك البدء في تجربة إثباتات RAG للمفهوم لتطبيقات الذكاء الاصطناعي التوليدية الجاهزة للمؤسسة باستخدام الخطوات الموضحة في هذا المنشور. كود المصدر المصاحب متاح في مستودع جيثب ذات الصلة. شكرا لقرائتك. لا تتردد في تقديم تعليقات أو تعليقات في قسم التعليقات.

عن المؤلفين

جيمس يي هو أحد كبار مهندسي حلول شركاء AI/ML في فريق Technology Partners COE Tech في Amazon Web Services. إنه متحمس للعمل مع عملاء المؤسسات والشركاء لتصميم تطبيقات الذكاء الاصطناعي/تعلم الآلة ونشرها وتوسيع نطاقها لاستخلاص قيمة الأعمال. خارج العمل، يستمتع بلعب كرة القدم والسفر وقضاء الوقت مع عائلته.

ليوني مونيغاتي هو محامي المطور في Weaviate. مجال تركيزها هو الذكاء الاصطناعي/التعلم الآلي، وهي تساعد المطورين في التعرف على الذكاء الاصطناعي التوليدي. وخارج نطاق العمل، تشارك أيضًا ما تعلمته في علوم البيانات والتعلم الآلي على مدونتها وعلى Kaggle.

ميور عامر هو أحد محامي المطورين في شركة Cohere، وهي شركة تقدم أحدث تقنيات معالجة اللغات الطبيعية (NLP). إنه يساعد المطورين على إنشاء تطبيقات متطورة باستخدام نماذج اللغات الكبيرة (LLMs) من Cohere.

شون ماو هو أحد كبار مهندسي حلول شركاء AI/ML في فريق التقنيات الناشئة في Amazon Web Services. إنه متحمس للعمل مع عملاء المؤسسات والشركاء لتصميم ونشر وتوسيع نطاق تطبيقات الذكاء الاصطناعي/التعلم الآلي لاستخلاص قيم أعمالهم. خارج العمل، يستمتع بصيد الأسماك والسفر ولعب كرة الطاولة.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/build-enterprise-ready-generative-ai-solutions-with-cohere-foundation-models-in-amazon-bedrock-and-weaviate-vector-database-on-aws-marketplace/