يرى التغيير للحصول على أحدث الميزات والإصلاحات.

من المحتمل أنك واجهت التحدي المتمثل في تدوين الملاحظات أثناء الاجتماع أثناء محاولتك الانتباه إلى المحادثة. ربما تكون قد شعرت أيضًا بالحاجة إلى التحقق بسرعة من صحة ما قيل، أو البحث عن معلومات للإجابة على سؤال تم طرحه للتو في المكالمة. أو ربما يكون لديك أحد أعضاء الفريق الذي ينضم دائمًا إلى الاجتماعات متأخرًا، ويتوقع منك أن ترسل إليه ملخصًا سريعًا عبر الدردشة لمواكبة ذلك.

ثم هناك أوقات يتحدث فيها الآخرون بلغة ليست لغتك الأولى، وترغب في الحصول على ترجمة حية لما يقوله الناس للتأكد من أنك تفهم بشكل صحيح.

وبعد انتهاء المكالمة، عادةً ما تريد الحصول على ملخص لسجلاتك، أو إرساله إلى المشاركين، مع قائمة بجميع عناصر الإجراء والمالكين وتواريخ الاستحقاق.

كل هذا وأكثر أصبح ممكنًا الآن من خلال نموذج الحل الأحدث لدينا، Live Meeting Assistant (LMA).

تحقق من العرض التوضيحي التالي لمعرفة كيف يعمل.

في هذا المنشور، نعرض لك كيفية استخدام LMA مع الأمازون النسخ, أمازون بيدروكو قواعد المعرفة لأمازون بيدروك.

حل نظرة عامة

يلتقط نموذج حل LMA صوت مكبر الصوت وبيانات التعريف من تطبيق الاجتماع المستند إلى المتصفح (حتى كتابة هذه السطور، يتم دعم Zoom وChime)، أو الصوت فقط من أي تطبيق اجتماع أو هاتف إلكتروني أو مصدر صوت آخر يعتمد على المتصفح. فهو يستخدم Amazon Transcribe لتحويل الكلام إلى نص، وقواعد المعرفة لـ Amazon Bedrock للاستعلامات السياقية مقابل مستندات شركتك ومصادر المعرفة، ونماذج Amazon Bedrock للحصول على رؤى وملخصات النسخ القابلة للتخصيص.

يتم توفير كل ما تحتاجه كمصدر مفتوح في موقعنا جيثب ريبو. من السهل النشر في حساب AWS الخاص بك. عندما تنتهي، سوف تتساءل كيف تمكنت من إدارة الأمر بدونه!

فيما يلي بعض الأشياء التي يمكن لـ LMA القيام بها:

• النسخ المباشر مع إسناد المتحدث - يتم تشغيل LMA بواسطة نماذج Amazon Transcribe ASR لتحويل الكلام إلى نص بزمن وصول منخفض ودقة عالية. يمكنك تعليمه أسماء العلامات التجارية والمصطلحات الخاصة بالمجال إذا لزم الأمر، باستخدام المفردات المخصصة وميزات نموذج اللغة المخصصة في Amazon Transcribe.
  
• الترجمة الحية - يستخدم خدمة Amazon Translate لعرض كل جزء من المحادثة بشكل اختياري مترجمًا إلى اللغة التي تختارها، من مجموعة مختارة مكونة من 75 لغة.
  
• مساعد اجتماع مدرك للسياق – يستخدم قواعد المعرفة لـ Amazon Bedrock لتقديم إجابات من مصادرك الموثوقة، باستخدام النص المباشر كسياق للتحقق من الحقائق وأسئلة المتابعة. لتنشيط المساعد، فقط قل "حسنًا، مساعد"، ثم اختر اسأل المساعد! زر، أو أدخل سؤالك الخاص في واجهة المستخدم.
  
• ملخصات الاجتماع عند الطلب - بنقرة زر واحدة على واجهة المستخدم، يمكنك إنشاء ملخص، وهو أمر مفيد عندما ينضم شخص ما متأخرًا ويحتاج إلى متابعة الأمور. يتم إنشاء الملخصات من النص بواسطة Amazon Bedrock. يوفر LMA أيضًا خيارات لتحديد موضوع الاجتماع الحالي، ولإنشاء قائمة بعناصر العمل مع المالكين وتواريخ الاستحقاق. يمكنك أيضًا إنشاء المطالبات المخصصة الخاصة بك والخيارات المقابلة.
  
• الملخص الآلي والرؤى - عند انتهاء الاجتماع، يقوم LMA تلقائيًا بتشغيل مجموعة من مطالبات نماذج اللغة الكبيرة (LLM) على Amazon Bedrock لتلخيص نص الاجتماع واستخراج الرؤى. يمكنك تخصيص هذه المطالبات أيضًا.
  
• تسجيل الاجتماع – يتم تخزين الصوت (اختياريًا) لك، حتى تتمكن من إعادة تشغيل الأقسام المهمة من الاجتماع لاحقًا.
  
• قائمة جرد الاجتماعات - LMA يتتبع جميع اجتماعاتك في قائمة قابلة للبحث.
  
• يلتقط ملحق المتصفح بيانات تعريف الصوت والاجتماعات من تطبيقات الاجتماعات الشائعة - يلتقط ملحق المتصفح البيانات التعريفية للاجتماع — عنوان الاجتماع وأسماء المتحدثين النشطين — والصوت منك (الميكروفون) والآخرين (من علامة تبويب متصفح الاجتماع). حتى كتابة هذه السطور، يدعم LMA متصفح Chrome لامتداد المتصفح، وZoom وChime لتطبيقات الاجتماعات (مع توفر Teams وWebEx قريبًا). لا تعمل تطبيقات الاجتماعات المستقلة مع LMA — بدلاً من ذلك، قم بتشغيل اجتماعاتك في المتصفح.
  

أنت مسؤول عن الالتزام بالقيود القانونية والمؤسسية والأخلاقية التي تنطبق على تسجيل الاجتماعات والمكالمات. لا تستخدم هذا الحل لدفق المكالمات أو تسجيلها أو تحويلها إلى نص إذا كان ذلك محظورًا.

المتطلبات الأساسية المسبقة

يجب أن يكون لديك حساب AWS و إدارة الهوية والوصول AWS (IAM) والمستخدم الذي لديه أذونات لإنشاء وإدارة الموارد والمكونات اللازمة لهذا التطبيق. إذا لم يكن لديك حساب AWS، راجع كيف أقوم بإنشاء وتفعيل حساب Amazon Web Services جديد؟

أنت بحاجة أيضًا إلى قاعدة معرفية موجودة في Amazon Bedrock. إذا لم تقم بإعداد واحدة بعد، راجع إنشاء قاعدة معرفية. قم بملء قاعدة معارفك بالمحتوى لتشغيل مساعد الاجتماع المدرك للسياق في LMA.

وأخيرًا، يستخدم LMA برنامج Amazon Bedrock LLMs لميزات تلخيص الاجتماعات. قبل المتابعة، إذا لم تكن قد قمت بذلك من قبل، فيجب عليك ذلك طلب الدخول إلى نماذج Amazon Bedrock التالية:

• Titan Embeddings G1 - نص
• الأنثروبي: جميع نماذج كلود

انشر الحل باستخدام AWS CloudFormation

لقد قدمنا ​​بنيت مسبقا تكوين سحابة AWS القوالب التي تنشر كل ما تحتاجه في حساب AWS الخاص بك.

إذا كنت مطورًا وترغب في إنشاء الحل أو نشره أو نشره من خلال التعليمات البرمجية، فارجع إلى الملف التمهيدي للمطور.

أكمل الخطوات التالية لتشغيل مكدس CloudFormation:

1. تسجيل الدخول إلى وحدة تحكم إدارة AWS.
2. اختار قم بتشغيل Stack لمنطقة AWS المطلوبة لفتح وحدة تحكم AWS CloudFormation وإنشاء حزمة جديدة.

بلد المنشأ	قم بتشغيل Stack
شرق الولايات المتحدة (فرجينيا الشمالية)
غرب الولايات المتحدة (أوريغون)

4. في حالة اسم المكدس، استخدم القيمة الافتراضية، LMA.
5. في حالة عنوان البريد الإلكتروني للمسؤول، استخدم عنوان بريد إلكتروني صالحًا - سيتم إرسال كلمة المرور المؤقتة الخاصة بك عبر البريد الإلكتروني إلى هذا العنوان أثناء النشر.
6. في حالة مجال البريد الإلكتروني المعتمد للحساب، استخدم جزء اسم المجال من عنوان البريد الإلكتروني لشركتك للسماح للمستخدمين الذين لديهم عناوين بريد إلكتروني في نفس النطاق بإنشاء حسابات واجهة مستخدم جديدة خاصة بهم، أو اتركه فارغًا لمنع المستخدمين من إنشاء حساباتهم الخاصة مباشرةً. يمكنك إدخال مجالات متعددة كقائمة مفصولة بفواصل.
7. في حالة خدمة مساعدة الاجتماع، اختر BEDROCK_KNOWLEDGE_BASE (الخيار الوحيد المتاح حتى كتابة هذه السطور).
8. في حالة معرف قاعدة المعرفة الأساسية للمساعدة في الاجتماع (الموجود)، أدخل معرف قاعدة المعرفة الموجودة لديك (على سبيل المثال، JSXXXXX3D8). يمكنك نسخه من وحدة تحكم Amazon Bedrock.
   
9. لجميع المعلمات الأخرى ، استخدم القيم الافتراضية.

إذا كنت تريد تخصيص الإعدادات لاحقًا، على سبيل المثال لإضافة الإعدادات الخاصة بك AWS لامدا الوظائف، واستخدام المفردات المخصصة ونماذج اللغة لتحسين الدقة، وتمكين تنقيح معلومات التعريف الشخصية (PII)، والمزيد، يمكنك تحديث المكدس لهذه المعلمات.

10. حدد خانات اختيار الإقرار، ثم اختر إنشاء مكدس.

تستخدم حزمة CloudFormation الرئيسية الحزم المتداخلة لإنشاء الموارد التالية في حساب AWS الخاص بك:

• خدمة تخزين أمازون البسيطة دلاء (Amazon S3) للاحتفاظ بعناصر البناء وتسجيلات المكالمات
• An AWS فارجيت مهمة مع موازن تحميل التطبيق توفير خادم WebSocket يقوم بتشغيل التعليمات البرمجية لاستهلاك تدفقات الصوت المجسم والترحيل إلى Amazon Transcribe، ونشر مقاطع النسخ في الأمازون كينسيس دفق البياناتوإنشاء وتخزين تسجيلات مكالمات الاستريو
• دفق بيانات Kinesis لترحيل أحداث المكالمة ومقاطع النسخ إلى وظيفة معالجة الإثراء
• موارد LMA، بما في ذلك QnABot على حل AWS المكدس الذي يتفاعل مع خدمة Amazon OpenSearch وأمازون بيدروك
• • أوس أبسينك واجهة برمجة التطبيقات (API) ، التي توفر نقطة نهاية GraphQL لدعم الاستعلامات والتحديثات في الوقت الفعلي
• مكونات موقع الويب، بما في ذلك مجموعة S3، الأمازون CloudFront التوزيع و أمازون كوجنيتو تجمع المستخدمين
• تطبيق ملحق متصفح تم تكوينه مسبقًا وقابل للتنزيل لمتصفحات Chrome
• موارد الدعم الأخرى، بما في ذلك أدوار وسياسات IAM (باستخدام أفضل الممارسات الأقل امتيازًا)، سحابة أمازون الافتراضية الخاصة (Amazon VPC) موارد ، أمازون إيفينت بريدج قواعد الحدث ، و الأمازون CloudWatch مجموعات السجل.

يستغرق نشر الأكوام حوالي 35-40 دقيقة. تظهر حالة المكدس الرئيسي CREATE_COMPLETE عندما يتم نشر كل شيء.

ضع كلمة مرور

بعد نشر الحزمة، افتح واجهة مستخدم الويب LMA وقم بتعيين كلمة المرور الخاصة بك عن طريق إكمال الخطوات التالية:

1. افتح رسالة البريد الإلكتروني التي تلقيتها، على عنوان البريد الإلكتروني الذي قدمته، مع موضوع "مرحبًا بك في Live Meeting Assistant!"
2. افتح متصفح الويب الخاص بك على عنوان URL الموضح في البريد الإلكتروني. يتم توجيهك إلى صفحة تسجيل الدخول.
   
3. يحتوي البريد الإلكتروني على كلمة مرور مؤقتة تم إنشاؤها والتي تستخدمها لتسجيل الدخول وإنشاء كلمة المرور الخاصة بك. اسم المستخدم الخاص بك هو عنوان البريد الإلكتروني الخاص بك.
4. قم بتعيين كلمة مرور جديدة.

يجب أن يكون طول كلمة المرور الجديدة ثمانية أحرف على الأقل ، وأن تحتوي على أحرف كبيرة وصغيرة ، بالإضافة إلى أرقام وأحرف خاصة.

5. اتبع الإرشادات للتحقق من عنوان بريدك الإلكتروني، أو اختر تخطى للقيام بذلك لاحقا.

لقد قمت الآن بتسجيل الدخول إلى LMA.

لقد تلقيت أيضًا بريدًا إلكترونيًا مشابهًا بعنوان "رمز التحقق من الاشتراك في QnABot". يحتوي هذا البريد الإلكتروني على كلمة مرور مؤقتة تم إنشاؤها والتي تستخدمها لتسجيل الدخول وإنشاء كلمة المرور الخاصة بك في مصمم QnABot. يمكنك استخدام مصمم QnABot فقط إذا كنت تريد تخصيص خيارات LMA والمطالبات. اسم المستخدم الخاص بك لـ QnABot هو Admin. يمكنك تعيين كلمة مرور مسؤول QnABot الدائمة الآن، أو الاحتفاظ بهذا البريد الإلكتروني آمنًا في حالة رغبتك في تخصيص الأشياء لاحقًا.

قم بتنزيل وتثبيت ملحق متصفح Chrome

للحصول على أفضل تجربة بث للاجتماعات، قم بتثبيت المكون الإضافي لمتصفح LMA (المتوفر حاليًا لمتصفح Chrome):

1. اختار تحميل ملحق كروم لتنزيل ملف ملحق المتصفح .zip (lma-chrome-extension.zip).
   
2. اختر (انقر بزر الماوس الأيمن) وقم بتوسيع ملف .zip (lma-chrome-extension.zip) لإنشاء مجلد محلي باسم lma-chrome-extension.
3. افتح Chrome وأدخل الرابط chrome://extensions في شريط العنوان.
   
4. تفعيل وضع المطور.
5. اختار تحميل مفتوح، انتقل إلى lma-chrome-extension المجلد (الذي قمت بفك ضغطه من التنزيل)، واختر أختار. يؤدي هذا إلى تحميل الامتداد الخاص بك.
6. قم بتثبيت ملحق LMA الجديد على شريط أدوات المتصفح لسهولة الوصول إليه - ستستخدمه كثيرًا لدفق اجتماعاتك!
   

ابدأ باستخدام LMA

يوفر LMA خيارين للبث:

• امتداد متصفح Chrome - استخدم هذا لدفق البيانات التعريفية للصوت والمتحدث من تطبيق متصفح الاجتماع الخاص بك. وهو يعمل حاليًا مع Zoom وChime، ولكننا نأمل في إضافة المزيد من تطبيقات الاجتماعات.
• علامة التبويب LMA دفق الصوت - استخدم هذا لدفق الصوت من الميكروفون الخاص بك وأي تطبيق اجتماع أو هاتف إلكتروني أو تطبيق صوتي يستند إلى متصفح Chrome.

نعرض لك كيفية استخدام كلا الخيارين في الأقسام التالية.

استخدم ملحق متصفح Chrome لدفق مكالمة Zoom

أكمل الخطوات التالية لاستخدام ملحق المتصفح:

1. افتح ملحق LMA وقم بتسجيل الدخول باستخدام بيانات اعتماد LMA الخاصة بك.
   
2. انضم إلى اجتماع Zoom أو ابدأه في متصفح الويب الخاص بك (لا تستخدم عميل Zoom المنفصل).

إذا قمت بالفعل بتحميل صفحة اجتماع Zoom، فأعد تحميلها.

يكتشف ملحق LMA تلقائيًا أن Zoom قيد التشغيل في علامة تبويب المتصفح، ويقوم بملء اسمك واسم الاجتماع.

3. أخبر الآخرين في المكالمة أنك على وشك بدء تسجيل المكالمة باستخدام LMA واحصل على إذنهم. لا تتابع إذا اعترض المشاركون.
4. اختار ابدأ بالاستماع.
   
5. اقرأ إخلاء المسؤولية واقبله، ثم اختر السماح لمشاركة علامة تبويب المتصفح.
   

يكتشف ملحق LMA تلقائيًا المتحدث النشط ويعرضه أثناء المكالمة. إذا كنت بمفردك في الاجتماع، فادع بعض الأصدقاء للانضمام، ولاحظ أن الأسماء التي استخدموها للانضمام إلى المكالمة يتم عرضها في الملحق عندما يتحدثون، ويتم نسبها إلى كلماتهم في نص LMA.

6. اختار فتح في LMA لرؤية النص المباشر الخاص بك في علامة تبويب جديدة.
7. اختر لغة النص المفضلة لديك، وتفاعل مع مساعد الاجتماع باستخدام عبارة التنبيه "OK Assistant!" أو ال بوت مساعدة الاجتماع الجزء.

• اسأل المساعد يطلب الزر من خدمة مساعد الاجتماع (قاعدة معارف Amazon Bedrock) اقتراح استجابة جيدة بناءً على نص التفاعلات الأخيرة في الاجتماع. قد تختلف المسافة المقطوعة، لذا قم بالتجربة!

8. عند الانتهاء، اختر توقف عن الجري لإنهاء الاجتماع في LMA.

وفي غضون ثوانٍ قليلة، تظهر ملخصات نهاية الاجتماع التلقائية، ويصبح التسجيل الصوتي متاحًا. يمكنك الاستمرار في استخدام الروبوت بعد انتهاء المكالمة.

استخدم علامة التبويب LMA UI Stream Audio للبث من الميكروفون الخاص بك وأي تطبيق صوتي قائم على المتصفح

يعد ملحق المتصفح الطريقة الأكثر ملاءمة لدفق البيانات التعريفية والصوت من تطبيقات الويب المدعومة للاجتماعات. ومع ذلك، يمكنك أيضًا استخدام LMA لدفق الصوت فقط من أي هاتف رقمي قائم على المتصفح، أو تطبيق اجتماع، أو أي مصدر صوت آخر يتم تشغيله في متصفح Chrome الخاص بك، وذلك باستخدام الخيار المناسب دفق الصوت علامة التبويب المضمنة في واجهة مستخدم LMA.

1. افتح أي مصدر صوتي في علامة تبويب المتصفح.

على سبيل المثال، يمكن أن يكون هذا هاتفًا إلكترونيًا (مثل جوجل صوت)، تطبيق اجتماع آخر، أو لأغراض العرض التوضيحي، يمكنك ببساطة تشغيل تسجيل صوتي محلي أو مقطع فيديو على YouTube في متصفحك لمحاكاة مشارك آخر في الاجتماع. إذا كنت تريد تجربتها فقط، فافتح ما يلي فيديو يوتيوب في علامة تبويب جديدة.

2. في واجهة مستخدم تطبيق LMA، اختر دفق الصوت (بدون امتداد) لفتح علامة التبويب دفق الصوت.
3. في حالة معرف الاجتماع، أدخل معرف الاجتماع.
4. في حالة الاسم، أدخل اسمًا لنفسك (يتم تطبيقه على الصوت من الميكروفون).
5. في حالة اسم (أسماء) المشاركين، أدخل أسماء المشاركين (يتم تطبيقها على مصدر الصوت الوارد).
6. اختار بدء البث.
   
7. اختر علامة تبويب المتصفح التي فتحتها سابقًا، ثم اختر السماح للمشاركة.
8. اختر علامة التبويب LMA UI مرة أخرى لعرض معرف الاجتماع الجديد المدرج، مع إظهار الاجتماع باسم قيد الإنجاز.
   
9. اختر معرف الاجتماع لفتح صفحة التفاصيل، وشاهد نسخة الصوت الوارد المنسوبة إلى أسماء المشاركين التي أدخلتها. إذا تحدثت، فسترى نسخًا لصوتك.
   

استخدم دفق الصوت ميزة البث من أي تطبيق هاتف رقمي، أو تطبيق اجتماع، أو أي بث صوتي آخر يتم تشغيله في المتصفح، بالإضافة إلى الصوت الخاص بك الذي تم التقاطه من الميكروفون المحدد. احصل دائمًا على إذن من الآخرين قبل تسجيلهم باستخدام LMA، أو أي تطبيق تسجيل آخر.

نظرة عامة على تدفق المعالجة

كيف قام LMA بتدوين اجتماعك وتحليله؟ دعونا ننظر في كيفية عمله. يوضح الرسم البياني التالي المكونات المعمارية الرئيسية وكيف تتلاءم معًا على مستوى عالٍ.

ينضم مستخدم LMA إلى اجتماع في متصفحه، ويقوم بتمكين ملحق متصفح LMA، ويقوم بالمصادقة باستخدام بيانات اعتماد LMA الخاصة به. إذا كان تطبيق الاجتماع (على سبيل المثال، Zoom.us) مدعومًا بامتداد LMA، فسيتم اكتشاف اسم المستخدم واسم الاجتماع وأسماء المتحدثين النشطين تلقائيًا بواسطة الامتداد. إذا لم يكن تطبيق الاجتماع مدعومًا بواسطة الامتداد، فيمكن لمستخدم LMA إدخال اسمه وموضوع الاجتماع يدويًا - لن يتم اكتشاف أسماء المتحدثين النشطين.

بعد الحصول على إذن من المشاركين الآخرين، يختار مستخدم LMA بدء الاستماع في جزء ملحق LMA. يتم إنشاء اتصال WebSocket آمن إلى عنوان URL WebSocket لمكدس LMA الذي تم تكوينه مسبقًا، ويتم التحقق من صحة رمز المصادقة المميز للمستخدم. يرسل ملحق متصفح LMA رسالة START إلى WebSocket تحتوي على بيانات تعريف الاجتماع (الاسم والموضوع وما إلى ذلك)، ويبدأ في دفق الصوت ثنائي القناة من ميكروفون المستخدم وقناة الصوت الواردة التي تحتوي على أصوات المشاركين الآخرين في الاجتماع. يراقب الامتداد تطبيق الاجتماع لاكتشاف تغييرات المتحدث النشطة أثناء المكالمة، ويرسل تلك البيانات التعريفية إلى WebSocket، مما يمكّن LMA من تسمية مقاطع الكلام باسم المتحدث.

يستهلك خادم WebSocket الذي يعمل في Fargate أجزاء الصوت ثنائية القناة في الوقت الفعلي من دفق WebSocket الوارد. يتم دفق الصوت إلى Amazon Transcribe، وتتم كتابة نتائج النسخ في الوقت الفعلي إلى Kinesis Data Streams.

يتم تشغيل كل جلسة معالجة اجتماع حتى يختار المستخدم إيقاف الاستماع في جزء ملحق LMA، أو ينهي الاجتماع ويغلق علامة التبويب. في نهاية المكالمة، تقوم الوظيفة بإنشاء ملف تسجيل استريو في Amazon S3 (إذا تم تمكين التسجيل عند نشر المكدس).

تعمل وظيفة Lambda التي تسمى معالج حدث الاتصال، والتي يتم تغذيتها بواسطة تدفقات بيانات Kinesis، على معالجة البيانات التعريفية للاجتماعات وشرائح النسخ وإثرائها بشكل اختياري. يتكامل معالج حدث الاتصال مع خدمات مساعدة الاجتماع. يتم تشغيل LMA بواسطة أمازون ليكسوقواعد المعرفة لـ Amazon Bedrock وAmazon Bedrock LLMs باستخدام المصدر المفتوح QnABot على حل AWS للحصول على إجابات بناءً على الأسئلة الشائعة وكمنسق لتوجيه الطلب إلى خدمة الذكاء الاصطناعي المناسبة. يستدعي معالج حدث المكالمة أيضًا وظيفة Transcript Summarization Lambda عند انتهاء المكالمة، لإنشاء ملخص للمكالمة من النص الكامل.

تتفاعل وظيفة Call Event Processor مع AWS AppSync لمواصلة التغييرات (الطفرات) فيها الأمازون DynamoDB وإرسال تحديثات في الوقت الفعلي إلى عملاء الويب الذين قاموا بتسجيل الدخول لمستخدم LMA (يتم فتحه بسهولة عن طريق اختيار خيار فتح في LMA في ملحق المتصفح).

تتم استضافة أصول واجهة مستخدم الويب LMA على Amazon S3 ويتم تقديمها عبر CloudFront. يتم توفير المصادقة بواسطة Amazon Cognito.

عندما تتم مصادقة المستخدم، ينشئ تطبيق الويب اتصال GraphQL آمنًا بواجهة برمجة تطبيقات AWS AppSync، ويشترك في تلقي الأحداث في الوقت الفعلي مثل المكالمات الجديدة وتغييرات حالة المكالمات لصفحة قائمة الاجتماعات، ومقاطع النسخ الجديدة أو المحدثة والمحسوبة تحليلات لصفحة تفاصيل الاجتماع. عند تمكين الترجمة، يتفاعل تطبيق الويب أيضًا بشكل آمن مع Amazon Translate لترجمة نص الاجتماع إلى اللغة المحددة.

إن تدفق المعالجة بالكامل، بدءًا من الكلام المستوعب إلى التحديثات المباشرة لصفحات الويب، يعتمد على الأحداث، ويكون زمن الاستجابة من النهاية إلى النهاية قصيرًا - عادةً بضع ثوانٍ فقط.

المراقبة واستكشاف الأخطاء وإصلاحها

تُبلغ AWS CloudFormation عن حالات فشل النشر وأسبابها في المجموعات ذات الصلة الفعاليات التبويب. نرى استكشاف أخطاء CloudFormation وإصلاحها للمساعدة في مشاكل النشر الشائعة. ابحث عن حالات فشل النشر الناجمة عن أخطاء تجاوز الحد؛ تقوم مكدسات LMA بإنشاء موارد تخضع للحساب الافتراضي وحصص خدمة المنطقة، مثل عناوين IP المرنة وبوابات NAT. عند استكشاف أخطاء فشل مكدس CloudFormation وإصلاحها، انتقل دائمًا إلى أي مكدسات متداخلة فاشلة للعثور على أول فشل في المورد المتداخل الذي تم الإبلاغ عنه - وهذا هو السبب الجذري دائمًا تقريبًا.

لدى Amazon Transcribe حد افتراضي يبلغ 25 تدفقًا متزامنًا للنسخ، مما يحد من LMA بـ 25 اجتماعًا متزامنًا في حساب AWS أو منطقة معينة. اطلب زيادة عدد تدفقات HTTP/2 المتزامنة لنسخ البث إذا كان لديك العديد من المستخدمين وتحتاج إلى التعامل مع عدد أكبر من الاجتماعات المتزامنة في حسابك.

يوفر LMA مراقبة وقت التشغيل وسجلات لكل مكون باستخدام CloudWatch:

• معالجة WebSocket ونسخ مهمة Fargate - على ال خدمة الأمازون المرنة للحاويات (Amazon ECS)، انتقل إلى مجموعات الصفحة وافتح LMA-WEBSOCKETSTACK-xxxx-TranscribingCluster وظيفة. اختر ال المهام علامة التبويب وافتح صفحة المهمة. يختار سجلات و عرض في CloudWatch لفحص سجلات مهام ناسخ WebSocket.
• استدعاء وظيفة Lambda معالج الحدث - في وحدة تحكم Lambda ، افتح ملف LMA-AISTACK-CallEventProcessor وظيفة. اختر ال مراقبة علامة التبويب لرؤية مقاييس الوظيفة. يختار عرض السجلات في CloudWatch لفحص سجلات الوظائف.
• واجهة برمجة تطبيقات AWS AppSync - في وحدة تحكم AWS AppSync ، افتح ملف CallAnalytics-LMA API. يختار مراقبة في جزء التنقل لمشاهدة مقاييس واجهة برمجة التطبيقات. يختار عرض السجلات في CloudWatch لفحص سجلات AWS AppSync API.

بالنسبة لـ QnABot على AWS for Meeting Assist، راجع الملف التمهيدي لمساعدة الاجتماع، و دليل تنفيذ حل QnABot للحصول على معلومات إضافية.

تقدير التكلفة

يوفر LMA خادم WebSocket يستخدم موارد شبكة Fargate (2vCPU) وVPC بتكلفة تبلغ حوالي 0.10 دولارًا أمريكيًا في الساعة (حوالي 72 دولارًا أمريكيًا في الشهر). لمزيد من التفاصيل، انظر تسعير AWS Fargate.

يتم تمكين LMA باستخدام QnABot وقواعد المعرفة لـ Amazon Bedrock. يمكنك إنشاء قاعدة المعرفة الخاصة بك، والتي تستخدمها لـ LMA وحالات الاستخدام الأخرى المحتملة. لمزيد من التفاصيل، انظر أسعار أمازون بيدروك. تبلغ تكلفة خدمات AWS الإضافية التي يستخدمها حل QnABot حوالي 0.77 دولارًا أمريكيًا في الساعة. لمزيد من التفاصيل، راجع قائمة تكاليف حل QnABot على AWS.

تعتمد تكاليف الحل المتبقية على الاستخدام.

تضيف تكاليف الاستخدام ما يصل إلى حوالي 0.17 دولارًا أمريكيًا لمكالمة مدتها 5 دقائق، على الرغم من أن هذا يمكن أن يختلف بناءً على الخيارات المحددة (مثل الترجمة)، وعدد ملخصات LLM، والاستخدام الإجمالي لأن الاستخدام يؤثر على أهلية الطبقة المجانية والتسعير المتدرج الحجم للعديد من الخدمات . لمزيد من المعلومات حول الخدمات التي تتحمل تكاليف الاستخدام، راجع ما يلي:

لاستكشاف تكاليف LMA بنفسك، استخدم مستكشف تكلفة AWS أو اختر تفاصيل الفاتورة على لوحة معلومات فوترة AWS لمعرفة إنفاقك الشهري حتى تاريخه حسب الخدمة.

تخصيص النشر الخاص بك

استخدم معلمات قالب CloudFormation التالية عند إنشاء مكدس أو تحديثه لتخصيص نشر LCA الخاص بك:

• لاستخدام حاوية S3 الخاصة بك لتسجيلات الاجتماعات، استخدم اسم حزمة التسجيلات الصوتية للمكالمة و بادئة الملف الصوتي.
• لتنقيح معلومات تحديد الهوية الشخصية من النسخ ، اضبط تمكين تنقيح المحتوى للنصوص إلى الصحيح، وضبط أنواع كيانات تنقيح معلومات تحديد الهوية الشخصية (PII) للنسخ كما هو مطلوب. لمزيد من المعلومات، راجع تنقيح أو تحديد معلومات PII في دفق الوقت الحقيقي.
• لتحسين دقة النسخ للمختصرات والمصطلحات الفنية والمتعلقة بالمجال ، قم بتعيين النسخ اسم المفردات المخصصة إلى اسم المفردات المخصصة التي قمت بإنشائها بالفعل في Amazon Transcribe أو تعيينها اسم نموذج اللغة المخصص للنسخ إلى اسم نموذج لغة مخصص تم إنشاؤه مسبقًا. لمزيد من المعلومات، راجع تحسين دقة النسخ.
• لتدوين الاجتماعات بلغة مدعومة غير الإنجليزية الأمريكية، اختر القيمة المطلوبة لـ لغة النسخ.
• لتخصيص معالجة النص، قم بتعيينه بشكل اختياري وظيفة Lambda Hook ARN لمعالجة مقطع النص المخصص إلى ARN الخاص بوظيفة Lambda الخاصة بك. لمزيد من المعلومات، راجع استخدام وظيفة Lambda لتوفير منطق مخصص لمعالجة النصوص بشكل اختياري.
• لتخصيص إمكانات مساعدة الاجتماع استنادًا إلى حل QnABot on AWS وAmazon Lex وAmazon Bedrock وقواعد المعرفة لتكامل Amazon Bedrock، راجع الملف التمهيدي لمساعدة الاجتماع.
• لتخصيص تلخيص النص عن طريق تكوين LMA لاستدعاء وظيفة Lambda الخاصة بك، راجع خيار تلخيص النص LAMBDA.
• لتخصيص تلخيص النص عن طريق تعديل المطالبات الافتراضية أو إضافة مطالبات جديدة، راجع تلخيص النص.
• لتغيير فترة الاحتفاظ، قم بتعيين سجل انتهاء الصلاحية في أيام إلى القيمة المطلوبة. يتم حذف جميع بيانات المكالمات نهائيًا من وحدة تخزين LMA DynamoDB بعد هذه الفترة. تنطبق التغييرات التي تم إجراؤها على هذا الإعداد فقط على المكالمات الجديدة المستلمة بعد التحديث.

LMA هو مشروع مفتوح المصدر. يمكنك إنشاء مستودع LMA GitHub وتحسين الكود وإرسال طلبات السحب إلينا حتى نتمكن من دمج التحسينات الخاصة بك ومشاركتها!

تحديث مكدس LMA موجود

يمكنك تحديث مكدس LMA الموجود لديك إلى الإصدار الأحدث. لمزيد من التفاصيل، انظر تحديث مكدس موجود.

تنظيف

تهانينا! لقد أكملت جميع الخطوات اللازمة لإعداد نموذج حل تحليلات المكالمات المباشرة باستخدام خدمات AWS.

عند الانتهاء من تجربة هذا الحل النموذجي، قم بتنظيف مواردك باستخدام وحدة تحكم AWS CloudFormation لحذف مجموعات LMA التي قمت بنشرها. يؤدي هذا إلى حذف الموارد التي تم إنشاؤها عن طريق نشر الحل. يتم الاحتفاظ بحاويات التسجيل S3 وجدول DynamoDB ومجموعات سجل CloudWatch بعد حذف المكدس لتجنب حذف بياناتك.

تحليلات المكالمات الحية: الحل المصاحب

حل رفيقنا، تحليلات المكالمات المباشرة ومساعدة الوكيل (LCA)، يوفر النسخ والتحليلات في الوقت الفعلي لمراكز الاتصال (المكالمات الهاتفية) بدلاً من الاجتماعات. هناك العديد من أوجه التشابه — في الواقع، تم إنشاء LMA باستخدام بنية والعديد من المكونات المشتقة من LCA.

وفي الختام

يوفر نموذج حل Live Meeting Assistant أسلوبًا مرنًا وغنيًا بالميزات وقابلاً للتخصيص لتوفير المساعدة في الاجتماعات المباشرة لتحسين إنتاجيتك أثناء الاجتماعات وبعدها. يستخدم خدمات Amazon AI/ML مثل Amazon Transcribe وAmazon Lex وKnowledge Bases for Amazon Bedrock وAmazon Bedrock LLMs لنسخ واستخراج الرؤى في الوقت الفعلي من صوت اجتماعك.

يتم توفير نموذج تطبيق LMA كمصدر مفتوح - استخدمه كنقطة بداية للحل الخاص بك، وساعدنا على تحسينه من خلال المساهمة بالإصلاحات والميزات عبر طلبات سحب GitHub. تصفح إلى مستودع LMA على GitHub لاستكشاف الكود، اختر شاهد ليتم إعلامك بالإصدارات الجديدة، والتحقق من README للحصول على آخر تحديثات الوثائق.

للحصول على مساعدة الخبراء، الخدمات المهنية AWS وغيرها شركاء AWS هنا للمساعدة.

نحب أن نسمع منك. أخبرنا برأيك في قسم التعليقات ، أو استخدم منتدى المشكلات في مستودع LMA على GitHub.

عن المؤلفين

بوب ستراهان هو مهندس حلول رئيسي في فريق خدمات الذكاء الاصطناعي للغة AWS.

كريس لوت هو مهندس الحلول الرئيسي في فريق خدمات اللغة في AWS AI. لديه 20 عامًا من الخبرة في تطوير برمجيات المؤسسات. يعيش كريس في سكرامنتو، كاليفورنيا ويستمتع بالبستنة والفضاء والسفر حول العالم.

بابو سرينيفاسان متخصص كبير في SA - خدمات الذكاء الاصطناعي للغة في منظمة World Wide Specialist في AWS ، مع أكثر من 24 عامًا من الخبرة في مجال تكنولوجيا المعلومات وآخر 6 سنوات تركز على AWS Cloud. إنه شغوف بالذكاء الاصطناعي / ML. خارج العمل ، يستمتع بالأعمال الخشبية ويسلي الأصدقاء والعائلة (أحيانًا الغرباء) بخفة سحر بطاقة اليد.

كيشور داموداران هو مهندس حلول أول في AWS.

جيليان ارمسترونغ هو مهندس حلول البناء. إنها متحمسة بشأن كيفية قيام السحابة بإتاحة الفرص لمزيد من الأشخاص لاستخدام التكنولوجيا لحل المشكلات ، وهي متحمسة بشكل خاص حول كيف تسمح لنا التقنيات المعرفية ، مثل الذكاء الاصطناعي للمحادثات ، بالتفاعل مع أجهزة الكمبيوتر بطرق أكثر إنسانية.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/live-meeting-assistant-with-amazon-transcribe-amazon-bedrock-and-knowledge-bases-for-amazon-bedrock/