לִרְאוֹת CHANGELOG לתכונות ותיקונים עדכניים.

סביר להניח שחווית את האתגר לרשום הערות במהלך פגישה תוך כדי ניסיון לשים לב לשיחה. סביר להניח שגם חווית את הצורך לבדוק עובדות במהירות משהו שנאמר, או לחפש מידע כדי לענות על שאלה שנשאלה זה עתה בשיחה. או שאולי יש לך חבר צוות שתמיד מצטרף לפגישות מאוחר, ומצפה שתשלח לו סיכום מהיר בצ'אט כדי להתעדכן.

ואז יש פעמים שאחרים מדברים בשפה שאינה השפה הראשונה שלך, ותשמח לקבל תרגום חי של מה שאנשים אומרים כדי לוודא שאתה מבין נכון.

ואחרי שהשיחה מסתיימת, אתה בדרך כלל רוצה ללכוד תקציר לתיעוד שלך, או לשלוח למשתתפים, עם רשימה של כל פריטי הפעולה, הבעלים ותאריכי היעד.

כל זה, ועוד, אפשרי כעת עם פתרון הדוגמה החדש ביותר שלנו, Live Meeting Assistant (LMA).

בדוק את ההדגמה הבאה כדי לראות איך זה עובד.

בפוסט זה, אנו מראים לך כיצד להשתמש ב-LMA עם אמזון תעתיק, סלע אמזון, ו בסיסי ידע עבור Amazon Bedrock.

סקירת פתרונות

הפתרון לדוגמה של LMA לוכד אודיו ומטא נתונים של רמקולים מאפליקציית הפגישות מבוססת הדפדפן שלך (נכון לכתיבת שורות אלה, זום וצלצול נתמכים), או אודיו רק מכל אפליקציית פגישות מבוססת דפדפן אחרת, טלפון softphone או מקור שמע. הוא משתמש ב-Amazon Transcribe לדיבור לטקסט, בבסיסי ידע עבור Amazon Bedrock עבור שאילתות הקשריות מול המסמכים ומקורות הידע של החברה שלך, ובמודלים של Amazon Bedrock עבור תובנות וסיכומים ניתנים להתאמה אישית.

כל מה שאתה צריך מסופק כקוד פתוח אצלנו GitHub ריפו. זה פשוט לפרוס בחשבון AWS שלך. כשתסיים, תתפלא איך הסתדרת בלעדיו!

להלן כמה מהדברים ש-LMA יכולה לעשות:

• תמלול חי עם ייחוס דובר - LMA מופעל על ידי מודלים של Amazon Transcribe ASR לדיבור עם אחזור נמוך ודיוק גבוה לטקסט. אתה יכול ללמד אותו שמות מותגים ומינוח ספציפי לתחום במידת הצורך, באמצעות אוצר מילים מותאם אישית ותכונות מודל שפה מותאם אישית ב- Amazon Transcribe.
  
• תרגום חי - הוא משתמש ב-Amazon Translate כדי להציג כל קטע בשיחה שתורגם לשפת הבחירה שלך, מתוך מבחר של 75 שפות.
  
• עוזר פגישות מודע להקשר - הוא משתמש בבסיסי ידע עבור Amazon Bedrock כדי לספק תשובות מהמקורות המהימנים שלך, תוך שימוש בתמליל החי כהקשר לבדיקת עובדות ושאלות המשך. כדי להפעיל את האסיסטנט, פשוט אמור "אוקיי, עוזר", בחר ב שאל את העוזר! לחצן, או הזן שאלה משלך בממשק המשתמש.
  
• סיכומים של הפגישה לפי דרישה - בלחיצת כפתור בממשק המשתמש, אתה יכול ליצור תקציר, שימושי כאשר מישהו מצטרף מאוחר וצריך להתעדכן. הסיכומים מופקים מהתמליל על ידי Amazon Bedrock. LMA מספקת גם אפשרויות לזיהוי נושא הפגישה הנוכחי, וליצירת רשימה של פריטי פעולה עם בעלים ותאריכי יעד. אתה יכול גם ליצור הנחיות מותאמות אישית משלך ואפשרויות מתאימות.
  
• סיכום אוטומטי ותובנות - כאשר הפגישה הסתיימה, LMA מריץ אוטומטית קבוצה של הנחיות למודל שפה גדול (LLM) ב-Amazon Bedrock כדי לסכם את תמליל הפגישה ולחלץ תובנות. אתה יכול להתאים אישית את ההנחיות האלה גם כן.
  
• הקלטת פגישה - האודיו מאוחסן (אופציונלי) עבורך, כך שתוכל להפעיל מחדש קטעים חשובים בפגישה מאוחר יותר.
  
• רשימת מלאי של פגישות - LMA עוקב אחר כל הפגישות שלך ברשימה הניתנת לחיפוש.
  
• תוסף הדפדפן לוכד אודיו ומטא נתונים של פגישות מאפליקציות פגישות פופולריות – תוסף הדפדפן לוכד מטא-נתונים של הפגישה - כותרת הפגישה ושמות הדוברים הפעילים - ואודיו ממך (המיקרופון שלך) ומאחרים (מלשונית דפדפן הפגישה). נכון לכתיבת שורות אלה, LMA תומך בכרום עבור תוסף הדפדפן, וב-Zoom ו-Cheme עבור אפליקציות פגישות (עם Teams ו-WebEx בקרוב). אפליקציות פגישות עצמאיות אינן פועלות עם LMA - במקום זאת, הפעל את הפגישות שלך בדפדפן.
  

אתה אחראי לציית להגבלות משפטיות, ארגוניות ואתיות החלות על הקלטת פגישות ושיחות. אל תשתמש בפתרון זה כדי להזרים, להקליט או לתמלל שיחות אם אסור אחרת.

תנאים מוקדמים

אתה צריך שיהיה לך חשבון AWS ו- AWS זהות וניהול גישה (IAM) תפקיד ומשתמש עם הרשאות ליצור ולנהל את המשאבים והרכיבים הדרושים עבור יישום זה. אם אין לך חשבון AWS, ראה כיצד אוכל ליצור ולהפעיל חשבון חדש של Amazon Web Services?

אתה גם צריך בסיס ידע קיים באמזון Bedrock. אם עדיין לא הגדרת אחד, ראה צור בסיס ידע. אכלס את מאגר הידע שלך בתוכן כדי להפעיל את עוזר הפגישות בעל ההקשר של LMA.

לבסוף, LMA משתמשת ב- Amazon Bedrock LLMs עבור תכונות סיכום הפגישות שלה. לפני שתמשיך, אם לא עשית זאת בעבר, עליך לבקש גישה לדגמי Amazon Bedrock הבאים:

• Titan Embeddings G1 – טקסט
• אנתרופית: כל הדוגמנים של קלוד

פרוס את הפתרון באמצעות AWS CloudFormation

סיפקנו בנוי מראש AWS CloudFormation תבניות שפורסות את כל מה שאתה צריך בחשבון AWS שלך.

אם אתה מפתח ואתה רוצה לבנות, לפרוס או לפרסם את הפתרון מקוד, עיין ב- מפתח README.

השלם את השלבים הבאים כדי להפעיל את ערימת CloudFormation:

1. התחבר על מנת קונסולת הניהול של AWS.
2. לבחור השקת ערימה עבור אזור ה-AWS הרצוי שלך כדי לפתוח את מסוף AWS CloudFormation וליצור מחסנית חדשה.

אזור	השקת ערימה
מזרח ארה"ב (נ. וירג'יניה)
מערב ארצות הברית (אורגון)

4. בעד שם ערימה, השתמש בערך ברירת המחדל, LMA.
5. בעד כתובת אימייל של מנהל מערכת, השתמש בכתובת דוא"ל חוקית - הסיסמה הזמנית שלך נשלחת לכתובת זו בדוא"ל במהלך הפריסה.
6. בעד דומיין דואר אלקטרוני של חשבון מורשה, השתמש בחלק שם הדומיין של כתובת הדוא"ל הארגונית שלך כדי לאפשר למשתמשים עם כתובות דוא"ל באותו דומיין ליצור חשבונות ממשק משתמש חדשים משלהם, או השאר ריק כדי למנוע ממשתמשים ליצור ישירות חשבונות משלהם. אתה יכול להזין מספר דומיינים כרשימה מופרדת בפסיקים.
7. בעד MeetingAssistService, בחר BEDROCK_KNOWLEDGE_BASE (האפשרות היחידה הזמינה נכון לכתיבת שורות אלו).
8. בעד מזהה בסיס הידע Meeting Assist (קיים), הזן את מזהה בסיס הידע הקיים שלך (לדוגמה, JSXXXXX3D8). אתה יכול להעתיק אותו מקונסולת Amazon Bedrock.
   
9. עבור כל שאר הפרמטרים, השתמש בערכי ברירת המחדל.

אם תרצה להתאים אישית את ההגדרות מאוחר יותר, למשל להוסיף משלך AWS למבדה פונקציות, השתמש באוצר מילים מותאמים אישית ובמודלים של שפה כדי לשפר את הדיוק, לאפשר עריכת מידע מזהה אישי (PII), ועוד, אתה יכול לעדכן את המחסנית עבור פרמטרים אלה.

10. בחר את תיבות הסימון של אישור ולאחר מכן בחר צור ערימה.

מחסנית CloudFormation הראשית משתמשת בערימות מקוננות כדי ליצור את המשאבים הבאים בחשבון AWS שלך:

• שירות אחסון פשוט של אמזון (Amazon S3) דליים להחזיק חפצי בנייה והקלטות שיחות
• An AWS פרגייט משימה עם א איזון עומס יישומים אספקת שרת WebSocket פועל קוד לצרוך זרמי אודיו סטריאו ומעבירה ל-Amazon Transcribe, לפרסם קטעי תמלול ב זרמי נתונים של אמזון קינסי, וצור ואחסן הקלטות שיחות סטריאו
• זרם נתונים של Kinesis להעברת אירועי שיחות וקטעי תמלול לפונקציית עיבוד ההעשרה
• משאבי LMA, כולל QnABot על פתרון AWS מחסנית, אשר מקיימת אינטראקציה עם שירות חיפוש פתוח של אמזון ו- Amazon Bedrock
• אל האני AWS AppSync API, המספק נקודת קצה GraphQL לתמיכה בשאילתות ועדכונים בזמן אמת
• רכיבי אתר אינטרנט, כולל דלי S3, אמזון CloudFront הפצה, ו אמזון קוגניטו מאגר משתמשים
• אפליקציה להורדה מוגדרת מראש לדפדפן עבור דפדפני כרום
• משאבים תומכים אחרים, כולל תפקידים ומדיניות IAM (שימוש בשיטות עבודה מומלצות לפחות זכויות יתר), ענן וירטואלי פרטי של אמזון משאבים (Amazon VPC), אמזון EventBridge חוקי האירוע, ו אמזון CloudWatch יומן קבוצות.

הערימות נמשכות כ-35-40 דקות לפריסה. סטטוס המחסנית הראשית מופיע CREATE_COMPLETE כשהכל נפרס.

הגדר את הסיסמה

לאחר פריסת המחסנית, פתח את ממשק המשתמש האינטרנטי של LMA והגדר את הסיסמה שלך על ידי השלמת השלבים הבאים:

1. פתח את האימייל שקיבלת, בכתובת האימייל שסיפקת, עם הנושא "ברוכים הבאים ל-Live Meeting Assistant!"
2. פתח את דפדפן האינטרנט שלך לכתובת האתר המוצגת בדוא"ל. אתה מופנה לדף הכניסה.
   
3. המייל מכיל סיסמה זמנית שנוצרה בה אתה משתמש כדי להיכנס וליצור סיסמה משלך. שם המשתמש שלך הוא כתובת הדוא"ל שלך.
4. הגדר סיסמה חדשה.

הסיסמה החדשה שלך חייבת להיות באורך של שמונה תווים לפחות, ולהכיל אותיות רישיות וקטנות, בתוספת מספרים ותווים מיוחדים.

5. בצע את ההנחיות כדי לאמת את כתובת הדוא"ל שלך, או בחר לדלג לעשות זאת מאוחר יותר.

אתה מחובר כעת ל-LMA.

קיבלת גם אימייל דומה עם הנושא "קוד אימות הרשמה ל-QnABot". מייל זה מכיל סיסמה זמנית שנוצרה בה אתה משתמש כדי להיכנס וליצור סיסמה משלך במעצב QnABot. אתה משתמש ב-QnABot מעצב רק אם אתה רוצה להתאים אישית אפשרויות והנחיות של LMA. שם המשתמש שלך עבור QnABot הוא Admin. אתה יכול להגדיר את סיסמת ה-QnABot Admin הקבועה שלך עכשיו, או לשמור את האימייל הזה בטוח למקרה שתרצה להתאים אישית דברים מאוחר יותר.

הורד והתקן את תוסף דפדפן Chrome

לחוויית הזרמת הפגישות הטובה ביותר, התקן את הפלאגין לדפדפן LMA (זמין כרגע עבור Chrome):

1. לבחור הורד את ההרחבה של Chrome כדי להוריד את סיומת הדפדפן .zip קובץ (lma-chrome-extension.zip).
   
2. בחר (לחץ לחיצה ימנית) והרחיב את קובץ ה-zip (lma-chrome-extension.zip) כדי ליצור תיקיה מקומית בשם lma-chrome-extension.
3. פתח את Chrome והזן את הקישור chrome://extensions לסרגל הכתובות.
   
4. אפשר מצב מפתח.
5. לבחור העומס פרוק, לנווט אל lma-chrome-extension תיקיה (שפתחת מההורדה), ובחר בחר. זה טוען את התוסף שלך.
6. הצמד את תוסף LMA החדש לסרגל הכלים של הדפדפן לגישה קלה - אתה תשתמש בו לעתים קרובות כדי להזרים את הפגישות שלך!
   

התחל להשתמש ב-LMA

LMA מספקת שתי אפשרויות סטרימינג:

• תוסף לדפדפן כרום - השתמש בזה כדי להזרים מטא נתונים של שמע ורמקולים מאפליקציית דפדפן הפגישה שלך. כרגע זה עובד עם Zoom ו- Chime, אבל אנחנו מקווים להוסיף עוד אפליקציות לפגישה.
• כרטיסיית LMA Stream Audio - השתמש בזה כדי להזרים אודיו מהמיקרופון שלך ומכל אפליקציית פגישות מבוססת דפדפן Chrome, softphone או אפליקציית שמע.

אנו מראים לך כיצד להשתמש בשתי האפשרויות בסעיפים הבאים.

השתמש בתוסף דפדפן Chrome כדי להזרים שיחת זום

בצע את השלבים הבאים כדי להשתמש בתוסף הדפדפן:

1. פתח את תוסף LMA והתחבר עם אישורי LMA שלך.
   
2. הצטרף או התחל פגישת זום בדפדפן האינטרנט שלך (אל תשתמש בלקוח הזום הנפרד).

אם דף הפגישות של Zoom כבר נטען, טען אותו מחדש.

תוסף LMA מזהה אוטומטית ש-Zoom פועל בלשונית הדפדפן, וממלא את שמך ואת שם הפגישה.

3. ספר לאחרים בשיחה שאתה עומד להתחיל להקליט את השיחה באמצעות LMA וקבל את רשותם. אל תמשיך אם המשתתפים מתנגדים.
4. לבחור תתחיל להקשיב.
   
5. קרא וקבל את כתב הוויתור ובחר להתיר כדי לשתף את כרטיסיית הדפדפן.
   

שלוחת LMA מזהה ומציגה באופן אוטומטי את הרמקול הפעיל בשיחה. אם אתם לבד בפגישה, הזמינו כמה חברים להצטרף, ושימו לב שהשמות שבהם השתמשו כדי להצטרף לשיחה מוצגים בשלוחה כשהם מדברים, ומיוחסים לדברים בתמליל LMA.

6. לבחור פתוח ב-LMA כדי לראות את התמליל החי שלך בכרטיסייה חדשה.
7. בחר את שפת התמלול המועדפת עליך, וצור אינטראקציה עם עוזר הפגישה באמצעות משפט ההתעוררות "OK Assistant!" או ה Meeting Assist Bot שִׁמשָׁה.

אל האני שאל את העוזר כפתור מבקש משירות עוזר הפגישה (בסיס הידע של Amazon Bedrock) להציע תגובה טובה על סמך תמליל האינטראקציות האחרונות בפגישה. הקילומטראז' שלך עשוי להשתנות, אז נסה!

8. כשתסיים, בחר הפסק את השידור לסיים את הפגישה ב-LMA.

תוך מספר שניות מופיעים סיכומי סוף הפגישה האוטומטיים והקלטת האודיו הופכת לזמינה. אתה יכול להמשיך להשתמש בבוט לאחר סיום השיחה.

השתמש בלשונית LMA UI Stream Audio כדי להזרים מהמיקרופון שלך ומכל יישום שמע מבוסס דפדפן

תוסף הדפדפן הוא הדרך הנוחה ביותר להזרים מטא נתונים ואודיו מאפליקציות אינטרנט נתמכות לפגישות. עם זאת, אתה יכול גם להשתמש ב-LMA כדי להזרים רק את האודיו מכל טלפון softphone מבוסס דפדפן, אפליקציית פגישות או מקור אודיו אחר המתנגן בדפדפן Chrome שלך, באמצעות האפליקציה הנוחה הזרמת אודיו לשונית המובנית בממשק המשתמש של LMA.

1. פתח כל מקור שמע בכרטיסיית דפדפן.

לדוגמה, זה יכול להיות טלפון softphone (כגון Google Voice), אפליקציית פגישות אחרת, או למטרות הדגמה, אתה יכול פשוט להפעיל הקלטת אודיו מקומית או סרטון YouTube בדפדפן שלך כדי לחקות משתתף אחר בפגישה. אם אתה רק רוצה לנסות את זה, פתח את הקובץ הבא וידאו של YouTube בלשונית חדשה.

2. בממשק המשתמש של האפליקציה LMA, בחר זרם אודיו (ללא הרחבה) כדי לפתוח את הכרטיסייה Stream Audio.
3. בעד מזהה פגישה, הזן מזהה פגישה.
4. בעד שם, הזן לעצמך שם (מוחל על אודיו מהמיקרופון שלך).
5. בעד שמות המשתתפים, הזן את שמות המשתתפים (מוחל על מקור השמע הנכנס).
6. לבחור התחל סטרימינג.
   
7. בחר את לשונית הדפדפן שפתחת קודם לכן ובחר להתיר לשתף.
8. בחר שוב בכרטיסייה ממשק המשתמש של LMA כדי להציג את מזהה הפגישה החדש שלך ברשימה, המציג את הפגישה בתור בתהליך.
   
9. בחר את מזהה הפגישה כדי לפתוח את דף הפרטים, וצפה בתמליל השמע הנכנס, המיוחס לשמות המשתתפים שהזנת. אם תדבר, תראה את תמלול הקול שלך.
   

השתמש הזרמת אודיו תכונה להזרים מכל אפליקציית softphone, אפליקציית פגישות או כל אודיו זורם אחר המתנגן בדפדפן, יחד עם אודיו משלך שנקלט מהמיקרופון שבחרת. קבל תמיד אישור מאחרים לפני הקלטתם באמצעות LMA, או כל אפליקציית הקלטה אחרת.

סקירת זרימת עיבוד

איך LMA תמללה וניתחה את הפגישה שלך? בואו נראה איך זה עובד. התרשים הבא מציג את המרכיבים האדריכליים העיקריים וכיצד הם מתאימים זה לזה ברמה גבוהה.

משתמש LMA מצטרף לפגישה בדפדפן שלו, מאפשר את תוסף הדפדפן LMA ומאמת באמצעות אישורי ה-LMA שלו. אם אפליקציית הפגישה (לדוגמה, Zoom.us) נתמכת על ידי סיומת LMA, שם המשתמש, שם הפגישה ושמות הדוברים הפעילים מזוהים אוטומטית על ידי התוסף. אם אפליקציית הפגישה אינה נתמכת על ידי התוסף, אזי משתמש LMA יכול להזין ידנית את שמו ואת נושא הפגישה - שמות הדוברים הפעילים לא יזוהו.

לאחר קבלת הרשאה ממשתתפים אחרים, משתמש LMA בוחר התחל להאזין בחלונית ההרחבה של LMA. נוצר חיבור WebSocket מאובטח לכתובת ה-URL של מחסנית LMA WebSocket שהוגדרה מראש, ואסימון האימות של המשתמש מאומת. תוסף הדפדפן LMA שולח הודעת START ל-WebSocket המכילה את המטא-נתונים של הפגישה (שם, נושא וכן הלאה), ומתחיל להזרים אודיו דו-ערוצי מהמיקרופון של המשתמש ומערוץ האודיו הנכנס המכיל את הקולות של משתתפי הפגישה האחרים. התוסף מנטר את אפליקציית הפגישה כדי לזהות שינויים פעילים ברמקולים במהלך השיחה, ושולחת מטא נתונים אלה ל-WebSocket, מה שמאפשר ל-LMA לתייג קטעי דיבור עם שם הדובר.

שרת WebSocket הפועל ב-Fargate צורך את קטעי האודיו הדו-ערוציים בזמן אמת מהזרם הנכנס של WebSocket. האודיו מוזרם ל- Amazon Transcribe, ותוצאות התמלול נכתבות בזמן אמת ל- Kinesis Data Streams.

כל הפעלה של עיבוד פגישה פועלת עד שהמשתמש בוחר להפסיק להאזין בחלונית ההרחבה של LMA, או לסיים את הפגישה ולסגור את הכרטיסייה. בסוף השיחה, הפונקציה יוצרת קובץ הקלטת סטריאו באמזון S3 (אם ההקלטה הופעלה בעת פריסת הערימה).

פונקציית Lambda הנקראת Call Event Processor, המוזנת על ידי Kinesis Data Streams, מעבדת ומעשירה באופן אופציונלי מטא-נתונים ופלחי תעתיק של פגישות. מעבד אירועי השיחות משתלב עם שירותי הסיוע לפגישות. LMA מופעל על ידי אמזון לקס, בסיסי ידע עבור Amazon Bedrock ו-Amazon Bedrock LLMs המשתמשים בקוד פתוח QnABot על פתרון AWS לתשובות המבוססות על שאלות נפוצות וכמתזמר לניתוב בקשות לשירות הבינה המלאכותית המתאים. מעבד אירועי השיחות גם מפעיל את פונקציית תמלול ה-Lambda כאשר השיחה מסתיימת, כדי ליצור סיכום של השיחה מהתמלול המלא.

הפונקציה Call Event Processor מתממשקת עם AWS AppSync כדי להתמיד בשינויים (מוטציות). אמזון דינמו ולשלוח עדכונים בזמן אמת ללקוחות האינטרנט המחוברים של משתמש LMA (נפתח בנוחות על ידי בחירה באפשרות פתח ב-LMA בתוסף הדפדפן).

נכסי ממשק המשתמש של ה-LMA מתארחים ב-Amazon S3 ומוגשים באמצעות CloudFront. האימות מסופק על ידי Amazon Cognito.

כאשר המשתמש מאומת, אפליקציית האינטרנט מייצרת חיבור מאובטח של GraphQL ל-API של AWS AppSync, ונרשמת לקבלת אירועים בזמן אמת כגון שיחות חדשות ושינויי סטטוס שיחות עבור דף רשימת הפגישות, ומקטעי תמלול חדשים או מעודכנים ומחושבים ניתוח עבור דף פרטי הפגישה. כאשר התרגום מופעל, אפליקציית האינטרנט גם מקיימת אינטראקציה מאובטחת עם Amazon Translate כדי לתרגם את תמלול הפגישה לשפה הנבחרת.

כל זרימת העיבוד, מדיבור שנקלט ועד לעדכוני דפי אינטרנט חיים, מונעת על ידי אירועים, והשהייה מקצה לקצה היא קצרה - בדרך כלל רק שניות ספורות.

ניטור ופתרון תקלות

AWS CloudFormation מדווח על כשלים וגורמים בפריסה בערימה הרלוונטית אירועים לשונית. לִרְאוֹת פתרון בעיות של CloudFormation לקבלת עזרה בבעיות פריסה נפוצות. חפש כשלי פריסה שנגרמו משגיאות חריגה מהגבלה; ערימות ה-LMA יוצרות משאבים הכפופים למכסות שירות ברירת המחדל של חשבון ואזור, כגון כתובות IP אלסטיות ושערי NAT. בעת פתרון בעיות של כשלים במחסנית CloudFormation, נווט תמיד אל כל ערימות מקוננות שנכשלו כדי למצוא את כשל המשאב המקונן הראשון שדווח עליו - כמעט תמיד זו הסיבה העיקרית.

ל- Amazon Transcribe מגבלת ברירת מחדל של 25 זרמי תמלול בו-זמנית, מה שמגביל את LMA ל-25 פגישות בו-זמנית בחשבון או באזור נתון של AWS. בקש הגדלה של מספר זרמי HTTP/2 במקביל לתמלול סטרימינג אם יש לך משתמשים רבים ואתה צריך לטפל במספר גדול יותר של פגישות במקביל בחשבון שלך.

LMA מספק ניטור זמן ריצה ויומנים עבור כל רכיב באמצעות CloudWatch:

• WebSocket עיבוד ותמלול משימת Fargate – על ה שירות מיכלים אלסטי של אמזון (Amazon ECS) קונסולת, נווט אל אשכולות עמוד ופתח את LMA-WEBSOCKETSTACK-xxxx-TranscribingCluster פוּנקצִיָה. בחר את משימות לשונית ופתח את דף המשימות. בחר יומנים ו הצג ב-CloudWatch כדי לבדוק את יומני המשימות של מתמלל WebSocket.
• התקשר לפונקציית Lambda למעבד אירועים - בקונסולת Lambda, פתח את LMA-AISTACK-CallEventProcessor פוּנקצִיָה. בחר את צג לשונית כדי לראות מדדי פונקציה. בחר הצג יומנים ב- CloudWatch כדי לבדוק יומני פונקציות.
• API של AWS AppSync - במסוף AWS AppSync, פתח את ה CallAnalytics-LMA ממשק API. בחר ניטור בחלונית הניווט כדי לראות מדדי API. בחר הצג יומנים ב- CloudWatch כדי לבדוק את יומני ה-API של AWS AppSync.

עבור QnABot ב-AWS עבור Meeting Assist, עיין ב- פגישה Assist README, וה מדריך הטמעת פתרון QnABot לקבלת מידע נוסף.

הערכת עלויות

LMA מספקת שרת WebSocket המשתמש במשאבי רשת של Fargate (2vCPU) ו-VPC בעלות של כ-$0.10 לשעה (כ-$72 לחודש). לפרטים נוספים, ראה תמחור AWS Fargate.

LMA מופעל באמצעות QnABot ובסיסי ידע עבור Amazon Bedrock. אתה יוצר בסיס ידע משלך, שבו אתה משתמש עבור LMA ואפשרויות שימוש אחרות. לפרטים נוספים, ראה תמחור סלע אמזון. שירותי AWS נוספים המשמשים את פתרון QnABot עולים כ-$0.77 לשעה. לפרטים נוספים, עיין ברשימה של עלויות פתרון QnABot על AWS.

עלויות הפתרון הנותרות מבוססות על שימוש.

עלויות השימוש מסתכמות בכ-$0.17 לשיחה של 5 דקות, אם כי זה יכול להשתנות בהתאם לאפשרויות שנבחרו (כגון תרגום), מספר סיכומי LLM והשימוש הכולל מכיוון שהשימוש משפיע על הזכאות ל-Free Tier ותמחור מדורג בנפח עבור שירותים רבים . למידע נוסף על השירותים הכרוכים בעלויות שימוש, ראה את הפרטים הבאים:

כדי לחקור בעצמך עלויות LMA, השתמש סייר עלויות AWS או בחר פרטי חשבון בלוח המחוונים לחיוב של AWS כדי לראות את ההוצאה שלך עד כה לפי שירות.

התאם אישית את הפריסה שלך

השתמש בפרמטרים הבאים של תבנית CloudFormation בעת יצירה או עדכון של המחסנית שלך כדי להתאים אישית את פריסת ה-LCA שלך:

• כדי להשתמש בדלי S3 משלך להקלטות פגישות, השתמש התקשר לשם דלי הקלטות אודיו ו קידומת קובץ שמע.
• כדי לבטל PII מהתמלולים, הגדר אפשר עריכת תוכן עבור תמלולים לאמת, ולהתאים סוגי ישויות לעיבוד PII של תמלול לפי צורך. למידע נוסף, ראה עיבוד או זיהוי PII בזרם בזמן אמת.
• כדי לשפר את דיוק התמלול עבור ראשי תיבות וז'רגון טכניים וספציפיים לתחום, הגדר תמלול שם אוצר מילים מותאם אישית לשם של אוצר מילים מותאם אישית שכבר יצרת ב- Amazon Transcribe או הגדרת תמלול שם מודל שפה מותאמת אישית לשם של מודל שפה מותאם אישית שנוצר בעבר. למידע נוסף, ראה שיפור דיוק התמלול.
• כדי לתמלל פגישות בשפה נתמכת שאינה אנגלית אמריקאית, בחר את הערך הרצוי עבור שפה לתמלול.
• כדי להתאים אישית את עיבוד התמליל, הגדר אופציונלית Lambda Hook Function ARN לעיבוד פלח תמלול מותאם אישית ל-ARN של פונקציית הלמבדה שלך. למידע נוסף, ראה שימוש בפונקציית Lambda כדי לספק לוגיקה מותאמת אישית לעיבוד תמלול.
• כדי להתאים אישית את יכולות הסיוע לפגישות המבוססות על פתרון QnABot על AWS, Amazon Lex, Amazon Bedrock ובסיסי ידע לשילוב Amazon Bedrock, ראה פגישה Assist README.
• כדי להתאים אישית את סיכום תמלול על ידי הגדרת LMA לקרוא לפונקציית Lambda משלך, ראה אפשרות תמלול LAMBDA.
• כדי להתאים אישית את סיכום תמלול על ידי שינוי הנחיות ברירת המחדל או הוספת הנחיות חדשות, ראה סיכום תמלול.
• כדי לשנות את תקופת השמירה, הגדר תפוגת שיא בימים לערך הרצוי. כל נתוני השיחה נמחקים לצמיתות מאחסון LMA DynamoDB לאחר תקופה זו. שינויים בהגדרה זו חלים רק על שיחות חדשות שהתקבלו לאחר העדכון.

LMA הוא פרויקט קוד פתוח. אתה יכול לחלק את מאגר GitHub של LMA, לשפר את הקוד ולשלוח לנו בקשות משיכה כדי שנוכל לשלב ולשתף את השיפורים שלך!

עדכן ערימת LMA קיימת

אתה יכול לעדכן את ערימת ה-LMA הקיימת שלך למהדורה האחרונה. לפרטים נוספים, ראה עדכן מחסנית קיימת.

לנקות את

מזל טוב! השלמת את כל השלבים להגדרת פתרון לדוגמה לניתוח שיחות בזמן אמת באמצעות שירותי AWS.

כשתסיים להתנסות בפתרון לדוגמה זה, נקה את המשאבים שלך באמצעות מסוף AWS CloudFormation כדי למחוק את ערימות ה-LMA שפרסת. פעולה זו מוחקת משאבים שנוצרו על ידי פריסת הפתרון. דליי ההקלטה של ​​S3, טבלת DynamoDB וקבוצות היומן של CloudWatch נשמרות לאחר מחיקת הערימה כדי למנוע מחיקת הנתונים שלך.

ניתוח שיחות חי: פתרון נלווה

הפתרון הנלווה שלנו, ניתוח שיחות חי וסיוע לסוכן (LCA), מציעה תמלול וניתוח בזמן אמת למרכזי קשר (שיחות טלפון) במקום לפגישות. ישנם קווי דמיון רבים - למעשה, LMA נבנה באמצעות ארכיטקטורה ורכיבים רבים שנגזרו מ-LCA.

סיכום

הפתרון לדוגמה של Live Meeting Assistant מציע גישה גמישה, עשירה בתכונות וניתנת להתאמה אישית כדי לספק סיוע בפגישה חיה כדי לשפר את הפרודוקטיביות שלך במהלך ואחרי פגישות. הוא משתמש בשירותי אמזון AI/ML כמו Amazon Transcribe, Amazon Lex, Knowledge Bases for Amazon Bedrock ו-Amazon Bedrock LLMs כדי לתמלל ולחלץ תובנות בזמן אמת מאודיו הפגישה שלך.

יישום ה-LMA לדוגמה מסופק כקוד פתוח - השתמש בו כנקודת התחלה לפתרון משלך, ועזור לנו לשפר אותו על ידי תרומה של תיקונים ותכונות חזרה באמצעות בקשות משיכה של GitHub. דפדף אל ה מאגר LMA GitHub כדי לחקור את הקוד, בחר שעון לקבל הודעה על מהדורות חדשות, ולבדוק את README לעדכוני התיעוד האחרונים.

לסיוע מומחה, שירותים מקצועיים של AWS ואחר שותפי AWS נמצאים כאן כדי לעזור.

נשמח לשמוע ממך. ספר לנו מה אתה חושב בקטע התגובות, או השתמש בפורום הבעיות ב- מאגר LMA GitHub.

על המחברים

בוב סטרהאן הוא אדריכל פתרונות ראשי בצוות שירותי AI של שפת AWS.

כריס לוט הוא ארכיטקט פתרונות ראשי בצוות שירותי השפה של AWS AI. יש לו 20 שנות ניסיון בפיתוח תוכנה ארגונית. כריס גר בסקרמנטו, קליפורניה ונהנה מגינון, תעופה וחלל ומטיילים בעולם.

באבו סריניוואסן הוא Sr. Specialist SA – שירותי בינה מלאכותית בשפה בארגון World Wide Specialist ב-AWS, עם למעלה מ-24 שנות ניסיון ב-IT וב-6 השנים האחרונות התמקד בענן AWS. הוא נלהב מבינה מלאכותית/ML. מחוץ לעבודה, הוא נהנה מעבודות עץ ומארח חברים ובני משפחה (לפעמים זרים) עם קסם קלפים.

Kishore Dhamodaran הוא אדריכל פתרונות בכיר ב-AWS.

ג'יליאן ארמסטרונג הוא אדריכל פתרונות בונה. היא נרגשת מהאופן שבו הענן פותח הזדמנויות ליותר אנשים להשתמש בטכנולוגיה כדי לפתור בעיות, ובעיקר נרגשת מהאופן שבו טכנולוגיות קוגניטיביות, כמו AI בשיחות, מאפשרות לנו לקיים אינטראקציה עם מחשבים בדרכים אנושיות יותר.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/live-meeting-assistant-with-amazon-transcribe-amazon-bedrock-and-knowledge-bases-for-amazon-bedrock/