जेफिरनेट लोगो

अमेज़ॅन ट्रांसक्राइब, अमेज़ॅन बेडरॉक और अमेज़ॅन बेडरॉक के लिए नॉलेज बेस के साथ लाइव मीटिंग असिस्टेंट | अमेज़न वेब सेवाएँ

दिनांक:

देख चैंज नवीनतम सुविधाओं और सुधारों के लिए।

आपने किसी मीटिंग के दौरान बातचीत पर ध्यान देने की कोशिश करते समय नोट्स लेने की चुनौती का अनुभव किया होगा। संभवतः आपने भी कही गई किसी बात की तुरंत तथ्य-जांच करने या कॉल में पूछे गए किसी प्रश्न का उत्तर देने के लिए जानकारी देखने की आवश्यकता महसूस की होगी। या हो सकता है कि आपके पास एक टीम सदस्य हो जो हमेशा देर से बैठकों में शामिल होता है, और आपसे अपेक्षा करता है कि आप उन्हें चैट पर एक त्वरित सारांश भेजें ताकि वे उनसे मिल सकें।

फिर कई बार ऐसा होता है कि दूसरे लोग ऐसी भाषा में बात कर रहे होते हैं जो आपकी पहली भाषा नहीं है, और यह सुनिश्चित करने के लिए कि आप सही ढंग से समझ रहे हैं, लोग जो कह रहे हैं उसका लाइव अनुवाद करना आपको अच्छा लगेगा।

और कॉल समाप्त होने के बाद, आप आम तौर पर अपने रिकॉर्ड के लिए एक सारांश कैप्चर करना चाहते हैं, या सभी कार्रवाई वस्तुओं, मालिकों और नियत तारीखों की सूची के साथ प्रतिभागियों को भेजना चाहते हैं।

यह सब, और बहुत कुछ, अब हमारे नवीनतम नमूना समाधान, लाइव मीटिंग असिस्टेंट (एलएमए) के साथ संभव है।

यह कैसे काम करता है यह देखने के लिए निम्नलिखित डेमो देखें।

इस पोस्ट में, हम आपको दिखाते हैं कि एलएमए का उपयोग कैसे करें Amazon Transcribe, अमेज़ॅन बेडरॉक, तथा अमेज़ॅन बेडरॉक के लिए ज्ञानकोष.

समाधान अवलोकन

एलएमए नमूना समाधान आपके ब्राउज़र-आधारित मीटिंग ऐप (इस लेखन के समय, ज़ूम और चाइम समर्थित हैं) से स्पीकर ऑडियो और मेटाडेटा कैप्चर करता है, या केवल किसी अन्य ब्राउज़र-आधारित मीटिंग ऐप, सॉफ्टफ़ोन या ऑडियो स्रोत से ऑडियो कैप्चर करता है। यह टेक्स्ट को बोलने के लिए अमेज़ॅन ट्रांसक्राइब का उपयोग करता है, आपकी कंपनी के दस्तावेजों और ज्ञान स्रोतों के खिलाफ प्रासंगिक प्रश्नों के लिए अमेज़ॅन बेडरॉक के लिए नॉलेज बेस और अनुकूलन योग्य ट्रांसक्रिप्शन अंतर्दृष्टि और सारांश के लिए अमेज़ॅन बेडरॉक मॉडल का उपयोग करता है।

आपको जो कुछ भी चाहिए वह हमारे यहां खुले स्रोत के रूप में प्रदान किया जाता है गीथहब रेपो. इसे आपके AWS खाते में तैनात करना आसान है। जब आपका काम पूरा हो जाएगा, तो आपको आश्चर्य होगा कि आपने इसके बिना कैसे काम किया!

निम्नलिखित कुछ चीजें हैं जो एलएमए कर सकता है:

  • स्पीकर एट्रिब्यूशन के साथ लाइव ट्रांसक्रिप्शन - एलएमए कम-विलंबता, उच्च-सटीकता वाले भाषण से लेकर पाठ तक के लिए अमेज़ॅन ट्रांसक्राइब एएसआर मॉडल द्वारा संचालित है। यदि आवश्यक हो तो आप अमेज़ॅन ट्रांसक्राइब में कस्टम शब्दावली और कस्टम भाषा मॉडल सुविधाओं का उपयोग करके इसे ब्रांड नाम और डोमेन-विशिष्ट शब्दावली सिखा सकते हैं।
  • लाइव अनुवाद - यह वैकल्पिक रूप से 75 भाषाओं के चयन में से बातचीत के प्रत्येक खंड को आपकी पसंद की भाषा में अनुवादित दिखाने के लिए अमेज़ॅन अनुवाद का उपयोग करता है।
  • प्रसंग-जागरूक बैठक सहायक - यह आपके विश्वसनीय स्रोतों से उत्तर प्रदान करने के लिए अमेज़ॅन बेडरॉक के लिए नॉलेज बेस का उपयोग करता है, तथ्य-जांच और अनुवर्ती प्रश्नों के संदर्भ के रूप में लाइव ट्रांसक्रिप्ट का उपयोग करता है। सहायक को सक्रिय करने के लिए, बस "ठीक है, सहायक" कहें, चुनें सहायक से पूछें! बटन, या यूआई में अपना स्वयं का प्रश्न दर्ज करें।
  • बैठक का ऑन-डिमांड सारांश - यूआई पर एक बटन पर क्लिक करके, आप एक सारांश तैयार कर सकते हैं, जो तब उपयोगी होता है जब कोई देर से शामिल होता है और उसे पकड़ने की जरूरत होती है। सारांश अमेज़ॅन बेडरॉक द्वारा प्रतिलेख से तैयार किए गए हैं। एलएमए वर्तमान बैठक विषय की पहचान करने और मालिकों और नियत तारीखों के साथ कार्रवाई वस्तुओं की एक सूची तैयार करने के लिए विकल्प भी प्रदान करता है। आप अपने स्वयं के कस्टम संकेत और संबंधित विकल्प भी बना सकते हैं।
  • स्वचालित सारांश और अंतर्दृष्टि - जब मीटिंग समाप्त हो जाती है, तो एलएमए स्वचालित रूप से मीटिंग ट्रांसक्रिप्ट को सारांशित करने और अंतर्दृष्टि निकालने के लिए अमेज़ॅन बेडरॉक पर बड़े भाषा मॉडल (एलएलएम) संकेतों का एक सेट चलाता है। आप इन संकेतों को कस्टमाइज़ भी कर सकते हैं.
  • मीटिंग रिकॉर्डिंग - ऑडियो (वैकल्पिक रूप से) आपके लिए संग्रहीत है, ताकि आप बाद में मीटिंग के महत्वपूर्ण अनुभागों को फिर से चला सकें।
  • बैठकों की सूची - एलएमए एक खोज योग्य सूची में आपकी सभी बैठकों पर नज़र रखता है।
  • ब्राउज़र एक्सटेंशन लोकप्रिय मीटिंग ऐप्स से ऑडियो और मीटिंग मेटाडेटा कैप्चर करता है - ब्राउज़र एक्सटेंशन मीटिंग मेटाडेटा - मीटिंग शीर्षक और सक्रिय वक्ताओं के नाम - और आपके (आपके माइक्रोफ़ोन) और अन्य (मीटिंग ब्राउज़र टैब से) के ऑडियो को कैप्चर करता है। इस लेखन के समय, एलएमए ब्राउज़र एक्सटेंशन के लिए क्रोम का समर्थन करता है, और मीटिंग ऐप्स के लिए ज़ूम और चाइम का समर्थन करता है (टीम्स और वेबएक्स जल्द ही आ रहे हैं)। स्टैंडअलोन मीटिंग ऐप्स एलएमए के साथ काम नहीं करते हैं - इसके बजाय, ब्राउज़र में अपनी मीटिंग लॉन्च करें।

आप कानूनी, कॉर्पोरेट और नैतिक प्रतिबंधों का अनुपालन करने के लिए जिम्मेदार हैं जो मीटिंग और कॉल रिकॉर्ड करने पर लागू होते हैं। यदि अन्यथा निषिद्ध है तो कॉल को स्ट्रीम करने, रिकॉर्ड करने या ट्रांसक्राइब करने के लिए इस समाधान का उपयोग न करें।

.. पूर्वापेक्षाएँ

आपके पास एक AWS खाता और एक होना चाहिए AWS पहचान और अभिगम प्रबंधन (IAM) भूमिका और उपयोगकर्ता के पास इस एप्लिकेशन के लिए आवश्यक संसाधनों और घटकों को बनाने और प्रबंधित करने की अनुमति है। यदि आपके पास AWS खाता नहीं है, तो देखें मैं एक नया अमेज़ॅन वेब सेवा खाता कैसे बनाऊं और सक्रिय करूं?

आपको अमेज़ॅन बेडरॉक में मौजूदा ज्ञान आधार की भी आवश्यकता है। यदि आपने अभी तक कोई सेटअप नहीं किया है, तो देखें एक ज्ञान आधार बनाएँ. एलएमए के संदर्भ-जागरूक मीटिंग सहायक को सशक्त बनाने के लिए अपने ज्ञानकोष को सामग्री से भरें।

अंत में, एलएमए अपनी बैठक सारांश सुविधाओं के लिए अमेज़ॅन बेडरॉक एलएलएम का उपयोग करता है। आगे बढ़ने से पहले, यदि आपने पहले ऐसा नहीं किया है, तो अवश्य करें अनुरोध का उपयोग निम्नलिखित अमेज़ॅन बेडरॉक मॉडल के लिए:

  • टाइटन एंबेडिंग G1 - पाठ
  • एंथ्रोपिक: सभी क्लाउड मॉडल

AWS CloudFormation का उपयोग करके समाधान को तैनात करें

हमने पूर्व-निर्मित प्रदान किया है एडब्ल्यूएस CloudFormation ऐसे टेम्प्लेट जो आपके AWS खाते में आपकी ज़रूरत की हर चीज़ तैनात करते हैं।

यदि आप एक डेवलपर हैं और आप कोड से समाधान बनाना, तैनात करना या प्रकाशित करना चाहते हैं, तो देखें डेवलपर रीडमी.

क्लाउडफॉर्मेशन स्टैक लॉन्च करने के लिए निम्नलिखित चरणों को पूरा करें:

  1. में प्रवेश करें एडब्ल्यूएस प्रबंधन कंसोल.
  2. चुनें स्टैक लॉन्च करें अपने इच्छित AWS क्षेत्र के लिए AWS CloudFormation कंसोल खोलें और एक नया स्टैक बनाएं।
क्षेत्र स्टैक लॉन्च करें
यूएस ईस्ट (एन। वर्जीनिया)
यूएस वेस्ट (ओरेगन)
  1. के लिए ढेर का नाम, डिफ़ॉल्ट मान, LMA का उपयोग करें।
  2. के लिए व्यवस्थापक ईमेल पता, एक वैध ईमेल पते का उपयोग करें—परिनियोजन के दौरान आपका अस्थायी पासवर्ड इस पते पर ईमेल किया जाता है।
  3. के लिए अधिकृत खाता ईमेल डोमेन, समान डोमेन में ईमेल पते वाले उपयोगकर्ताओं को अपने स्वयं के नए यूआई खाते बनाने की अनुमति देने के लिए अपने कॉर्पोरेट ईमेल पते के डोमेन नाम भाग का उपयोग करें, या उपयोगकर्ताओं को सीधे अपने स्वयं के खाते बनाने से रोकने के लिए खाली छोड़ दें। आप एकाधिक डोमेन को अल्पविराम से अलग की गई सूची के रूप में दर्ज कर सकते हैं।
  4. के लिए मीटिंगअसिस्टसेवा, चुनें BEDROCK_KNOWLEDGE_BASE (इस लेखन के समय एकमात्र उपलब्ध विकल्प)।
  5. के लिए मीटिंग असिस्ट बेडरॉक नॉलेज बेस आईडी (मौजूदा), अपनी मौजूदा ज्ञानकोष आईडी दर्ज करें (उदाहरण के लिए, JSXXXXX3D8). आप इसे अमेज़न बेडरॉक कंसोल से कॉपी कर सकते हैं।
  6. अन्य सभी मापदंडों के लिए, डिफ़ॉल्ट मानों का उपयोग करें।

यदि आप बाद में सेटिंग्स को कस्टमाइज़ करना चाहते हैं, उदाहरण के लिए अपनी सेटिंग्स जोड़ना AWS लाम्बा फ़ंक्शंस, सटीकता में सुधार के लिए कस्टम शब्दावली और भाषा मॉडल का उपयोग करें, व्यक्तिगत रूप से पहचान योग्य जानकारी (पीआईआई) संशोधन को सक्षम करें, और बहुत कुछ, आप इन मापदंडों के लिए स्टैक को अपडेट कर सकते हैं।

  1. पावती चेक बॉक्स चुनें, फिर चुनें स्टैक बनाएँ.

मुख्य CloudFormation स्टैक आपके AWS खाते में निम्नलिखित संसाधन बनाने के लिए नेस्टेड स्टैक का उपयोग करता है:

  • अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बिल्ड कलाकृतियों और कॉल रिकॉर्डिंग को रखने के लिए बकेट
  • An AWS फरगेट एक के साथ कार्य आवेदन लोड Balancer स्टीरियो ऑडियो स्ट्रीम का उपभोग करने और अमेज़ॅन ट्रांसक्राइब को रिले करने, ट्रांसक्रिप्शन सेगमेंट प्रकाशित करने के लिए एक वेबसॉकेट सर्वर रनिंग कोड प्रदान करना अमेज़न Kinesis डेटा स्ट्रीम, और स्टीरियो कॉल रिकॉर्डिंग बनाएं और संग्रहीत करें
  • संवर्धन प्रसंस्करण फ़ंक्शन में कॉल इवेंट और ट्रांसक्रिप्शन सेगमेंट को रिले करने के लिए एक किनेसिस डेटा स्ट्रीम
  • एलएमए संसाधन, जिनमें शामिल हैं AWS समाधान पर QnABot स्टैक, जिसके साथ इंटरैक्ट होता है अमेज़न ओपन सर्च सर्विस और अमेज़ॅन बेडरॉक
  • RSI एडब्ल्यूएस ऐपसिंक एपीआई, जो प्रश्नों और रीयल-टाइम अपडेट का समर्थन करने के लिए एक ग्राफकॉल एंडपॉइंट प्रदान करता है
  • S3 बकेट सहित वेबसाइट घटक, अमेज़न CloudFront वितरण, और अमेज़ॅन कॉग्निटो उपयोगकर्ता पूल
  • क्रोम ब्राउज़र के लिए एक डाउनलोड करने योग्य पूर्व-कॉन्फ़िगर ब्राउज़र एक्सटेंशन एप्लिकेशन
  • आईएएम भूमिकाएं और नीतियां (कम से कम विशेषाधिकार वाली सर्वोत्तम प्रथाओं का उपयोग करके) सहित अन्य सहायक संसाधन, अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी) संसाधन, अमेज़न EventBridge घटना नियम, और अमेज़ॅन क्लाउडवॉच लॉग समूह।

स्टैक को तैनात होने में लगभग 35-40 मिनट लगते हैं। मुख्य स्टैक स्थिति दिखाता है बनाएं_पूरा करें जब सब कुछ तैनात है.

अपना पासवर्ड निर्धारित करें

स्टैक तैनात करने के बाद, एलएमए वेब यूजर इंटरफेस खोलें और निम्नलिखित चरणों को पूरा करके अपना पासवर्ड सेट करें:

  1. आपके द्वारा प्राप्त ईमेल को आपके द्वारा दिए गए ईमेल पते पर खोलें, जिसका विषय था "लाइव मीटिंग असिस्टेंट में आपका स्वागत है!"
  2. ईमेल में दिखाए गए यूआरएल पर अपना वेब ब्राउज़र खोलें। आपको लॉगिन पृष्ठ पर निर्देशित किया गया है।
  3. ईमेल में एक जेनरेट किया गया अस्थायी पासवर्ड होता है जिसका उपयोग आप लॉग इन करने और अपना पासवर्ड बनाने के लिए करते हैं। आपका उपयोगकर्ता नाम ही आपका ईमेल पता है.
  4. नया पासवर्ड सेट करें।

आपके नए पासवर्ड की लंबाई कम से कम आठ वर्णों की होनी चाहिए, और इसमें अपरकेस और लोअरकेस वर्ण, साथ ही संख्याएँ और विशेष वर्ण होने चाहिए।

  1. अपना ईमेल पता सत्यापित करने के लिए निर्देशों का पालन करें, या चुनें स्किप इसे बाद में करना.

अब आप एलएमए में लॉग इन हैं।

आपको भी "QnABot साइनअप सत्यापन कोड" विषय के साथ एक समान ईमेल प्राप्त हुआ था। इस ईमेल में एक जेनरेट किया गया अस्थायी पासवर्ड है जिसका उपयोग आप लॉग इन करने और QnABot डिज़ाइनर में अपना पासवर्ड बनाने के लिए करते हैं। आप QnABot डिज़ाइनर का उपयोग केवल तभी करें जब आप LMA विकल्पों और संकेतों को अनुकूलित करना चाहते हों। QnABot के लिए आपका उपयोगकर्ता नाम एडमिन है। आप अभी अपना स्थायी QnABot एडमिन पासवर्ड सेट कर सकते हैं, या यदि आप बाद में चीजों को कस्टमाइज़ करना चाहते हैं तो इस ईमेल को सुरक्षित रख सकते हैं।

क्रोम ब्राउज़र एक्सटेंशन डाउनलोड और इंस्टॉल करें

सर्वोत्तम मीटिंग स्ट्रीमिंग अनुभव के लिए, एलएमए ब्राउज़र प्लगइन इंस्टॉल करें (वर्तमान में क्रोम के लिए उपलब्ध):

  1. चुनें क्रोम एक्सटेंशन डाउनलोड करें ब्राउज़र एक्सटेंशन .zip फ़ाइल डाउनलोड करने के लिए (lma-chrome-extension.zip).
  2. चुनें (राइट-क्लिक करें) और .zip फ़ाइल का विस्तार करें (lma-chrome-extension.zip) नामक एक स्थानीय फ़ोल्डर बनाने के लिए lma-chrome-extension.
  3. Chrome खोलें और लिंक दर्ज करें chrome://extensions एड्रेस बार में।
  4. सक्षम डेवलपर मोड.
  5. चुनें लोड अनपैक्ड, नेविगेट करें lma-chrome-extension फ़ोल्डर (जिसे आपने डाउनलोड से अनज़िप किया है), और चुनें चुनते हैं. यह आपका एक्सटेंशन लोड करता है.
  6. आसान पहुंच के लिए नए एलएमए एक्सटेंशन को ब्राउज़र टूल बार पर पिन करें—आप इसका उपयोग अक्सर अपनी मीटिंग स्ट्रीम करने के लिए करेंगे!

एलएमए का उपयोग प्रारंभ करें

एलएमए दो स्ट्रीमिंग विकल्प प्रदान करता है:

  • क्रोम ब्राउज़र एक्सटेंशन - अपने मीटिंग ब्राउज़र ऐप से ऑडियो और स्पीकर मेटाडेटा स्ट्रीम करने के लिए इसका उपयोग करें। यह वर्तमान में ज़ूम और चाइम के साथ काम करता है, लेकिन हमें और अधिक मीटिंग ऐप्स जोड़ने की उम्मीद है।
  • एलएमए स्ट्रीम ऑडियो टैब - अपने माइक्रोफ़ोन और किसी क्रोम ब्राउज़र-आधारित मीटिंग ऐप, सॉफ्टफ़ोन या ऑडियो एप्लिकेशन से ऑडियो स्ट्रीम करने के लिए इसका उपयोग करें।

हम आपको निम्नलिखित अनुभागों में दोनों विकल्पों का उपयोग करने का तरीका बताते हैं।

ज़ूम कॉल स्ट्रीम करने के लिए क्रोम ब्राउज़र एक्सटेंशन का उपयोग करें

ब्राउज़र एक्सटेंशन का उपयोग करने के लिए निम्नलिखित चरणों को पूरा करें:

  1. एलएमए एक्सटेंशन खोलें और अपने एलएमए क्रेडेंशियल्स के साथ लॉग इन करें।
  2. अपने वेब ब्राउज़र में ज़ूम मीटिंग में शामिल हों या प्रारंभ करें (अलग ज़ूम क्लाइंट का उपयोग न करें)।

यदि आपके पास पहले से ही ज़ूम मीटिंग पेज लोड है, तो इसे पुनः लोड करें।

एलएमए एक्सटेंशन स्वचालित रूप से पता लगाता है कि ज़ूम ब्राउज़र टैब में चल रहा है, और आपका नाम और मीटिंग नाम पॉप्युलेट करता है।

  1. कॉल पर दूसरों को बताएं कि आप एलएमए का उपयोग करके कॉल रिकॉर्ड करना शुरू करने वाले हैं और उनकी अनुमति प्राप्त करें। यदि प्रतिभागियों को आपत्ति हो तो आगे न बढ़ें।
  2. चुनें सुनना शुरू करें.
  3. अस्वीकरण पढ़ें और स्वीकार करें, और चुनें अनुमति देना ब्राउज़र टैब साझा करने के लिए.

एलएमए एक्सटेंशन स्वचालित रूप से कॉल पर सक्रिय स्पीकर का पता लगाता है और प्रदर्शित करता है। यदि आप मीटिंग में अकेले हैं, तो कुछ दोस्तों को शामिल होने के लिए आमंत्रित करें, और देखें कि कॉल में शामिल होने के लिए उन्होंने जिन नामों का उपयोग किया था, वे जब वे बोलते हैं तो एक्सटेंशन में प्रदर्शित होते हैं, और एलएमए ट्रांसक्रिप्ट में उनके शब्दों के लिए जिम्मेदार होते हैं।

  1. चुनें एलएमए में खुला अपनी लाइव ट्रांसक्रिप्ट को एक नए टैब में देखने के लिए।
  2. अपनी पसंदीदा प्रतिलेख भाषा चुनें, और वेक वाक्यांश "ओके असिस्टेंट!" का उपयोग करके मीटिंग सहायक के साथ बातचीत करें। या मीटिंग सहायता बॉट फलक।

RSI सहायक से पूछें बटन मीटिंग सहायक सेवा (अमेज़ॅन बेडरॉक नॉलेज बेस) से मीटिंग में हाल की बातचीत की प्रतिलेख के आधार पर एक अच्छी प्रतिक्रिया का सुझाव देने के लिए कहता है। आपका माइलेज भिन्न हो सकता है, इसलिए प्रयोग करें!

  1. जब आपका काम पूरा हो जाए, तो चुनें स्ट्रीमिंग बंद करो एलएमए में बैठक समाप्त करने के लिए।

कुछ ही सेकंड में, स्वचालित बैठक समाप्ति सारांश प्रकट होते हैं, और ऑडियो रिकॉर्डिंग उपलब्ध हो जाती है। कॉल समाप्त होने के बाद भी आप बॉट का उपयोग जारी रख सकते हैं।

अपने माइक्रोफ़ोन और किसी भी ब्राउज़र-आधारित ऑडियो एप्लिकेशन से स्ट्रीम करने के लिए एलएमए यूआई स्ट्रीम ऑडियो टैब का उपयोग करें

ब्राउज़र एक्सटेंशन समर्थित मीटिंग वेब ऐप्स से मेटाडेटा और ऑडियो स्ट्रीम करने का सबसे सुविधाजनक तरीका है। हालाँकि, आप सुविधाजनक सुविधा का उपयोग करके अपने क्रोम ब्राउज़र में चल रहे किसी भी ब्राउज़र-आधारित सॉफ्टफ़ोन, मीटिंग ऐप या अन्य ऑडियो स्रोत से ऑडियो स्ट्रीम करने के लिए एलएमए का उपयोग कर सकते हैं। स्ट्रीम ऑडियो टैब जो एलएमए यूआई में बनाया गया है।

  1. ब्राउज़र टैब में कोई भी ऑडियो स्रोत खोलें।

उदाहरण के लिए, यह एक सॉफ्टफ़ोन हो सकता है (जैसे गूगल आवाज), एक अन्य मीटिंग ऐप, या डेमो उद्देश्यों के लिए, आप किसी अन्य मीटिंग प्रतिभागी का अनुकरण करने के लिए बस अपने ब्राउज़र में एक स्थानीय ऑडियो रिकॉर्डिंग या एक यूट्यूब वीडियो चला सकते हैं। यदि आप इसे आज़माना चाहते हैं, तो निम्नलिखित खोलें यूट्यूब वीडियो एक नए टैब में।

  1. एलएमए ऐप यूआई में, चुनें ऑडियो स्ट्रीम करें (कोई एक्सटेंशन नहीं) स्ट्रीम ऑडियो टैब खोलने के लिए.
  2. के लिए बैठक आईडी, मीटिंग आईडी दर्ज करें।
  3. के लिए नाम, अपने लिए एक नाम दर्ज करें (आपके माइक्रोफ़ोन से ऑडियो पर लागू)।
  4. के लिए प्रतिभागी का नाम, प्रतिभागियों के नाम दर्ज करें (आने वाले ऑडियो स्रोत पर लागू)।
  5. चुनें स्ट्रीमिंग प्रारंभ करें.
  6. वह ब्राउज़र टैब चुनें जिसे आपने पहले खोला था, और चुनें अनुमति देना साझा करने के लिए.
  7. सूचीबद्ध अपनी नई मीटिंग आईडी देखने के लिए, मीटिंग को इस रूप में दिखाते हुए, LMA UI टैब को फिर से चुनें प्रगति में.
  8. विवरण पृष्ठ खोलने के लिए मीटिंग आईडी चुनें, और आने वाले ऑडियो की प्रतिलिपि देखें, जो आपके द्वारा दर्ज किए गए प्रतिभागियों के नाम से संबंधित है। यदि आप बोलते हैं, तो आप अपनी आवाज का प्रतिलेखन देखेंगे।

उपयोग स्ट्रीम ऑडियो किसी भी सॉफ्टफ़ोन ऐप, मीटिंग ऐप, या ब्राउज़र में चल रहे किसी अन्य स्ट्रीमिंग ऑडियो के साथ-साथ आपके चयनित माइक्रोफ़ोन से कैप्चर किए गए ऑडियो को स्ट्रीम करने की सुविधा। एलएमए, या किसी अन्य रिकॉर्डिंग एप्लिकेशन का उपयोग करके रिकॉर्ड करने से पहले हमेशा दूसरों से अनुमति प्राप्त करें।

प्रसंस्करण प्रवाह अवलोकन

एलएमए ने आपकी मीटिंग का प्रतिलेखन और विश्लेषण कैसे किया? आइए देखें कि यह कैसे काम करता है। निम्नलिखित आरेख मुख्य वास्तुशिल्प घटकों को दिखाता है और वे उच्च स्तर पर एक साथ कैसे फिट होते हैं।

एलएमए उपयोगकर्ता अपने ब्राउज़र में एक मीटिंग में शामिल होता है, एलएमए ब्राउज़र एक्सटेंशन को सक्षम करता है, और अपने एलएमए क्रेडेंशियल्स का उपयोग करके प्रमाणित करता है। यदि मीटिंग ऐप (उदाहरण के लिए, Zoom.us) एलएमए एक्सटेंशन द्वारा समर्थित है, तो उपयोगकर्ता का नाम, मीटिंग का नाम और सक्रिय स्पीकर नाम स्वचालित रूप से एक्सटेंशन द्वारा पता लगाए जाते हैं। यदि मीटिंग ऐप एक्सटेंशन द्वारा समर्थित नहीं है, तो एलएमए उपयोगकर्ता मैन्युअल रूप से अपना नाम और मीटिंग विषय दर्ज कर सकता है - सक्रिय वक्ताओं के नाम का पता नहीं लगाया जाएगा।

अन्य प्रतिभागियों से अनुमति प्राप्त करने के बाद, एलएमए उपयोगकर्ता एलएमए एक्सटेंशन फलक पर सुनना शुरू करें चुनता है। पूर्व-कॉन्फ़िगर किए गए LMA स्टैक WebSocket URL पर एक सुरक्षित WebSocket कनेक्शन स्थापित किया गया है, और उपयोगकर्ता का प्रमाणीकरण टोकन मान्य किया गया है। एलएमए ब्राउज़र एक्सटेंशन वेबसॉकेट को एक START संदेश भेजता है जिसमें मीटिंग मेटाडेटा (नाम, विषय, और इसी तरह) होता है, और उपयोगकर्ता के माइक्रोफ़ोन से दो-चैनल ऑडियो और अन्य मीटिंग प्रतिभागियों की आवाज़ वाले आने वाले ऑडियो चैनल को स्ट्रीम करना शुरू कर देता है। एक्सटेंशन कॉल के दौरान सक्रिय स्पीकर परिवर्तनों का पता लगाने के लिए मीटिंग ऐप की निगरानी करता है, और उस मेटाडेटा को वेबसॉकेट पर भेजता है, जिससे एलएमए स्पीकर के नाम के साथ भाषण खंडों को लेबल करने में सक्षम होता है।

फ़ार्गेट में चलने वाला वेबसॉकेट सर्वर आने वाली वेबसॉकेट स्ट्रीम से वास्तविक समय के दो-चैनल ऑडियो अंशों का उपभोग करता है। ऑडियो को अमेज़ॅन ट्रांसक्राइब पर स्ट्रीम किया जाता है, और ट्रांसक्रिप्शन परिणाम वास्तविक समय में किनेसिस डेटा स्ट्रीम में लिखे जाते हैं।

प्रत्येक मीटिंग प्रोसेसिंग सत्र तब तक चलता है जब तक उपयोगकर्ता एलएमए एक्सटेंशन फलक में स्टॉप लिसनिंग का चयन नहीं करता है, या मीटिंग समाप्त नहीं करता है और टैब बंद नहीं करता है। कॉल के अंत में, फ़ंक्शन अमेज़ॅन S3 में एक स्टीरियो रिकॉर्डिंग फ़ाइल बनाता है (यदि स्टैक तैनात होने पर रिकॉर्डिंग सक्षम की गई थी)।

कॉल इवेंट प्रोसेसर नामक एक लैम्ब्डा फ़ंक्शन, किनेसिस डेटा स्ट्रीम द्वारा खिलाया जाता है, मेटाडेटा और ट्रांसक्रिप्शन सेगमेंट को संसाधित करता है और वैकल्पिक रूप से समृद्ध करता है। कॉल इवेंट प्रोसेसर मीटिंग सहायता सेवाओं के साथ एकीकृत होता है। एलएमए द्वारा संचालित है अमेज़न लेक्स, अमेज़ॅन बेडरॉक के लिए नॉलेज बेस, और ओपन सोर्स का उपयोग करके अमेज़ॅन बेडरॉक एलएलएम AWS समाधान पर QnABot अक्सर पूछे जाने वाले प्रश्नों के आधार पर उत्तरों के लिए और उपयुक्त एआई सेवा के लिए अनुरोध रूटिंग के लिए एक ऑर्केस्ट्रेटर के रूप में। कॉल इवेंट प्रोसेसर पूर्ण ट्रांसक्रिप्ट से कॉल का सारांश उत्पन्न करने के लिए, कॉल समाप्त होने पर ट्रांसक्रिप्ट सारांशीकरण लैम्ब्डा फ़ंक्शन को भी आमंत्रित करता है।

कॉल इवेंट प्रोसेसर फ़ंक्शन परिवर्तनों (उत्परिवर्तन) को जारी रखने के लिए AWS AppSync के साथ इंटरफेस करता है अमेज़ॅन डायनेमोडीबी और एलएमए उपयोगकर्ता के लॉग-इन वेब क्लाइंट को वास्तविक समय अपडेट भेजें (ब्राउज़र एक्सटेंशन में ओपन इन एलएमए विकल्प चुनकर आसानी से खोला जा सकता है)।

LMA वेब UI संपत्तियाँ Amazon S3 पर होस्ट की जाती हैं और CloudFront के माध्यम से परोसी जाती हैं। प्रमाणीकरण Amazon Cognito द्वारा प्रदान किया जाता है।

जब उपयोगकर्ता प्रमाणित हो जाता है, तो वेब एप्लिकेशन AWS AppSync API के लिए एक सुरक्षित GraphQL कनेक्शन स्थापित करता है, और मीटिंग सूची पृष्ठ के लिए नई कॉल और कॉल स्थिति परिवर्तन, और नए या अद्यतन ट्रांसक्रिप्शन सेगमेंट और गणना जैसे वास्तविक समय की घटनाओं को प्राप्त करने के लिए सदस्यता लेता है। मीटिंग विवरण पृष्ठ के लिए विश्लेषण। जब अनुवाद सक्षम होता है, तो वेब एप्लिकेशन मीटिंग ट्रांसक्रिप्शन को चयनित भाषा में अनुवाद करने के लिए अमेज़ॅन ट्रांसलेट के साथ सुरक्षित रूप से इंटरैक्ट करता है।

संपूर्ण प्रसंस्करण प्रवाह, अंतर्ग्रहण भाषण से लेकर लाइव वेबपेज अपडेट तक, इवेंट संचालित होता है, और एंड-टू-एंड विलंबता कम होती है - आमतौर पर केवल कुछ सेकंड।

निगरानी और समस्या निवारण

AWS CloudFormation संबंधित स्टैक पर परिनियोजन विफलताओं और कारणों की रिपोर्ट करता है आयोजन टैब। देखना समस्या निवारण CloudFormation सामान्य परिनियोजन समस्याओं में सहायता के लिए। सीमा से अधिक त्रुटियों के कारण होने वाली परिनियोजन विफलताओं पर ध्यान दें; एलएमए स्टैक ऐसे संसाधन बनाते हैं जो डिफ़ॉल्ट खाते और क्षेत्र सेवा कोटा के अधीन होते हैं, जैसे इलास्टिक आईपी पते और एनएटी गेटवे। क्लाउडफॉर्मेशन स्टैक विफलताओं का समस्या निवारण करते समय, रिपोर्ट की गई पहली नेस्टेड संसाधन विफलता को खोजने के लिए हमेशा किसी भी विफल नेस्टेड स्टैक में नेविगेट करें - यह लगभग हमेशा मूल कारण होता है।

अमेज़ॅन ट्रांसक्राइब में 25 समवर्ती ट्रांसक्रिप्शन स्ट्रीम की डिफ़ॉल्ट सीमा है, जो किसी दिए गए AWS खाते या क्षेत्र में एलएमए को 25 समवर्ती बैठकों तक सीमित करती है। यदि आपके पास कई उपयोगकर्ता हैं और आपको अपने खाते में बड़ी संख्या में समवर्ती बैठकों को संभालने की आवश्यकता है, तो स्ट्रीमिंग ट्रांसक्रिप्शन के लिए समवर्ती HTTP/2 स्ट्रीम की संख्या में वृद्धि का अनुरोध करें।

LMA क्लाउडवॉच का उपयोग करके प्रत्येक घटक के लिए रनटाइम मॉनिटरिंग और लॉग प्रदान करता है:

  • वेबसॉकेट फ़ार्गेट कार्य को संसाधित करना और ट्रांसक्रिप्ट करना - पर अमेज़ॅन इलास्टिक कंटेनर सेवा (अमेज़ॅन ईसीएस) कंसोल पर नेविगेट करें क्लस्टर पेज खोलें और LMA खोलें-WEBSOCKETSTACK-xxxx-TranscribingCluster समारोह। चुने कार्य टैब करें और कार्य पृष्ठ खोलें। चुनना Logs और क्लाउडवॉच में देखें वेबसॉकेट ट्रांसक्राइबर कार्य लॉग का निरीक्षण करने के लिए।
  • इवेंट प्रोसेसर लैम्ब्डा फ़ंक्शन को कॉल करें - लैम्ब्डा कंसोल पर, खोलें LMA-AISTACK-CallEventProcessor समारोह। चुने मॉनिटर फ़ंक्शन मेट्रिक्स देखने के लिए टैब। चुनना CloudWatch में लॉग देखें फ़ंक्शन लॉग का निरीक्षण करने के लिए।
  • एडब्ल्यूएस ऐपसिंक एपीआई - AWS AppSync कंसोल पर, खोलें CallAnalytics-LMA एपीआई। चुनना निगरानी एपीआई मेट्रिक्स देखने के लिए नेविगेशन फलक में। चुनना CloudWatch में लॉग देखें AWS AppSync API लॉग का निरीक्षण करने के लिए।

मीटिंग सहायता के लिए AWS पर QnABot के लिए, देखें मीटिंग असिस्ट रीडमी, और QnABot समाधान कार्यान्वयन मार्गदर्शिका अतिरिक्त जानकारी के लिए।

लागत मूल्यांकन

LMA, फ़ार्गेट (2vCPU) और VPC नेटवर्किंग संसाधनों का उपयोग करके लगभग $0.10/घंटा (लगभग $72/माह) की लागत वाला एक WebSocket सर्वर प्रदान करता है। अधिक जानकारी के लिए देखें एडब्ल्यूएस फारगेट मूल्य निर्धारण.

अमेज़ॅन बेडरॉक के लिए QnABot और नॉलेज बेस का उपयोग करके LMA सक्षम किया गया है। आप अपना स्वयं का ज्ञान आधार बनाते हैं, जिसका उपयोग आप एलएमए और संभावित रूप से अन्य उपयोग के मामलों के लिए करते हैं। अधिक जानकारी के लिए देखें अमेज़ॅन बेडरॉक मूल्य निर्धारण. QnABot समाधान द्वारा उपयोग की जाने वाली अतिरिक्त AWS सेवाओं की लागत लगभग $0.77/घंटा है। अधिक जानकारी के लिए, की सूची देखें AWS समाधान लागत पर QnABot.

शेष समाधान लागत उपयोग पर आधारित है।

0.17 मिनट की कॉल के लिए उपयोग लागत लगभग $5 तक बढ़ जाती है, हालांकि यह चयनित विकल्पों (जैसे अनुवाद), एलएलएम सारांश की संख्या और कुल उपयोग के आधार पर भिन्न हो सकती है क्योंकि उपयोग कई सेवाओं के लिए फ्री टियर पात्रता और वॉल्यूम टियर मूल्य निर्धारण को प्रभावित करता है। . उपयोग लागत वहन करने वाली सेवाओं के बारे में अधिक जानकारी के लिए, निम्नलिखित देखें:

अपने लिए एलएमए लागतों का पता लगाने के लिए, इसका उपयोग करें AWS लागत एक्सप्लोरर या चुनें बिल विवरण सेवा द्वारा अपना मासिक खर्च देखने के लिए AWS बिलिंग डैशबोर्ड पर।

अपने परिनियोजन को अनुकूलित करें

अपने LCA परिनियोजन को अनुकूलित करने के लिए अपना स्टैक बनाते या अपडेट करते समय निम्न CloudFormation टेम्प्लेट पैरामीटर का उपयोग करें:

  • मीटिंग रिकॉर्डिंग के लिए अपनी स्वयं की S3 बकेट का उपयोग करें कॉल ऑडियो रिकॉर्डिंग बकेट नाम और ऑडियो फ़ाइल उपसर्ग.
  • ट्रांसक्रिप्शन से PII को रिडक्ट करने के लिए, सेट करें प्रतिलेखों के लिए सामग्री संशोधन सक्षम करें सच करने के लिए, और समायोजित करें प्रतिलेखन पीआईआई रिडक्शन इकाई प्रकार जरुरत के अनुसार। अधिक जानकारी के लिए देखें रीयल-टाइम स्ट्रीम में PII को संशोधित करना या उसकी पहचान करना.
  • तकनीकी और डोमेन-विशिष्ट परिवर्णी शब्द और शब्दजाल के लिए प्रतिलेखन सटीकता में सुधार करने के लिए, सेट करें प्रतिलेखन कस्टम शब्दावली नाम एक कस्टम शब्दावली के नाम पर जिसे आपने अमेज़ॅन ट्रांसक्राइब या सेट में पहले ही बना लिया है प्रतिलेखन कस्टम भाषा मॉडल नाम पहले से बनाए गए कस्टम भाषा मॉडल के नाम पर। अधिक जानकारी के लिए देखें प्रतिलेखन सटीकता में सुधार.
  • अमेरिकी अंग्रेजी के अलावा किसी अन्य समर्थित भाषा में बैठकों को लिखने के लिए, वांछित मान चुनें प्रतिलेखन के लिए भाषा.
  • ट्रांसक्रिप्ट प्रोसेसिंग को अनुकूलित करने के लिए, वैकल्पिक रूप से सेट करें कस्टम ट्रांसक्रिप्ट सेगमेंट प्रोसेसिंग के लिए लैम्ब्डा हुक फ़ंक्शन एआरएन अपने स्वयं के लैम्ब्डा फ़ंक्शन के ARN के लिए। अधिक जानकारी के लिए देखें ट्रांसक्रिप्ट प्रसंस्करण के लिए वैकल्पिक रूप से कस्टम तर्क प्रदान करने के लिए लैम्ब्डा फ़ंक्शन का उपयोग करना.
  • AWS समाधान, अमेज़ॅन लेक्स, अमेज़ॅन बेडरॉक और अमेज़ॅन बेडरॉक एकीकरण के लिए नॉलेज बेस पर QnABot के आधार पर मीटिंग सहायता क्षमताओं को अनुकूलित करने के लिए, देखें मीटिंग असिस्ट रीडमी.
  • अपने स्वयं के लैम्ब्डा फ़ंक्शन को कॉल करने के लिए एलएमए को कॉन्फ़िगर करके ट्रांसक्रिप्ट सारांश को अनुकूलित करने के लिए, देखें प्रतिलेख सारांशीकरण लैम्ब्डा विकल्प.
  • डिफ़ॉल्ट संकेतों को संशोधित करके या नए जोड़कर प्रतिलेख सारांश को अनुकूलित करने के लिए, देखें प्रतिलेख सारांश.
  • अवधारण अवधि बदलने के लिए, सेट करें दिनों में समाप्ति तिथि रिकॉर्ड करें वांछित मान तक. इस अवधि के बाद सभी कॉल डेटा LMA DynamoDB स्टोरेज से स्थायी रूप से हटा दिया जाता है। इस सेटिंग में परिवर्तन केवल अपडेट के बाद प्राप्त नई कॉलों पर लागू होते हैं।

एलएमए एक ओपन सोर्स प्रोजेक्ट है। आप एलएमए गिटहब रिपॉजिटरी को फोर्क कर सकते हैं, कोड को बढ़ा सकते हैं, और हमें पुल अनुरोध भेज सकते हैं ताकि हम आपके सुधारों को शामिल और साझा कर सकें!

मौजूदा एलएमए स्टैक को अपडेट करें

आप अपने मौजूदा एलएमए स्टैक को नवीनतम रिलीज़ में अपडेट कर सकते हैं। अधिक जानकारी के लिए देखें मौजूदा स्टैक को अपडेट करें.

क्लीन अप

बधाई हो! आपने AWS सेवाओं का उपयोग करके अपना लाइव कॉल एनालिटिक्स नमूना समाधान स्थापित करने के लिए सभी चरण पूरे कर लिए हैं।

जब आप इस नमूना समाधान के साथ प्रयोग करना समाप्त कर लें, तो आपके द्वारा तैनात किए गए एलएमए स्टैक को हटाने के लिए एडब्ल्यूएस क्लाउडफॉर्मेशन कंसोल का उपयोग करके अपने संसाधनों को साफ करें। यह उन संसाधनों को हटा देता है जो समाधान को तैनात करके बनाए गए थे। आपके डेटा को हटाने से बचने के लिए स्टैक हटाए जाने के बाद रिकॉर्डिंग S3 बकेट, डायनेमोडीबी तालिका और क्लाउडवॉच लॉग समूह बनाए रखे जाते हैं।

लाइव कॉल एनालिटिक्स: साथी समाधान

हमारा साथी समाधान, लाइव कॉल एनालिटिक्स और एजेंट सहायता (एलसीए), बैठकों के बजाय संपर्क केंद्रों (फोन कॉल) के लिए वास्तविक समय प्रतिलेखन और विश्लेषण प्रदान करता है। कई समानताएँ हैं - वास्तव में, एलएमए एक वास्तुकला और एलसीए से प्राप्त कई घटकों का उपयोग करके बनाया गया था।

निष्कर्ष

लाइव मीटिंग असिस्टेंट नमूना समाधान मीटिंग के दौरान और बाद में आपकी उत्पादकता में सुधार करने के लिए लाइव मीटिंग सहायता प्रदान करने के लिए एक लचीला, सुविधा संपन्न और अनुकूलन योग्य दृष्टिकोण प्रदान करता है। यह आपके मीटिंग ऑडियो को ट्रांसक्राइब करने और वास्तविक समय की अंतर्दृष्टि निकालने के लिए अमेज़ॅन एआई/एमएल सेवाओं जैसे अमेज़ॅन ट्रांसक्राइब, अमेज़ॅन लेक्स, अमेज़ॅन बेडरॉक के लिए नॉलेज बेस और अमेज़ॅन बेडरॉक एलएलएम का उपयोग करता है।

नमूना एलएमए एप्लिकेशन ओपन सोर्स के रूप में प्रदान किया गया है - इसे अपने स्वयं के समाधान के लिए शुरुआती बिंदु के रूप में उपयोग करें, और गिटहब पुल अनुरोधों के माध्यम से बैक फिक्स और सुविधाओं में योगदान करके इसे बेहतर बनाने में हमारी सहायता करें। के लिए ब्राउज़ करें एलएमए गिटहब रिपॉजिटरी कोड का पता लगाने के लिए, चुनें घड़ी नई रिलीज़ की सूचना पाने के लिए, और इसकी जाँच करने के लिए README नवीनतम दस्तावेज़ीकरण अद्यतन के लिए।

विशेषज्ञ सहायता के लिए, AWS व्यावसायिक सेवाएँ अन्य और AWS पार्टनर यहाँ मदद करने के लिए हैं।

हमें आपसे सुनकर अत्यंत खुशी होगी। हमें बताएं कि आप टिप्पणी अनुभाग में क्या सोचते हैं, या मुद्दों के मंच का उपयोग करें एलएमए गिटहब रिपॉजिटरी.


लेखक के बारे में

बॉब स्ट्रहान बॉब स्ट्रहान AWS भाषा AI सेवा टीम में एक प्रिंसिपल सॉल्यूशन आर्किटेक्ट है।

क्रिस लोट AWS AI भाषा सेवा टीम में एक प्रमुख समाधान वास्तुकार हैं। उनके पास एंटरप्राइज सॉफ्टवेयर डेवलपमेंट का 20 साल का अनुभव है। क्रिस सैक्रामेंटो, कैलिफ़ोर्निया में रहता है और उसे बागवानी, एयरोस्पेस और दुनिया की यात्रा करना पसंद है।

बाबू श्रीनिवासन एडब्ल्यूएस में वर्ल्ड वाइड स्पेशलिस्ट संगठन में सीनियर स्पेशलिस्ट एसए - भाषा एआई सेवाएं हैं, आईटी में 24 वर्षों से अधिक का अनुभव है और पिछले 6 साल एडब्ल्यूएस क्लाउड पर केंद्रित हैं। उन्हें एआई/एमएल का शौक है। काम के अलावा, वह लकड़ी का काम करना पसंद करता है और हाथ के कार्ड के जादू से दोस्तों और परिवार (कभी-कभी अजनबियों) का मनोरंजन करता है।

किशोर धमोदराणी AWS में एक वरिष्ठ समाधान वास्तुकार हैं।

गिलियन आर्मस्ट्रांग की तस्वीरगिलियन आर्मस्ट्रांग एक बिल्डर सॉल्यूशंस आर्किटेक्ट है। वह इस बात से उत्साहित हैं कि कैसे क्लाउड अधिक लोगों के लिए समस्याओं को हल करने के लिए प्रौद्योगिकी का उपयोग करने के अवसर खोल रहा है, और विशेष रूप से उत्साहित है कि कैसे संज्ञानात्मक प्रौद्योगिकियां, जैसे संवादात्मक एआई, हमें अधिक मानवीय तरीकों से कंप्यूटर के साथ बातचीत करने की अनुमति दे रही हैं।

स्पॉट_आईएमजी

नवीनतम खुफिया

स्पॉट_आईएमजी