Logo Zephyrnet

Generatywna analiza danych

AI

Asystent spotkań na żywo z usługami Amazon Transcribe, Amazon Bedrock i bazami wiedzy dla Amazon Bedrock | Usługi internetowe Amazona

Opublikowane ponownie przez Plato
Opublikowane ponownie przez Plato

Data:

Odwiedzin: 63

See CHANGELOG w celu uzyskania najnowszych funkcji i poprawek.

Prawdopodobnie spotkałeś się z wyzwaniem polegającym na robieniu notatek podczas spotkania, próbując skupić uwagę na rozmowie. Prawdopodobnie doświadczyłeś także potrzeby szybkiego sprawdzenia faktów lub wyszukania informacji, aby odpowiedzieć na pytanie zadane podczas rozmowy. A może masz członka zespołu, który zawsze dołącza do spotkań z opóźnieniem i oczekuje, że wyślesz mu szybkie podsumowanie na czacie, aby go nadrobić.

Czasem zdarza się, że inni mówią w języku, który nie jest Twoim pierwszym językiem, a Ty chciałbyś mieć tłumaczenie na żywo tego, co mówią inni, aby mieć pewność, że rozumiesz poprawnie.

Po zakończeniu rozmowy zwykle chcesz zapisać podsumowanie do swojej dokumentacji lub wysłać je uczestnikom wraz z listą wszystkich działań, właścicieli i terminów.

Wszystko to i jeszcze więcej jest teraz możliwe dzięki naszemu najnowszemu przykładowemu rozwiązaniu Live Meeting Assistant (LMA).

Sprawdź poniższe demo, aby zobaczyć, jak to działa.

W tym poście pokażemy, jak używać LMA Amazon Transcribe, Amazońska skała macierzysta, Bazy wiedzy na temat Amazon Bedrock.

Omówienie rozwiązania

Przykładowe rozwiązanie LMA przechwytuje dźwięk głośnika i metadane z aplikacji do spotkań opartej na przeglądarce (w chwili pisania tego tekstu obsługiwane są Zoom i Chime) lub tylko dźwięk z dowolnej innej aplikacji do spotkań opartej na przeglądarce, telefonu programowego lub źródła dźwięku. Wykorzystuje Amazon Transcribe do zamiany mowy na tekst, bazy wiedzy dla Amazon Bedrock do zapytań kontekstowych w dokumentach i źródłach wiedzy Twojej firmy oraz modele Amazon Bedrock do dostosowywania analiz i podsumowań transkrypcji.

Wszystko, czego potrzebujesz, jest dostarczane jako open source w naszym GitHub repo. Wdrożenie na koncie AWS jest proste. Kiedy skończysz, będziesz się zastanawiać, jak sobie radziłeś bez tego!

Oto niektóre z rzeczy, które LMA może zrobić:

  • Transkrypcja na żywo z przypisaniem głośnika – LMA jest obsługiwany przez modele Amazon Transcribe ASR, które zapewniają niskie opóźnienia i wysoką dokładność mowy na tekst. W razie potrzeby możesz uczyć go nazw marek i terminologii specyficznej dla domeny, korzystając z niestandardowego słownictwa i funkcji modelu języka w usłudze Amazon Transcribe.
  • Tłumaczenie na żywo – Wykorzystuje Amazon Translate, aby opcjonalnie pokazać każdy segment rozmowy przetłumaczony na wybrany przez Ciebie język spośród 75 języków do wyboru.
  • Kontekstowy asystent spotkań – Wykorzystuje bazy wiedzy dla Amazon Bedrock do dostarczania odpowiedzi z zaufanych źródeł, wykorzystując transkrypcję na żywo jako kontekst do sprawdzania faktów i pytań uzupełniających. Aby aktywować asystenta, po prostu powiedz „OK, Asystencie” i wybierz ZAPYTAJ ASYSTENTA! lub wprowadź własne pytanie w interfejsie użytkownika.
  • Na żądanie streszczenia spotkań – Jednym kliknięciem przycisku w interfejsie użytkownika możesz wygenerować podsumowanie, które jest przydatne, gdy ktoś dołączy późno i musi nadrobić zaległości. Streszczenia są generowane na podstawie transkrypcji przesłanej przez Amazon Bedrock. LMA udostępnia także opcje identyfikacji bieżącego tematu spotkania oraz generowania listy elementów do wykonania wraz z właścicielami i terminami. Można także tworzyć własne, niestandardowe podpowiedzi i odpowiadające im opcje.
  • Automatyczne podsumowania i spostrzeżenia – Po zakończeniu spotkania LMA automatycznie uruchamia zestaw monitów w modelu dużego języka (LLM) w serwisie Amazon Bedrock w celu podsumowania transkrypcji spotkania i wyciągnięcia wniosków. Możesz także dostosować te monity.
  • Nagrywanie spotkania – Dźwięk jest (opcjonalnie) zapisywany dla Ciebie, dzięki czemu możesz później odtworzyć ważne fragmenty spotkania.
  • Lista inwentarzowa spotkań – LMA śledzi wszystkie Twoje spotkania na liście z możliwością przeszukiwania.
  • Rozszerzenie przeglądarki przechwytuje metadane audio i spotkań z popularnych aplikacji do spotkań – Rozszerzenie przeglądarki przechwytuje metadane spotkania — tytuł spotkania i nazwiska aktywnych mówców — oraz dźwięk od Ciebie (Twój mikrofon) i innych osób (z karty przeglądarki spotkania). W chwili pisania tego tekstu LMA obsługuje przeglądarkę Chrome jako rozszerzenie przeglądarki oraz Zoom i Chime w przypadku aplikacji do spotkań (wkrótce dostępne będą także Teams i WebEx). Samodzielne aplikacje do spotkań nie współpracują z LMA — zamiast tego uruchamiaj spotkania w przeglądarce.

Użytkownik odpowiada za przestrzeganie ograniczeń prawnych, korporacyjnych i etycznych mających zastosowanie do nagrywania spotkań i rozmów. Nie używaj tego rozwiązania do strumieniowego przesyłania, nagrywania lub transkrypcji rozmów, jeśli jest to zabronione.

Wymagania wstępne

Musisz mieć konto AWS i AWS Zarządzanie tożsamością i dostępem (IAM) i użytkownik z uprawnieniami do tworzenia niezbędnych zasobów i komponentów dla tej aplikacji oraz zarządzania nimi. Jeśli nie masz konta AWS, zobacz Jak utworzyć i aktywować nowe konto Amazon Web Services?

Potrzebujesz także istniejącej bazy wiedzy w Amazon Bedrock. Jeśli jeszcze go nie skonfigurowałeś, zobacz Utwórz bazę wiedzy. Wypełnij swoją bazę wiedzy treściami, aby usprawnić kontekstowego asystenta spotkań LMA.

Wreszcie LMA wykorzystuje Amazon Bedrock LLM do funkcji podsumowywania spotkań. Przed kontynuowaniem, jeśli jeszcze tego nie zrobiłeś, musisz to zrobić Poproś o dostęp do następujących modeli Amazon Bedrock:

  • Titan Embeddings G1 – Tekst
  • Antropiczne: Wszystkie modele Claude

Wdróż rozwiązanie za pomocą AWS CloudFormation

Udostępniliśmy gotowe rozwiązania Tworzenie chmury AWS szablony, które wdrażają wszystko, czego potrzebujesz na koncie AWS.

Jeśli jesteś programistą i chcesz zbudować, wdrożyć lub opublikować rozwiązanie z kodu, zapoznaj się z sekcją Plik README dla programistów.

Wykonaj następujące kroki, aby uruchomić stos CloudFormation:

  1. Zaloguj się, aby Konsola zarządzania AWS.
  2. Dodaj Uruchom stos dla żądanego regionu AWS, aby otworzyć konsolę AWS CloudFormation i utworzyć nowy stos.
Region Uruchom stos
Wschodnie stany USA (Wirginia Północna)
Zachodnie stany USA (Oregon)
  1. W razie zamówieenia projektu Nazwa stosu, użyj wartości domyślnej LMA.
  2. W razie zamówieenia projektu Adres e-mail administratora, użyj prawidłowego adresu e-mail — Twoje tymczasowe hasło zostanie wysłane na ten adres e-mailem podczas wdrażania.
  3. W razie zamówieenia projektu Autoryzowana domena e-mail konta, użyj części zawierającej nazwę domeny w firmowym adresie e-mail, aby umożliwić użytkownikom posiadającym adresy e-mail w tej samej domenie tworzenie nowych kont interfejsu użytkownika, lub pozostaw puste, aby uniemożliwić użytkownikom bezpośrednie tworzenie własnych kont. Możesz wprowadzić wiele domen w formie listy oddzielonej przecinkami.
  4. W razie zamówieenia projektu Usługa MeetingAssistwybierz BEDROCK_KNOWLEDGE_BASE (jedyna dostępna opcja w chwili pisania tego tekstu).
  5. W razie zamówieenia projektu Identyfikator bazy wiedzy Bedrock Asystent spotkania (istniejący), wprowadź swój istniejący identyfikator bazy wiedzy (na przykład JSXXXXX3D8). Możesz go skopiować z konsoli Amazon Bedrock.
  6. Dla wszystkich pozostałych parametrów użyj wartości domyślnych.

Jeśli chcesz później dostosować ustawienia, na przykład dodać własne AWS Lambda funkcji, używaj niestandardowych słowników i modeli językowych w celu poprawy dokładności, umożliwiaj redagowanie informacji umożliwiających identyfikację (PII) i nie tylko, możesz aktualizować stos dla tych parametrów.

  1. Zaznacz pola wyboru potwierdzenia, a następnie wybierz Utwórz stos.

Główny stos CloudFormation używa zagnieżdżonych stosów do tworzenia następujących zasobów na Twoim koncie AWS:

Rozłożenie stosów zajmuje około 35–40 minut. Wyświetlany jest stan głównego stosu CREATE_COMPLETE kiedy wszystko zostanie rozłożone.

Ustaw swoje hasło

Po wdrożeniu stosu otwórz internetowy interfejs użytkownika LMA i ustaw hasło, wykonując następujące kroki:

  1. Otwórz otrzymaną wiadomość e-mail na podany adres e-mail i zatytułuj „Witamy w programie Live Meeting Assistant!”
  2. Otwórz przeglądarkę internetową pod adresem URL podanym w wiadomości e-mail. Zostaniesz przekierowany na stronę logowania.
  3. Wiadomość e-mail zawiera wygenerowane hasło tymczasowe, którego używasz do logowania i tworzenia własnego hasła. Twoja nazwa użytkownika to Twój adres e-mail.
  4. Ustaw nowe hasło.

Twoje nowe hasło musi mieć długość co najmniej ośmiu znaków i zawierać wielkie i małe litery oraz cyfry i znaki specjalne.

  1. Postępuj zgodnie ze wskazówkami, aby zweryfikować swój adres e-mail, lub wybierz Skip zrobić to później.

Jesteś teraz zalogowany do LMA.

Otrzymałeś również podobną wiadomość e-mail o temacie „Kod weryfikacyjny rejestracji QnABot”. Ta wiadomość e-mail zawiera wygenerowane hasło tymczasowe, którego używasz do logowania i tworzenia własnego hasła w projektancie QnABot. Z projektanta QnABot korzystasz tylko wtedy, gdy chcesz dostosować opcje i monity LMA. Twoja nazwa użytkownika QnABot to Admin. Możesz teraz ustawić swoje stałe hasło administratora QnABot lub zachować ten e-mail w bezpiecznym miejscu, na wypadek gdybyś chciał później dostosować ustawienia.

Pobierz i zainstaluj rozszerzenie przeglądarki Chrome

Aby zapewnić najlepszą jakość transmisji spotkań, zainstaluj wtyczkę do przeglądarki LMA (obecnie dostępna dla przeglądarki Chrome):

  1. Dodaj Pobierz rozszerzenie Chrome aby pobrać plik .zip rozszerzenia przeglądarki (lma-chrome-extension.zip).
  2. Wybierz (kliknij prawym przyciskiem myszy) i rozwiń plik .zip (lma-chrome-extension.zip), aby utworzyć folder lokalny o nazwie lma-chrome-extension.
  3. Otwórz Chrome i wprowadź link chrome://extensions do paska adresu.
  4. umożliwiać tryb dewelopera.
  5. Dodaj Załaduj rozpakowany, przejdź do lma-chrome-extension folder (który rozpakowałeś z pobranego pliku) i wybierz Wybierz. Spowoduje to załadowanie Twojego rozszerzenia.
  6. Przypnij nowe rozszerzenie LMA do paska narzędzi przeglądarki, aby mieć do niego łatwy dostęp — będziesz go często używać do strumieniowego przesyłania spotkań!

Zacznij korzystać z LMA

LMA udostępnia dwie opcje przesyłania strumieniowego:

  • Rozszerzenie przeglądarki Chrome – Użyj tej opcji, aby przesyłać strumieniowo metadane dźwięku i głośników z aplikacji przeglądarki spotkań. Obecnie współpracuje z Zoomem i Chime, ale mamy nadzieję dodać więcej aplikacji do spotkań.
  • Karta LMA Stream Audio – Użyj tej opcji, aby przesyłać strumieniowo dźwięk z mikrofonu i dowolnej aplikacji do spotkań, telefonu programowego lub aplikacji audio opartej na przeglądarce Chrome.

W poniższych sekcjach pokażemy, jak korzystać z obu opcji.

Użyj rozszerzenia przeglądarki Chrome, aby przesyłać strumieniowo połączenia Zoom

Aby skorzystać z rozszerzenia przeglądarki, wykonaj następujące kroki:

  1. Otwórz rozszerzenie LMA i zaloguj się przy użyciu poświadczeń LMA.
  2. Dołącz lub rozpocznij spotkanie Zoom w swojej przeglądarce internetowej (nie używaj osobnego klienta Zoom).

Jeśli masz już załadowaną stronę spotkania Zoom, załaduj ją ponownie.

Rozszerzenie LMA automatycznie wykrywa, że ​​Zoom jest uruchomiony na karcie przeglądarki i wyświetla Twoje imię i nazwisko oraz nazwę spotkania.

  1. Powiedz innym uczestnikom połączenia, że ​​masz zamiar rozpocząć nagrywanie rozmowy za pomocą LMA i uzyskaj ich zgodę. Nie kontynuuj, jeśli uczestnicy sprzeciwiają się.
  2. Dodaj Zacznij słuchać.
  3. Przeczytaj i zaakceptuj zastrzeżenie, a następnie wybierz Dopuszczać , aby udostępnić kartę przeglądarki.

Rozszerzenie LMA automatycznie wykrywa i wyświetla aktywnego rozmówcę podczas połączenia. Jeśli jesteś sam na spotkaniu, zaproś do przyłączenia się kilku znajomych i zwróć uwagę, czy nazwiska, których użyli, aby dołączyć do rozmowy, są wyświetlane w rozszerzeniu, gdy mówią, i są przypisane do ich słów w transkrypcji LMA.

  1. Dodaj Otwórz w LMA aby zobaczyć transkrypcję na żywo w nowej karcie.
  2. Wybierz preferowany język transkrypcji i wejdź w interakcję z asystentem spotkania, używając frazy aktywacji „OK Asystencie!” albo Bot Asystent Spotkań szkło.

Połączenia ZAPYTAJ ASYSTENTA przycisk prosi usługę asystenta spotkania (bazę wiedzy Amazon Bedrock) o zasugerowanie dobrej odpowiedzi na podstawie zapisu ostatnich interakcji podczas spotkania. Twój przebieg może się różnić, więc eksperymentuj!

  1. Kiedy skończysz, wybierz Zatrzymaj transmisję zakończyć spotkanie w LMA.

W ciągu kilku sekund pojawiają się automatyczne podsumowania spotkań i udostępniane jest nagranie dźwiękowe. Po zakończeniu połączenia możesz nadal korzystać z bota.

Użyj karty Stream Audio w interfejsie LMA, aby przesyłać strumieniowo dźwięk z mikrofonu i dowolnej aplikacji audio opartej na przeglądarce

Rozszerzenie przeglądarki to najwygodniejszy sposób przesyłania strumieniowego metadanych i dźwięku z obsługiwanych aplikacji internetowych do spotkań. Możesz jednak także użyć LMA do strumieniowego przesyłania samego dźwięku z dowolnego telefonu programowego opartego na przeglądarce, aplikacji do spotkań lub innego źródła dźwięku odtwarzanego w przeglądarce Chrome, korzystając z wygodnego Przesyłaj strumieniowo dźwięk zakładka wbudowana w interfejs użytkownika LMA.

  1. Otwórz dowolne źródło dźwięku w karcie przeglądarki.

Może to być na przykład telefon programowy (np Google Voice), inną aplikację do spotkań lub w celach demonstracyjnych możesz po prostu odtworzyć w przeglądarce lokalne nagranie audio lub film z YouTube, aby emulować innego uczestnika spotkania. Jeśli chcesz po prostu spróbować, otwórz poniższy plik YouTube w nowej karcie.

  1. W interfejsie aplikacji LMA wybierz Przesyłaj strumieniowo dźwięk (bez rozszerzenia) , aby otworzyć kartę Strumieniowe przesyłanie dźwięku.
  2. W razie zamówieenia projektu Identyfikator spotkania, wprowadź identyfikator spotkania.
  3. W razie zamówieenia projektu Imię, wprowadź swoją nazwę (dotyczącą dźwięku z mikrofonu).
  4. W razie zamówieenia projektu Imię i nazwisko uczestnika, wprowadź nazwiska uczestników (dotyczy przychodzącego źródła dźwięku).
  5. Dodaj Rozpocznij transmisję.
  6. Wybierz otwartą wcześniej kartę przeglądarki i wybierz Dopuszczać dzielić się.
  7. Wybierz ponownie kartę Interfejs LMA, aby wyświetlić nowy identyfikator spotkania i wyświetlić spotkanie jako W Trakcie.
  8. Wybierz identyfikator spotkania, aby otworzyć stronę szczegółów i obejrzyj transkrypcję przychodzącego dźwięku przypisaną do wprowadzonych nazw uczestników. Jeśli zaczniesz mówić, zobaczysz transkrypcję własnego głosu.

Użyj Przesyłaj strumieniowo dźwięk funkcję przesyłania strumieniowego z dowolnej aplikacji na telefon programowy, aplikacji do spotkań lub dowolnego innego strumieniowego przesyłania dźwięku odtwarzanego w przeglądarce wraz z własnym dźwiękiem przechwyconym z wybranego mikrofonu. Zawsze uzyskaj pozwolenie od innych osób przed nagraniem ich za pomocą LMA lub innej aplikacji do nagrywania.

Przegląd przepływu przetwarzania

W jaki sposób LMA dokonało transkrypcji i analizy Twojego spotkania? Przyjrzyjmy się, jak to działa. Poniższy diagram przedstawia główne elementy architektoniczne i sposób ich dopasowania na wysokim poziomie.

Użytkownik LMA dołącza do spotkania w swojej przeglądarce, włącza rozszerzenie przeglądarki LMA i uwierzytelnia się przy użyciu swoich poświadczeń LMA. Jeśli aplikacja do obsługi spotkań (na przykład Zoom.us) jest obsługiwana przez rozszerzenie LMA, nazwa użytkownika, nazwa spotkania i nazwiska aktywnych mówców są automatycznie wykrywane przez rozszerzenie. Jeśli rozszerzenie nie obsługuje aplikacji do spotkań, użytkownik LMA może ręcznie wpisać swoje imię i nazwisko oraz temat spotkania – nazwiska aktywnych prelegentów nie zostaną wykryte.

Po uzyskaniu pozwolenia od innych uczestników użytkownik LMA wybiera opcję Rozpocznij słuchanie w panelu rozszerzenia LMA. Nawiązywane jest bezpieczne połączenie protokołu WebSocket ze wstępnie skonfigurowanym adresem URL protokołu WebSocket stosu LMA, a token uwierzytelniania użytkownika jest sprawdzany. Rozszerzenie przeglądarki LMA wysyła do protokołu WebSocket wiadomość START zawierającą metadane spotkania (nazwę, temat itd.) i rozpoczyna strumieniowe przesyłanie dwukanałowego dźwięku z mikrofonu użytkownika oraz przychodzącego kanału audio zawierającego głosy pozostałych uczestników spotkania. Rozszerzenie monitoruje aplikację do spotkań, aby wykryć zmiany aktywnego mówcy podczas połączenia i wysyła te metadane do protokołu WebSocket, umożliwiając LMA oznaczanie segmentów mowy imieniem i nazwiskiem mówcy.

Serwer WebSocket działający w Fargate zużywa w czasie rzeczywistym dwukanałowe fragmenty audio z przychodzącego strumienia WebSocket. Dźwięk jest przesyłany strumieniowo do Amazon Transcribe, a wyniki transkrypcji są zapisywane w czasie rzeczywistym w Kinesis Data Streams.

Każda sesja przetwarzania spotkania trwa do momentu, gdy użytkownik wybierze opcję Przestań słuchać w panelu rozszerzenia LMA lub zakończy spotkanie i zamknie kartę. Na koniec połączenia funkcja tworzy plik nagrania stereo w Amazon S3 (jeśli nagrywanie było włączone podczas wdrażania stosu).

Funkcja Lambda zwana procesorem zdarzeń połączeń, zasilana przez strumienie danych Kinesis, przetwarza i opcjonalnie wzbogaca metadane spotkań i segmenty transkrypcji. Procesor zdarzeń połączeń integruje się z usługami wspomagania spotkań. LMA jest zasilany przez Amazonka Lex, Bazy wiedzy dotyczące Amazon Bedrock i Amazon Bedrock LLM korzystające z otwartego oprogramowania QnABot na rozwiązaniu AWS w celu uzyskania odpowiedzi na podstawie często zadawanych pytań oraz jako koordynator kierowania żądań do odpowiedniej usługi AI. Procesor zdarzeń wywołania wywołuje także funkcję Lambda podsumowania transkrypcji po zakończeniu połączenia, aby wygenerować podsumowanie wywołania na podstawie pełnej transkrypcji.

Funkcja Call Event Processor łączy się z AWS AppSync w celu utrwalania zmian (mutacji) w Amazon DynamoDB i wysyłaj aktualizacje w czasie rzeczywistym do zalogowanych klientów internetowych użytkownika LMA (wygodnie otwierane poprzez wybranie opcji Otwórz w LMA w rozszerzeniu przeglądarki).

Zasoby interfejsu internetowego LMA są hostowane na Amazon S3 i obsługiwane przez CloudFront. Uwierzytelnianie zapewnia Amazon Cognito.

Po uwierzytelnieniu użytkownika aplikacja internetowa nawiązuje bezpieczne połączenie GraphQL z interfejsem API AWS AppSync i subskrybuje otrzymywanie zdarzeń w czasie rzeczywistym, takich jak nowe połączenia i zmiany statusu połączeń na stronie listy spotkań oraz nowe lub zaktualizowane segmenty transkrypcji i obliczone statystyki strony ze szczegółami spotkania. Gdy tłumaczenie jest włączone, aplikacja internetowa bezpiecznie współpracuje z Amazon Translate, aby przetłumaczyć transkrypcję spotkania na wybrany język.

Cały proces przetwarzania, od przetworzonej mowy po aktualizacje strony internetowej na żywo, jest sterowany zdarzeniami, a całościowe opóźnienie jest krótkie — zwykle wynosi tylko kilka sekund.

Monitorowanie i rozwiązywanie problemów

AWS CloudFormation zgłasza błędy i przyczyny wdrożeń na odpowiednich stosach Eventy patka. Widzieć Rozwiązywanie problemów z CloudFormation aby uzyskać pomoc dotyczącą typowych problemów z wdrażaniem. Zwróć uwagę na awarie wdrażania spowodowane błędami przekroczenia limitu; stosy LMA tworzą zasoby podlegające domyślnym limitom kont i usług regionalnych, takie jak elastyczne adresy IP i bramy NAT. Podczas rozwiązywania problemów z błędami stosu CloudFormation zawsze przechodź do wszelkich zagnieżdżonych stosów, które uległy awarii, aby znaleźć pierwszą zgłoszoną awarię zagnieżdżonego zasobu — prawie zawsze jest to główna przyczyna.

Amazon Transcribe ma domyślny limit 25 jednoczesnych strumieni transkrypcji, co ogranicza LMA do 25 jednoczesnych spotkań na danym koncie AWS lub w danym regionie. Poproś o zwiększenie liczby jednoczesnych strumieni HTTP/2 na potrzeby transkrypcji strumieniowej, jeśli masz wielu użytkowników i musisz obsłużyć większą liczbę jednoczesnych spotkań na swoim koncie.

LMA zapewnia monitorowanie czasu działania i logi dla każdego komponentu za pomocą CloudWatch:

  • Przetwarzanie i transkrypcja zadania Fargate przez WebSocket - Na Usługa Amazon Elastic Container Service (Amazon ECS), przejdź do Klastry stronę i otwórz LMA-WEBSOCKETSTACK-xxxx-TranscribingCluster funkcjonować. Wybierz Zadania i otwórz stronę zadania. Wybierać Dzienniki i Zobacz w CloudWatch aby sprawdzić dzienniki zadań transkrypcji WebSocket.
  • Wywołaj funkcję Lambda procesora zdarzeń – W konsoli Lambda otwórz plik LMA-AISTACK-CallEventProcessor funkcjonować. Wybierz monitor kartę, aby zobaczyć metryki funkcji. Wybierać Wyświetl dzienniki w CloudWatch do sprawdzania dzienników funkcji.
  • API AWS AppSync – W konsoli AWS AppSync otwórz plik CallAnalytics-LMA API. Wybierać Monitorowanie w okienku nawigacji, aby wyświetlić metryki interfejsu API. Wybierać Wyświetl dzienniki w CloudWatch aby sprawdzić dzienniki API AWS AppSync.

Informacje na temat aplikacji QnABot w AWS for Meeting Assist można znaleźć w dokumencie Plik README Asystenta spotkaniai Przewodnik po wdrażaniu rozwiązania QnABot W celu uzyskania dalszych informacji.

Ocena kosztów

LMA zapewnia serwer WebSocket wykorzystujący zasoby sieciowe Fargate (2vCPU) i VPC w cenie około 0.10 USD za godzinę (około 72 USD miesięcznie). Więcej szczegółów znajdziesz w Ceny AWS Fargate.

LMA jest włączana przy użyciu QnABot i baz wiedzy dla Amazon Bedrock. Tworzysz własną bazę wiedzy, którą wykorzystujesz w LMA i potencjalnie innych przypadkach użycia. Więcej szczegółów znajdziesz w Ceny Amazon Bedrock. Dodatkowe usługi AWS wykorzystywane przez rozwiązanie QnABot kosztują około 0.77 USD/godz. Więcej szczegółów znajdziesz na liście QnABot na kosztach rozwiązania AWS.

Pozostałe koszty rozwiązania zależą od zużycia.

Koszty użytkowania wynoszą łącznie około 0.17 USD za 5-minutowe połączenie, chociaż może się to różnić w zależności od wybranych opcji (takich jak tłumaczenie), liczby podsumowań LLM i całkowitego wykorzystania, ponieważ użytkowanie wpływa na kwalifikowalność do poziomu bezpłatnego i wielopoziomowe ceny wielu usług . Więcej informacji na temat usług wiążących się z kosztami użytkowania można znaleźć w poniższych sekcjach:

Aby samodzielnie poznać koszty LMA, użyj Eksplorator kosztów AWS lub wybierz Szczegóły rachunku w panelu rozliczeniowym AWS, aby zobaczyć swoje miesięczne wydatki według usług.

Dostosuj swoje wdrożenie

Użyj następujących parametrów szablonu CloudFormation podczas tworzenia lub aktualizowania stosu, aby dostosować wdrożenie LCA:

  • Aby używać własnego zasobnika S3 do nagrań spotkań, użyj Wywołaj nazwę zasobnika nagrań dźwiękowych i Prefiks pliku audio.
  • Aby zredagować PII z transkrypcji, ustaw Włącz redakcję treści dla transkrypcji na wartość true i dostosuj Typy jednostek redakcji informacji umożliwiających transkrypcję w razie potrzeby. Aby uzyskać więcej informacji, zobacz Redagowanie lub identyfikowanie danych osobowych w strumieniu w czasie rzeczywistym.
  • Aby poprawić dokładność transkrypcji akronimów technicznych i specyficznych dla domeny oraz żargonu, ustaw Nazwa słownictwa niestandardowego w transkrypcji do nazwy niestandardowego słownictwa, które już utworzyłeś w Amazon Transcribe lub ustawiłeś Nazwa modelu języka niestandardowego transkrypcji do nazwy wcześniej utworzonego niestandardowego modelu języka. Aby uzyskać więcej informacji, zobacz Poprawa dokładności transkrypcji.
  • Aby dokonać transkrypcji spotkań w obsługiwanym języku innym niż angielski (USA), wybierz żądaną wartość Język do transkrypcji.
  • Aby dostosować przetwarzanie transkrypcji, ustaw opcjonalnie Funkcja Lambda Hook ARN do niestandardowego przetwarzania segmentów transkrypcji do ARN własnej funkcji Lambda. Aby uzyskać więcej informacji, zobacz Korzystanie z funkcji Lambda w celu opcjonalnego zapewnienia niestandardowej logiki przetwarzania transkrypcji.
  • Aby dostosować możliwości asystowania podczas spotkań w oparciu o rozwiązanie QnABot na platformie AWS, Amazon Lex, Amazon Bedrock i bazy wiedzy dotyczące integracji z Amazon Bedrock, zobacz Plik README Asystenta spotkania.
  • Aby dostosować podsumowanie transkrypcji, konfigurując LMA tak, aby wywoływał własną funkcję Lambda, zobacz Opcja LAMBDA podsumowania transkrypcji.
  • Aby dostosować podsumowanie transkrypcji poprzez modyfikację domyślnych podpowiedzi lub dodanie nowych, zobacz Podsumowanie transkrypcji.
  • Aby zmienić okres przechowywania, ustaw Rekord wygaśnięcia w dniach do żądanej wartości. Po tym okresie wszystkie dane połączeń są trwale usuwane z pamięci LMA DynamoDB. Zmiany tego ustawienia dotyczą wyłącznie nowych połączeń otrzymanych po aktualizacji.

LMA jest projektem typu open source. Możesz forkować repozytorium LMA GitHub, ulepszać kod i wysyłać nam żądania ściągnięcia, abyśmy mogli uwzględnić i udostępnić Twoje ulepszenia!

Zaktualizuj istniejący stos LMA

Możesz zaktualizować istniejący stos LMA do najnowszej wersji. Więcej szczegółów znajdziesz w Zaktualizuj istniejący stos.

Sprzątać

Gratulacje! Wykonałeś wszystkie kroki konfiguracji przykładowego rozwiązania do analizy połączeń na żywo przy użyciu usług AWS.

Po zakończeniu eksperymentowania z tym przykładowym rozwiązaniem wyczyść swoje zasoby, korzystając z konsoli AWS CloudFormation, aby usunąć wdrożone stosy LMA. Spowoduje to usunięcie zasobów utworzonych w wyniku wdrożenia rozwiązania. Zasoby zapisu S3, tabela DynamoDB i grupy dzienników CloudWatch są zachowywane po usunięciu stosu, aby uniknąć usunięcia danych.

Analiza połączeń na żywo: rozwiązanie towarzyszące

Nasze rozwiązanie towarzyszące, Analiza połączeń na żywo i asystent agenta (LCA), oferuje transkrypcję i analitykę w czasie rzeczywistym dla contact center (rozmów telefonicznych), a nie spotkań. Jest wiele podobieństw – tak naprawdę LMA została zbudowana przy użyciu architektury i wielu komponentów wywodzących się z LCA.

Wnioski

Przykładowe rozwiązanie Live Meeting Assistant oferuje elastyczne, bogate w funkcje i konfigurowalne podejście do zapewniania pomocy podczas spotkań na żywo w celu poprawy produktywności w trakcie spotkań i po nich. Wykorzystuje usługi Amazon AI/ML, takie jak Amazon Transcribe, Amazon Lex, bazy wiedzy dla Amazon Bedrock i Amazon Bedrock LLM, aby transkrybować i wydobywać spostrzeżenia w czasie rzeczywistym z dźwięku spotkania.

Przykładowa aplikacja LMA jest udostępniana jako oprogramowanie typu open source — użyj jej jako punktu wyjścia do własnego rozwiązania i pomóż nam ulepszyć je, dostarczając poprawki i funkcje za pośrednictwem żądań ściągnięcia GitHub. Przejdź do Repozytorium LMA GitHub aby poznać kod, wybierz Oglądaj aby otrzymywać powiadomienia o nowych wydaniach i sprawdź README w celu uzyskania najnowszych aktualizacji dokumentacji.

Aby uzyskać fachową pomoc, Usługi profesjonalne AWS i inne Partnerzy AWS są tutaj, aby pomóc.

Chcielibyśmy usłyszeć od ciebie. Daj nam znać, co myślisz w sekcji komentarzy lub skorzystaj z forum problemów w Repozytorium LMA GitHub.

O autorach

Boba Strahana Boba Strahana jest głównym architektem rozwiązań w zespole AWS Language AI Services.

Chrisa Lotta jest głównym architektem rozwiązań w zespole AWS AI Language Services. Posiada 20-letnie doświadczenie w tworzeniu oprogramowania dla przedsiębiorstw. Chris mieszka w Sacramento w Kalifornii i lubi ogrodnictwo, lotnictwo i podróże po świecie.

Babu Srinivasana jest starszym specjalistą SA – usługi językowe AI w organizacji World Wide Specialist w AWS, z ponad 24-letnim doświadczeniem w IT, a przez ostatnie 6 lat skupionym na chmurze AWS. Jego pasją jest AI/ML. Poza pracą lubi pracować w drewnie i zabawia przyjaciół i rodzinę (czasami nieznajomych) sztuczkami magii kart ręcznych.

Kishore Dhamodaran jest starszym architektem rozwiązań w AWS.

Zdjęcie Gillian ArmstrongGillian Armstrong jest Architektem Rozwiązań Budowlanych. Jest podekscytowana tym, jak chmura otwiera przed większą liczbą ludzi możliwości korzystania z technologii do rozwiązywania problemów, a szczególnie podekscytowana tym, jak technologie kognitywne, takie jak konwersacyjna sztuczna inteligencja, pozwalają nam wchodzić w interakcje z komputerami w bardziej ludzki sposób.

spot_img

Najnowsza inteligencja

spot_img

Prawa autorskie @ 2024 Plato Technologies Inc.