Dit bericht is geschreven door Satish Jha, Intelligent Automation Manager, Matt Docherty, Data Science Manager, Jayesh Muley, Associate Consultant en Tapan Vora, Rapid Prototyping, van ZS Associates.

Bij ZS Associates doen we een aanzienlijke hoeveelheid kwalitatief marktonderzoek. Het werk omvat het interviewen van relevante onderwerpen (zoals professionals in de gezondheidszorg en verkoopvertegenwoordigers) en het ontwikkelen van op maat gemaakte analyses van de interviewgegevens. We hebben gebruik gemaakt van de vooruitgang op het gebied van AI, machine learning (ML) en cloud computing om kwalitatief marktonderzoek opnieuw vorm te geven en een schaalbare oplossing ontwikkeld die is uitgerust om spraak-naar-tekstconversie en natuurlijke taalverwerking (NLP) uit te voeren op de geluidsopnamen van geïnterviewde onderwerpen. De oplossing is beter, goedkoper en sneller dan de huidige manier van werken (handmatige interpretatie), wat een concurrentievoordeel geeft in deze ruimte.

Dit bericht bespreekt hoe ZS werd gebruikt Amazon Transcribe, Amazon begrijpt medisch, en aangepaste NLP voor tekstsamenvattingen en grafiekvisualisatie om een ​​schaalbare, geautomatiseerde oplossing te creëren die ons helpt om inzichten op een snellere, betere en efficiëntere manier te bieden.

Achtergrondbeoordeling

De traditionele methode voor het uitvoeren van kwalitatief marktonderzoek vereist menselijke tussenkomst en interpretatie, die zeer subjectief van aard is. We hebben geavanceerde AI en ML gebruikt om een ​​platform te ontwikkelen dat het volgende kan:

• Het uitvoeren van spraak-naar-tekst conversie; specifiek met hoge precisie, het converteren van audio-opnames van interviews die zijn uitgevoerd met het oog op kwalitatief marktonderzoek
• Analytische inzichten trekken uit de geconverteerde tekst met behulp van een state-of-the-art NLP-model

Om dit te bereiken, hebben we state-of-the-art AWS AI-services en cloud computing-mogelijkheden gecombineerd met onze eigen NLP- en tekstsamenvattingsalgoritmen om impact op schaal te vergroten.

Overzicht oplossingen

Om onze oplossing te bouwen, hebben we de methodologie aangenomen om klein te beginnen, waarde te benadrukken en snel op te schalen. We hebben een belangrijke gebruikersgroep geïdentificeerd en fase één van de oplossing gedefinieerd om geautomatiseerde spraak-naar-tekst en analyses uit te voeren. We hebben een belangrijke gebruikersinterface gedefinieerd en de technologie-architectuur voor de oplossing ontwikkeld. Omdat ZS een AWS-partner is en al meerdere AWS Cloud-services gebruikt voor onze enterprise-producten en -oplossingen, was AWS de voorkeurskeuze voor dit project. We gebruikten Amazon Transcribe en Amazon Comprehend Medical voor transcriptie- en thema-identificatiedoeleinden. Voor het hosten van aangepaste NLP-analyse-API's hebben we een serverloze infrastructuur gebruikt met: Amazon API-gateway, AWS Lambda en Amazon Elastic Container-service (Amazon ECS) met AWS Fargate. Deze services komen in aanmerking voor HIPAA en voldoen aan de farmaceutische regelgevende vereisten.

Het proces omvat de volgende fasen:

• Bestand uploaden naar Amazon S3 – Het proces begint wanneer de gebruiker een of meer audio-opnamebestanden uploadt voor transcriptie naar de site waarop onze tool wordt gehost. Om de bestanden te uploaden naar: Amazon eenvoudige opslagservice (Amazon S3), wordt de gebruiker voorzien van een tijdelijk geschreven token of vooraf ondertekende URL met behulp van API Gateway, die Amazon S3-toegang biedt.
• Audiotranscriptie – Afhankelijk van het type bestand dat wordt geüpload, zijn er verschillende triggers om de juiste workflow te starten:
  • Audiobestanden geüpload zonder woordenboekbestand – Als de gebruiker geen woordenboekbestand heeft verstrekt, verwerkt de tool het audiobestand met Amazon Transcribe.
  • Audiobestanden geüpload met een woordenboekbestand – Als de gebruiker een woordenboekbestand heeft verstrekt, zijn bepaalde AWS Stap Functies stappen worden geactiveerd, gevolgd door het verwerken van het woordenboekbestand met Amazon Transcribe. Wanneer de woordenboekverwerking is voltooid, transcribeert de tool het audiobestand met Amazon Transcribe.
• Transcriptiebestand genereren – In een van de twee voorgaande gevallen, wanneer de transcriptie bezig is, gebruikt de tool Amazon CloudWatch-evenementen om de transcriptiestatus bij te werken. Lambda-functies activeren de tool om de status op het RDBMS bij te werken en de status door te geven aan de gebruiker via de gebruikersinterface van de tool met behulp van sockets. Wanneer de transcriptie is voltooid, wordt het uiteindelijke uitvoerbestand opgeslagen in Amazon S3.
• Conversie van bestandstype – Nadat het uitvoerbestand is gegenereerd, gebruikt de tool triggers om een ​​.doc- of .xlsx-bestand te maken, dat opnieuw wordt opgeslagen in Amazon S3.
• Analytische inzichten genereren – Met Amazon Comprehend Medical en bepaalde interne NLP-tools van ZS genereert de tool analyses op basis van de getranscribeerde gegevens en werkt de dashboards op onze site bij om ze in realtime te openen.
• Audiostreaming met Amazon Transcribe - We gebruiken Amazon CloudFront audiostreaming gekoppeld aan ons uiteindelijke uitvoerbestand, dat wordt gegenereerd met Amazon Transcribe. De gebruiker kan tegelijkertijd naar de opname luisteren en het transcript lezen.

Het volgende diagram toont de architectuur en workflow op hoog niveau.

Het platform is ontworpen om een ​​groot aantal bestanden in realtime te verwerken. Daarom vergroot de oplossing het werk van ons huidige kwalitatieve onderzoeksteam van ZS aanzienlijk door het proces efficiënter te maken en het een geheel nieuwe dimensie te geven!

Over het algemeen heeft onze oplossing de volgende kenmerken:

• De mogelijkheid om enkele of meerdere audiobestanden te uploaden
• Geautomatiseerde spraak-naar-tekst conversie, met de mogelijkheid om een ​​aangepast woordenboek toe te voegen
• De mogelijkheid om naar de geüploade audio te luisteren en tekst te verfijnen
• Tekstsamenvatting en analyse

Proceskaart

Het volgende diagram geeft een visualisatie op hoog niveau van onze ontwikkelde oplossing, met de volgende fasen:

• Audio uploaden – Het proces begint met het uploaden van de audio-opname door de gebruiker (met of zonder woordenboekbestand) naar de tool
• Spraak naar tekst – Deze geüploade audiobestanden worden getranscribeerd door spraak om te zetten in tekst
• Luister en verfijn – De gebruiker kan tegelijkertijd naar de opname luisteren en het transcript lezen en waar nodig wijzigingen aanbrengen
• Spraak-naar-tekst uitvoer – Het geconsolideerde bestand bevat het geconverteerde transcript en de bijbehorende analyses

Het kostte ons ongeveer 5-6 maanden om deze oplossing end-to-end met een fout te ontwikkelen
r-lid team. Tegenwoordig wordt het door meer dan 300 mensen gebruikt en heeft de tool duizenden uren aan audio verwerkt.

Gebruikte AWS-services

De oplossing maakt gebruik van meerdere AW-services:

• AWS Lambda en API-gateway – Hosted de serverloze API's en functies.
  • We hebben meerdere API-gateways ontwikkeld om een ​​losse koppeling en eenvoudige integratie met externe API's te garanderen. Er zijn aangepaste autorisaties geïmplementeerd om op tokens gebaseerde authenticatie mogelijk te maken en ongeautoriseerde toegang tot de webinhoud te beperken.
  • We hebben ook de Lambda-API's gebouwd (met behulp van Python en NodeJS) die gemakkelijk kunnen communiceren met een website die wordt gehost op ECS-containers en ook gemakkelijk kunnen worden gekoppeld aan Amazon Relational Database Service (Amazon RDS) voor PostgreSQL. Het gebruik van Lambda-functies in onze oplossing heeft ons geholpen om de taakverdeling, het herstellen en stoppen van clusters te vermijden en de totale kosten te verlagen, omdat de clusters alleen werden uitgevoerd als de functies actief waren. Bovendien konden we onze oplossing eenvoudig schalen vanwege de serverloze architectuur.
• Amazon Transcribe - Biedt ons opties om eenvoudig de batchverwerking van audiobestanden tot 100 tegelijk te configureren en zelfs een grotere belasting te schalen met behulp van het ingebouwde wachtrijmechanisme. Het stelde ons ook in staat om een ​​aangepast woordenboek te laden om de audiogegevens nauwkeuriger te transcriberen.
• Amazon begrijpt medisch – Gegenereerde analytische inzichten uit de tekstgegevens met behulp van de ingebouwde NLP-mogelijkheden om tekst te sorteren op waardevolle informatie.
• AWS CloudFormatie - We gebruikten AWS CloudFormatie om de Lambda-functies en API's in verschillende omgevingen (verschillende S3-buckets en meerdere omgevingen in dezelfde bucket, zoals productie en ontwikkeling) te implementeren met behulp van fasevariabelen.
• AWS CodeBuild, AWS CodeDeploy en AWS CodePipeline - We gebruikten AWS CodeBuild, AWS CodeDeploy en AWS CodePipeline om continue implementatie van de front-end en analyse-backend naar ECS-clusters uit te voeren.

Het volgende diagram illustreert de architectuur van deze services.

Conclusie

We hebben AWS-services gebruikt om een ​​platform te ontwikkelen waarmee onze teams geavanceerde AI kunnen toepassen op hun projecten. Het heeft onze teams geholpen om het volgende te doen:

• Automatiseer het proces van spraak-naar-tekst-conversie en focus alleen op aspecten met een lage nauwkeurigheid.
• Stimuleer automatisering van inzichten met NLP-algoritmen.
• Zelfbediening rijden. Omdat we geen specifieke server hoeven te starten, kunnen we eenvoudig Lambda-functies maken, de code on-the-fly wijzigen en belangrijke ML-services als plug-and-play leveren, zodat gebruikers geen datawetenschappers hoeven te zijn.

Tegenwoordig wordt de oplossing door meer dan 300 mensen gebruikt en hebben we duizenden uren aan audio verwerkt. We integreren onze oplossing nu met andere applicaties om gebruikers de flexibiliteit te bieden om ofwel audiobestanden te uploaden voor transcriptie of rechtstreeks getranscribeerde bestanden te uploaden om analytische inzichten te verkrijgen.

We hebben ook meerdere voordelen gehaald uit het bouwen van ons platform met AWS:

• Het gebruik van een end-to-end cloudgebaseerde architectuur bleek gunstig voor het beheren van omgevingen voor zakelijke toepassingen
• Met beheertools zoals CloudWatch, AWS CloudFormation, CodeBuild, CodeDeploy en CodePipeline was het eenvoudiger om ontwikkelingswijzigingen te bewaken, volgen en implementeren
• We gebruikten de ingebouwde beveiliging van AWS met virtuele privéclouds en identiteitsbeheer met aangepast beleid
• We waren in staat om de belasting van waardevolle microservices te verminderen, met het extra voordeel van snelle hosting en implementatie

Over ZS

ZS-partners is een advies- en professionele dienstverlener die zich richt op consulting, software en technologie, met het hoofdkantoor in Evanston, Illinois, dat diensten levert aan klanten in de farma, gezondheidszorg en technologie. Het bedrijf heeft meer dan 10,000 medewerkers in 30 kantoren in Noord-Amerika, Zuid-Amerika, Europa en Azië. ZS werkt met 49 van de 50 grootste medicijnfabrikanten en 17 van de 20 grootste fabrikanten van medische hulpmiddelen en bedient consumentenproducten, financiële diensten, industriële producten, telecommunicatie, transport en logistieke sectoren.

Disclaimer: AWS is niet verantwoordelijk voor de inhoud of juistheid van dit bericht. De inhoud en meningen in dit bericht zijn uitsluitend die van de externe auteur. Het is de verantwoordelijkheid van elke klant om te bepalen of ze onderworpen zijn aan HIPAA, en zo ja, hoe ze het beste kunnen voldoen aan HIPAA en de uitvoeringsvoorschriften ervan. Alvorens AWS te gebruiken in verband met beschermde gezondheidsinformatie, moeten klanten een AWS Business Associate Addendum (BAA) invoeren en de configuratievereisten volgen.

Over de auteurs

Satish Jha is manager bij ZS Associates. Hij is een leider in de Intelligent Automation Practice van het bedrijf, waar hij samenwerkt met verschillende farmaceutische klanten om operaties te transformeren en impact te vergroten.

Matt Docherty is een Data Science Manager bij ZS Associates in het kantoor in Philadelphia. Zijn focus ligt op het toepassen van data science in de farmaceutische industrie.

Jayesh Muley is Associate Consultant voor Process Excellence & Transformation bij ZS Associates. Hij heeft 4 jaar ervaring met het adviseren van farmaceutische klanten op het gebied van forecasting, process excellence en digitale transformatie. Hij speelde een cruciale rol bij het opzetten van het automatiseringscentrum van ZS. Hij is altijd enthousiast om nieuwe technologieën te leren en is altijd in ontwikkeling in zijn rol.

Tapan Vora is Manager Rapid Prototyping bij ZS Associates. Tapan heeft meer dan 14 jaar ervaring in technologie en engineering management. Hij vervult meerdere rollen in het team, zoals business analist, people manager, solution designer, data analist en productleider.

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://aws.amazon.com/blogs/machine-learning/transforming-qualitative-research-by-automating-speech-to-text-to-text-analytics/