医療提供者は、患者の電話での会話、医師のメモ、臨床試験のレポート、患者の健康記録を分析して口述する必要があることがよくあります。 トランスクリプションを自動化することで、プロバイダーは患者に病状、投薬、投与量、強度、頻度を迅速かつ正確に提供できます。
一般的な人工知能ベースの文字起こしモデルを使用して、音声をテキストに書き起こすことができます。 ただし、医療音声データでは、複雑な医療用語や略語が使用されることがよくあります。 このようなデータの文字起こしには、医療/ヘルスケア固有の機械学習 (ML) モデルが必要です。 この問題に対処するために、AWS は アマゾン転写医療は、医療用音声テキスト変換機能を音声対応アプリケーションに簡単に追加できる自動音声認識 (ASR) サービスです。
さらに、 アマゾンコンプリヘンドメディカル は、医療提供者が非構造化医療テキストから正確かつ迅速に情報を抽出するのに役立つ HIPAA 適格サービスです。 リアルタイムで音声を文字起こしするには、プロバイダーは進行中に通話から生の音声にアクセスする必要があります。 AWS パートナーである Twilio は、リアルタイムの電話音声統合を提供します。
この投稿では、Twilio Media Streams を Amazon Transcribe Medical および Amazon Comprehend Medical と統合して、通話のデータを文字起こしして分析する方法を示します。 ヘルスケア以外の業界では、これと同じソリューションを Amazon Transcribe & Amazon Comprehend.
Twilio Media Streams は、顧客に直接サービスを提供する Interactive Voice Response (IVR) などの従来の Twilio 音声アプリケーションと、エージェントが顧客にサービスを提供する Twilio Flex などのコンタクト センターのコンテキストで機能します。 コンタクト センター内の音声データを個別に制御して、顧客が好むエクスペリエンスを構築できます。
Amazon Transcribe Medical は、患者と医師の間で正確な文字起こしをすばやく簡単に作成できる ML サービスです。 Amazon Comprehend Medical は、ML を使用して非構造化テキストから関連する医療情報を抽出することを容易にする自然言語処理 (NLP) サービスです。 さまざまなソース (医師のメモ、臨床試験レポート、患者の健康記録など) から情報 (病状、投薬、投与量、強度、頻度など) をすばやく正確に収集できます。 Amazon Comprehend Medical は、検出された情報を ICD-10-CM や RxNorm などの医療オントロジーにリンクできるため、ダウンストリームの医療アプリケーションで簡単に使用できます。
次の図は、Amazon Comprehend Medical が医療の名前付きエンティティと関係の抽出をどのようにサポートするかを示しています。
Amazon Transcribe Medical、Amazon Comprehend Medical、Twilio Media Streams はすべてマネージド型プラットフォームです。 これは、データ サイエンティストと医療 IT チームがゼロからサービスを構築する必要がないことを意味します。 音声統合は Twilio および AWS ML サービス API によって提供され、AWS および Twilio サービスとの簡単なプラグ アンド プレイだけでエンド ツー エンドのワークフローを構築できます。
ソリューションの概要
私たちのソリューションは、Twilio Media Streams を使用して、顧客に電話サービスを提供します。 このサービスは、電話番号とメディア サービスへのバックエンドを提供し、REST API ベースの Web アプリケーションと統合します。 このソリューションでは、Node.js Web アプリをビルドしてデプロイします。 AWS 増幅. Amplify は、フロントエンドの Web およびモバイル開発者が安全でスケーラブルなフルスタック アプリケーションを構築するのに役立ちます。 Web アプリは Twilio Media Streams と連携して音声形式で電話を受け、Amazon Transcribe Medical を使用して音声をテキストに変換します。 転記を受信すると、アプリケーションは Amazon Comprehend Medical と連携して、転記から医学用語と洞察を抽出します。 インサイトは Web アプリに表示され、 Amazon DynamoDB さらに分析するための表。 ソリューションはまた使用します Amazon シンプル ストレージ サービス (Amazon S3) と AWS クラウド9 環境。
次の図は、ソリューションのアーキテクチャを示しています。
ソリューションを実装するには、次の大まかな手順を実行します。
- トライアル Twilio アカウントを作成します。
- 作る AWS IDおよびアクセス管理 (IAM) ユーザー。
- AWS Cloud9 統合開発環境 (IDE) を作成します。
- クローン GitHubレポ.
- ngrok を使用してセキュアな HTTPS トンネルを作成し、Twilio 電話番号の音声構成をセットアップします。
- アプリケーションを実行してください。
トライアル Twilio アカウントを作成する
開始する前に、必ず トライアル Twilio アカウントにサインアップする (https://www.twilio.com/try-twilio)、まだ持っていない場合。
IAM ユーザーを作成する
IAM ユーザーを作成するには、次の手順を実行します。
- IAMコンソールの、 アクセス管理、選択する ユーザー.
- 選択する ユーザーを追加.
- ソフトウェア設定ページで、下図のように ユーザーの詳細を設定する ページ、 ユーザー名¸名前を入力します。
- アクセスタイプ選択 プログラムによるアクセス.
- 選択する 次：パーミッション.
- ソフトウェア設定ページで、下図のように 権限を設定する ページ、選択 既存のポリシーを直接添付.
- 次の AWS 管理ポリシーを選択します。 AmazonTranscribeFullAccess、ComprehendMedicalFullAccess、AmazonDyanmoDBFullAccess、 & AmazonS3フルアクセス.
- 選択する 次：タグ.
- タグの追加をスキップして選択 次：レビュー.
- IAM ユーザーの詳細とアタッチされたポリシーを確認し、選択します ユーザーを作成.
- 次のページで、アクセス キー ID とシークレット アクセス キーをクリップボードにコピーするか、CSV ファイルをダウンロードします。
これらの資格情報を使用して、Node.js アプリケーションをテストします。
S3 バケットを作成する
Amazon S3 バケットを作成するには、次の手順を実行します。
- Amazon S3コンソールで、 バケットを作成する.
- バケット名、Amazon S3 バケットの名前を入力します。
- このバケットのパブリック アクセス設定をブロックします チェック ブロック を パブリックアクセス.
- 設定を確認して選択します バケットを作成します。
Amazon DynamoDB テーブルを作成する
Amazon DynamoDB テーブルを作成するには、次の手順を実行します。
- Amazon DynamoDB コンソールで、 テーブルを作成.
- テーブル名、Amazon DynamoDB テーブルの名前を入力します。
- 主キー、 入る ロウイド 主キー用。
- Amazon DynamoDB テーブル設定を確認し、選択します
AWS Cloud9 環境を作成する
AWS Cloud9 環境を作成するには、次の手順を実行します。
- AWS Cloud9 コンソールで、選択します 環境.
- 選択する 環境を作る.
- 名前 、環境の名前を入力します。
- 説明、オプションの説明を入力します。
- 選択する 次のステップ.
- ソフトウェア設定ページで、下図のように Configure Settings Ubuntu サーバー 18.04 LTS for プラットフォーム 他の設定はデフォルトのままにします。
- 設定を確認して選択します 環境を作る.
AWS Cloud9 IDE タブがブラウザで開きます。 環境作成プロセスが完了するまで数分かかる場合があります。
GitHubリポジトリのクローンを作成します
AWS Cloud9 環境で、 ようこそ & AWS ツールキット – クイックスタート タブ。 GitHub リポジトリを複製するには、bash ターミナルで次のコードを入力します。
編集 config.json プロジェクト ディレクトリの下にあるファイル。 値を Amazon S3 バケットと Amazon DynamoDB テーブルに置き換えます。
ngrok と Twilio 電話番号を設定する
Node.js アプリケーションを開始する前に、ngrok を使用してセキュアな HTTPS トンネルを開始し、Twilio 電話番号の音声構成をセットアップする必要があります。
- ターミナルで、 +
- 選択する 新しいターミナル.
- ターミナルで ngrok をインストールします。
- ngrok をインストールした後、次のコードを実行して、ローカルの Express Node.js サーバーをインターネットに公開します。
- パブリック HTTPS URL をコピーします。
この URL を Twilio 電話番号の音声設定に使用します。
- Twilio アカウントにサインインします。
- ダッシュボードで、 ... アイコンを開く 設定
- 選択する 電話番号.
- ソフトウェア設定ページで、下図のように 電話番号 ページで、Twilio 電話番号を選択します。
- ボイス セクション、 電話がかかってくる、選択する ウェブフック.
- ngrok トンネルに入り、続いて
/twiml. - 構成を保存します。
アプリケーションを実行する
次のコードを入力して、Twilio Media Streams、Amazon Transcribe Medical、および Amazon Comprehend Medical サービスを実行しましょう。
AWS Cloud9 でアプリケーションをプレビューできます。 環境では、 プレビュー メニュー、選択 実行中のアプリケーションのプレビュー.
パブリック URL をコピーして、別のブラウザー タブでアプリケーションを表示できます。
IAM ユーザーのアクセス ID と秘密鍵の認証情報、および Twilio アカウントの SID、認証トークン、および電話番号を入力します。
ンを予約する（英語）
このセクションでは、XNUMX つのサンプル録音を使用して、Twilio メディア ストリームを使用したリアルタイムのオーディオ トランスクリプションを示します。
IAM と Twilio の認証情報を入力したら、 クレデンシャルを提出する.
次のスクリーンショットは、最初のオーディオ ファイル sample-1.mp4 の文字起こしを示しています。
次のスクリーンショットは、3 番目のファイル sample-4.mpXNUMX の文字起こしを示しています。
このアプリケーションは、Amazon Transcribe Medical を使用してメディアコンテンツをリアルタイムで文字起こしし、さらに分析するために出力を Amazon S3 に保存します。 次に、アプリケーションは Amazon Comprehend Medical を使用して次のエンティティを検出します。
- アナトミー – 身体または身体システムの部分への参照と、それらの部分またはシステムの位置を検出します
- 病状 – 病状の徴候、症状、および診断を検出する
- 投薬 – 患者の投薬と投与量の情報を検出
- PROTECTED_HEALTH_INFORMATION – 患者の個人情報を検出
- テスト_治療_手順 – 病状を判断するために使用される手順を検出します
- 時間表現 – 検出されたエンティティに関連付けられている時間に関連するエンティティを検出します
これらのエンティティは DynamoDB テーブルに保存されます。 医療提供者はこのデータを使用して、患者の診断と治療計画を作成できます。
などのサービスを使用して、このデータをさらに分析できます。 アマゾン・エラスティックサーチ・サービス (Amazon ES) と アマゾンケンドラ.
リソースをクリーンアップする
このソリューションで使用される AWS のサービスは、AWS 無料利用枠の一部です。 無料利用枠を使用していない場合は、次のリソースをクリーンアップして、追加料金が発生しないようにします。
- AWS Cloud9 環境
- AmazonS3バケット
- Amazon DynamoDB テーブル
- IAMユーザー
まとめ
この投稿では、Twilio Media Streams を Amazon Transcribe Medical および Amazon Comprehend Medical と統合して、オーディオファイルから医療データを文字起こしして分析する方法を示しました。 このソリューションをヘルスケア以外の業界でも使用して、オーディオから情報を転写することもできます。
のコードをチェックしてください。 GitHubレポ ソリューションを試してみてください。さらに、Amazon ES または Amazon Kendra を使用してデータ分析を拡張してください。
著者について
マヘンドラ・バイラギ アマゾン ウェブ サービスの主任機械学習プロトタイピングアーキテクトです。 彼は、顧客が AWS で機械学習ソリューションを構築するのを支援しています。 彼は、ML、ロボティクス、IoT、および分析サービスに関する豊富な経験を持っています。 アマゾン ウェブ サービスに入社する前は、起業家、エンタープライズアーキテクト、ソフトウェア開発者として長い間勤務していました。
ジェイパーク AWS のプロトタイピングソリューションアーキテクトです。 Jay は、AWS のお客様がラピッドプロトタイピングを通じてクラウドネイティブワークロードの採用を迅速化できるよう支援することに重点を置いています。
コインスマート。 BesteBitcoin-ヨーロッパのBörse
出典: https://aws.amazon.com/blogs/machine-learning/perform-medical-transcription-analysis-in-real-time-with-amazon-transcribe-medical-and-amazon-comprehend-medical-with- twilio-media-streams/
