データはあらゆる組織にとって重要な戦略的資産であり、どの企業もその中核はデータ ビジネスです。 ただし、多くの組織では通常、データはサービスとしてのソフトウェア (SaaS) アプリケーション、運用データベース、データ ウェアハウスなどのさまざまなシステムに分散しています。 このようなデータのサイロ化により、組織内のデータの統一されたビューを取得し、最大限の価値を引き出すためにリアルタイムで行動することが困難になります。
XNUMX年前、私たちは Amazon Kinesisデータストリームは、企業のバックボーンとして機能し、システム境界を越えてデータを移動し、データ サイロを打破する初のクラウド ネイティブ サーバーレス ストリーミング データ サービスです。 データ ストリーミングを使用すると、上で実行されているデータ レイクを強化できます。 Amazon シンプル ストレージ サービス (Amazon S3)、パーソナライゼーションを通じて顧客エクスペリエンスを豊かにし、工場の機械の予知保全によって業務効率を向上させ、より正確な機械学習 (ML) モデルによってより優れた洞察を実現します。 Amazon Kinesis Data Streams は、数万の顧客にとっての基本的なデータ戦略の柱です。 生データのストリームが集まると、次のようなストリーム処理エンジンとのシームレスな統合を通じて、リアルタイムでデータを継続的に変換、強化、クエリする機能が解放されます。 Apache Flink 向け Amazon マネージドサービス.
例として、 ナショナルホッケーリーグ（NHL） NHL EDGE のライブ データと統計をストリーミング配信することでファン エクスペリエンスを再考し、ホッケー ファンに貴重な洞察を提供し、ファンを席の端に留めておきます。 パックと選手のセーター (ジャージ) の NHL EDGE テクノロジーは、NHL の毎秒数千のデータポイントを生成します。これらのデータポイントは AWS によって分析され、対決などの重要なイベントで予想される結果を予測できます。 数千のシグナルを処理および分析するために、NHL は、Kinesis Data Streams と Apache Flink 用の Amazon マネージド サービスを使用してリアルタイム ストリーミング データ基盤を構築し、データをストリーミング、準備、ML モデルにフィードすることで、数秒で対決予測を通知し、視聴者を引き付ける新しい方法を拡大します。
このようなストリーミング データ基盤を基盤として、多くの顧客は現在、生成 AI を使用して革新的な新製品やサービスを提供する方法を検討しています。 ストリーミングを使用すると、企業はデータ ストア内で利用可能なデータを大規模言語モデル (LLM) に安全かつリアルタイムで接続できます。 LLM は数十億のパラメータを操作できますが、企業の顧客に合わせた魅力的なエクスペリエンスを提供するために、LLM には企業のユーザーのパーソナライゼーション データと、企業のデータ ストア内の独自のナレッジ ストアが必要です。 ストリーミングを組み込んだデータ戦略は、リアルタイムでクエリに使用できるパーソナライゼーション データや独自データを提供するために必要です。
リアルタイム ストリーミング データ戦略を持つ顧客は、生成 AI を備えた革新的な製品を提供する最先端の立場にいます。 ある顧客はデータ戦略に Kinesis Data Streams を採用し、デジタル製品から数十億のイベントをストリーミングしてリアルタイムの洞察を引き出しています。 低遅延のデータ ストリーミングと分析を組み合わせることで、実験と自動フィードバックのためのシームレスに統合された自立型システムを通じて、ユーザー エクスペリエンスを理解し、パーソナライズすることができます。 今年の初めに、すでに強力なデータ基盤を構築して、革新的なデジタル メディア生成 AI 製品を発売しました。 Kinesis Data Streams 上に構築された同じデータ基盤を使用して、ユーザーが生成されたコンテンツとどのように対話するかを継続的に分析し、製品チームがアプリケーションを微調整するのに役立ちます。
「リアルタイム ストリーミング データ テクノロジはデジタル変革に不可欠です。 これらのサービスは、顧客がアプリケーションやモデルにデータを取り込み、よりスマートにするのに役立ちます。 リアルタイム データは、生成された瞬間のデータを使用することで、企業にデータ主導の意思決定、予測、洞察を提供する利点をもたらし、タイミングが成功の鍵となる世界において比類のない優位性を提供します。 データを一度取り込んで組織全体で使用し、データの価値が低下する前に行動します。に設立された地域オフィスに加えて、さらにローカルカスタマーサポートを提供できるようになります。」
– Mindy Ferguson 氏、AWS ストリーミングおよびメッセージング担当副社長。
Kinesis Data Streams の XNUMX 周年を祝う中、お客様はこの革新的なサービスを評価し続ける XNUMX つの重要な理由を共有しています。 彼らは、プロビジョニングや管理が必要な基盤となるサーバーなしで簡単にデータをストリーミングでき、一貫したパフォーマンスで大規模な運用が可能で、高い復元力と耐久性を実現し、それぞれデータを取り込んで処理するための無数のソースとシンクとの広範な統合のメリットを享受しています。
使いやすさ
Kinesis Data Streams の使用を開始するのは簡単です。開発者は、Kinesis Data Streams コンソールで数回クリックするか、24 回の API 呼び出しでデータストリームを作成できます。 サイズや構成の変更も XNUMX 回の API 呼び出しで実行でき、各データ ストリームにはデフォルトの XNUMX 時間のデータ保持期間が設定されています。 開発者は、クラスター、バージョンのアップグレード、ストレージ容量の計画について心配する必要はありません。 データ ストリームをオンにしてデータの取り込みを開始するだけです。
過去 10 年間でお客様のニーズは進化しました。 より多くのイベントがキャプチャされ、ストリーミングされるにつれて、顧客は運用上のオーバーヘッドを発生させずにデータ ストリームを柔軟に拡張することを望んでいます。 それに応えて立ち上げたのが、 オンデマンド 2021 年にストリームを開始し、シンプルで自動スケーリング エクスペリエンスを提供します。 オンデマンド ストリームを使用すると、サービスがストリームの容量をプロアクティブにスケールアップできるようになり、取り込まれ、取得、保存された実際のデータに対してのみ料金が発生します。 お客様がさらなる機能を求め続けたため、各オンデマンド ストリームの取り込みスループット制限を 200MB/s から XNUMXMB/s に引き上げました。 1GB /秒 2023 年 XNUMX 月、そしてその後 2GB /秒 より高いスループットのワークロードに対応するため、2023 年 XNUMX 月に開始されます。 最も使いやすいストリーミング データ サービスとなるよう革新を続けるため、当社はお客様の使用事例に積極的に耳を傾けています。
Canva は、オンライン デザインおよびビジュアル コミュニケーション プラットフォームです。 月間ユーザー数が 30 万人から 135 億 XNUMX 万人に急速に成長する中で、製品のイノベーションを推進し、ユーザー エクスペリエンスをパーソナライズするために、運用が容易な大規模なストリーミング データ プラットフォームを構築しました。
「Amazon Kinesis Data Streams と AWS Lambda は、Canva のログプラットフォーム全体で使用されており、60 日あたり XNUMX 億を超えるログイベントを取り込んで処理しています。 Kinesis Data Streams と Lambda を組み合わせることで、サーバー群のデプロイと管理など、大規模なデータ パイプラインの管理にしばしば必要となる多くの作業が抽象化されると同時に、拡張性と信頼性の高いサービスも提供されます。 これにより、運用作業に時間を費やすのではなく、要求の高い機能を構築して世界クラスの製品を提供することに集中できるようになりました。」
– Phoebe Zhou、Canva ソフトウェア エンジニア。
一貫したパフォーマンスで大規模な運用を実現
ストリーミング データ戦略の基本的な要件は、低遅延で大量のデータを取り込んで処理することです。 Kinesis Data Streams は、数万の顧客にわたって 3.5 日に数兆件のレコードを処理します。 顧客は 45 万を超える一意のストリームを実行し、15 日あたり XNUMX PB を超えるデータを処理しています。 当社の最大の顧客は、個別のストリームで XNUMX 秒あたり XNUMX GB を超えるリアルタイム データを取り込んでいます。 これは、地球上のすべての人に対して毎秒複数のデータ ポイントをストリーミングすることに相当します。 この規模であっても、すべての顧客は利用可能になってから数ミリ秒以内にデータを取得します。
また、顧客は、あるアプリケーションが別のアプリケーションの読み取りスループットに影響を与えることを心配せずに、複数のアプリケーションで同じデータを処理し、それぞれが異なる値を取得したいと考えています。 強化されたファンアウト 各データ コンシューマに専用の読み取りスループットと低遅延を提供します。 これにより、エンタープライズ プラットフォーム チームは、より多くのチームやアプリケーションにリアルタイム データを提供できるようになりました。
VMwareカーボンブラック は、Kinesis Data Streams を使用して毎日ペタバイトのデータを取り込み、数百万の顧客エンドポイントを保護しています。 チームは専門知識に重点を置き、AWS はデータ ストリーミングを管理して、増加する顧客のトラフィックとニーズにリアルタイムで対応します。
「個々の顧客のデータが増加または減少した場合、Amazon Kinesis Data Streams の弾力性を利用してコンピューティングをスケールアップまたはスケールダウンして、コストを効果的に管理しながらデータを確実に処理できます。 これが、Kinesis Data Streams が適している理由です。 最大の利点は、AWS 上のソリューションのマネージド型の性質です。 これが私たちのアーキテクチャを形成し、複雑さを他の場所に移すのに役立ちました。」
– Stoyan Dimkov 氏、VMware Carbon Black のスタッフ エンジニア兼ソフトウェア アーキテクト。
MECOのチームと生産設備 ケーススタディ.
データストリーミングに回復力と耐久性を提供します
データが急増する中、顧客はデータの処理と再処理においてより柔軟な対応を求めています。 たとえば、データを消費しているアプリケーションが一定期間オフラインになった場合、チームはデータを失わずに後で処理を再開できるようにしたいと考えています。 Kinesis Data Streams にはデフォルトの 24 時間の保存期間が用意されており、レコードの処理を開始する特定のタイムスタンプを選択できます。 とともに 長期保存 この機能を使用すると、データ保持期間を最大 7 日間に設定できます。
金融サービスやヘルスケアなどの一部の業界では、より厳格なコンプライアンス要件があるため、顧客はこれらの要件をサポートするためにさらに長いデータ保持期間を要求しました。 したがって、私たちは次のようにフォローアップしました 長期保管 最長 1 年間のデータ保持をサポートします。 現在、何千もの Kinesis Data Streams の顧客がこれらの機能を使用して、ストリーミング アプリケーションの復元力と耐久性を高めています。
メルカドリブレは、ラテンアメリカの主要な e コマースおよび決済プラットフォームであり、Kinesis Data Streams を利用して、決済処理、顧客エクスペリエンス、運用に関するストリーミング データ戦略を強化しています。
「Amazon Kinesis Data Streams を中核として、私たちは数千のデータプロデューサーに分散された毎日約 70 億のメッセージを処理しています。 Kinesis Data Streams と Amazon DynamoDB Streams を活用することで、私たちはイベント駆動型のアーキテクチャを採用し、データの変更に迅速に対応できるようになりました。」
– Mercado Libre のシニア ソフトウェア エキスパート、Joaquin Fernandez 氏。
データがどこにあるかに関係なくアクセスできます
当社の顧客はさまざまなツールやアプリケーションを使用しており、組織のデータはさまざまな場所に存在することがよくあります。 したがって、タイムリーな洞察を得るには、組織全体でデータを簡単に統合できることが重要です。 開発者は、Kinesis プロデューサー ライブラリ、Kinesis クライアント ライブラリ、AWS SDK を使用して、カスタム データ プロデューサー アプリケーションとデータ コンシューマー アプリケーションを迅速に構築します。 顧客は、マイクロサービスからスマート TV、さらには自動車に至るまで、データプロデューサーを拡大しています。 我々は持っています 40以上の統合 AWS のサービスと、Adobe Experience Platform や Databricks などのサードパーティ アプリケーションを使用します。 詳細については、 ホワイトペーパー AWS 上で最新のデータストリーミングアーキテクチャを構築する際、Kinesis Data Streams は、パーソナライゼーション、リアルタイムの洞察、モノのインターネット (IoT)、イベント駆動型アーキテクチャなどのサーバーレスでリアルタイムのユースケースへのバックボーンとして機能します。 最近の統合 Amazonレッドシフト 数百メガバイトのデータを Kinesis Data Streams からデータウェアハウスに数秒で取り込むことができます。 この統合を使用してほぼリアルタイムで不正行為を検出する方法の詳細については、次を参照してください。 Amazon Kinesis Data Streams および Amazon Redshift ML による Amazon Redshift ストリーミング インジェストを使用した、ほぼリアルタイムの不正検出。
2023 年に開始されるもう XNUMX つの統合は、 アマゾンモニトロン 予知保全管理を強化します。 測定データと対応する推論結果を Kinesis Data Streams にストリーミングし、予測メンテナンスを調整し、IoT データレイクを構築できるようになりました。 詳細については、を参照してください。 Amazon Monitron と Amazon Kinesis を使用して、予測メンテナンス管理のための実用的な洞察を生成します.
次に、IoT、データ ストリーミング、機械学習を組み合わせた NHL のユースケースに戻りましょう。
AWS を利用した NHL Edge IQ は、高度な分析と、対決確率や機会分析などの新しい ML 統計により、ファンを試合に近づけるのに役立ちます。
「私たちは Amazon Kinesis Data Streams を使用して、パックとプレーヤーの位置、フェイスオフの場所、現在の試合状況に関する NHL EDGE データを処理し、データ生成者を消費アプリケーションから分離します。 Amazon Managed Service for Apache Flink は、Flink アプリケーションの実行に使用され、Kinesis Data Streams からのデータを消費して Amazon SageMaker の予測モデルを呼び出し、リアルタイムのフェイスオフ確率メトリクスを提供します。 確率の結果は Amazon S3 にも保存され、SageMaker でモデルを継続的に再トレーニングします。 このプロジェクトの成功により、私たちは次の指標を構築することになりました。 機会分析、ゴール上の各シュートによってもたらされる得点機会の質について 25 以上の洞察を提供します。 Kinesis Data Streams と Amazon Managed Service for Apache Flink アプリケーションは、ライブのゲーム内予測を行うために不可欠であり、システムが最大 16 のライブ NHL ゲームの機会分析計算を同時に実行できるようになりました。」
– エリック・シュナイダー氏、ナショナル ホッケー リーグ ソフトウェア エンジニアリング担当上級副社長。
MECOのチームと生産設備 ケーススタディ.
データの未来はリアルタイムです
リアルタイム データ ストリーミングと生成 AI の融合は、デジタルでつながった世界の基礎となることが期待されています。 生成 AI は、IoT デバイス、センサー、ソーシャル メディアなどからのリアルタイム情報の絶え間ない流入によって強化され、ユビキタスになりつつあります。 動的に変化する交通状況をナビゲートする自動運転車から、リアルタイムの需要に基づいてエネルギー消費を最適化するスマート シティに至るまで、AI とリアルタイム データの組み合わせは、業界全体の効率とイノベーションを支えます。 ユビキタスで適応性があり、私たちの生活に深く組み込まれているこれらの AI 主導のアプリケーションは、利便性を高め、豊富なリアルタイムの洞察を自由に活用することで、気候変動、医療、災害対応などの重大な課題に対処します。 Kinesis Data Streams を使用すると、組織は強固なデータ基盤を構築して、新しいテクノロジーを迅速に導入し、新しい機会をより早く解き放つことができます。これは非常に大きなものになると予想されます。
さらに詳しく お客様がデータ ストリーミングで何をしているかについて。 Kinesis Data Streams の概念とユースケースを簡単に調べたい場合は、こちらをご覧ください。 Amazon Kinesis Data Streams 101 プレイリスト。 データ ストリームの構築を開始するには、次のサイトにアクセスしてください。 Amazon Kinesis Data Streams 開発者ガイド.
著者,
ロイ (KDS) ワン Amazon Kinesis Data Streams のシニアプロダクトマネージャーです。 彼は、組織がより速く、よりスマートに運営できるよう、顧客から学び、顧客と協力することに情熱を持っています。 仕事以外では、ロイは生まれたばかりの息子の良き父親になるべく努力し、プラスチックモデルのキットを作っています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://aws.amazon.com/blogs/big-data/amazon-kinesis-data-streams-celebrating-a-decade-of-real-time-data-innovation/
