ApacheAirflowのAmazonマネージドワークフロー (Amazon MWAA) は、次のマネージド サービスです。 ApacheAirflow これにより、インフラストラクチャのセットアップと運用が合理化され、クラウド内のデータ パイプラインが調整されます。お客様は Amazon MWAA を使用して、Apache Airflow 環境のスケーラビリティ、可用性、セキュリティを管理します。より集中的で複雑で、成長し続けるデータ処理パイプラインを設計するお客様からは、タスクとワークフローの同時実行性と容量を向上させるための追加の基盤リソースが必要であるとの要望がありました。
これに対処するために、本日、Amazon MWAA でより大規模な環境クラスが利用可能になったことを発表します。この投稿では、これらの新しい XL および 2XL 環境の機能、それらが適したシナリオ、および増加したリソースを活用するために既存の Amazon MWAA 環境をセットアップまたはアップグレードする方法について詳しく説明します。
現在の課題
Amazon MWAA 環境を作成すると、管理対象の一連の Amazon エラスティック コンテナ サービス （Amazon ECS） AWSファーゲート コンテナには、定義された仮想 CPU と RAM がプロビジョニングされます。
大規模で複雑でリソースを大量に消費するワークロードを処理する場合、または何千ものワークロードを実行する場合 有向非巡回グラフ (DAG) を 1 日あたり使用すると、スケジューラとワーカーの CPU 可用性が使い果たされたり、ワーカーのメモリ制限に達したりする可能性があります。 Apache Airflow を大規模に実行すると、それに比例して Airflow メタデータ データベースに大きな負荷がかかり、基盤となる CPU やメモリの問題が発生することがあります。 Amazon リレーショナル データベース サービス (Amazon RDS) クラスター。メタデータ データベースがリソースを枯渇させると、ワーカーからの接続が切断され、タスクが途中で失敗する可能性があります。
タスクのパフォーマンスと復元力を向上させるには、次のことを検討してください。 Apache Airflow のベスト プラクティス DAG を作成します。代わりに、複数の Amazon MWAA 環境を作成してワークロードを分散できます。ただし、これには追加のエンジニアリングと管理の労力が必要です。
新しい環境クラス
本日のリリースでは、既存の環境クラスに加えて、Amazon MWAA に XL および 2XL 環境を作成できるようになりました。現在の大規模な Amazon MWAA 環境インスタンス クラスと比較して、それぞれ XNUMX 倍と XNUMX 倍のコンピューティング能力と、XNUMX 倍と XNUMX 倍のメモリを備えています。これらのインスタンスはコンピューティングと RAM を直線的に追加し、すべての Apache Airflow コンポーネントの容量とパフォーマンスを直接向上させます。次の表は、 環境能力.
| . | スケジューラとワーカーの CPU / RAM |
ウェブサーバー CPU / RAM |
同時タスク | DAG 容量 |
| mw1.xlarge | 8 vCPU / 24 GB | 4 vCPU / 12 GB | 40 タスク (デフォルト) | 最大2000 |
| mw1.2xlarge | 16 vCPU / 48 GB | 8 vCPU / 24 GB | 80 タスク (デフォルト) | 最大4000 |
これらの大規模な環境の導入により、Amazon Aurora メタデータ データベースは、 AWS グラビトン 2。 Graviton2 ファミリのプロセッサを使用すると、コンピューティング、ストレージ、ネットワーキングが向上し、AWS ファミリのプロセッサによって二酸化炭素排出量が削減されます。
価格（英語）
Amazon MWAA の料金体系は変更されず、使用した分だけお支払いいただきます。
- 環境クラス
- 追加のワーカー インスタンス
- 追加のスケジューラ インスタンス
- 消費されたメタデータ データベース ストレージ
最初の 2 つのディメンションに XNUMX つの追加オプションが追加されました。環境クラス、追加のワーカー、およびスケジューラ インスタンス用の XL と XNUMXXL です。メタデータ データベース ストレージの価格は変わりません。参照する Apache Airflow の Amazon 管理ワークフローの料金 料金や詳細については。
Amazon MWAA のパフォーマンスを観察して、大規模な環境への拡張を計画する
新しい環境クラスの使用を開始する前に、メモリ不足のメタデータ データベースや、高い CPU 使用率で実行されているワーカーやスケジューラなど、容量の問題に関連するシナリオにいるかどうかを理解することが重要です。環境リソースのパフォーマンスを理解することは、容量に関連する問題のトラブルシューティングの鍵となります。に記載されているガイダンスに従うことをお勧めします。 Amazon MWAA 環境のコンテナ、データベース、キューの使用率メトリクスの紹介 Amazon MWAA 環境の状態をより深く理解し、インスタンスのサイズを適切に設定するための洞察を得ることができます。
次のテストでは、高負荷シナリオをシミュレートします。 CloudWatch 可観測性メトリクス 一般的な問題を特定し、問題を軽減するために大規模な環境への拡張を計画するための情報に基づいた決定を下します。
テスト中、500 を超えるタスクを動的に作成し、外部センサーを使用して別の DAG でタスクの完了を待つ複雑な DAG を実行しました。最大 10 ワーカーノードまで自動スケーリング設定された Amazon MWAA 大規模環境クラスで実行した後、次のメトリクスと値に気づきました。 CloudWatch ダッシュボード.
ワーカー ノードが最大 CPU 容量に達したため、キューに入れられたタスクの数が増加し続けています。メタデータ データベースの CPU 使用率が容量の 65% 以上でピークに達し、利用可能なデータベースの空きメモリが減少しました。この状況では、スケーリングのためにワーカー ノードをさらに増やすこともできますが、メタデータ データベースの CPU にさらなる負荷がかかることになります。これにより、ワーカー データベース接続の数と利用可能な空きデータベース メモリが減少する可能性があります。
次のスクリーンショットに示すように、新しい環境クラスを使用すると、環境を編集し、より上位の環境クラスを選択することで、垂直方向にスケーリングして利用可能なリソースを増やすことができます。
環境のリストから、このテストに使用されている環境を選択します。選ぶ 編集 にナビゲートする 詳細設定を構成する ページに移動し、必要に応じて適切な xlarge または 2xlarge 環境を選択します。
変更を保存した後、環境のアップグレードが完了するまでに 20 ～ 30 分かかります。アップグレード中に中断された実行中の DAG は、DAG の再試行の構成方法に応じて再試行がスケジュールされます。手動で呼び出すか、次回のスケジュールされた実行を待つかを選択できるようになりました。
環境クラスをアップグレードした後、同じ DAG をテストしたところ、より多くのリソースが利用できるようになったため、メトリクスの値が改善されていることを確認しました。この XL 環境を使用すると、より少ないワーカー ノードでより多くのタスクを実行できるため、キューに入れられるタスクの数は減少し続けます。あるいは、より多くのメモリや CPU を必要とするタスクがある場合は、ワーカーあたりのタスクを減らしても、より大きな環境サイズでワーカーあたりのタスク数を増やすことができます。たとえば、ワーカー ノードの CPU が限界に達している大規模な環境がある場合、 celery.worker_autoscale (ワーカーあたりのタスク数を定義する Airflow 構成) 20,20 に設定すると、XL 環境に増やして、 celery.worker_autoscale XL 環境ではワーカーあたりのデフォルトの 20,20 タスクではなく、XL では 40 に変更され、CPU 負荷が大幅に軽減されるはずです。
Amazon MWAA で新しい XL 環境をセットアップする
また、ご購読はいつでも停止することが可能です Amazon MWAA を使ってみる アカウントと優先 AWS リージョンで、 AWSマネジメントコンソール、API、または AWSコマンドラインインターフェイス (AWS CLI)。 コードとしてのインフラストラクチャ (IaC) を採用している場合は、次を使用してセットアップを自動化できます。 AWS CloudFormation AWSクラウド開発キット (AWS CDK)、または Terraform スクリプト。
Amazon MWAA XL および 2XL 環境クラスは、現在 Amazon MWAA が利用可能なすべてのリージョンで利用可能です。
まとめ
本日、Amazon MWAA で 2 つの新しい環境クラスが利用可能になったことを発表します。 XL および XNUMXXL 環境クラスを使用すると、大量の複雑なワークフローやリソースを大量に消費するワークフローを調整できます。多数の依存関係を持つ DAG を実行している場合、複数の環境で数千の DAG を実行している場合、またはコンピューティングにワーカーを頻繁に使用する必要があるシナリオの場合は、環境リソースを数回増やすことで、関連する容量の問題を克服できるようになりました。簡単な手順。
この投稿では、価格設定や、それらが解決するいくつかの一般的なリソース制約問題など、2 つの新しい環境クラスの機能について説明しました。既存の環境を観察して XL または XNUMXXL への拡張を計画する方法のガイダンスと例を提供し、増加したリソースを使用するために既存の環境をアップグレードする方法について説明しました。
Amazon MWAA の詳細とコード例については、次のサイトを参照してください。 Amazon MWAA ユーザーガイド と Amazon MWAA の例 GitHub リポジトリ.
Apache、Apache Airflow、および Airflow は、Apache の登録商標または商標です。 Apache Software Foundation 米国および/または他の国で。
著者について
エルナン・ガルシア オランダを拠点とする AWS のシニア ソリューション アーキテクトです。彼は金融サービス業界で働いており、企業のクラウド導入をサポートしています。彼はサーバーレス テクノロジー、セキュリティ、コンプライアンスに熱心に取り組んでいます。彼は家族や友人と時間を過ごし、さまざまな料理の新しい料理を試すことを楽しんでいます。
ジーテンドラ・ヴァイディア AWS のシニア ソリューション アーキテクトであり、AI/ML、サーバーレス、データ分析ドメインの領域に専門知識をもたらしています。彼は、安全でスケーラブルで信頼性が高く、費用対効果の高いソリューションを構築する際に顧客を支援することに熱心に取り組んでいます。
スリハーシュアダリ AWS のシニア ソリューション アーキテクトとして、顧客がビジネスの成果から逆算して AWS 上で革新的なソリューションを開発できるよう支援しています。長年にわたり、業界全体にわたるデータ プラットフォームの変革において複数の顧客を支援してきました。彼の中心的な専門分野には、テクノロジー戦略、データ分析、データ サイエンスが含まれます。余暇には、スポーツをしたり、テレビ番組を見たり、タブラを楽しんだりしています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/
