ゼファーネットのロゴ

生成的データ インテリジェンス

ビッグデータ

Amazon MSK Connect のワーカー設定管理の拡張機能の紹介 |アマゾン ウェブ サービス

プラトン再発行
プラトン再発行

日付：

閲覧数： 71

アマゾンMSKコネクト は、Apache Kafka Connect のフルマネージド サービスです。 MSK Connect を使用すると、数回クリックするだけで、Apache Kafka と外部システムの間でデータを移動するコネクタを展開できます。

MSK Connect は、MSK Connect ワーカー構成の削除、リソースのタグ付け、ワーカー構成とカスタム プラグインの管理を行う機能をサポートするようになりました。 AWS CloudFormation。これらの新機能を組み合わせることで、MSK Connect リソースの管理と CI/CD パイプラインを介したデプロイメントの自動化が簡単になります。

MSK Connect を使用すると、インフラストラクチャ管理の専門知識を必要とせずに、プライベート接続を介して Apache Kafka との間でデータを簡単にストリーミングできます。数回クリックするだけで、コネクタを次のように展開できます。 Amazon S3 シンクコネクタ ストリーミングデータをロードするため Amazon シンプル ストレージ サービス (Amazon S3)、サードパーティによって開発されたコネクタをデプロイします。 デベジウム 変更ログをデータベースから Apache Kafka にストリーミングするか、ユースケースに合わせてカスタマイズされた独自のコネクタをデプロイします。

MSK Connect は、ストリーミング データをデータ ソースから Apache Kafka クラスターに継続的にコピーするか、Apache Kafka クラスターからデータ シンクに継続的にデータをコピーすることにより、外部システムまたは AWS サービスを Apache Kafka と統合します。コネクタは、データを宛先に配信する前に、データの変換、形式変換、フィルタリングなどの軽量タスクを実行することもできます。プラグインを使用してコネクタを作成できます。これらのカスタム プラグインは、コネクタ ロジックを定義するコードを含むリソースです。

MSK Connect の主なコンポーネントは次のとおりです。 労働者。各ワーカーは、提供されたワーカー構成に基づいてコネクタ ロジックを実行する Java 仮想マシン (JVM) プロセスです。ワーカー構成は、複数のコネクタ間で再利用できるコネクタ構成プロパティを含むリソースです。各ワーカーは、データを並行してコピーする一連のタスクで構成されます。

本日、MSK Connect の 3 つの新機能を発表します。

  • ワーカー構成を削除する機能
  • リソースのグループ化、コストの割り当てとレポート、タグベースのポリシーによるアクセス制御を可能にするリソース タグのサポート
  • ワーカー設定とカスタムプラグインを管理するための AWS CloudFormation のサポート

次のセクションでは、新しい機能について詳しく説明します。

ワーカー構成の削除

統合用コネクタ ApacheKafkaのAmazonマネージドストリーミング (Amazon MSK) と他の AWS およびパートナー サービスは通常、ワーカー設定 (デフォルトまたはカスタム) を使用して作成されます。これらの構成はコネクタの作成と削除に応じて拡大する可能性があり、構成管理の問題が発生する可能性があります。

新しいワーカー構成削除 API を使用して、未使用の構成を削除できるようになりました。サービスは、構成を削除する前に、ワーカー構成がどのコネクタによっても使用されていないことを確認します。さらに、プレフィックス フィルターを使用して、ワーカー構成とカスタム プラグインを一覧表示できるようになりました。 ListWorkerConfigurations & ListCustomPlugins API 呼び出し。プレフィックス フィルターを使用すると、プレフィックスで始まる名前を持つ選択的なリソースをリストできるため、選択的な削除を迅速に実行できます。

新しい削除 API をテストするには、次の手順を実行します。

  1. Amazon MSK コンソールで、新しいワーカー設定を作成します。
  2. 名前とオプションの説明を入力します。
  3. ワーカー構成 セクションで、構成コードを入力します。

MSK Connect ワーカーの構成

構成を作成した後、 削除 このオプションは、構成がどのコネクタでも使用されていない場合、構成の詳細ページ (次のスクリーンショットを参照) で利用できます。

この新しい API をサポートするには、追加の workerConfigurationState が追加されたため、ワーカー構成の状態をより簡単に追跡できるようになりました。この新しい状態は、API 呼び出し応答で返されます。 CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

MSK Connect ワーカーの構成

  1. 選択する 削除 ワーカー構成を削除します。
  2. 確認のポップアップで、ワーカー構成の名前を入力し、選択します。 削除.

MSKC ワーカー構成の削除

ワーカー構成がいずれかのコネクタで使用されている場合、 削除 次のスクリーンショットに示すように、オプションは無効になっています。

リソースタグ

MSK Connect はリソース タグもサポートするようになりました。タグは、AWS サービス リソースに関連付けることができるキーと値のメタデータです。コネクタ、カスタムプラグイン、ワーカー設定にタグを追加して、AWS のサービス全体で使用されるリソースを整理して検索できます。次のスクリーンショットでは、MSK Connect コネクタ、プラグイン、ワーカー構成の例にリソース タグ キーがタグ付けされています。 project と価値 demo-tags.

タグを付けることができるようになりました アマゾン エラスティック コンピューティング クラウド たとえば、同じプロジェクト名を持つ (Amazon EC2) リソースと Amazon S3 リソース。次に、タグを使用して、コスト配分、レポート、リソースのグループ化、またはアクセス制御のために、この特定のプロジェクトにリンクされているすべてのリソースを検索できます。 MSK Connect は、リソースの作成時のタグの追加、既存のリソースへのタグの適用、リソースからのタグの削除、リソースに関連付けられたタグのクエリをサポートしています。

AWS CloudFormation のサポート

以前は、既存のワーカー構成を使用して AWS CloudFormation で MSK Connect コネクタをプロビジョニングすることしかできませんでした。この新機能により、コネクタ上で CREATE、READ、UPDATE、DELETE、LIST 操作を実行し、AWS CloudFormation を使用して新しいワーカー設定を作成および追加できるようになりました。

次のコードは、ワーカー構成を作成する例です。

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

戻り値は次のとおりです。

  • 新しく作成されたワーカー構成の ARN
  • 新しいワーカー構成の状態
  • 新しいワーカー構成の作成時間
  • 新しいワーカー構成の最新リビジョン

まとめ

MSK Connect は、必要なリソースをプロビジョニングし、コネクタの正常性と配信状態を監視し、基盤となるハードウェアを維持し、コネクタを自動スケールしてワークロードのバランスを調整するフルマネージド サービスです。この投稿では、MSK Connect に追加された新機能について説明しました。これは、ワーカー設定の削除、MSK Connect リソースのタグ付け、およびデフォルト以外のワーカー設定の作成のための AWS CloudFormation でのサポートのための API の導入により、コネクタとワーカーの管理を合理化します。

これらの機能は、Amazon MSK Connect が利用可能なすべての AWS リージョンで利用できます。利用可能なリージョンのリストについては、を参照してください。 リージョン別の AWS サービス。 MSK Connect の詳細については、次のサイトをご覧ください。 Amazon MSK Connect 開発者ガイド.

著者について

チンマイナラシムハデバラ は、アマゾン ウェブ サービスのビッグ データと分析に重点を置いたソリューション アーキテクトです。 Chinmayi は、情報技術分野で 20 年以上の経験があります。彼女は、AWS の顧客が高度でスケーラブルでパフォーマンスの高いソリューションを構築できるよう支援しています。

ハリタ・パップ カリフォルニアを拠点とするテクニカル アカウント マネージャーです。彼女は、ソフトウェア業界でアプリケーションの構築と拡張に 18 年以上の経験があります。彼女は新しいテクノロジーに情熱を持っており、顧客がコストの最適化と優れた運用を実現できるよう支援することに重点を置いています。

スポット画像

最新のインテリジェンス

スポット画像

著作権 @ 2024 Plato Technologies Inc.