和风网标志

生成数据智能

大数据运用

在 Amazon MSK Connect 中引入工作线程配置管理的增强功能 |亚马逊网络服务

由柏拉图重新发布
由柏拉图重新发布

日期：

浏览次数： 71

亚马逊 MSK 连接 是 Apache Kafka Connect 的完全托管服务。只需点击几下，MSK Connect 就可以让您部署在 Apache Kafka 和外部系统之间移动数据的连接器。

MSK Connect 现在支持删除 MSK Connect 工作线程配置、标记资源以及管理工作线程配置和自定义插件的功能 AWS CloudFormation。这些新功能共同使您可以轻松管理 MSK Connect 资源并通过 CI/CD 管道自动执行部署。

MSK Connect 可以轻松地通过专用连接将数据传入和传出 Apache Kafka，而无需基础设施管理专业知识。只需点击几下，您就可以像部署连接器一样部署连接器 亚马逊 S3 接收器连接器 用于将流数据加载到 亚马逊简单存储服务 (Amazon S3)，部署第三方开发的连接器，例如 去角质 用于将更改日志从数据库流式传输到 Apache Kafka，或部署根据您的用例定制的连接器。

MSK Connect 通过连续将流数据从数据源复制到 Apache Kafka 集群，或连续将数据从 Apache Kafka 集群复制到数据接收器，将外部系统或 AWS 服务与 Apache Kafka 集成。连接器还可以在将数据传送到目标之前执行轻量级任务，例如转换、格式转换或过滤数据。您可以使用插件来创建连接器；这些自定义插件是包含定义连接器逻辑的代码的资源。

MSK Connect 的主要组件是 工人。每个工作线程都是一个 Java 虚拟机 (JVM) 进程，它根据提供的工作线程配置运行连接器逻辑。工作线程配置是包含连接器配置属性的资源，可以在多个连接器之间重复使用。每个工作线程都由一组并行复制数据的任务组成。

今天，我们宣布 MSK Connect 中的三项新功能：

  • 删除工作配置的能力
  • 支持资源标签，以实现资源分组、成本分配和报告以及基于标签策略的访问控制
  • AWS CloudFormation 支持管理工作线程配置和自定义插件

在以下部分中，我们将更详细地了解新功能。

删除工作配置

用于集成的连接器 适用于Apache Kafka的Amazon托管流 (Amazon MSK) 与其他 AWS 和合作伙伴服务通常使用工作线程配置（默认或自定义）创建。这些配置可能会随着连接器的创建和删除而增长，从而可能会产生配置管理问题。

您现在可以使用新的删除工作配置 API 来删除未使用的配置。该服务在删除配置之前会检查工作线程配置是否未被任何连接器使用。此外，您现在可以使用前缀过滤器来列出工作配置和自定义插件 ListWorkerConfigurations 和 ListCustomPlugins API 调用。前缀过滤器允许您列出名称以前缀开头的选择性资源，以便您可以执行快速选择性删除。

要测试新的删除 API，请完成以下步骤：

  1. 在 Amazon MSK 控制台上，创建新的工作线程配置。
  2. 提供名称和可选描述。
  3. 在 工人配置 部分，输入您的配置代码。

MSK Connect 工作线程配置

创建配置后， 删除 如果配置未在任何连接器中使用，则选项在配置详细信息页面上可用（请参见以下屏幕截图）。

为了支持这个新的 API，一个额外的 workerConfigurationState 已添加，因此您可以更轻松地跟踪工作配置的状态。这个新状态将在 API 调用响应中返回 CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

MSK Connect 工作线程配置

  1. 删除 删除工作配置。
  2. 在弹出的确认窗口中，输入工作配置的名称，然后选择 删除.

删除 MSKC Worker 配置

如果工作配置与任何连接器一起使用， 删除 选项被禁用，如下面的屏幕截图所示。

资源标签

MSK Connect 现在还支持资源标签。标签是可以与 AWS 服务资源关联的键值元数据。您可以向连接器、自定义插件和工作线程配置添加标签，以组织和查找跨 AWS 服务使用的资源。在以下屏幕截图中，我们的示例 MSK Connect 连接器、插件和工作器配置已使用资源标签键进行标记 project 和价值 demo-tags.

您现在可以标记您的 亚马逊弹性计算云 例如，具有相同项目名称的 (Amazon EC2) 和 Amazon S3 资源。然后，您可以使用该标签搜索链接到该特定项目的所有资源，以进行成本分配、报告、资源分组或访问控制。 MSK Connect 支持在创建资源时添加标签、将标签应用于现有资源、从资源中删除标签以及查询与资源关联的标签。

AWS CloudFormation 支持

以前，您只能使用现有工作线程配置通过 AWS CloudFormation 预置 MSK Connect 连接器。借助这项新功能，您现在可以在连接器上执行 CREATE、READ、UPDATE、DELETE 和 LIST 操作，并使用 AWS CloudFormation 创建和添加新的工作线程配置。

以下代码是创建工作配置的示例：

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

返回值如下：

  • 新创建的工作线程配置的 ARN
  • 新工作配置的状态
  • 新工作配置的创建时间
  • 新工作配置的最新修订

结论

MSK Connect 是一项完全托管的服务，可配置所需资源、监控连接器的运行状况和交付状态、维护底层硬件以及自动扩展连接器以平衡工作负载。在本文中，我们讨论了 MSK Connect 中添加的新功能，这些新功能通过引入用于删除工作线程配置、标记 MSK Connect 资源的 API 以及在 AWS CloudFormation 中支持创建非默认工作线程配置来简化连接器和工作线程管理。

这些功能在提供 Amazon MSK Connect 的所有 AWS 区域均可用。有关可用区域的列表，请参阅 按区域划分的 AWS 服务。要了解有关 MSK Connect 的更多信息，请访问 Amazon MSK Connect 开发人员指南.

作者简介

钦玛依那罗辛哈德​​瓦拉 是一位专注于 Amazon Web Services 大数据和分析的解决方案架构师。 Chinmayi 在信息技术领域拥有 20 多年的经验。她帮助 AWS 客户构建先进、高度可扩展且高性能的解决方案。

哈里塔·帕普 是加利福尼亚州的技术客户经理。她在软件行业构建和扩展应用程序方面拥有超过 18 年的工作经验。她对新技术充满热情，专注于帮助客户实现成本优化和卓越运营。

现货图片

最新情报

现货图片

版权所有@ 2024 Plato Technologies Inc.