Amazon MSK Connect ist ein vollständig verwalteter Dienst für Apache Kafka Connect. Mit MSK Connect können Sie mit wenigen Klicks Konnektoren bereitstellen, die Daten zwischen Apache Kafka und externen Systemen verschieben.

MSK Connect unterstützt jetzt die Möglichkeit, MSK Connect-Worker-Konfigurationen zu löschen, Ressourcen zu markieren und Worker-Konfigurationen und benutzerdefinierte Plugins zu verwalten AWS CloudFormation. Zusammengenommen erleichtern diese neuen Funktionen die Verwaltung Ihrer MSK Connect-Ressourcen und die Automatisierung von Bereitstellungen über CI/CD-Pipelines.

MSK Connect ermöglicht das mühelose Streamen von Daten zu und von Apache Kafka über eine private Verbindung, ohne dass Fachkenntnisse im Infrastrukturmanagement erforderlich sind. Mit ein paar Klicks können Sie Connectors wie einen bereitstellen Amazon S3 Sink-Anschluss zum Laden von Streaming-Daten Amazon Simple Storage-Service (Amazon S3), stellen Sie von Drittanbietern entwickelte Konnektoren bereit, z Debezium zum Streamen von Änderungsprotokollen aus Datenbanken in Apache Kafka oder stellen Sie Ihren eigenen, auf Ihren Anwendungsfall zugeschnittenen Connector bereit.

MSK Connect integriert externe Systeme oder AWS-Dienste mit Apache Kafka, indem es kontinuierlich Streaming-Daten von einer Datenquelle in Ihren Apache Kafka-Cluster kopiert oder kontinuierlich Daten von Ihrem Apache Kafka-Cluster in eine Datensenke kopiert. Der Connector kann auch einfache Aufgaben wie Transformation, Formatkonvertierung oder Datenfilterung ausführen, bevor er die Daten an ein Ziel übermittelt. Sie können ein Plugin verwenden, um den Connector zu erstellen. Bei diesen benutzerdefinierten Plugins handelt es sich um Ressourcen, die den Code enthalten, der die Connector-Logik definiert.

Die Hauptkomponenten von MSK Connect sind: Arbeiter. Jeder Worker ist ein Java Virtual Machine (JVM)-Prozess, der die Connector-Logik basierend auf der bereitgestellten Worker-Konfiguration ausführt. Worker-Konfigurationen sind Ressourcen, die Ihre Connector-Konfigurationseigenschaften enthalten, die über mehrere Connectors hinweg wiederverwendet werden können. Jeder Worker besteht aus einer Reihe von Aufgaben, die die Daten parallel kopieren.

Heute kündigen wir drei neue Funktionen in MSK Connect an:

• Die Möglichkeit, Worker-Konfigurationen zu löschen
• Unterstützung für Ressourcen-Tags zur Ermöglichung von Ressourcengruppierung, Kostenzuordnung und -berichterstellung sowie Zugriffskontrolle mit Tag-basierten Richtlinien
• Unterstützung in AWS CloudFormation zur Verwaltung von Worker-Konfigurationen und benutzerdefinierten Plugins

In den folgenden Abschnitten gehen wir näher auf die neuen Funktionalitäten ein.

Worker-Konfigurationen löschen

Steckverbinder zur Integration Amazon Managed Streaming für Apache Kafka (Amazon MSK) mit anderen AWS- und Partnerdiensten werden normalerweise mithilfe einer Worker-Konfiguration (Standard oder benutzerdefiniert) erstellt. Diese Konfigurationen können durch das Erstellen und Löschen von Connectors wachsen und möglicherweise Probleme bei der Konfigurationsverwaltung verursachen.

Sie können jetzt die neue API zum Löschen von Worker-Konfigurationen verwenden, um nicht verwendete Konfigurationen zu löschen. Der Dienst prüft, ob die Worker-Konfiguration von keinem Connector verwendet wird, bevor er die Konfiguration löscht. Darüber hinaus können Sie jetzt einen Präfixfilter verwenden, um Worker-Konfigurationen und benutzerdefinierte Plugins aufzulisten ListWorkerConfigurations und ListCustomPlugins API-Aufrufe. Mit dem Präfixfilter können Sie die selektiven Ressourcen auflisten, deren Namen mit dem Präfix beginnen, sodass Sie schnelle selektive Löschungen durchführen können.

Führen Sie die folgenden Schritte aus, um die neue Lösch-API zu testen:

1. Erstellen Sie auf der Amazon MSK-Konsole eine neue Worker-Konfiguration.
2. Geben Sie einen Namen und optional eine Beschreibung an.
3. Im Worker-Konfiguration Geben Sie im Abschnitt „Konfiguration“ Ihren Konfigurationscode ein.

Nachdem Sie die Konfiguration erstellt haben, a Löschen Die Option ist auf der Konfigurationsdetailseite verfügbar (siehe folgenden Screenshot), wenn die Konfiguration in keinem Connector verwendet wird.

Um diese neue API zu unterstützen, ist eine zusätzliche workerConfigurationState wurde hinzugefügt, damit Sie den Status der Worker-Konfiguration einfacher verfolgen können. Dieser neue Status wird in den API-Aufrufantworten für zurückgegeben CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Auswählen Löschen um die Worker-Konfiguration zu löschen.
5. Geben Sie im Bestätigungs-Popup den Namen der Worker-Konfiguration ein und wählen Sie dann Löschen.

Wenn die Worker-Konfiguration mit einem beliebigen Connector verwendet wird, wird die Löschen Die Option ist deaktiviert, wie im folgenden Screenshot gezeigt.

Ressourcen-Tags

MSK Connect unterstützt jetzt auch Ressourcen-Tags. Tags sind Schlüsselwert-Metadaten, die AWS-Serviceressourcen zugeordnet werden können. Sie können Tags zu Konnektoren, benutzerdefinierten Plugins und Worker-Konfigurationen hinzufügen, um Ressourcen zu organisieren und zu finden, die in allen AWS-Services verwendet werden. In den folgenden Screenshots wurden unser Beispiel-MSK Connect-Connector, Plugin und Worker-Konfiguration mit dem Ressourcen-Tag-Schlüssel getaggt project und Wert demo-tags.

Sie können jetzt Ihre markieren Amazon Elastic Compute-Cloud (Amazon EC2) und Amazon S3-Ressourcen mit demselben Projektnamen, zum Beispiel. Anschließend können Sie mithilfe des Tags nach allen mit diesem bestimmten Projekt verknüpften Ressourcen suchen, um Kosten zuzuordnen, Berichte zu erstellen, Ressourcen zu gruppieren oder Zugriffskontrollen durchzuführen. MSK Connect unterstützt das Hinzufügen von Tags beim Erstellen von Ressourcen, das Anwenden von Tags auf eine vorhandene Ressource, das Entfernen von Tags aus einer Ressource und das Abfragen von Tags, die einer Ressource zugeordnet sind.

AWS CloudFormation-Unterstützung

Bisher konnten Sie einen MSK Connect-Connector mit AWS CloudFormation nur mithilfe einer vorhandenen Worker-Konfiguration bereitstellen. Mit dieser neuen Funktion können Sie jetzt CREATE-, READ-, UPDATE-, DELETE- und LIST-Vorgänge für Konnektoren durchführen und mit AWS CloudFormation neue Worker-Konfigurationen erstellen und hinzufügen.

Der folgende Code ist ein Beispiel für die Erstellung einer Worker-Konfiguration:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Die Rückgabewerte lauten wie folgt:

• ARN der neu erstellten Worker-Konfiguration
• Status der neuen Worker-Konfiguration
• Erstellungszeitpunkt der neuen Worker-Konfiguration
• Neueste Überarbeitung der neuen Worker-Konfiguration

Zusammenfassung

MSK Connect ist ein vollständig verwalteter Dienst, der die erforderlichen Ressourcen bereitstellt, den Zustand und den Bereitstellungsstatus von Konnektoren überwacht, die zugrunde liegende Hardware wartet und Konnektoren automatisch skaliert, um die Arbeitslasten auszugleichen. In diesem Beitrag haben wir die neuen Funktionen besprochen, die zu MSK Connect hinzugefügt wurden. Sie optimieren die Connector- und Worker-Verwaltung durch die Einführung von APIs zum Löschen von Worker-Konfigurationen, zum Markieren von MSK Connect-Ressourcen und zur Unterstützung in AWS CloudFormation zum Erstellen nicht standardmäßiger Worker-Konfigurationen.

Diese Funktionen sind in allen AWS-Regionen verfügbar, in denen Amazon MSK Connect verfügbar ist. Eine Liste der regionalen Verfügbarkeit finden Sie unter AWS-Services nach Region. Um mehr über MSK Connect zu erfahren, besuchen Sie die Amazon MSK Connect-Entwicklerhandbuch.

Über die Autoren

Chinmayi Narasimhadevara ist ein Lösungsarchitekt mit Schwerpunkt auf Big Data und Analytics bei Amazon Web Services. Chinmayi verfügt über mehr als 20 Jahre Erfahrung in der Informationstechnologie. Sie hilft AWS-Kunden beim Aufbau fortschrittlicher, hoch skalierbarer und leistungsstarker Lösungen.

Harita Pappu ist Technical Account Manager mit Sitz in Kalifornien. Sie verfügt über mehr als 18 Jahre Erfahrung in der Entwicklung und Skalierung von Anwendungen in der Softwarebranche. Sie hat eine Leidenschaft für neue Technologien und konzentriert sich darauf, Kunden dabei zu helfen, Kostenoptimierung und operative Exzellenz zu erreichen.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/