Amazon MSK Connect is een volledig beheerde service voor Apache Kafka Connect. Met een paar klikken kunt u met MSK Connect connectoren implementeren die gegevens verplaatsen tussen Apache Kafka en externe systemen.

MSK Connect ondersteunt nu de mogelijkheid om MSK Connect-werknemerconfiguraties te verwijderen, bronnen te taggen en werkerconfiguraties en aangepaste plug-ins te beheren met behulp van AWS CloudFormatie. Samen maken deze nieuwe mogelijkheden het eenvoudig om uw MSK Connect-bronnen te beheren en implementaties te automatiseren via CI/CD-pijplijnen.

MSK Connect maakt het moeiteloos om gegevens van en naar Apache Kafka te streamen via een privéverbinding zonder dat expertise op het gebied van infrastructuurbeheer vereist is. Met een paar klikken kunt u connectoren implementeren zoals een Amazon S3 spoelbakconnector voor het laden van streaminggegevens naar Amazon eenvoudige opslagservice (Amazon S3), implementeer connectoren die zijn ontwikkeld door derden, zoals Debezium voor het streamen van wijzigingslogboeken van databases naar Apache Kafka, of implementeer uw eigen connector die is aangepast aan uw gebruiksscenario.

MSK Connect integreert externe systemen of AWS-services met Apache Kafka door continu streaminggegevens van een gegevensbron naar uw Apache Kafka-cluster te kopiëren, of door continu gegevens van uw Apache Kafka-cluster naar een data-sink te kopiëren. De connector kan ook lichtgewicht taken uitvoeren, zoals transformatie, formaatconversie of het filteren van gegevens voordat de gegevens op een bestemming worden afgeleverd. U kunt een plug-in gebruiken om de connector te maken; deze aangepaste plug-ins zijn bronnen die de code bevatten die de connectorlogica definieert.

De belangrijkste componenten van MSK Connect zijn werknemers. Elke werker is een JVM-proces (Java Virtual Machine) dat de connectorlogica uitvoert op basis van de opgegeven werkerconfiguratie. Werknemerconfiguraties zijn bronnen die de configuratie-eigenschappen van uw connector bevatten en die opnieuw kunnen worden gebruikt voor meerdere connectors. Elke werknemer bestaat uit een reeks taken die de gegevens parallel kopiëren.

Vandaag kondigen we drie nieuwe mogelijkheden aan in MSK Connect:

• De mogelijkheid om werkerconfiguraties te verwijderen
• Ondersteuning voor resourcetags voor het mogelijk maken van resourcegroepering, kostentoewijzing en rapportage, en toegangscontrole met op tags gebaseerd beleid
• Ondersteuning in AWS CloudFormation om werkerconfiguraties en aangepaste plug-ins te beheren

In de volgende paragrafen gaan we dieper in op de nieuwe functionaliteiten.

Werknemersconfiguraties verwijderen

Connectoren voor integratie Amazon Managed Streaming voor Apache Kafka (Amazon MSK) met andere AWS- en partnerservices worden meestal gemaakt met behulp van een werkconfiguratie (standaard of aangepast). Deze configuraties kunnen groeien met het maken en verwijderen van connectoren, waardoor er mogelijk configuratiebeheerproblemen ontstaan.

U kunt nu de nieuwe API voor het verwijderen van werknemersconfiguratie gebruiken om ongebruikte configuraties te verwijderen. De service controleert of de werkconfiguratie niet door connectoren wordt gebruikt voordat de configuratie wordt verwijderd. Bovendien kunt u nu een voorvoegselfilter gebruiken om werkerconfiguraties en aangepaste plug-ins weer te geven met behulp van de ListWorkerConfigurations en ListCustomPlugins API-aanroepen. Met het voorvoegselfilter kunt u de selectieve bronnen weergeven waarvan de naam begint met het voorvoegsel, zodat u snel selectief kunt verwijderen.

Voer de volgende stappen uit om de nieuwe verwijder-API te testen:

1. Maak op de Amazon MSK-console een nieuwe werkerconfiguratie.
2. Geef een naam en optionele beschrijving op.
3. In het Werknemer configuratie sectie, voer uw configuratiecode in.

Nadat u de configuratie hebt gemaakt, a Verwijder optie is beschikbaar op de configuratiedetailpagina (zie de volgende schermafbeelding) als de configuratie in geen enkele connector wordt gebruikt.

Om deze nieuwe API te ondersteunen, is er een extra workerConfigurationState is toegevoegd, zodat u de status van de werkconfiguratie gemakkelijker kunt volgen. Deze nieuwe status wordt geretourneerd in de API-aanroepreacties voor CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Kies Verwijder om de werknemersconfiguratie te verwijderen.
5. Voer in het bevestigingspop-upvenster de naam van de werknemersconfiguratie in en kies vervolgens Verwijder.

Als de werkerconfiguratie met een willekeurige connector wordt gebruikt, wordt de Verwijder optie is uitgeschakeld, zoals weergegeven in de volgende schermafbeelding.

Resourcetags

MSK Connect biedt nu ook ondersteuning voor resourcetags. Tags zijn sleutelwaarde-metagegevens die kunnen worden gekoppeld aan AWS-servicebronnen. U kunt tags toevoegen aan connectoren, aangepaste plug-ins en werkerconfiguraties om bronnen die in AWS-services worden gebruikt, te organiseren en te vinden. In de volgende schermafbeeldingen zijn onze voorbeeld MSK Connect-connector, plug-in en werkerconfiguratie getagd met de resourcetagsleutel project en waarde demo-tags.

Je kunt nu jouw tag taggen Amazon Elastic Compute-cloud (Amazon EC2) en Amazon S3-bronnen met dezelfde projectnaam, bijvoorbeeld. Vervolgens kunt u de tag gebruiken om te zoeken naar alle resources die aan dit specifieke project zijn gekoppeld voor kostentoewijzing, rapportage, resourcegroepering of toegangscontrole. MSK Connect ondersteunt het toevoegen van tags bij het maken van bronnen, het toepassen van tags op een bestaande bron, het verwijderen van tags uit een bron en het opvragen van tags die aan een bron zijn gekoppeld.

AWS CloudFormation-ondersteuning

Voorheen kon u alleen een MSK Connect-connector inrichten met AWS CloudFormation door gebruik te maken van een bestaande werkconfiguratie. Met deze nieuwe functie kunt u nu CREATE-, READ-, UPDATE-, DELETE- en LIST-bewerkingen uitvoeren op connectors, en nieuwe werkerconfiguraties maken en toevoegen met behulp van AWS CloudFormation.

De volgende code is een voorbeeld van het maken van een werkerconfiguratie:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

De retourwaarden zijn als volgt:

• ARN van de nieuw gemaakte werkerconfiguratie
• Status van de nieuwe werkerconfiguratie
• Aanmaaktijd van nieuwe werknemersconfiguratie
• Laatste revisie van de nieuwe werknemersconfiguratie

Conclusie

MSK Connect is een volledig beheerde service die de vereiste bronnen levert, de status en leveringsstatus van connectoren bewaakt, de onderliggende hardware onderhoudt en connectoren automatisch schaalt om de werklast in evenwicht te brengen. In dit bericht hebben we de nieuwe functies besproken die zijn toegevoegd aan MSK Connect, die het connector- en werkerbeheer stroomlijnen met de introductie van API's voor het verwijderen van werkerconfiguraties, het taggen van MSK Connect-bronnen en ondersteuning in AWS CloudFormation om niet-standaard werkerconfiguraties te maken.

Deze mogelijkheden zijn beschikbaar in alle AWS-regio's waar Amazon MSK Connect beschikbaar is. Voor een lijst met regiobeschikbaarheid raadpleegt u AWS-services per regio. Ga voor meer informatie over MSK Connect naar de Amazon MSK Connect-ontwikkelaarshandleiding.

Over de auteurs

Chinmayi Narasimhadevara is een Solutions Architect gericht op Big Data en Analytics bij Amazon Web Services. Chinmayi heeft meer dan 20 jaar ervaring in informatietechnologie. Ze helpt AWS-klanten bij het bouwen van geavanceerde, zeer schaalbare en performante oplossingen.

Harita Pappu is technisch accountmanager gevestigd in Californië. Ze heeft meer dan 18 jaar ervaring in het bouwen en schalen van applicaties in de software-industrie. Ze heeft een passie voor nieuwe technologieën en is erop gericht klanten te helpen kostenoptimalisatie en operationele uitmuntendheid te bereiken.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/