Amazon MSK Connect er en fullstendig administrert tjeneste for Apache Kafka Connect. Med noen få klikk lar MSK Connect deg distribuere koblinger som flytter data mellom Apache Kafka og eksterne systemer.

MSK Connect støtter nå muligheten til å slette MSK Connect-arbeiderkonfigurasjoner, merke ressurser og administrere arbeiderkonfigurasjoner og tilpassede plugins ved å bruke AWS skyformasjon. Sammen gjør disse nye egenskapene det enkelt å administrere MSK Connect-ressursene dine og automatisere distribusjoner gjennom CI/CD-pipelines.

MSK Connect gjør det enkelt å strømme data til og fra Apache Kafka over en privat tilkobling uten å kreve ekspertise på infrastrukturadministrasjon. Med noen få klikk kan du distribuere koblinger som en Amazon S3 vaskkontakt for å laste strømmedata til Amazon enkel lagringstjeneste (Amazon S3), distribuer kontakter utviklet av tredjeparter som Debezium for strømming av endringslogger fra databaser til Apache Kafka, eller distribuer din egen kobling tilpasset ditt bruksområde.

MSK Connect integrerer eksterne systemer eller AWS-tjenester med Apache Kafka ved kontinuerlig å kopiere strømmedata fra en datakilde inn i din Apache Kafka-klynge, eller kontinuerlig kopiere data fra din Apache Kafka-klynge til en datavask. Koblingen kan også utføre lette oppgaver som transformasjon, formatkonvertering eller filtrering av data før dataene leveres til en destinasjon. Du kan bruke en plugin for å lage koblingen; disse tilpassede pluginene er ressurser som inneholder koden som definerer koblingslogikk.

Hovedkomponentene til MSK Connect er arbeidere. Hver arbeider er en Java Virtual Machine (JVM)-prosess som kjører koblingslogikken basert på arbeiderkonfigurasjonen som er oppgitt. Arbeiderkonfigurasjoner er ressurser som inneholder koblingskonfigurasjonsegenskapene dine som kan gjenbrukes på tvers av flere koblinger. Hver arbeider består av et sett med oppgaver som kopierer dataene parallelt.

I dag kunngjør vi tre nye funksjoner i MSK Connect:

• Muligheten til å slette arbeiderkonfigurasjoner
• Støtte for ressurskoder for å aktivere ressursgruppering, kostnadsfordeling og rapportering, og tilgangskontroll med tag-baserte policyer
• Støtte i AWS CloudFormation for å administrere arbeiderkonfigurasjoner og tilpassede plugins

I de følgende avsnittene ser vi på de nye funksjonene mer detaljert.

Slett arbeiderkonfigurasjoner

Koblinger for integrering Amazon administrerte strømming for Apache Kafka (Amazon MSK) med andre AWS- og partnertjenester opprettes vanligvis ved hjelp av en arbeiderkonfigurasjon (standard eller tilpasset). Disse konfigurasjonene kan vokse med opprettelse og sletting av koblinger, og potensielt skape problemer med konfigurasjonsadministrasjon.

Du kan nå bruke det nye slettearbeiderkonfigurasjons-APIet for å slette ubrukte konfigurasjoner. Tjenesten sjekker at arbeiderkonfigurasjonen ikke er i bruk av noen koblinger før konfigurasjonen slettes. I tillegg kan du nå bruke et prefiksfilter for å liste opp arbeiderkonfigurasjoner og tilpassede plugins ved å bruke ListWorkerConfigurations og ListCustomPlugins API-kall. Prefiksfilteret lar deg liste de selektive ressursene med navn som begynner med prefikset, slik at du kan utføre raske selektive slettinger.

For å teste det nye slette-APIet, fullfør følgende trinn:

1. På Amazon MSK-konsollen oppretter du en ny arbeiderkonfigurasjon.
2. Oppgi navn og valgfri beskrivelse.
3. på Arbeiderkonfigurasjon seksjonen, skriv inn konfigurasjonskoden.

Etter at du har opprettet konfigurasjonen, a Delete alternativet er tilgjengelig på konfigurasjonsdetaljsiden (se følgende skjermbilde) hvis konfigurasjonen ikke brukes i noen kobling.

For å støtte denne nye API, en ekstra workerConfigurationState er lagt til, slik at du lettere kan spore tilstanden til arbeiderkonfigurasjonen. Denne nye tilstanden vil bli returnert i API-anropssvarene for CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Velg Delete for å slette arbeiderkonfigurasjonen.
5. Skriv inn navnet på arbeiderkonfigurasjonen i popup-vinduet for bekreftelse, og velg deretter Delete.

Hvis arbeiderkonfigurasjonen brukes med en kobling, vil Delete alternativet er deaktivert, som vist i følgende skjermbilde.

Ressurs-tagger

MSK Connect har nå også støtte for ressursbrikker. Tagger er nøkkelverdi-metadata som kan assosieres med AWS-tjenesteressurser. Du kan legge til tagger til koblinger, tilpassede plugins og arbeiderkonfigurasjoner for å organisere og finne ressurser som brukes på tvers av AWS-tjenester. I de følgende skjermbildene er vår eksempel MSK Connect-kobling, plugin og arbeiderkonfigurasjon merket med ressurstag-nøkkelen project og verdi demo-tags.

Du kan nå tagge din Amazon Elastic Compute Cloud (Amazon EC2) og Amazon S3-ressurser med samme prosjektnavn, for eksempel. Deretter kan du bruke taggen til å søke etter alle ressurser knyttet til dette bestemte prosjektet for kostnadsfordeling, rapportering, ressursgruppering eller tilgangskontroll. MSK Connect støtter å legge til tagger når du oppretter ressurser, bruke tagger på en eksisterende ressurs, fjerne tagger fra en ressurs og spørre om tagger knyttet til en ressurs.

AWS CloudFormation-støtte

Tidligere kunne du bare klargjøre en MSK Connect-kobling med AWS CloudFormation ved å bruke en eksisterende arbeiderkonfigurasjon. Med denne nye funksjonen kan du nå utføre CREATE, READ, UPDATE, DELETE og LIST operasjoner på koblinger, og opprette og legge til nye arbeiderkonfigurasjoner ved hjelp av AWS CloudFormation.

Følgende kode er et eksempel på hvordan du oppretter en arbeiderkonfigurasjon:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Returverdiene er som følger:

• ARN for den nyopprettede arbeiderkonfigurasjonen
• Status for den nye arbeiderkonfigurasjonen
• Opprettingstid for ny arbeiderkonfigurasjon
• Siste revisjon av den nye arbeiderkonfigurasjonen

konklusjonen

MSK Connect er en fullt administrert tjeneste som sørger for de nødvendige ressursene, overvåker helse- og leveringstilstanden til koblinger, vedlikeholder den underliggende maskinvaren og automatisk skalerer koblinger for å balansere arbeidsbelastningen. I dette innlegget diskuterte vi de nye funksjonene som ble lagt til MSK Connect, som effektiviserer koblings- og arbeideradministrasjon med introduksjonen av APIer for sletting av arbeiderkonfigurasjoner, merking av MSK Connect-ressurser og støtte i AWS CloudFormation for å lage ikke-standard arbeiderkonfigurasjoner.

Disse funksjonene er tilgjengelige i alle AWS-regioner der Amazon MSK Connect er tilgjengelig. For en liste over tilgjengelige regioner, se AWS-tjenester etter region. For å lære mer om MSK Connect, besøk Amazon MSK Connect utviklerveiledning.

Om forfatterne

Chinmayi Narasimhadevara er en løsningsarkitekt med fokus på Big Data og Analytics hos Amazon Web Services. Chinmayi har over 20 års erfaring innen informasjonsteknologi. Hun hjelper AWS-kunder med å bygge avanserte, svært skalerbare og effektive løsninger.

Harita Pappu er Technical Account Manager basert i California. Hun har over 18 års erfaring med å bygge og skalere applikasjoner i programvareindustrien. Hun er lidenskapelig opptatt av nye teknologier og fokusert på å hjelpe kunder med å oppnå kostnadsoptimalisering og operasjonell fortreffelighet.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/