Amazon MSK Connect je popolnoma upravljana storitev za Apache Kafka Connect. Z nekaj kliki vam MSK Connect omogoča uvajanje konektorjev, ki prenašajo podatke med Apache Kafka in zunanjimi sistemi.

MSK Connect zdaj podpira možnost brisanja delovnih konfiguracij MSK Connect, označevanja virov in upravljanja delovnih konfiguracij in vtičnikov po meri z Oblikovanje oblaka AWS. Te nove zmožnosti skupaj olajšajo upravljanje vaših virov MSK Connect in avtomatizacijo uvajanja prek cevovodov CI/CD.

MSK Connect omogoča preprosto pretakanje podatkov v in iz Apache Kafka prek zasebne povezave, ne da bi bilo potrebno strokovno znanje o upravljanju infrastrukture. Z nekaj kliki lahko uvedete konektorje, kot je Konektor za pomivalno korito Amazon S3 za nalaganje pretočnih podatkov v Preprosta storitev shranjevanja Amazon (Amazon S3), uvesti konektorje, ki so jih razvile tretje osebe, npr Debezij za pretakanje dnevnikov sprememb iz podatkovnih baz v Apache Kafka ali razmestite svoj konektor, prilagojen vašemu primeru uporabe.

MSK Connect integrira zunanje sisteme ali storitve AWS z Apache Kafka z neprekinjenim kopiranjem pretočnih podatkov iz vira podatkov v vašo gručo Apache Kafka ali neprekinjenim kopiranjem podatkov iz vaše gruče Apache Kafka v ponor podatkov. Konektor lahko izvaja tudi lahke naloge, kot so transformacija, pretvorba formata ali filtriranje podatkov, preden jih dostavi na cilj. Za ustvarjanje povezovalnika lahko uporabite vtičnik; ti vtičniki po meri so viri, ki vsebujejo kodo, ki definira logiko konektorja.

Primarne komponente MSK Connect so delavci. Vsak delavec je proces navideznega stroja Java (JVM), ki izvaja logiko povezovalnika na podlagi ponujene konfiguracije delavca. Delovne konfiguracije so viri, ki vsebujejo vaše lastnosti konfiguracije konektorja, ki jih je mogoče znova uporabiti v več konektorjih. Vsak delavec je sestavljen iz niza nalog, ki vzporedno kopirajo podatke.

Danes najavljamo tri nove zmogljivosti v MSK Connect:

• Možnost brisanja delovnih konfiguracij
• Podpora za oznake virov za omogočanje združevanja virov, razporejanja stroškov in poročanja ter nadzora dostopa s pravilniki, ki temeljijo na oznakah
• Podpora v AWS CloudFormation za upravljanje konfiguracij delavcev in vtičnikov po meri

V naslednjih razdelkih si podrobneje ogledamo nove funkcionalnosti.

Izbrišite delovne konfiguracije

Konektorji za integracijo Amazonovo pretakanje za Apache Kafka (Amazon MSK) z drugimi AWS in partnerskimi storitvami se običajno ustvarijo s konfiguracijo delavca (privzeto ali po meri). Te konfiguracije se lahko povečajo z ustvarjanjem in brisanjem konektorjev, kar lahko povzroči težave pri upravljanju konfiguracije.

Zdaj lahko za brisanje neuporabljenih konfiguracij uporabite nov API za konfiguracijo delavca za brisanje. Storitev preveri, ali delovne konfiguracije ne uporablja noben konektor, preden konfiguracijo izbriše. Poleg tega lahko zdaj uporabite filter predpone za seznam konfiguracij delavcev in vtičnikov po meri z uporabo ListWorkerConfigurations in ListCustomPlugins API klici. Filter predpone vam omogoča, da navedete selektivne vire z imeni, ki se začnejo s predpono, tako da lahko izvedete hitro selektivno brisanje.

Če želite preizkusiti nov API za brisanje, izvedite naslednje korake:

1. Na konzoli Amazon MSK ustvarite novo konfiguracijo delavca.
2. Navedite ime in izbirni opis.
3. v Konfiguracija delavca vnesite svojo konfiguracijsko kodo.

Ko ustvarite konfiguracijo, a Brisanje možnost je na voljo na strani s podrobnostmi o konfiguraciji (glejte naslednji posnetek zaslona), če se konfiguracija ne uporablja v nobenem priključku.

Za podporo tega novega API-ja je potreben dodaten workerConfigurationState je bil dodan, tako da lahko lažje spremljate stanje konfiguracije delavca. To novo stanje bo vrnjeno v odzivih na klic API-ja za CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Izberite Brisanje da izbrišete delovno konfiguracijo.
5. V potrditvenem pojavnem oknu vnesite ime konfiguracije delavca in nato izberite Brisanje.

Če se konfiguracija delavca uporablja s katerim koli konektorjem, je Brisanje je onemogočena, kot je prikazano na naslednjem posnetku zaslona.

Oznake virov

MSK Connect zdaj podpira tudi oznake virov. Oznake so metapodatki o ključu in vrednosti, ki jih je mogoče povezati z viri storitev AWS. Dodate lahko oznake konektorjem, vtičnikom po meri in konfiguracijam delavcev, da organizirate in poiščete vire, ki se uporabljajo v storitvah AWS. Na naslednjih posnetkih zaslona so bili naš primer konektorja MSK Connect, vtičnika in konfiguracije delavca označeni s ključem oznake vira project in vrednost demo-tags.

Zdaj lahko označite svojega Amazonski elastični računalniški oblak (Amazon EC2) in viri Amazon S3 z istim imenom projekta, na primer. Nato lahko uporabite oznako za iskanje vseh virov, povezanih s tem določenim projektom, za razporeditev stroškov, poročanje, združevanje virov ali nadzor dostopa. MSK Connect podpira dodajanje oznak pri ustvarjanju virov, uporabo oznak na obstoječem viru, odstranjevanje oznak iz vira in poizvedovanje po oznakah, povezanih z virom.

Podpora za AWS CloudFormation

Prej ste lahko zagotovili priključek MSK Connect z AWS CloudFormation samo z uporabo obstoječe delovne konfiguracije. S to novo funkcijo lahko zdaj izvajate operacije CREATE, READ, UPDATE, DELETE in LIST na konektorjih ter ustvarjate in dodajate nove konfiguracije delavcev z uporabo AWS CloudFormation.

Naslednja koda je primer ustvarjanja delovne konfiguracije:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Povratne vrednosti so naslednje:

• ARN novo ustvarjene delovne konfiguracije
• Stanje nove konfiguracije delavca
• Čas ustvarjanja nove konfiguracije delavca
• Zadnja revizija nove konfiguracije delavca

zaključek

MSK Connect je popolnoma upravljana storitev, ki zagotavlja zahtevane vire, spremlja stanje in stanje dostave konektorjev, vzdržuje osnovno strojno opremo in samodejno prilagaja konektorje za uravnoteženje delovnih obremenitev. V tej objavi smo razpravljali o novih funkcijah, ki so bile dodane v MSK Connect, ki poenostavljajo upravljanje konektorjev in delavcev z uvedbo API-jev za brisanje konfiguracij delavcev, označevanje virov MSK Connect in podporo v AWS CloudFormation za ustvarjanje konfiguracij delavcev, ki niso privzete.

Te zmogljivosti so na voljo v vseh regijah AWS, kjer je na voljo Amazon MSK Connect. Za seznam razpoložljivosti regij glejte Storitve AWS po regijah. Če želite izvedeti več o MSK Connect, obiščite Priročnik za razvijalce Amazon MSK Connect.

O avtorjih

Chinmayi Narasimhadevara je arhitekt rešitev, osredotočen na velike podatke in analitiko pri Amazon Web Services. Chinmayi ima več kot 20 let izkušenj na področju informacijske tehnologije. Strankam AWS pomaga zgraditi napredne, zelo razširljive in zmogljive rešitve.

Harita Pappu je tehnični vodja računa s sedežem v Kaliforniji. Ima več kot 18 let izkušenj pri gradnji in skaliranju aplikacij v industriji programske opreme. Navdušena je nad novimi tehnologijami in osredotočena na pomoč strankam pri doseganju stroškovne optimizacije in operativne odličnosti.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/