Amazon MSK Connect egy teljesen felügyelt szolgáltatás az Apache Kafka Connect számára. Az MSK Connect néhány kattintással lehetővé teszi olyan csatlakozók telepítését, amelyek az Apache Kafka és a külső rendszerek között mozgatják az adatokat.

Az MSK Connect mostantól támogatja az MSK Connect dolgozói konfigurációk törlését, az erőforrások címkézését, valamint a dolgozói konfigurációk és egyéni beépülő modulok kezelését. AWS felhőképződés. Ezek az új képességek együttesen egyszerűvé teszik az MSK Connect erőforrások kezelését és a telepítések automatizálását CI/CD folyamatokon keresztül.

Az MSK Connect egyszerűvé teszi az adatok streamelését az Apache Kafkába és onnan privát kapcsolaton keresztül, infrastruktúra-kezelési szakértelem nélkül. Néhány kattintással olyan csatlakozókat telepíthet, mint egy Amazon S3 mosogató csatlakozó streaming adatok betöltéséhez Amazon egyszerű tárolási szolgáltatás (Amazon S3), telepítsen harmadik felek által kifejlesztett csatlakozókat, például Debezium az adatbázisokból származó változásnaplók streameléséhez az Apache Kafkába, vagy telepítse a saját, az Ön használati esetére szabott csatlakozóját.

Az MSK Connect külső rendszereket vagy AWS-szolgáltatásokat integrál az Apache Kafkával azáltal, hogy folyamatosan másolja a streaming adatokat egy adatforrásból az Apache Kafka-fürtbe, vagy folyamatosan másolja az Apache Kafka-fürt adatait egy adatnyelőbe. Az összekötő olyan könnyű feladatokat is végrehajthat, mint például az adatok átalakítása, formátumátalakítása vagy szűrése, mielőtt az adatokat a célállomásra kézbesítené. A csatlakozó létrehozásához használhat egy bővítményt; ezek az egyéni bővítmények olyan erőforrások, amelyek a csatlakozási logikát meghatározó kódot tartalmazzák.

Az MSK Connect elsődleges összetevői dolgozók. Minden dolgozó egy Java virtuális gép (JVM) folyamat, amely az összekötő logikáját a megadott dolgozói konfiguráció alapján futtatja. A dolgozói konfigurációk olyan erőforrások, amelyek az összekötő konfigurációs tulajdonságait tartalmazzák, amelyek több összekötőn keresztül újra felhasználhatók. Minden dolgozó egy sor feladatból áll, amelyek párhuzamosan másolják az adatokat.

Ma az MSK Connect három új képességét mutatjuk be:

• A dolgozói konfigurációk törlésének lehetősége
• Erőforráscímkék támogatása az erőforrások csoportosításához, a költségelosztáshoz és -jelentésekhez, valamint a hozzáférés-szabályozáshoz címkealapú házirendekkel
• Az AWS CloudFormation támogatása a dolgozói konfigurációk és az egyéni bővítmények kezeléséhez

A következő részekben az új funkciókkal foglalkozunk részletesebben.

Munkavállalói konfigurációk törlése

Csatlakozók az integráláshoz Amazon által kezelt adatfolyam az Apache Kafka számára (Amazon MSK) más AWS-ekkel és partnerszolgáltatásokkal általában dolgozói konfigurációval jön létre (alapértelmezett vagy egyéni). Ezek a konfigurációk az összekötők létrehozásával és törlésével növekedhetnek, ami konfigurációkezelési problémákat okozhat.

Mostantól az új törlési dolgozó konfigurációs API-jával törölheti a nem használt konfigurációkat. A szolgáltatás a konfiguráció törlése előtt ellenőrzi, hogy a dolgozói konfigurációt egyetlen csatlakozó sem használja. Ezenkívül mostantól előtagszűrőt is használhat a dolgozói konfigurációk és az egyéni beépülő modulok listázásához a ListWorkerConfigurations és a ListCustomPlugins API-hívások. Az előtagszűrő lehetővé teszi a szelektív erőforrások előtaggal kezdődő nevekkel való felsorolását, így gyors szelektív törlést hajthat végre.

Az új törlési API teszteléséhez hajtsa végre a következő lépéseket:

1. Az Amazon MSK konzolon hozzon létre egy új dolgozói konfigurációt.
2. Adjon meg egy nevet és opcionális leírást.
3. A Munkavállalói konfiguráció részben adja meg konfigurációs kódját.

A konfiguráció létrehozása után a töröl opció elérhető a konfigurációs részletek oldalon (lásd a következő képernyőképet), ha a konfigurációt nem használják egyetlen csatlakozóban sem.

Az új API támogatásához egy további workerConfigurationState hozzáadásra került, így könnyebben nyomon követheti a dolgozói konfiguráció állapotát. Ezt az új állapotot a rendszer a következőhöz tartozó API-hívási válaszokban adja vissza CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a töröl a dolgozói konfiguráció törléséhez.
5. A megerősítést kérő felugró ablakban adja meg a dolgozói konfiguráció nevét, majd válassza a lehetőséget töröl.

Ha a dolgozói konfigurációt bármely csatlakozóval együtt használják, a töröl opció le van tiltva, amint az a következő képernyőképen látható.

Erőforrás címkék

Az MSK Connect mostantól támogatja az erőforráscímkéket is. A címkék kulcsérték metaadatok, amelyek AWS-szolgáltatási erőforrásokhoz társíthatók. Az AWS-szolgáltatásokban használt erőforrások rendszerezéséhez és megtalálásához címkéket adhat hozzá csatlakozókhoz, egyéni beépülő modulokhoz és dolgozói konfigurációkhoz. A következő képernyőképeken a példa MSK Connect csatlakozónk, beépülő modulunk és dolgozó konfigurációnk az erőforráscímke kulcsával lett megcímkézve project és értéket demo-tags.

Most megcímkézheti a sajátját Amazon rugalmas számítási felhő (Amazon EC2) és Amazon S3 erőforrások például azonos projektnévvel. Ezután a címkével megkeresheti az adott projekthez kapcsolódó összes erőforrást költségelosztás, jelentéskészítés, erőforráscsoportosítás vagy hozzáférés-szabályozás céljából. Az MSK Connect támogatja a címkék hozzáadását erőforrások létrehozásakor, címkék alkalmazását egy meglévő erőforrásra, címkék eltávolítását az erőforrásból, valamint az erőforrásokhoz társított címkék lekérdezését.

AWS CloudFormation támogatás

Korábban csak egy meglévő dolgozói konfiguráció használatával tudott MSK Connect-összekötőt kiépíteni az AWS CloudFormation szolgáltatással. Ezzel az új funkcióval mostantól LÉTREHOZÁS, OLVASÁS, FRISSÍTÉS, TÖRLÉS és LIST műveleteket hajthat végre a csatlakozókon, valamint új dolgozói konfigurációkat hozhat létre és adhat hozzá az AWS CloudFormation segítségével.

A következő kód egy példa a dolgozói konfiguráció létrehozására:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

A visszatérési értékek a következők:

• Az újonnan létrehozott dolgozói konfiguráció ARN-je
• Az új dolgozói konfiguráció állapota
• Új dolgozói konfiguráció létrehozásának ideje
• Az új dolgozói konfiguráció legújabb verziója

Következtetés

Az MSK Connect egy teljesen felügyelt szolgáltatás, amely biztosítja a szükséges erőforrásokat, figyeli a csatlakozók állapotát és szállítási állapotát, karbantartja a mögöttes hardvert, és automatikusan skálázza a csatlakozókat a munkaterhelések kiegyensúlyozása érdekében. Ebben a bejegyzésben megvitattuk az MSK Connecthez hozzáadott új funkciókat, amelyek leegyszerűsítik az összekötők és a dolgozók kezelését a dolgozói konfigurációk törlésére szolgáló API-k bevezetésével, az MSK Connect erőforrások címkézésével, valamint az AWS CloudFormation támogatásával a nem alapértelmezett dolgozói konfigurációk létrehozásához.

Ezek a képességek minden AWS-régióban elérhetők, ahol az Amazon MSK Connect elérhető. A régió elérhetőségeinek listáját lásd: AWS szolgáltatások régiónként. Ha többet szeretne megtudni az MSK Connectről, látogassa meg a Amazon MSK Connect fejlesztői útmutató.

A szerzőkről

Chinmayi Narasimhadevara az Amazon Web Services megoldástervezője, aki a Big Data-ra és az elemzésekre összpontosít. Chinmayi több mint 20 éves tapasztalattal rendelkezik az információs technológia területén. Segít az AWS ügyfeleinek fejlett, nagymértékben méretezhető és nagy teljesítményű megoldások kidolgozásában.

Harita Pappu műszaki ügyfélmenedzser Kaliforniában. Több mint 18 éves tapasztalattal rendelkezik szoftveripari alkalmazások kiépítésében és méretezésében. Szenvedélyesen rajong az új technológiákért, és arra összpontosít, hogy segítse ügyfeleit a költségoptimalizálás és a működési kiválóság elérésében.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/