Amazon MSK Sopọ jẹ iṣẹ iṣakoso ni kikun fun Apache Kafka Connect. Pẹlu awọn jinna diẹ, Asopọ MSK ngbanilaaye lati ran awọn asopọ ti o gbe data laarin Apache Kafka ati awọn eto ita.

Asopọmọra MSK ni bayi ṣe atilẹyin agbara lati paarẹ awọn atunto oṣiṣẹ MSK Connect, awọn orisun tag, ati ṣakoso awọn atunto oṣiṣẹ ati awọn afikun aṣa ni lilo AWS awọsanma Ibiyi. Papọ, awọn agbara tuntun wọnyi jẹ ki o taara lati ṣakoso awọn orisun asopọ MSK rẹ ati adaṣe awọn imuṣiṣẹ nipasẹ awọn opo gigun ti CI/CD.

Asopọmọra MSK jẹ ki o jẹ ailagbara lati san data si ati lati Apache Kafka lori asopọ aladani laisi nilo oye iṣakoso amayederun. Pẹlu awọn jinna diẹ, o le ran awọn asopọ bi ẹya Amazon S3 ifọwọ asopo fun ikojọpọ sisanwọle data lati Iṣẹ Ifipamọ Simple Amazon (Amazon S3), ran awọn asopo ni idagbasoke nipasẹ ẹni kẹta bi Debezium fun awọn igbasilẹ iyipada ṣiṣanwọle lati awọn apoti isura infomesonu sinu Apache Kafka, tabi ran asopo ti ara rẹ ti a ṣe adani fun ọran lilo rẹ.

MSK Connect ṣepọ awọn eto ita tabi awọn iṣẹ AWS pẹlu Apache Kafka nipa didakọ data ṣiṣan nigbagbogbo lati orisun data sinu iṣupọ Apache Kafka rẹ, tabi didakọ data nigbagbogbo lati inu iṣupọ Apache Kafka sinu ifọwọ data kan. Asopọmọra tun le ṣe awọn iṣẹ ṣiṣe iwuwo fẹẹrẹ bii iyipada, iyipada ọna kika, tabi sisẹ data ṣaaju jiṣẹ data si opin irin ajo. O le lo ohun itanna kan lati ṣẹda asopo; wọnyi aṣa afikun ni o wa oro ti o ni awọn koodu ti o asọye asopo kannaa.

Awọn paati akọkọ ti MSK Connect jẹ osise. Osise kọọkan jẹ ilana ẹrọ foju Java kan (JVM) ti o nṣiṣẹ ọgbọn asopo ti o da lori iṣeto oṣiṣẹ ti a pese. Awọn atunto oṣiṣẹ jẹ awọn orisun ti o ni awọn ohun-ini atunto asopo rẹ ninu ti o le tun lo kọja awọn asopo pupọ. Osise kọọkan jẹ ninu akojọpọ awọn iṣẹ ṣiṣe ti o daakọ data ni afiwe.

Loni, a n kede awọn agbara tuntun mẹta ni MSK Connect:

• Agbara lati paarẹ awọn atunto oṣiṣẹ
• Atilẹyin fun awọn afi oluşewadi fun ṣiṣe akojọpọ awọn oluşewadi, ipin iye owo ati ijabọ, ati iṣakoso wiwọle pẹlu awọn ilana ti o da lori tag
• Atilẹyin ni AWS CloudFormation lati ṣakoso awọn atunto oṣiṣẹ ati awọn afikun aṣa

Ni awọn apakan atẹle, a wo awọn iṣẹ ṣiṣe tuntun ni awọn alaye diẹ sii.

Pa awọn atunto oṣiṣẹ rẹ

Awọn asopọ fun iṣọpọ Ṣiṣanwọle iṣakoso Amazon fun Apache Kafka (Amazon MSK) pẹlu AWS miiran ati awọn iṣẹ alabaṣepọ ni a ṣẹda nigbagbogbo nipa lilo iṣeto ti oṣiṣẹ (aiyipada tabi aṣa). Awọn atunto wọnyi le dagba pẹlu ẹda ati piparẹ awọn asopọ, ti o ni agbara ṣiṣẹda awọn ọran iṣakoso iṣeto.

O le lo API atunto oṣiṣẹ piparẹ tuntun lati pa awọn atunto ti ko lo. Iṣẹ naa sọwedowo pe atunto oṣiṣẹ ko si ni lilo nipasẹ eyikeyi awọn asopọ ṣaaju piparẹ iṣeto naa. Ni afikun, o le lo àlẹmọ ìpele lati ṣe atokọ awọn atunto oṣiṣẹ ati awọn afikun aṣa ni lilo awọn ListWorkerConfigurations ati ListCustomPlugins Awọn ipe API. Àlẹmọ ìpele gba ọ laaye lati ṣe atokọ awọn orisun yiyan pẹlu awọn orukọ ti o bẹrẹ pẹlu ìpele ki o le ṣe awọn piparẹ yiyan yiyan ni iyara.

Lati ṣe idanwo API piparẹ tuntun, pari awọn igbesẹ wọnyi:

1. Lori console Amazon MSK, ṣẹda iṣeto oṣiṣẹ tuntun kan.
2. Pese orukọ ati apejuwe aṣayan.
3. ni awọn Osise iṣeto ni apakan, tẹ rẹ iṣeto ni koodu.

Lẹhin ti o ṣẹda iṣeto ni, a pa aṣayan wa lori oju-iwe alaye iṣeto (wo sikirinifoto atẹle) ti iṣeto naa ko ba lo ni eyikeyi asopo.

Lati ṣe atilẹyin API tuntun yii, afikun workerConfigurationState ti a ti fi kun, ki o le siwaju sii awọn iṣọrọ orin awọn ipo ti awọn Osise iṣeto ni. Ipinle tuntun yii yoo pada ni awọn idahun ipe API fun CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. yan pa lati pa iṣeto ni Osise.
5. Ninu agbejade ìmúdájú, tẹ orukọ iṣeto ni oṣiṣẹ sii, lẹhinna yan pa.

Ti o ba ti Osise iṣeto ni lilo pẹlu eyikeyi asopo ohun, awọn pa aṣayan jẹ alaabo, bi o ṣe han ninu sikirinifoto atẹle.

Awọn afi oluşewadi

Asopọmọra MSK ni bayi tun ni atilẹyin fun awọn afi awọn orisun. Awọn afi jẹ metadata iye bọtini ti o le ni nkan ṣe pẹlu awọn orisun iṣẹ AWS. O le ṣafikun awọn afi si awọn asopọ, awọn afikun aṣa, ati awọn atunto oṣiṣẹ lati ṣeto ati wa awọn orisun ti a lo kọja awọn iṣẹ AWS. Ninu awọn sikirinisoti atẹle yii, apẹẹrẹ asopọ asopọ MSK wa, itanna, ati atunto oṣiṣẹ ti jẹ aami pẹlu bọtini tag awọn orisun project ati iye demo-tags.

O le bayi samisi rẹ Awọsanma Rirọ Oniṣiro Amazon (Amazon EC2) ati awọn orisun Amazon S3 pẹlu orukọ iṣẹ akanṣe kanna, fun apẹẹrẹ. Lẹhinna o le lo aami lati wa gbogbo awọn orisun ti o sopọ mọ iṣẹ akanṣe yii fun ipin iye owo, ijabọ, akojọpọ awọn orisun, tabi iṣakoso iwọle. Asopọmọra MSK ṣe atilẹyin fifi awọn aami kun nigbati o ṣẹda awọn orisun, lilo awọn afi si orisun ti o wa, yiyọ awọn afi kuro ni orisun, ati awọn afi ibeere ti o ni nkan ṣe pẹlu orisun kan.

AWS CloudFormation support

Ni iṣaaju, o ni anfani lati pese asopo asopọ MSK pẹlu AWS CloudFormation nipa lilo iṣeto oṣiṣẹ ti o wa tẹlẹ. Pẹlu ẹya tuntun yii, o le ṣe CREATE, KA, Imudojuiwọn, DELETE, ati awọn iṣẹ LIST lori awọn asopọ, ati ṣẹda ati ṣafikun awọn atunto oṣiṣẹ tuntun nipa lilo AWS CloudFormation.

Koodu atẹle jẹ apẹẹrẹ ti ṣiṣẹda atunto oṣiṣẹ kan:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Awọn iye ipadabọ jẹ bi atẹle:

• ARN ti atunto oṣiṣẹ tuntun ti a ṣẹda
• Ipinle ti titun Osise iṣeto ni
• Ṣiṣẹda akoko ti titun Osise iṣeto ni
• Titun àtúnyẹwò ti titun Osise iṣeto ni

ipari

MSK Sopọ jẹ iṣẹ iṣakoso ni kikun ti o pese awọn orisun ti o nilo, ṣe abojuto ilera ati ipo ifijiṣẹ ti awọn asopọ, ṣetọju ohun elo ti o wa labẹ, ati awọn asopọ wiwọn adaṣe lati dọgbadọgba awọn iṣẹ ṣiṣe. Ninu ifiweranṣẹ yii, a jiroro lori awọn ẹya tuntun ti a ṣafikun si MSK Connect, eyiti o ṣe ṣiṣan asopo ati iṣakoso oṣiṣẹ pẹlu iṣafihan awọn API fun piparẹ awọn atunto oṣiṣẹ, fifi aami si awọn orisun MSK Connect, ati atilẹyin ni AWS CloudFormation lati ṣẹda awọn atunto oṣiṣẹ ti kii ṣe aiyipada.

Awọn agbara wọnyi wa ni gbogbo Awọn agbegbe AWS nibiti Amazon MSK Connect ti wa. Fun atokọ ti wiwa Ẹkun, tọka si Awọn iṣẹ AWS nipasẹ Agbegbe. Lati ni imọ siwaju sii nipa MSK Connect, ṣabẹwo si Amazon MSK So Olùgbéejáde Itọsọna.

Nipa awọn onkọwe

Chinmayi Narasimhadevara ni a jẹ Onitumọ Awọn solusan ti o dojukọ lori Data Nla ati Awọn atupale ni Awọn iṣẹ wẹẹbu Amazon. Chinmayi ni o ju 20 ọdun ti iriri ninu imọ-ẹrọ alaye. O ṣe iranlọwọ fun awọn alabara AWS lati kọ ilọsiwaju, iwọn giga ati awọn solusan iṣẹ ṣiṣe.

Harita Pappu ti wa ni Imọ Account Manager orisun jade California. O ni ju ọdun 18 ti iriri ṣiṣẹ ni ile ile-iṣẹ sọfitiwia ati awọn ohun elo igbelosoke. O ni itara fun awọn imọ-ẹrọ tuntun ati idojukọ lori iranlọwọ awọn alabara lati ṣaṣeyọri iṣapeye idiyele ati didara julọ iṣẹ.

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/