ایمیزون ایم ایس کے کنیکٹ Apache Kafka Connect کے لیے مکمل طور پر منظم سروس ہے۔ چند کلکس کے ساتھ، MSK کنیکٹ آپ کو ایسے کنیکٹرز کو تعینات کرنے کی اجازت دیتا ہے جو اپاچی کافکا اور بیرونی سسٹمز کے درمیان ڈیٹا منتقل کرتے ہیں۔

MSK Connect اب MSK Connect ورکر کنفیگریشنز، ٹیگ ریسورسز کو ڈیلیٹ کرنے اور ورکر کنفیگریشنز اور کسٹم پلگ ان کا استعمال کرنے کی صلاحیت کو سپورٹ کرتا ہے۔ AWS کلاؤڈ فارمیشن. ایک ساتھ مل کر، یہ نئی صلاحیتیں آپ کے MSK Connect وسائل کو منظم کرنے اور CI/CD پائپ لائنوں کے ذریعے خودکار تعیناتیوں کو سیدھا بناتی ہیں۔

MSK Connect بنیادی ڈھانچے کے انتظام کی مہارت کی ضرورت کے بغیر نجی کنکشن کے ذریعے اپاچی کافکا تک ڈیٹا کو سٹریم کرنا آسان بناتا ہے۔ چند کلکس کے ساتھ، آپ کنیکٹرز کو تعینات کر سکتے ہیں۔ ایمیزون S3 سنک کنیکٹر پر سٹریمنگ ڈیٹا لوڈ کرنے کے لیے ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)، جیسے تیسرے فریق کے ذریعہ تیار کردہ کنیکٹرز کو تعینات کریں۔ ڈیبیزیم اپاچی کافکا میں ڈیٹا بیس سے لاگز کو تبدیل کرنے کے لیے، یا اپنے استعمال کے کیس کے لیے اپنی مرضی کے مطابق اپنا کنیکٹر تعینات کریں۔

MSK Connect بیرونی سسٹمز یا AWS سروسز کو Apache Kafka کے ساتھ مربوط کرتا ہے ڈیٹا سورس سے اسٹریمنگ ڈیٹا کو آپ کے Apache Kafka کلسٹر میں مسلسل کاپی کرکے، یا آپ کے Apache Kafka کلسٹر سے ڈیٹا کو ڈیٹا سنک میں مسلسل کاپی کرکے۔ کنیکٹر ہلکے وزن کے کام بھی انجام دے سکتا ہے جیسے کہ تبدیلی، فارمیٹ کی تبدیلی، یا ڈیٹا کو کسی منزل تک پہنچانے سے پہلے ڈیٹا کو فلٹر کرنا۔ آپ کنیکٹر بنانے کے لیے ایک پلگ ان استعمال کر سکتے ہیں۔ یہ حسب ضرورت پلگ ان وسائل ہیں جن میں کوڈ ہوتا ہے جو کنیکٹر منطق کی وضاحت کرتا ہے۔

MSK کنیکٹ کے بنیادی اجزاء ہیں۔ کارکنوں. ہر کارکن جاوا ورچوئل مشین (JVM) عمل ہے جو فراہم کردہ ورکر کنفیگریشن کی بنیاد پر کنیکٹر لاجک چلاتا ہے۔ ورکر کنفیگریشن وہ وسائل ہیں جن میں آپ کے کنیکٹر کنفیگریشن کی خصوصیات ہوتی ہیں جنہیں متعدد کنیکٹرز میں دوبارہ استعمال کیا جا سکتا ہے۔ ہر کارکن کاموں کے ایک سیٹ پر مشتمل ہوتا ہے جو ڈیٹا کو متوازی طور پر کاپی کرتا ہے۔

آج، ہم MSK Connect میں تین نئی صلاحیتوں کا اعلان کر رہے ہیں:

• کارکن کنفیگریشنز کو حذف کرنے کی صلاحیت
• وسائل کی گروپ بندی، لاگت مختص اور رپورٹنگ، اور ٹیگ پر مبنی پالیسیوں کے ساتھ رسائی کے کنٹرول کو فعال کرنے کے لیے ریسورس ٹیگز کے لیے سپورٹ
• ورکر کنفیگریشنز اور کسٹم پلگ انز کو منظم کرنے کے لیے AWS CloudFormation میں سپورٹ

مندرجہ ذیل حصوں میں، ہم نئی خصوصیات کو مزید تفصیل سے دیکھتے ہیں۔

ورکر کنفیگریشنز کو حذف کریں۔

انضمام کے لیے کنیکٹر ایمیزون نے اپاچی کافکا کے لیے سٹریمنگ کا انتظام کیا۔ (ایمیزون MSK) دیگر AWS اور شراکت دار خدمات کے ساتھ عام طور پر ورکر کنفیگریشن (پہلے سے طے شدہ یا اپنی مرضی کے مطابق) کا استعمال کرتے ہوئے بنائے جاتے ہیں۔ یہ کنفیگریشنز کنیکٹرز کی تخلیق اور ڈیلیٹ کرنے کے ساتھ بڑھ سکتی ہیں، ممکنہ طور پر کنفیگریشن مینجمنٹ کے مسائل پیدا کر سکتی ہیں۔

اب آپ غیر استعمال شدہ کنفیگریشنز کو حذف کرنے کے لیے ڈیلیٹ ورکر کنفیگریشن API کا استعمال کر سکتے ہیں۔ سروس کنفیگریشن کو حذف کرنے سے پہلے چیک کرتی ہے کہ ورکر کنفیگریشن کسی کنیکٹر کے استعمال میں نہیں ہے۔ مزید برآں، اب آپ ورکر کنفیگریشنز اور کسٹم پلگ ان کی فہرست کے لیے ایک سابقہ ​​فلٹر استعمال کر سکتے ہیں ListWorkerConfigurations اور ListCustomPlugins API کالز۔ سابقہ ​​​​فلٹر آپ کو انتخابی وسائل کو سابقہ ​​سے شروع ہونے والے ناموں کے ساتھ فہرست کرنے کی اجازت دیتا ہے تاکہ آپ فوری منتخب حذف کو انجام دے سکیں۔

نئے ڈیلیٹ API کو جانچنے کے لیے، درج ذیل مراحل کو مکمل کریں:

1. Amazon MSK کنسول پر، ایک نئی ورکر کنفیگریشن بنائیں۔
2. نام اور اختیاری وضاحت فراہم کریں۔
3. میں کارکن کی ترتیب سیکشن، اپنا کنفیگریشن کوڈ درج کریں۔

کنفیگریشن بنانے کے بعد، a خارج کر دیں آپشن کنفیگریشن ڈیٹیل پیج پر دستیاب ہے (مندرجہ ذیل اسکرین شاٹ دیکھیں) اگر کنفیگریشن کسی کنیکٹر میں استعمال نہیں ہو رہی ہے۔

اس نئے API کو سپورٹ کرنے کے لیے، ایک اضافی workerConfigurationState شامل کر دیا گیا ہے، تاکہ آپ ورکر کنفیگریشن کی حالت کو زیادہ آسانی سے ٹریک کر سکیں۔ یہ نئی حالت API کال کے جوابات میں واپس کی جائے گی۔ CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. میں سے انتخاب کریں خارج کر دیں کارکن کی ترتیب کو حذف کرنے کے لیے۔
5. تصدیقی پاپ اپ میں، ورکر کنفیگریشن کا نام درج کریں، پھر منتخب کریں۔ خارج کر دیں.

اگر ورکر کنفیگریشن کسی کنیکٹر کے ساتھ استعمال ہو رہی ہے، خارج کر دیں آپشن غیر فعال ہے، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

وسائل کے ٹیگز

MSK Connect کو اب ریسورس ٹیگز کے لیے بھی سپورٹ حاصل ہے۔ ٹیگز کلیدی قدر کے میٹا ڈیٹا ہیں جو AWS سروس کے وسائل سے منسلک ہو سکتے ہیں۔ آپ کنیکٹرز، کسٹم پلگ انز، اور ورکر کنفیگریشنز میں ٹیگز شامل کر سکتے ہیں تاکہ AWS سروسز میں استعمال ہونے والے وسائل کو منظم اور تلاش کیا جا سکے۔ مندرجہ ذیل اسکرین شاٹس میں، ہماری مثال MSK کنیکٹ کنیکٹر، پلگ ان، اور ورکر کنفیگریشن کو ریسورس ٹیگ کلید کے ساتھ ٹیگ کیا گیا ہے۔ project اور قدر demo-tags.

اب آپ اپنا ٹیگ کر سکتے ہیں۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (Amazon EC2) اور Amazon S3 وسائل اسی پروجیکٹ کے نام کے ساتھ، مثال کے طور پر۔ اس کے بعد آپ اس مخصوص پروجیکٹ سے منسلک تمام وسائل کو تلاش کرنے کے لیے ٹیگ کا استعمال کر سکتے ہیں تاکہ لاگت مختص کرنے، رپورٹنگ، وسائل کی گروپ بندی، یا رسائی کنٹرول کے لیے۔ MSK Connect وسائل تخلیق کرتے وقت ٹیگ شامل کرنے، موجودہ وسائل پر ٹیگ لگانے، وسائل سے ٹیگ ہٹانے، اور وسائل سے وابستہ ٹیگز کے بارے میں استفسار کرنے میں معاونت کرتا ہے۔

AWS کلاؤڈ فارمیشن سپورٹ

پہلے، آپ موجودہ ورکر کنفیگریشن کا استعمال کرتے ہوئے صرف AWS CloudFormation کے ساتھ MSK Connect کنیکٹر فراہم کرنے کے قابل تھے۔ اس نئی خصوصیت کے ساتھ، آپ اب کنیکٹرز پر تخلیق، پڑھ، اپ ڈیٹ، حذف، اور فہرست آپریشنز انجام دے سکتے ہیں، اور AWS CloudFormation کا استعمال کرتے ہوئے نئی ورکر کنفیگریشن بنا اور شامل کر سکتے ہیں۔

درج ذیل کوڈ ورکر کنفیگریشن بنانے کی ایک مثال ہے۔

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

واپسی کی قدریں درج ذیل ہیں:

• نو تخلیق شدہ ورکر کنفیگریشن کا ARN
• نئے کارکن کی ترتیب کی حالت
• نئے کارکن کی تشکیل کا وقت
• نئی ورکر کنفیگریشن کی تازہ ترین نظرثانی

نتیجہ

MSK کنیکٹ ایک مکمل طور پر منظم سروس ہے جو مطلوبہ وسائل فراہم کرتی ہے، کنیکٹرز کی صحت اور ترسیل کی حالت کی نگرانی کرتی ہے، بنیادی ہارڈ ویئر کو برقرار رکھتی ہے، اور کام کے بوجھ کو متوازن کرنے کے لیے آٹو اسکیل کنیکٹرز۔ اس پوسٹ میں، ہم نے ایم ایس کے کنیکٹ میں شامل کی گئی نئی خصوصیات پر تبادلہ خیال کیا، جو ورکر کنفیگریشنز کو حذف کرنے، MSK کنیکٹ کے وسائل کو ٹیگ کرنے، اور نان ڈیفالٹ ورکر کنفیگریشنز بنانے کے لیے AWS CloudFormation میں تعاون کے لیے APIs کے تعارف کے ساتھ کنیکٹر اور ورکر مینجمنٹ کو ہموار کرتی ہیں۔

یہ صلاحیتیں تمام AWS علاقوں میں دستیاب ہیں جہاں Amazon MSK Connect دستیاب ہے۔ علاقے کی دستیابی کی فہرست کے لیے، رجوع کریں۔ علاقے کے لحاظ سے AWS خدمات. MSK کنیکٹ کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں۔ ایمیزون ایم ایس کے کنیکٹ ڈویلپر گائیڈ.

مصنفین کے بارے میں

چنمئی نرسمہادیورا ایمیزون ویب سروسز پر بگ ڈیٹا اور تجزیات پر توجہ مرکوز کرنے والا ایک حل آرکیٹیکٹ ہے۔ چنمئی کو انفارمیشن ٹیکنالوجی میں 20 سال سے زیادہ کا تجربہ ہے۔ وہ AWS صارفین کو جدید، انتہائی قابل توسیع اور پرفارمنس حل بنانے میں مدد کرتی ہے۔

ہریتا پپو کیلیفورنیا میں مقیم ٹیکنیکل اکاؤنٹ مینیجر ہے۔ اسے سافٹ ویئر انڈسٹری کی تعمیر اور اسکیلنگ ایپلی کیشنز میں کام کرنے کا 18 سال سے زیادہ کا تجربہ ہے۔ وہ نئی ٹکنالوجیوں کے بارے میں پرجوش ہے اور صارفین کو لاگت کی اصلاح اور آپریشنل فضیلت حاصل کرنے میں مدد کرنے پر توجہ مرکوز کرتی ہے۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/