अमेज़न एमएसके कनेक्ट अपाचे काफ्का कनेक्ट के लिए पूरी तरह से प्रबंधित सेवा है। कुछ ही क्लिक के साथ, MSK कनेक्ट आपको ऐसे कनेक्टर तैनात करने की अनुमति देता है जो अपाचे काफ्का और बाहरी सिस्टम के बीच डेटा स्थानांतरित करते हैं।

MSK कनेक्ट अब MSK कनेक्ट वर्कर कॉन्फ़िगरेशन को हटाने, संसाधनों को टैग करने और वर्कर कॉन्फ़िगरेशन और कस्टम प्लगइन्स को प्रबंधित करने की क्षमता का समर्थन करता है एडब्ल्यूएस CloudFormation. साथ में, ये नई क्षमताएं आपके एमएसके कनेक्ट संसाधनों को प्रबंधित करना और सीआई/सीडी पाइपलाइनों के माध्यम से तैनाती को स्वचालित करना आसान बनाती हैं।

एमएसके कनेक्ट बुनियादी ढांचे प्रबंधन विशेषज्ञता की आवश्यकता के बिना एक निजी कनेक्शन पर अपाचे काफ्का से डेटा स्ट्रीम करना आसान बनाता है। कुछ क्लिक के साथ, आप कनेक्टर्स को तैनात कर सकते हैं जैसे कि अमेज़ॅन S3 सिंक कनेक्टर स्ट्रीमिंग डेटा लोड करने के लिए अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3), तृतीय पक्षों द्वारा विकसित कनेक्टर्स को तैनात करें डेबेज़ियम अपाचे काफ्का में डेटाबेस से परिवर्तन लॉग स्ट्रीम करने के लिए, या अपने उपयोग के मामले के लिए अनुकूलित अपने स्वयं के कनेक्टर को तैनात करने के लिए।

एमएसके कनेक्ट आपके अपाचे काफ्का क्लस्टर में डेटा स्रोत से स्ट्रीमिंग डेटा को लगातार कॉपी करके, या आपके अपाचे काफ्का क्लस्टर से डेटा को डेटा सिंक में लगातार कॉपी करके अपाचे काफ्का के साथ बाहरी सिस्टम या एडब्ल्यूएस सेवाओं को एकीकृत करता है। कनेक्टर डेटा को किसी गंतव्य तक पहुंचाने से पहले परिवर्तन, प्रारूप रूपांतरण, या डेटा फ़िल्टर करने जैसे हल्के कार्य भी कर सकता है। आप कनेक्टर बनाने के लिए एक प्लगइन का उपयोग कर सकते हैं; ये कस्टम प्लगइन्स ऐसे संसाधन हैं जिनमें वह कोड होता है जो कनेक्टर लॉजिक को परिभाषित करता है।

MSK कनेक्ट के प्राथमिक घटक हैं श्रमिकों. प्रत्येक वर्कर एक जावा वर्चुअल मशीन (जेवीएम) प्रक्रिया है जो प्रदान किए गए वर्कर कॉन्फ़िगरेशन के आधार पर कनेक्टर लॉजिक चलाता है। वर्कर कॉन्फ़िगरेशन वे संसाधन होते हैं जिनमें आपके कनेक्टर कॉन्फ़िगरेशन गुण होते हैं जिन्हें एकाधिक कनेक्टर्स में पुन: उपयोग किया जा सकता है। प्रत्येक कार्यकर्ता में कार्यों का एक समूह शामिल होता है जो समानांतर में डेटा की प्रतिलिपि बनाता है।

आज, हम MSK कनेक्ट में तीन नई क्षमताओं की घोषणा कर रहे हैं:

• कार्यकर्ता कॉन्फ़िगरेशन को हटाने की क्षमता
• संसाधन समूहीकरण, लागत आवंटन और रिपोर्टिंग, और टैग-आधारित नीतियों के साथ पहुंच नियंत्रण को सक्षम करने के लिए संसाधन टैग के लिए समर्थन
• वर्कर कॉन्फ़िगरेशन और कस्टम प्लगइन्स को प्रबंधित करने के लिए AWS क्लाउडफ़ॉर्मेशन में समर्थन

निम्नलिखित अनुभागों में, हम नई कार्यक्षमताओं को अधिक विस्तार से देखते हैं।

कार्यकर्ता कॉन्फ़िगरेशन हटाएँ

एकीकृत करने के लिए कनेक्टर्स Apache Kafka के लिए Amazon प्रबंधित स्ट्रीमिंग (अमेज़ॅन एमएसके) अन्य एडब्ल्यूएस और साझेदार सेवाओं के साथ आमतौर पर एक वर्कर कॉन्फ़िगरेशन (डिफ़ॉल्ट या कस्टम) का उपयोग करके बनाया जाता है। ये कॉन्फ़िगरेशन कनेक्टर्स के निर्माण और हटाने के साथ बढ़ सकते हैं, संभावित रूप से कॉन्फ़िगरेशन प्रबंधन समस्याएं पैदा कर सकते हैं।

अब आप अप्रयुक्त कॉन्फ़िगरेशन को हटाने के लिए नए डिलीट वर्कर कॉन्फ़िगरेशन एपीआई का उपयोग कर सकते हैं। सेवा यह जांच करती है कि कॉन्फ़िगरेशन को हटाने से पहले वर्कर कॉन्फ़िगरेशन किसी भी कनेक्टर द्वारा उपयोग में नहीं है। इसके अतिरिक्त, अब आप वर्कर कॉन्फ़िगरेशन और कस्टम प्लगइन्स को सूचीबद्ध करने के लिए एक उपसर्ग फ़िल्टर का उपयोग कर सकते हैं ListWorkerConfigurations और ListCustomPlugins एपीआई कॉल. उपसर्ग फ़िल्टर आपको चयनात्मक संसाधनों को उपसर्ग से शुरू होने वाले नामों के साथ सूचीबद्ध करने की अनुमति देता है ताकि आप त्वरित चयनात्मक विलोपन कर सकें।

नए डिलीट एपीआई का परीक्षण करने के लिए, निम्नलिखित चरणों को पूरा करें:

1. Amazon MSK कंसोल पर, एक नया वर्कर कॉन्फ़िगरेशन बनाएं।
2. एक नाम और वैकल्पिक विवरण प्रदान करें.
3. में कार्यकर्ता विन्यास अनुभाग, अपना कॉन्फ़िगरेशन कोड दर्ज करें।

कॉन्फ़िगरेशन बनाने के बाद, a मिटाना यदि किसी कनेक्टर में कॉन्फ़िगरेशन का उपयोग नहीं किया जा रहा है तो कॉन्फ़िगरेशन विवरण पृष्ठ पर विकल्प उपलब्ध है (निम्न स्क्रीनशॉट देखें)।

इस नए एपीआई का समर्थन करने के लिए, एक अतिरिक्त workerConfigurationState जोड़ा गया है, ताकि आप कार्यकर्ता कॉन्फ़िगरेशन की स्थिति को अधिक आसानी से ट्रैक कर सकें। यह नई स्थिति एपीआई कॉल प्रतिक्रियाओं में लौटा दी जाएगी CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. चुनें मिटाना वर्कर कॉन्फ़िगरेशन को हटाने के लिए.
5. पुष्टिकरण पॉप-अप में, कार्यकर्ता कॉन्फ़िगरेशन का नाम दर्ज करें, फिर चुनें मिटाना.

यदि वर्कर कॉन्फ़िगरेशन का उपयोग किसी कनेक्टर के साथ किया जा रहा है, तो मिटाना विकल्प अक्षम है, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

संसाधन टैग

MSK कनेक्ट के पास अब संसाधन टैग के लिए भी समर्थन है। टैग कुंजी-मूल्य मेटाडेटा हैं जिन्हें AWS सेवा संसाधनों से जोड़ा जा सकता है। आप AWS सेवाओं में उपयोग किए गए संसाधनों को व्यवस्थित करने और खोजने के लिए कनेक्टर्स, कस्टम प्लगइन्स और वर्कर कॉन्फ़िगरेशन में टैग जोड़ सकते हैं। निम्नलिखित स्क्रीनशॉट में, हमारे उदाहरण MSK कनेक्ट कनेक्टर, प्लगइन और वर्कर कॉन्फ़िगरेशन को संसाधन टैग कुंजी के साथ टैग किया गया है project और मूल्य demo-tags.

अब आप अपना टैग कर सकते हैं अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड उदाहरण के लिए, (अमेज़ॅन EC2) और Amazon S3 संसाधन समान प्रोजेक्ट नाम के साथ। फिर आप लागत आवंटन, रिपोर्टिंग, संसाधन समूहीकरण, या पहुंच नियंत्रण के लिए इस विशेष परियोजना से जुड़े सभी संसाधनों को खोजने के लिए टैग का उपयोग कर सकते हैं। एमएसके कनेक्ट संसाधन बनाते समय टैग जोड़ने, मौजूदा संसाधन पर टैग लागू करने, संसाधन से टैग हटाने और संसाधन से जुड़े टैग को क्वेरी करने का समर्थन करता है।

AWS क्लाउडफ़ॉर्मेशन समर्थन

पहले, आप केवल मौजूदा वर्कर कॉन्फ़िगरेशन का उपयोग करके AWS क्लाउडफ़ॉर्मेशन के साथ MSK कनेक्ट कनेक्टर का प्रावधान करने में सक्षम थे। इस नई सुविधा के साथ, अब आप कनेक्टर्स पर CREATE, READ, UPDATE, DELETE और LIST ऑपरेशन कर सकते हैं, और AWS CloudFormation का उपयोग करके नए वर्कर कॉन्फ़िगरेशन बना और जोड़ सकते हैं।

निम्नलिखित कोड वर्कर कॉन्फ़िगरेशन बनाने का एक उदाहरण है:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

वापसी मान इस प्रकार हैं:

• नव निर्मित वर्कर कॉन्फ़िगरेशन का ARN
• नये कार्यकर्ता विन्यास की स्थिति
• नये कार्यकर्ता विन्यास का निर्माण समय
• नए कार्यकर्ता विन्यास का नवीनतम संशोधन

निष्कर्ष

एमएसके कनेक्ट एक पूरी तरह से प्रबंधित सेवा है जो आवश्यक संसाधनों का प्रावधान करती है, कनेक्टर्स के स्वास्थ्य और वितरण स्थिति की निगरानी करती है, अंतर्निहित हार्डवेयर को बनाए रखती है, और कार्यभार को संतुलित करने के लिए कनेक्टर्स को ऑटो स्केल करती है। इस पोस्ट में, हमने एमएसके कनेक्ट में जोड़े गए नए फीचर्स पर चर्चा की, जो वर्कर कॉन्फ़िगरेशन को हटाने, एमएसके कनेक्ट संसाधनों को टैग करने और गैर-डिफ़ॉल्ट वर्कर कॉन्फ़िगरेशन बनाने के लिए एडब्ल्यूएस क्लाउडफॉर्मेशन में समर्थन के लिए एपीआई की शुरूआत के साथ कनेक्टर और वर्कर प्रबंधन को सुव्यवस्थित करता है।

ये क्षमताएं उन सभी AWS क्षेत्रों में उपलब्ध हैं जहां Amazon MSK कनेक्ट उपलब्ध है। क्षेत्र की उपलब्धता की सूची के लिए, देखें क्षेत्र के अनुसार AWS सेवाएँ. एमएसके कनेक्ट के बारे में अधिक जानने के लिए, यहां जाएं अमेज़ॅन एमएसके कनेक्ट डेवलपर गाइड.

लेखक के बारे में

चिन्मयी नरसिम्हादेवरा एक सॉल्यूशन आर्किटेक्ट है जो अमेज़ॅन वेब सर्विसेज में बिग डेटा और एनालिटिक्स पर केंद्रित है। चिन्मयी के पास सूचना प्रौद्योगिकी में 20 वर्षों से अधिक का अनुभव है। वह AWS ग्राहकों को उन्नत, उच्च स्केलेबल और प्रदर्शन योग्य समाधान बनाने में मदद करती है।

हरिता पप्पू कैलिफ़ोर्निया स्थित तकनीकी खाता प्रबंधक है। उनके पास सॉफ्टवेयर उद्योग निर्माण और स्केलिंग अनुप्रयोगों में काम करने का 18 वर्षों से अधिक का अनुभव है। वह नई तकनीकों को लेकर उत्साहित हैं और ग्राहकों को लागत अनुकूलन और परिचालन उत्कृष्टता हासिल करने में मदद करने पर ध्यान केंद्रित करती हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/