اتصال أمازون MSK هي خدمة مُدارة بالكامل لـ Apache Kafka Connect. ببضع نقرات، يتيح لك MSK Connect نشر الموصلات التي تنقل البيانات بين Apache Kafka والأنظمة الخارجية.
يدعم MSK Connect الآن القدرة على حذف تكوينات عامل MSK Connect، ووضع علامات على الموارد، وإدارة تكوينات العامل والمكونات الإضافية المخصصة باستخدام تكوين سحابة AWS. تعمل هذه الإمكانات الجديدة معًا على تسهيل إدارة موارد MSK Connect الخاصة بك وأتمتة عمليات النشر من خلال مسارات CI/CD.
يجعل MSK Connect من السهل دفق البيانات من وإلى Apache Kafka عبر اتصال خاص دون الحاجة إلى خبرة في إدارة البنية التحتية. ببضع نقرات، يمكنك نشر الموصلات مثل موصل حوض أمازون S3 لتحميل البيانات المتدفقة إلى خدمة تخزين أمازون البسيطة (Amazon S3)، نشر الموصلات التي طورتها جهات خارجية مثل ديبيزيوم لتدفق سجلات التغيير من قواعد البيانات إلى Apache Kafka، أو نشر الموصل الخاص بك المخصص لحالة الاستخدام الخاصة بك.
يدمج MSK Connect الأنظمة الخارجية أو خدمات AWS مع Apache Kafka عن طريق نسخ البيانات المتدفقة بشكل مستمر من مصدر بيانات إلى مجموعة Apache Kafka، أو نسخ البيانات بشكل مستمر من مجموعة Apache Kafka إلى مخزن البيانات. يمكن للموصل أيضًا تنفيذ مهام خفيفة مثل التحويل أو تحويل التنسيق أو تصفية البيانات قبل تسليم البيانات إلى الوجهة. يمكنك استخدام البرنامج المساعد لإنشاء الاتصال؛ هذه المكونات الإضافية المخصصة هي موارد تحتوي على التعليمات البرمجية التي تحدد منطق الموصل.
المكونات الأساسية لـ MSK Connect هي العمال. كل عامل عبارة عن عملية جهاز Java ظاهري (JVM) تقوم بتشغيل منطق الموصل بناءً على تكوين العامل المتوفر. تكوينات العامل هي موارد تحتوي على خصائص تكوين الموصل التي يمكن إعادة استخدامها عبر موصلات متعددة. يتكون كل عامل من مجموعة من المهام التي تقوم بنسخ البيانات بالتوازي.
نعلن اليوم عن ثلاث إمكانات جديدة في MSK Connect:
- القدرة على حذف تكوينات العامل
- دعم علامات الموارد لتمكين تجميع الموارد وتخصيص التكاليف وإعداد التقارير والتحكم في الوصول باستخدام السياسات القائمة على العلامات
- الدعم في AWS CloudFormation لإدارة تكوينات العامل والمكونات الإضافية المخصصة
وفي الأقسام التالية، سنلقي نظرة على الوظائف الجديدة بمزيد من التفصيل.
حذف تكوينات العامل
موصلات للتكامل Amazon Managed Streaming لأباتشي كافكا عادةً ما يتم إنشاء (Amazon MSK) مع خدمات AWS والشركاء الأخرى باستخدام تكوين عامل (افتراضي أو مخصص). يمكن أن تنمو هذه التكوينات مع إنشاء الموصلات وحذفها، مما قد يؤدي إلى حدوث مشكلات في إدارة التكوين.
يمكنك الآن استخدام واجهة برمجة تطبيقات تكوين عامل الحذف الجديدة لحذف التكوينات غير المستخدمة. تتحقق الخدمة من أن تكوين العامل ليس قيد الاستخدام بواسطة أي موصلات قبل حذف التكوين. بالإضافة إلى ذلك، يمكنك الآن استخدام مرشح البادئة لسرد تكوينات العامل والمكونات الإضافية المخصصة باستخدام ListWorkerConfigurations و ListCustomPlugins مكالمات API. يسمح لك مرشح البادئة بإدراج الموارد الانتقائية بأسماء تبدأ بالبادئة حتى تتمكن من إجراء عمليات حذف انتقائية سريعة.
لاختبار واجهة برمجة تطبيقات الحذف الجديدة، أكمل الخطوات التالية:
- على وحدة تحكم Amazon MSK، قم بإنشاء تكوين عامل جديد.
- قم بتوفير اسم ووصف اختياري.
- في مجلة تكوين العمال القسم، أدخل رمز التكوين الخاص بك.
بعد إنشاء التكوين، أ حذف يتوفر الخيار في صفحة تفاصيل التكوين (راجع لقطة الشاشة التالية) إذا لم يتم استخدام التكوين في أي موصل.
لدعم واجهة برمجة التطبيقات الجديدة هذه، هناك إضافة إضافية workerConfigurationState تمت إضافته، بحيث يمكنك بسهولة تتبع حالة تكوين العامل. سيتم إرجاع هذه الحالة الجديدة في استجابات استدعاء API لـ CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.
- اختار حذف لحذف تكوين العامل.
- في نافذة التأكيد المنبثقة، أدخل اسم تكوين العامل، ثم اختر حذف.
إذا تم استخدام تكوين العامل مع أي موصل، فسيتم حذف تم تعطيل الخيار، كما هو موضح في الصورة التالية.
علامات الموارد
لدى MSK Connect الآن أيضًا دعم لعلامات الموارد. العلامات هي بيانات تعريف ذات قيمة أساسية يمكن ربطها بموارد خدمة AWS. يمكنك إضافة علامات إلى الموصلات والمكونات الإضافية المخصصة وتكوينات العامل لتنظيم الموارد المستخدمة عبر خدمات AWS والعثور عليها. في لقطات الشاشة التالية، تم وضع علامة على مثال موصل MSK Connect والمكون الإضافي وتكوين العامل باستخدام مفتاح علامة المورد project والقيمة demo-tags.
يمكنك الآن وضع علامة على الخاص بك الأمازون الحوسبة المرنة السحابية (Amazon EC2) وموارد Amazon S3 بنفس اسم المشروع، على سبيل المثال. ثم يمكنك استخدام العلامة للبحث عن كافة الموارد المرتبطة بهذا المشروع المحدد لتخصيص التكلفة أو إعداد التقارير أو تجميع الموارد أو التحكم في الوصول. يدعم MSK Connect إضافة العلامات عند إنشاء الموارد، وتطبيق العلامات على مورد موجود، وإزالة العلامات من أحد الموارد، والاستعلام عن العلامات المرتبطة بمورد ما.
دعم AWS CloudFormation
في السابق، لم تكن قادرًا إلا على توفير موصل MSK Connect مع AWS CloudFormation باستخدام تكوين عامل موجود. باستخدام هذه الميزة الجديدة، يمكنك الآن إجراء عمليات الإنشاء والقراءة والتحديث والحذف والقائمة على الموصلات، وإنشاء تكوينات عاملة جديدة وإضافتها باستخدام AWS CloudFormation.
التعليمة البرمجية التالية هي مثال لإنشاء تكوين عامل:
{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}قيم الإرجاع هي كما يلي:
- ARN لتكوين العامل المنشأ حديثًا
- حالة التكوين العامل الجديد
- وقت إنشاء تكوين العامل الجديد
- أحدث مراجعة لتكوين العامل الجديد
وفي الختام
MSK Connect عبارة عن خدمة مُدارة بالكامل توفر الموارد المطلوبة، وتراقب حالة الموصلات وحالتها الخاصة بالتسليم، وتحافظ على الأجهزة الأساسية، وتقوم بقياس الموصلات تلقائيًا لموازنة أحمال العمل. في هذا المنشور، ناقشنا الميزات الجديدة التي تمت إضافتها إلى MSK Connect، والتي تعمل على تبسيط إدارة الموصل والعامل من خلال تقديم واجهات برمجة التطبيقات لحذف تكوينات العامل، ووضع علامات على موارد MSK Connect، والدعم في AWS CloudFormation لإنشاء تكوينات عامل غير افتراضية.
تتوفر هذه الإمكانات في جميع مناطق AWS حيث يتوفر Amazon MSK Connect. للحصول على قائمة بتوفر المنطقة، راجع خدمات AWS حسب المنطقة. لمعرفة المزيد حول MSK Connect، قم بزيارة دليل مطور Amazon MSK Connect.
حول المؤلف
تشينماي ناراسيمهاديفارا هو مهندس حلول يركز على البيانات الضخمة والتحليلات في Amazon Web Services. يتمتع Chinmayi بخبرة تزيد عن 20 عامًا في مجال تكنولوجيا المعلومات. إنها تساعد عملاء AWS على بناء حلول متقدمة وعالية الأداء وقابلة للتطوير.
هاريتا بابو هو مدير الحساب الفني ومقره كاليفورنيا. تتمتع بخبرة تزيد عن 18 عامًا في العمل في مجال بناء تطبيقات صناعة البرمجيات وتوسيع نطاقها. إنها شغوفة بالتقنيات الجديدة وتركز على مساعدة العملاء على تحسين التكلفة والتميز التشغيلي.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/
