Amazon MSK Bağlantısı Apache Kafka Connect için tam olarak yönetilen bir hizmettir. MSK Connect, birkaç tıklamayla verileri Apache Kafka ile harici sistemler arasında taşıyan bağlayıcıları dağıtmanıza olanak tanır.

MSK Connect artık MSK Connect çalışan yapılandırmalarını silme, kaynakları etiketleme ve çalışan yapılandırmalarını ve özel eklentileri kullanarak yönetme özelliğini desteklemektedir. AWS CloudFormation. Bu yeni özellikler bir araya geldiğinde MSK Connect kaynaklarınızı yönetmenizi ve CI/CD işlem hatları aracılığıyla dağıtımları otomatikleştirmenizi kolaylaştırır.

MSK Connect, altyapı yönetimi uzmanlığı gerektirmeden özel bir bağlantı üzerinden Apache Kafka'ya veri akışını zahmetsiz hale getirir. Birkaç tıklamayla bağlayıcıları dağıtabilirsiniz. Amazon S3 lavabo konektörü akış verilerini yüklemek için Amazon Basit Depolama Hizmeti (Amazon S3), üçüncü taraflarca geliştirilen bağlayıcıları dağıtın debezyum Değişiklik günlüklerini veritabanlarından Apache Kafka'ya aktarmak veya kullanım durumunuz için özelleştirilmiş kendi bağlayıcınızı dağıtmak için.

MSK Connect, akış verilerini bir veri kaynağından sürekli olarak Apache Kafka kümenize kopyalayarak veya verileri Apache Kafka kümenizden bir veri havuzuna sürekli olarak kopyalayarak harici sistemleri veya AWS hizmetlerini Apache Kafka ile entegre eder. Bağlayıcı ayrıca verileri bir hedefe teslim etmeden önce dönüştürme, format dönüştürme veya verileri filtreleme gibi hafif görevleri de gerçekleştirebilir. Bağlayıcıyı oluşturmak için bir eklenti kullanabilirsiniz; bu özel eklentiler, bağlayıcı mantığını tanımlayan kodu içeren kaynaklardır.

MSK Connect'in ana bileşenleri şunlardır: işçiler. Her çalışan, sağlanan çalışan yapılandırmasına göre bağlayıcı mantığını çalıştıran bir Java sanal makinesi (JVM) işlemidir. Çalışan yapılandırmaları, birden çok bağlayıcıda yeniden kullanılabilen bağlayıcı yapılandırma özelliklerinizi içeren kaynaklardır. Her çalışan, verileri paralel olarak kopyalayan bir dizi görevden oluşur.

Bugün MSK Connect'teki üç yeni özelliği duyuruyoruz:

• Çalışan yapılandırmalarını silme yeteneği
• Kaynak gruplandırmayı, maliyet tahsisini ve raporlamayı ve etiket tabanlı politikalarla erişim kontrolünü etkinleştirmek için kaynak etiketleri desteği
• Çalışan yapılandırmalarını ve özel eklentileri yönetmek için AWS CloudFormation desteği

Aşağıdaki bölümlerde yeni işlevlere daha ayrıntılı olarak bakacağız.

Çalışan yapılandırmalarını silin

Entegrasyon için konektörler Apache Kafka için Amazon Tarafından Yönetilen Akış (Amazon MSK) diğer AWS ve iş ortağı hizmetleriyle birlikte genellikle bir çalışan yapılandırması (varsayılan veya özel) kullanılarak oluşturulur. Bu yapılandırmalar, bağlayıcıların oluşturulması ve silinmesiyle büyüyebilir ve potansiyel olarak yapılandırma yönetimi sorunları yaratabilir.

Artık kullanılmayan yapılandırmaları silmek için yeni çalışan yapılandırmasını sil API'sini kullanabilirsiniz. Hizmet, yapılandırmayı silmeden önce çalışan yapılandırmasının herhangi bir bağlayıcı tarafından kullanılmadığını denetler. Ayrıca, çalışan yapılandırmalarını ve özel eklentileri listelemek için artık bir önek filtresi kullanabilirsiniz. ListWorkerConfigurations ve ListCustomPlugins API çağrıları. Önek filtresi, seçici kaynakları önekle başlayan adlarla listelemenize olanak tanır, böylece hızlı seçmeli silme işlemleri gerçekleştirebilirsiniz.

Yeni silme API'sini test etmek için aşağıdaki adımları tamamlayın:

1. Amazon MSK konsolunda yeni bir çalışan yapılandırması oluşturun.
2. Bir ad ve isteğe bağlı bir açıklama girin.
3. içinde Çalışan yapılandırması bölümüne yapılandırma kodunuzu girin.

Yapılandırmayı oluşturduktan sonra bir Sil Yapılandırma herhangi bir bağlayıcıda kullanılmıyorsa, yapılandırma ayrıntı sayfasında bu seçenek mevcuttur (aşağıdaki ekran görüntüsüne bakın).

Bu yeni API'yi desteklemek için ek bir workerConfigurationState Çalışan yapılandırmasının durumunu daha kolay takip edebilmeniz için eklendi. Bu yeni durum, API çağrı yanıtlarında döndürülecektir. CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Klinik Sil Çalışan yapılandırmasını silmek için.
5. Onay açılır penceresinde çalışan yapılandırmasının adını girin ve ardından Sil.

Çalışan yapılandırması herhangi bir bağlayıcıyla kullanılıyorsa Sil seçeneği aşağıdaki ekran görüntüsünde gösterildiği gibi devre dışıdır.

Kaynak etiketleri

MSK Connect artık kaynak etiketleri için de desteğe sahip. Etiketler, AWS hizmet kaynaklarıyla ilişkilendirilebilecek anahtar/değer meta verileridir. AWS hizmetlerinde kullanılan kaynakları düzenlemek ve bulmak için bağlayıcılara, özel eklentilere ve çalışan yapılandırmalarına etiketler ekleyebilirsiniz. Aşağıdaki ekran görüntülerinde örnek MSK Connect bağlayıcımız, eklentimiz ve çalışan yapılandırmamız kaynak etiketi anahtarıyla etiketlenmiştir. project ve değer demo-tags.

Artık etiketleyebilirsiniz Amazon Elastik Bilgi İşlem Bulutu Örneğin, aynı proje adına sahip (Amazon EC2) ve Amazon S3 kaynakları. Daha sonra maliyet tahsisi, raporlama, kaynak gruplaması veya erişim kontrolü amacıyla bu belirli projeye bağlı tüm kaynakları aramak için etiketi kullanabilirsiniz. MSK Connect, kaynaklar oluştururken etiket eklemeyi, mevcut bir kaynağa etiket uygulamayı, kaynaktan etiketleri kaldırmayı ve kaynakla ilişkili etiketleri sorgulamayı destekler.

AWS CloudFormation desteği

Daha önce AWS CloudFormation ile yalnızca mevcut bir çalışan yapılandırmasını kullanarak bir MSK Connect bağlayıcısı tedarik edebiliyordunuz. Bu yeni özellik sayesinde artık bağlayıcılar üzerinde CREATE, READ, UPDATE, DELETE ve LIST işlemlerini gerçekleştirebilir ve AWS CloudFormation'ı kullanarak yeni çalışan yapılandırmaları oluşturup ekleyebilirsiniz.

Aşağıdaki kod, çalışan yapılandırması oluşturmaya bir örnektir:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Dönüş değerleri aşağıdaki gibidir:

• Yeni oluşturulan çalışan yapılandırmasının ARN'si
• Yeni çalışan yapılandırmasının durumu
• Yeni çalışan yapılandırmasının oluşturulma zamanı
• Yeni çalışan yapılandırmasının en son revizyonu

Sonuç

MSK Connect, gerekli kaynakları sağlayan, bağlayıcıların durumunu ve dağıtım durumunu izleyen, temel donanımın bakımını yapan ve iş yüklerini dengelemek için bağlayıcıları otomatik olarak ölçeklendiren, tam olarak yönetilen bir hizmettir. Bu yazıda, MSK Connect'e eklenen, çalışan yapılandırmalarının silinmesine yönelik API'lerin sunulması, MSK Connect kaynaklarının etiketlenmesi ve AWS CloudFormation'da varsayılan olmayan çalışan yapılandırmaları oluşturma desteği ile bağlayıcı ve çalışan yönetimini kolaylaştıran yeni özellikleri tartıştık.

Bu yetenekler Amazon MSK Connect'in mevcut olduğu tüm AWS Bölgelerinde mevcuttur. Bölge kullanılabilirliğinin bir listesi için bkz. Bölgeye Göre AWS Hizmetleri. MSK Connect hakkında daha fazla bilgi edinmek için şu adresi ziyaret edin: Amazon MSK Connect Geliştirici Kılavuzu.

Yazarlar Hakkında

Chinmayi Narasimhadevara Amazon Web Services'te Büyük Veri ve Analitik odaklı bir Çözüm Mimarıdır. Chinmayi'nin bilgi teknolojisinde 20 yılı aşkın deneyimi vardır. AWS müşterilerinin gelişmiş, yüksek düzeyde ölçeklenebilir ve performanslı çözümler oluşturmasına yardımcı oluyor.

Harita Pappu Kaliforniya merkezli Teknik Hesap Yöneticisidir. Yazılım endüstrisinde uygulama geliştirme ve ölçeklendirme alanında 18 yılı aşkın deneyime sahiptir. Yeni teknolojiler konusunda tutkuludur ve müşterilerin maliyet optimizasyonuna ve operasyonel mükemmelliğe ulaşmalarına yardımcı olmaya odaklanmıştır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/