Apache Kafka için Amazon Tarafından Yönetilen Akış (Amazon MSK), akış verilerini işlemek için Apache Kafka'yı kullanan uygulamalar oluşturmanıza ve çalıştırmanıza olanak tanıyan, tam olarak yönetilen bir hizmettir.

Bugün, Graviton3'ün avantajlarını Kafka iş yüklerine taşımaktan heyecan duyuyoruz; Amazon MSK artık yeni MSK tarafından sağlanan kümeler için M7g bulut sunucuları sunuyor. AWS Graviton işlemciler, bulut iş yükleriniz için en iyi fiyat-performans oranını sunmak üzere AWS tarafından oluşturulmuş özel Arm tabanlı işlemcilerdir. Örneğin, M7g.4xlarge bulut sunucularını kullanarak MSK tarafından sağlanan bir kümeyi çalıştırırken, M27xlarge bulut sunucularıyla karşılaştırıldığında CPU kullanımında %29'ye kadar azalma ve %5.4'a kadar daha yüksek yazma ve okuma verimi elde edebilirsiniz. M7g'nin daha düşük fiyatlarıyla birlikte bu performans iyileştirmeleri, M24 bulut sunucularına göre işlem maliyetinde %5'e varan tasarruf sağlar.

AWS, Şubat 2023'te yeni Graviton3 tabanlı M7g bulut sunucularını başlattı. M7g bulut sunucuları, önceki nesillerde kullanılan DDR5 belleğe kıyasla %50'ye kadar daha yüksek bellek bant genişliği sağlayan DDR4 bellekle donatılmıştır. M7g bulut sunucuları aynı zamanda Kafka iş yükleri için fiyat-performans avantajları sağlamak üzere benzer boyutlu M25 bulut sunucularına kıyasla %88'e kadar daha yüksek depolama aktarım hızı ve ağ aktarım hızında %5'e kadar artış sağlar. M7g özellikleri hakkında daha fazla bilgiyi şurada bulabilirsiniz: Yeni Graviton3 Tabanlı Genel Amaçlı (m7g) ve Bellek İçin Optimize Edilmiş (r7g) Amazon EC2 Bulut Sunucuları.

MSK'daki M7g bulut sunucularının teknik özellikleri şunlardır:

Amazon MSK'da M7g bulut sunucuları

Kuruluşlar, verileri gerçek zamanlı olarak yakalayıp analiz etmek, makine öğrenimi (ML) iş akışlarını çalıştırmak ve olay odaklı mimariler oluşturmak için Amazon MSK'yı kullanıyor. Amazon MSK, operasyonel ek yükü azaltmanıza ve uygulamalarınızı daha yüksek kullanılabilirlik ve dayanıklılıkla çalıştırmanıza olanak tanır. Ayrıca aşağıdaki gibi yeteneklerle fiyat-performansta tutarlı bir düşüş sunar: Katmanlı Depolama. Kafka maliyetlerinin büyük bir kısmını bilişim oluşturduğundan, müşteriler bunları daha da optimize etmenin ve Graviton bulut sunucularının onlara en hızlı yolu sağladığını görmenin bir yolunu istiyordu. Amazon MSK, M7g'yi Kafka 2.8.2, 3.3.2 ve üzeri sürümlerde tamamen test edip doğrulamıştır; bu, kritik iş yüklerini çalıştırmayı ve Graviton3 maliyet tasarruflarından yararlanmayı kolaylaştırır.

Aracı türü olarak Graviton3 tabanlı M7g örnekleriyle yeni kümeler sağlayarak başlayabilirsiniz. AWS Yönetim Konsolu, AWS SDK aracılığıyla API'ler ve AWS Komut Satırı Arayüzü (AWS CLI). M7g bulut sunucuları tüm Amazon MSK ve Kafka özelliklerini destekleyerek mevcut tüm Kafka iş yüklerinizi minimum değişiklikle çalıştırmanızı kolaylaştırır. Amazon MSK, tüm Kafka iş yüklerini çalıştırmak için büyükten 3xlarge'a kadar Graviton7 tabanlı M16g bulut sunucularını destekler.

MSK tarafından sağlanan kümelerdeki M7g bulut sunucularını bir test sürüşü için ele alalım ve bunun Amazon MSK M5 bulut sunucularıyla nasıl karşılaştırıldığını görelim.

M7g örnekleri iş başında

Müşteriler Amazon MSK'da çok çeşitli iş yüklerini çalıştırır; bazıları gecikmeye duyarlıdır, bazıları ise üretime bağlıdır. Bu yazıda M7g performansının üretime bağlı iş yükleri üzerindeki etkisine odaklanıyoruz. M7g, ağ ve depolama veriminde bir artışla birlikte gelir ve M5 tabanlı bir kümeye kıyasla aracı başına daha yüksek bir verim sağlar.

Bunun sonuçlarını anlamak için Kafka'nın verileri yazarken veya okurken mevcut verimi nasıl kullandığına bakalım. MSK kümesindeki her aracı, sınırlı bir depolama ve ağ aktarım yetkisiyle birlikte gelir. Kafka'da ağırlıklı olarak yazma işlemleri hem depolama hem de ağ verimini tüketirken, okumalar çoğunlukla ağ verimini tüketir. Bunun nedeni Kafka tüketicisinin genellikle gerçek zamanlı verileri sayfa önbelleğinden okuması ve ara sıra eski verileri işlemek için diske gitmesidir. Bu nedenle, genel aktarım hızı kazanımları, iş yükünün yazma-okuma aktarım hızı oranlarına göre de değişir.

Bir örneğe dayanarak verim kazanımlarına bakalım. Kurulumumuz, üç farklı Erişilebilirlik Alanında üç düğüme sahip, M7g.4xlarge bulut sunucularına sahip bir MSK kümesi ve M5.4xlarge bulut sunucularına sahip bir başka MSK kümesi içerir. Ayrıca TLS şifrelemesini de etkinleştirdik. AWS Kimlik ve Erişim Yönetimi (IAM) kimlik doğrulaması ve hem M3g hem de M7 MSK kümelerinde 5 çoğaltma faktörü. Ayrıca aracı yapılandırmaları için Amazon MSK'nın en iyi uygulamalarını da uyguladık: num.network.threads = 8 ve num.io.threads = 16. İstemci tarafında yazma işlemleri için toplu iş boyutunu uygun şekilde optimize ettik. linger.ms ve batch.size konfigürasyonlar. İş yükü için, her biri 6 bölümden (aracı başına 64) oluşan 384 konu varsaydık. Besleme için, ortalama 512 bayt mesaj boyutunda ve konu başına bir tüketici grubuyla yük oluşturduk. Kümelere gönderilen yük miktarı aynıydı.

MSK kümesine daha fazla veri aktardıkça M7g.4xlarge örneği, aşağıdaki grafikte gösterildiği gibi aracı başına daha yüksek aktarım hızını destekler. Bir saatlik tutarlı yazma işleminin ardından M7g.4xlarge aracıları, M54 tabanlı aracılarla 40 MB/sn'ye kadar 5 MB/sn'ye kadar yazma verimini destekler; bu da %29'luk bir artışı temsil eder.

Ayrıca bir başka önemli gözlem daha görüyoruz: M7g tabanlı aracılar, %5 daha yüksek verimi desteklemelerine rağmen M29'lerden çok daha az CPU kaynağı tüketiyor. Aşağıdaki grafikte görüldüğü gibi M7g tabanlı bir komisyoncunun CPU kullanımı ortalama %40 iken M5 tabanlı bir komisyoncuda bu oran %47'dir.

Daha önce de belirtildiği gibi müşteriler, tüketici grubu sayısına, toplu iş boyutlarına ve bulut sunucusu boyutuna bağlı olarak farklı performans iyileştirmeleri görebilir. Şu adrese başvurmanızı öneririz: MSK Boyutlandırma ve Fiyatlandırma kullanım durumunuz için M7g performans kazanımlarını hesaplamak veya M7g bulut sunucularına dayalı bir küme oluşturmak ve kazanımları kendi başınıza karşılaştırmak için.

Daha az operasyonel yük ve daha yüksek esneklikle daha düşük maliyetler

Amazon MSK, lansmanından bu yana Kafka iş yüklerinizi çalıştırmayı uygun maliyetli hale getirirken genel dayanıklılığı da artırdı. İlk günden bu yana, ek ağ maliyetleri konusunda endişelenmeden aracıları birden çok Erişilebilirlik Alanında çalıştırabilirsiniz. Ekim 1'de, neredeyse sınırsız depolama olanağı sağlayan Katmanlı Depolama'yı kullanıma sunduk. %50 daha düşük maliyetler. Katmanlı Depolamayı kullandığınızda yalnızca genel depolama maliyetinden tasarruf etmekle kalmaz, aynı zamanda kümenizin genel kullanılabilirliğini ve esnekliğini de artırırsınız.

Bu yola devam ederek artık performans iyileştirmeleri sağlamaya devam ederken müşterilerin bilgi işlem maliyetlerini azaltıyoruz. Amazon MSK, M7g bulut sunucularıyla benzer boyutlu M24 bulut sunucularına kıyasla işlem maliyetlerinde %5 tasarruf sağlar. Amazon MSK'ya geçtiğinizde aşağıdaki özellikleri kullanarak yalnızca operasyonel yükünüzü azaltmakla kalmazsınız: Amazon MSK Bağlantısı, Amazon MSK Çoğaltıcıve otomatik Kafka sürümü yükseltmeleri, aynı zamanda esnekliği artırır ve altyapı maliyetlerini azaltır.

Fiyatlandırma ve Bölgeler

Amazon MSK'daki M7g bulut sunucuları bugün ABD (Ohio, K. Virginia, K. Kaliforniya, Oregon), Asya Pasifik (Haydarabad, Mumbai, Seul, Singapur, Sidney, Tokyo), Kanada (Orta) ve AB'de (İrlanda) mevcuttur. , Londra, İspanya, Stockholm) Bölgeleri.

Bakın Amazon MSK fiyatlandırması Amazon MSK fiyatlandırmasıyla Graivton3 tabanlı bulut sunucuları hakkında bilgi edinmek için.

Özet

Bu yazıda Graviton tabanlı M7g bulut sunucularını kullanırken elde edilen performans kazanımlarını tartıştık. Bu bulut sunucuları, Amazon MSK iş yükleri için benzer boyutlu M5 bulut sunucularıyla karşılaştırıldığında okuma ve yazma aktarım hızında önemli bir iyileşme sağlayabilir. Başlamak için M7g aracılarını kullanarak yeni bir küme oluşturun. AWS Yönetim Konsoluve bizimkileri okuyun belgeleme daha fazla bilgi için.

Yazarlar Hakkında

Sai Maddali AWS'de Amazon MSK ürün ekibine liderlik eden Kıdemli Ürün Yönetimi Müdürüdür. Müşteri ihtiyaçlarını anlama ve müşterilere yenilikçi uygulamalar geliştirme konusunda güç veren hizmetler sunmak için teknolojiyi kullanma konusunda tutkuludur. İşinin yanı sıra seyahat etmekten, yemek yapmaktan ve koşmaktan hoşlanıyor.

Umesh AWS'de Yayın Çözümleri Mimarıdır. Gerçek zamanlı veri işleme sistemleri tasarlamak ve oluşturmak için AWS müşterileriyle birlikte çalışıyor. Veri analitiği sistemlerinin tasarlanması, tasarlanması ve geliştirilmesi de dahil olmak üzere yazılım mühendisliği alanında 13 yıllık çalışma tecrübesine sahiptir.

Lanre Afod AWS'de Küresel Finansal Hizmetlere odaklanan bir Çözüm Mimarıdır ve müşterilerin AWS Bulut içinde güvenli, ölçeklenebilir, yüksek kullanılabilirliğe sahip ve dayanıklı mimarileri dağıtmalarına yardımcı olma konusunda tutkuludur.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/amazon-msk-now-provides-up-to-29-more-throughput-and-up-to-24-lower-costs-with-aws-graviton3-support/