Bu blog yazısında bunun etkisini tartışıyoruz. Amazon Elastik Blok Mağazası (Amazon EBS) birim IOPS'si ve aktarım hızı sınırları Amazon Açık Arama Hizmeti etki alanı ve verim azaltma durumunun nasıl önleneceği/hafifletileceği.

Amazon OpenSearch Service, web sitesi aramaları, etkileşimli günlük analizleri, gerçek zamanlı uygulama izleme ve daha fazlasını gerçekleştirmenizi kolaylaştıran yönetilen bir hizmettir. Açık kaynaklı OpenSearch paketini temel alan Amazon OpenSearch Service, petabaytlara kadar metin ve yapılandırılmamış verileri aramanıza, görselleştirmenize ve analiz etmenize olanak tanır.

Bir OpenSearch Hizmeti etki alanı öncelikle aşağıdaki rol grubuna sahip düğümleri içerir.

• Küme yöneticisi (özel yönetici): Kümeyi yönetmek ve kümedeki veri düğümlerinin sağlığını kontrol etmekten sorumludur.
• Veri: Arama ve indeksleme isteklerinin sunulmasından ve indekslenmiş verilerin saklanmasından sorumludur.
• Ultra sıcak: Daha düşük maliyetli depolama sağlamak için Amazon S3'ü destek deposu olarak kullanan düğümler.

Bir OpenSearch Hizmeti etki alanı oluştururken, yerel ağlara sahip veri düğümleri için depolama alanını seçersiniz. Uçucu Olmayan Bellek Ekspres (NVMe) veya ile Amazon EBS hacimleri.

OpenSearch Hizmeti veri düğümü depolaması, iş yükünüze bağlı olarak Amazon EBS birimleri tarafından destekleniyorsa, EBS aktarım hızı, OpenSearch Hizmeti etki alanının performansını büyük ölçüde etkileyebilir. EBS hacim performansı metriği aşağıdaki iki temel parametreyle tanımlanır.

• IOPS saniyede gerçekleştirilen GÇ işlemlerinin sayısını tanımlar.
• çıktı Belirli bir sürede ne kadar verinin aktarılabileceğinin ölçüsüdür. Genellikle saniye başına bayt cinsinden ölçülür.

Veri düğümünün IOPS'si veya aktarım hızı, EBS biriminin veya veri düğümünün EC2 örneğinin izin verilen maksimum sınırını ihlal ettiğinde, OpenSearch Hizmeti etki alanı IOPS veya aktarım hızı kısılmasıyla karşılaşır. Bu, yüksek arama ve indeksleme gecikmesine ve en kötü senaryoda düğümün çökmesine neden olabilir.

Veri düğümü için izin verilen maksimum IOPS ve aktarım hızı

IOPS veya bir OpenSearch Hizmeti etki alanındaki veri düğümünün verimi için izin verilen maksimum değer, aşağıdaki iki değerin minimumudur.

Verim kısıtlaması ve bunun Amazon OpenSearch Hizmeti etki alanı üzerindeki etkisi

Veri düğümündeki toplam EBS aktarım hızı, OpenSearch Hizmeti etki alanında söz konusu veri düğümünün izin verilen maksimum aktarım değerini aştığında aktarım hızı azaltma gerçekleşir.

Etki alanına veya düğüme ilişkin ThroughputThrottle ölçümü Amazon CloudWatch konsolunda aşağıdaki konumda görülebilir.

• Alan: “ES/OpenSearchService > Etki Alanı Başına, Müşteri Başına Metrikler”
• Düğüm: “ES/OpenSearchService > İstemciKimliği, Etki AlanıAdı, NodeId”

ThroughputThrottle ölçümündeki 1 değeri, etki alanı veya düğüm için bir azaltma olayını belirtir.

Etki alanındaki bir veri düğümünde tutarlı bir süre boyunca aktarım hızı azalması yaşanırsa, bu, veri düğümünde aşağıdaki performans düşüşüne neden olabilir.

• Daha yavaş EBS birim performansı.
• Yüksek okuma/yazma gecikmesi.

Bu, küme yöneticisi veya veri düğümü tarafından gerçekleştirilen kontrolleri etkileyebilir. Şunlarla sonuçlanabilir:

• Veri düğümü tarafından gerçekleştirilen FS (dosya sistemi) durum denetimi hatası.
• Yüksek istek gecikmesi nedeniyle küme yöneticisi tarafından gerçekleştirilen takipçi denetimi hatası.

Bu, küme yöneticisinin bu tür veri düğümlerini sağlıksız olarak işaretlemesine ve veri düğümünün kümeden kaldırılmasına neden olacaktır. Bu, sarı veya kırmızı küme durumuna yol açabilir.

Çıkış değeri hesaplaması

Veri düğümünün toplam verimi, EBS birimine saniyede okunan ve yazılan toplam bayt sayısıdır. Aşağıdaki ölçümler, Amazon Opensearch Service etki alanındaki veri düğümü için okuma ve yazma aktarım hızını sağlar.

OpenSearch Hizmeti etki alanındaki veri düğümünün toplam verimi aşağıdaki şekilde hesaplanır.

Throughput = ReadThroughputMicroBursting + WriteThroughputMicroBursting

Veri düğümünün toplam verimini elde etmek için aşağıdaki adımları izleyin.

1. Amazon Cloudwatch ölçümlerine gidin.
2. MyCAD'de yazılım Güncelleme ye git ES/OpenSearchService > İstemciKimliği, Etki AlanıAdı, NodeId.
3. seç ReadThroughputMicroBursting ve WriteThroughputMicroBursting metrik.
4. MyCAD'de yazılım Güncelleme ye git Grafikli metrikler.
5. kullanım Matematik ekle ve toplamak için formüller oluşturun ReadThroughputMicroBursting ve WriteThroughputMicroBursting değerleri.

Verim kısıtlamasını yönetme

Bir OpenSearch Hizmeti etki alanındaki veri düğümünde izin verilen maksimum üretim sınırı ihlal edildiğinde, disk verimi kısma AWS konsoluna bildirim gönderilir. Veri düğümünde aktarım hızının azalması, aşağıdakiler gibi çeşitli nedenlerden dolayı meydana gelebilir.

• Ani bir artış endeks oranı or arama oranı OpenSearch Hizmeti etki alanının veri düğümüne.
• A Mavi-yeşil OpenSearch Hizmeti etki alanında yoğun saatlerde meydana gelen olay.
• OpenSearch Hizmeti etki alanı yetersiz ölçeklendirilmiştir.

OpenSearch Hizmeti etki alanı için verim kısıtlamasını önlemek amacıyla aşağıdaki önlemleri almanızı öneririz.

• OpenSearch Hizmeti alanına giden trafiği izleyin ve OpenSearch Hizmeti alanına gönderilen arama ve dizin trafiğine ilişkin alarmlar oluşturun.
• Kurmak yoğun olmayan saatler OpenSearch Hizmeti etki alanı için Mavi-yeşil Talep daha az olduğunda dağıtımlar gerçekleştirilir.
• Izleyin Verim Kısma OpenSearch Hizmeti etki alanı için küme ölçümleri.
• izlemek parça çarpıklığı OpenSearch Hizmeti etki alanı için. Parça çarpıklığı, trafiğin veri düğümlerine eşit olmayan yük dağılımına yol açabilir ve kümede etkin düğümlerin oluşmasına yol açabilir; bu da yüksek dizin ve arama trafiğiyle karşılaşarak kısıtlamaya neden olabilir.
• Veri düğümü için EBS Birimi veya EC2 bulut sunucusu aktarım hızı sınırlarına ulaşıyorsanız aktarım hızının azalmasını önlemek için OpenSearch Hizmeti etki alanının ölçeğini yükseltmeniz gerekecektir. Tarafından sağlanan limitleri kontrol edin EBS hacimleri ve  Amazon EBS optimize edildi veri düğümü tarafından kullanılan örnekler ve OpenSearch kümesinin ölçeğini buna göre artırın.

Her senaryo, özel araştırmayı ve bunu çözmek için uygun önlemleri gerektirir. Yine de, aktarım hızı kısıtlamasını yönetmeye yönelik daha geniş bir yaklaşımın parçası olarak aşağıdaki yönergeleri öneriyoruz.

• Çoğu zaman belirli bir veri düğümü kümesinde yüksek verim görülüyorsa, parça çarpıklığı sıcak düğümlere neden oluyor olabilir. Bu gibi durumlarda parça çarpıklığının çözülmesi duruma yardımcı olacaktır.
• OpenSearch Hizmeti alanında düzensiz trafik modelleri yaşanıyorsa, kısıtlamaya neden olan ani artışları kontrol edin. Bu tür senaryolarda trafik düzeninin düzenlenmesi faydalı olabilir.
• Tutarlı trafik modellerine sahip kümedeki düğümlerin çoğunda aktarım kısılması görülüyorsa, OpenSearch Hizmeti etki alanının ölçeğinin büyütülmesi düşünülmelidir.

Sonuç

Bu yazıda, OpenSearch Hizmeti etki alanındaki Amazon EBS aktarım hızı kısıtlamasını, bunun etkisini ve bunu izleme ve yönetme yollarını ele aldık. Bu gibi durumların üstesinden gelmek için kullanılabilecek öneriler sunduk. kısıtlayıcı durumlar.

İlgili Bağlantılar

Yazarlar Hakkında

Pranit Kumar Amazon Web Services'te OpenSearch üzerinde çalışan Kıdemli Yazılım Geliştirme Mühendisidir. Dağıtık sistemler ve karmaşık sorunların çözümüyle ilgileniyor.

Dhrubajyoti Das Amazon Web Services'te OpenSearch üzerinde çalışan bir Mühendislik Müdürüdür. Yüksek ölçeklenebilir sistemler ve altyapıyla ilgili zorluklarla derinden ilgileniyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• ChartPrime. Ticaret Oyununuzu ChartPrime ile yükseltin. Buradan Erişin.
• Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/managing-amazon-ebs-volume-throughput-limits-in-amazon-opensearch-service-domains/