büyük Veri

Optimize Edilmiş OpenSearch Bulut Sunucuları ile Amazon OpenSearch Hizmeti performansınızı iyileştirin | Amazon Web Hizmetleri

Plato tarafından yeniden yayınlandı

Tarih: Temmuz 11, 2024

İzlenme: 15

Amazon Açık Arama Hizmeti tanıttı OpenSearch Optimize Edilmiş Örnekler (OR1), mevcut örneklere göre fiyat-performans artışı sağlar. Yeni tanıtılan OR1 bulut sunucuları, günlük analizi ve gözlemlenebilirlik iş yükleri gibi yoğun dizin oluşturma kullanım durumları için ideal olarak tasarlanmıştır.

OR1 örnekleri bir yerel ve bir uzak depo kullanır. Yerel depolama ikisinden birini kullanır: Amazon Elastik Blok Mağazası (Amazon EBS) türü gp3 or io1 birimlerive uzak depolama kullanımları Amazon Basit Depolama Hizmeti (Amazon S3). OR1 bulut sunucuları hakkında daha fazla ayrıntı için bkz. Amazon OpenSearch Hizmeti Kapsamlı: OpenSearch Optimize Edilmiş Örnekler (OR1).

Bu yazıda, kullanarak deneyler yapıyoruz. OpenSearch Karşılaştırması OR1 bulut sunucusu ailesinin indeksleme verimini ve genel etki alanı performansını nasıl iyileştirdiğini göstermek.

OpenSearch Benchmark'ı kullanmaya başlama

OpenSearch Benchmark, tarafından sağlanan bir araçtır. Açık Arama Projesi, indeksleme verimi ve arama gecikmesi dahil olmak üzere OpenSearch kümelerinden performans ölçümlerini kapsamlı bir şekilde toplar. İster genel küme performansını izliyor olun, ister yükseltme kararlarını bilgilendiriyor olun, ister iş akışı değişikliklerinin etkisini değerlendiriyor olun, bu yardımcı programın paha biçilmez olduğu kanıtlanmıştır.

Bu yazıda iki kümenin performansını karşılaştırıyoruz: biri bellek açısından optimize edilmiş bulut sunucuları tarafından, diğeri ise OR1 bulut sunucuları tarafından desteklenmektedir. Veri seti, 1998 Dünya Kupası web sitesinden alınan HTTP sunucusu günlüklerini içermektedir. OpenSearch Benchmark aracıyla, indeksleme verimi, arama gecikmesi ve genel küme verimliliği gibi çeşitli performans ölçümlerini değerlendirmek için deneyler yapıyoruz. Amacımız, spesifik iş yükü gereksinimlerimize en uygun konfigürasyonu belirlemektir.

OpenSearch Benchmark'ı doğrudan bir bilgisayara yükleyebilirsiniz. Linux veya macOS çalıştıran ana bilgisayarveya OpenSearch Benchmark'ı bir Docker kapsayıcı herhangi bir uyumlu ana bilgisayarda.

OpenSearch Karşılaştırması şunları içerir: iş yükleri kümesi Küme performansınızı kıyaslamak için kullanabileceğiniz. İş yükleri, kümenize göre bir kıyaslama gerçekleştirmek için belirli bir belge derlemini kullanan bir veya daha fazla kıyaslama senaryosunun açıklamalarını içerir. Belge derleminde dizinler, veri dosyaları ve iş akışı çalıştırıldığında çağrılan işlemler bulunur.

Kümenizin performansını değerlendirirken, kümenizin kullanım senaryolarına benzer bir iş yükünün kullanılması önerilir; bu, zamandan ve emekten tasarruf etmenizi sağlayabilir. Kümenizin karşılaştırmasını yapmak için en iyi iş yükünü belirlemek üzere aşağıdaki kriterleri göz önünde bulundurun:

Kullanım örneği – Kümenizin gerçek dünyadaki kullanım durumunu yansıtan bir iş yükünün seçilmesi, doğru kıyaslama için çok önemlidir. Kümeniz için tipik olan yoğun arama veya dizin oluşturma görevlerini simüle ederek performans sorunlarını tespit edebilir ve ayarları etkili bir şekilde optimize edebilirsiniz. Bu yaklaşım, kıyaslama sonuçlarının gerçek performans beklentileriyle yakından eşleşmesini sağlayarak, özel iş yükü ihtiyaçlarınıza göre uyarlanmış daha güvenilir optimizasyon kararlarına yol açar.
Veri – Üretim iş yüklerinize benzer bir veri yapısı kullanın. OpenSearch Benchmark, eşlemeyi anlamak ve kendi veri eşlemeniz ve yapınızla karşılaştırmak için her iş yükündeki belge örneklerini sağlar. Her kıyaslama iş yükü aşağıdakilerden oluşur: dizinler ve dosyalar veri türlerini ve dizin eşlemelerini karşılaştırmanız için.
Sorgu türleri – Sorgu düzeninizi anlamak, kümenizdeki en sık arama sorgusu türlerini tespit etmek açısından çok önemlidir. Karşılaştırma denemeleriniz için benzer bir sorgu modeli kullanmak çok önemlidir.

Çözüme genel bakış

Aşağıdaki diyagram, iş yükü karşılaştırmalarını çalıştırmak için OpenSearch Benchmark'ın OpenSearch alanınıza nasıl bağlandığını açıklamaktadır.

İş akışı aşağıdaki adımlardan oluşur:

İlk adım, OpenSearch Benchmark'ın belirli bir iş yükünü kullanarak çalıştırılmasını içerir. iş yükleri deposu. Çağırma işlemi, seçilen iş yüküne göre OpenSearch kümenizin performansına ilişkin verileri toplar.
OpenSearch Benchmark, iş yükü veri kümesini OpenSearch Hizmeti etki alanınıza alır.
OpenSearch Benchmark, OpenSearch Hizmeti performans ölçümlerini yakalamak için bir dizi önceden tanımlanmış test prosedürünü çalıştırır.
İş yükü tamamlandığında OpenSearch Benchmark, iş yükü performansını ölçmek için ilgili tüm ölçümlerin çıktısını alır. Metrik kayıtları varsayılan olarak bellekte saklanır veya oluşturulan metrikleri depolamak ve birden fazla iş yükü yürütmesini karşılaştırmak için bir OpenSearch Hizmeti etki alanı ayarlayabilirsiniz.

Bu yazıda şunları kullandık: http_logs Performans kıyaslamasını gerçekleştirmek için iş yükü. Veri kümesi, alım için tasarlanmış 247 milyon belgeden oluşuyor ve karşılaştırma için bir dizi örnek sorgu sunuyor. bölümünde belirtilen adımları izleyin. OpenSearch Karşılaştırması Kullanıcı Kılavuzu OpenSearch Benchmark'ı dağıtmak ve çalıştırmak için http_logs iş yoğunluğu.

Önkoşullar

Aşağıdaki ön koşullara sahip olmalısınız:

Bu yazıda OpenSearch Benchmark'ı bir AWS Bulut9 kullanarak ev sahipliği yapın Amazon Linux 2 örnek türü m6i.2xlarge 8 vCPU, 32 GiB bellek ve 512 TiB depolama kapasitesine sahiptir.

OpenSearch Hizmetinde OR1 bulut sunucusu tipini kullanarak performans analizi

Bu yazıda OpenSearch Hizmetinin iki farklı yapılandırması arasında bir performans karşılaştırması yaptık:

1 Yapılandırması – Küme yöneticisi düğümleri ve bellek açısından optimize edilmiş r6g.large örneklerinin üç veri düğümü
2 Yapılandırması – Küme yöneticisi düğümleri ve or1.larges örneklerinin üç veri düğümü

Her iki yapılandırmada da aynı sayıda ve türde küme yöneticisi düğümü kullanıyoruz: üç c6g.xlarge.

ile farklı konfigürasyonlar oluşturabilirsiniz. OpenSearch Hizmetinde desteklenen örnek türleri performans kıyaslamalarını çalıştırmak için.

Aşağıdaki tablo OpenSearch Hizmeti yapılandırma ayrıntılarımızı özetlemektedir.

	1 Yapılandırması	2 Yapılandırması
Küme yöneticisi düğümlerinin sayısı	3	3
Küme yöneticisi düğümlerinin türü	c6g.xlarge	c6g.xlarge
Veri düğümlerinin sayısı	3	3
Veri düğümü türü	r6g.large	veya1.büyük
Veri düğümü: EBS birim boyutu (GP3)	200 GB	200 GB
Bekleme etkinken Multi-AZ	Evet	Evet

Şimdi iki konfigürasyon arasındaki performans detaylarını inceleyelim.

Performans kıyaslaması karşılaştırması

The http_logs veri kümesi, HTTP sunucusu günlüklerini içerir. 1998 Nisan 30 ile 1998 Temmuz 26 arasındaki 1998 Dünya Kupası web sitesi. Her istek bir zaman damgası alanı, istemci kimliği, nesne kimliği, isteğin boyutu, yöntemi, durumu ve daha fazlasını içerir. Veri kümesinin sıkıştırılmamış boyutu 31.1 milyon JSON belgesiyle birlikte 247 GB'tır. Her iki etki alanı yapılandırmasına gönderilen yük miktarı aynıdır. Aşağıdaki tablo, iki yapılandırmamızda OpenSearch iş yükünün çeşitli yönlerini çalıştırmak için harcanan süreyi göstermektedir.

Kategoriler	Metrik Adı	1 Yapılandırması *(3 r6g.large veri düğümleri) Çalışma zamanları**	2 Yapılandırması *(3 veya 1.büyük veri düğümleri) Çalışma zamanları**	Performans Farkı
Endeksleme	Birincil parçaların kümülatif indeksleme süresi	207.93 dk	142.50 dk	31%
Endeksleme	Birincil parçaların kümülatif temizleme süresi	21.17 dk	2.31 dk	89%
Çöp toplama	Toplam Genç Nesil GC süresi	43.14 saniye	24.57 saniye	43%
toplu indeks ekleme	p99 gecikmesi	10857.2 ms	2455.12 ms	77%
sorgu-Ortalama Verim		29.76 işlem/sn	36.24 işlem/sn	22%
query-match_all(varsayılan)	p99 gecikmesi	40.75 ms	32.99 ms	19%
sorgu terimi	p99 gecikmesi	7675.54 ms	4183.19 ms	45%
sorgu aralığı	p99 gecikmesi	59.5316 ms	51.2864 ms	14%
sorgu-saatlik_toplama	p99 gecikmesi	5308.46 ms	2985.18 ms	44%
query-multi_term_aggregation	p99 gecikmesi	8506.4 ms	4264.44 ms	50%

Karşılaştırmalar, çeşitli performans ölçümlerinde dikkate değer bir gelişme göstermektedir. Özellikle OR1.large veri düğümleri, r31g.large veri düğümleriyle karşılaştırıldığında birincil parçalar için indeksleme süresinde %6'lik bir azalma gösterir. OR1.large veri düğümleri ayrıca çöp toplama verimliliğinde %43'lük bir iyileşme ve terim, aralık ve toplama sorguları dahil sorgu performansında önemli gelişmeler sergiliyor.

İyileştirmenin kapsamı iş yüküne bağlıdır. Bu nedenle çalıştırdığınızdan emin olun özel iş yükleri Dizin oluşturma verimi, arama sorgularının türü ve eşzamanlı istekler açısından üretim ortamlarınızda beklendiği gibi.

OR1'e geçiş yolculuğu

OR1 bulut sunucusu ailesi OpenSearch Service 2.11 veya üzeri sürümlerde mevcuttur. Genellikle OpenSearch Hizmetini kullanıyorsanız ve belirli bir sürümde yeni çıkan özelliklerden yararlanmak istiyorsanız aşağıdaki adımları takip edersiniz: desteklenen yükseltme yolları Alan adınızı yükseltmek için.

Ancak OR1 bulut sunucusu türünü kullanmak için OR1 bulut sunucularıyla yeni bir alan adı oluşturmanız ve ardından mevcut alanınızı yeni alana taşımanız gerekir. OR1 örneğini kullanarak OpenSearch Hizmeti etki alanına geçiş yolculuğu, tipik bir OpenSearch Hizmeti geçiş senaryosuna benzer. Kritik yönler, hedef ortam için uygun boyutun belirlenmesini, uygun veri taşıma yöntemlerinin seçilmesini ve kusursuz bir geçiş stratejisi tasarlanmasını içerir. Bu öğeler, geçiş süreci boyunca optimum performans, sorunsuz veri geçişi ve minimum düzeyde kesinti sağlar.

Verileri yeni bir OR1 etki alanına taşımak için anlık görüntü geri yükleme seçenek veya kullanım Amazon Açık Arama Alımı için kaynağınız için verileri taşıyın.

Geçiş talimatları için bkz. Amazon OpenSearch Hizmetine Geçiş.

Temizlemek

AWS kullanım ücretlerinin devam etmesini önlemek için, OpenSearch Hizmeti alan adınız da dahil olmak üzere bu gönderi kapsamında oluşturduğunuz tüm kaynakları sildiğinizden emin olun.

Sonuç

Bu yazıda, OR1 bulut sunucusu ailesinin performansını bellek açısından optimize edilmiş r6g bulut sunucusuyla karşılaştırmalı olarak incelemek için bir kıyaslama çalıştırdık. OpenSearch kümelerinden performans ölçümlerini toplamak için kapsamlı bir araç olan OpenSearch Benchmark'ı kullandık.

Nasıl yapıldığı hakkında daha fazla bilgi edinin. OR1 örnekleri çalışıyor ve OpenSearch Hizmeti yapılandırmanızın iş yükü talebinize uygun olduğundan emin olmak için OpenSearch Benchmark'ı deneyin.

Yazarlar Hakkında

Jatinder Singh AWS'de Kıdemli Teknik Hesap Yöneticisidir ve müşterilere buluta geçiş ve inovasyon çabalarında yardımcı olmaktan memnuniyet duymaktadır. Profesyonel yaşamının ötesinde ailesiyle vakit geçirmekten ve kitap okumak, mutfakla uğraşmak ve satranç oynamak gibi hobilerle uğraşmaktan keyif alıyor.

Hacer Bouafif Amazon Web Services'te Analitik Uzmanı Çözüm Mimarıdır. Amazon OpenSearch Hizmetine odaklanıyor ve müşterilerin çeşitli sektörlerde iyi mimariye sahip analitik iş yükleri tasarlayıp oluşturmasına yardımcı oluyor. Hajer açık havada vakit geçirmekten ve yeni kültürler keşfetmekten hoşlanıyor.

Puneetha Kumara AWS'de Kıdemli Teknik Hesap Yöneticisidir ve bulut mimarisi, sistem mühendisliği ve konteyner orkestrasyonu dahil olmak üzere 15 yılı aşkın sektör deneyimine sahiptir.

Manpreet Kour AWS'de Kıdemli Teknik Hesap Yöneticisidir ve kendisini müşteri memnuniyetini sağlamaya adamıştır. Yaklaşımı, müşteri hedeflerinin derinlemesine anlaşılmasını, bunların yazılım yetenekleriyle uyumlu hale getirilmesini ve müşteri başarısının etkin bir şekilde artırılmasını içerir. Mesleki çalışmalarının dışında seyahat etmekten ve ailesiyle kaliteli zaman geçirmekten hoşlanıyor.