Veri hatlarını gerçek zamanlı olarak izlemek, sorunları erken tespit etmek ve kesintileri en aza indirmek için kritik öneme sahiptir. AWS Tutkal lansmanı ile bunu daha kolay hale getirdik AWS Glue işi gözlemlenebilirlik ölçümleriAWS Glue üzerine kurulu veri entegrasyonu ardışık düzenlerinize ilişkin değerli bilgiler sağlar. Ancak birden fazla işteki temel performans göstergelerini izlemeniz gerekebilir. Bu durumda, aynı metrikleri görselleştirebilen ve bireysel sorunları ayrıntılı olarak inceleyebilen bir kontrol paneli, geniş ölçekte izleme için etkili bir çözümdür.

Bu gönderi, AWS Glue iş gözlemlenebilirlik ölçümlerinin Grafana ile nasıl entegre edileceğini açıklamaktadır. Amazon Tarafından Yönetilen Grafana. AWS Glue işlerinizin hata sınıflarını ve aktarım hızını izlemeye ilişkin iki kullanım senaryosunun yanı sıra önemli öngörüleri ortaya çıkarmak için mevcut olan metrik ve grafik türlerini tartışıyoruz.

Çözüme genel bakış

Grafana, nerede depolanırsa saklansın metriklerinizi sorgulamanıza, görselleştirmenize, uyarmanıza ve anlamanıza olanak tanıyan açık kaynaklı bir görselleştirme aracıdır. Grafana ile görsel açıdan zengin, veri odaklı kontrol panelleri oluşturabilir, keşfedebilir ve paylaşabilirsiniz. Yeni AWS Glue iş gözlemlenebilirlik ölçümleri, gerçek zamanlı izleme amacıyla Grafana ile zahmetsizce entegre edilebilir. Çalışan kullanımı, çarpıklık, G/Ç oranı ve hatalar gibi ölçümler, okunması kolay Grafana kontrol panellerinde yakalanır ve görselleştirilir. Grafana ile entegrasyon, ihtiyaçlarınıza göre uyarlanmış boru hattı sağlığına ilişkin özel görünümler oluşturmak için esnek bir yol sağlar. Gözlemlenebilirlik ölçümleri, daha önce AWS Glue için mümkün olmayan izleme yeteneklerinin kapısını açar. Kritik veri entegrasyonu işlem hatları için AWS Glue'ya güvenen şirketler, işlem hatlarının verimli bir şekilde çalıştığından daha fazla emin olabilirler.

AWS Glue işi gözlemlenebilirlik ölçümleri şu şekilde yayınlanır: Amazon Bulut İzleme Metrikler. Amazon Managed Grafana'yı tedarik edip yönetebilir ve CloudWatch eklentisini verilen ölçümler için yapılandırabilirsiniz. Aşağıdaki diyagram çözüm mimarisini göstermektedir.

Çözümü uygula

Çözümü ayarlamak için aşağıdaki adımları tamamlayın:

1. Bir Amazon Yönetilen Grafana çalışma alanı.
2. Çalışma alanınızda oturum açın.
3. Klinik Yönetim.
4. Klinik Yeni veri kaynağı ekle.
5. Klinik Bulut İzleme.
6. İçin Varsayılan Bölgetercih ettiğiniz AWS Bölgesini seçin.
7. İçin Özel Metriklerin Ad Alanları, Tutkal'a girin.
8. Klinik Kaydet ve test et.

Artık CloudWatch veri kaynağı kaydedildi.

9. Veri kaynağı kimliğini URL'den kopyalayın https://g-XXXXXXXXXX.grafana-workspace.<region>.amazonaws.com/datasources/edit/<data-source-ID>/.

Bir sonraki adım JSON şablon dosyasını hazırlamaktır.

10. Grafana şablonunu indirin.
11. değiştirmek <data-source-id> JSON dosyasında Grafana veri kaynağı kimliğinizle birlikte.

Son olarak kontrol panelini yapılandırın.

12. Grafana konsolunda şunu seçin: Panolar.
13. Klinik ithalat üzerinde yeni menüsü.
14. JSON dosyanızı yükleyin ve ithalat.

Grafana kontrol paneli, aşağıdaki ekran görüntülerinde gösterildiği gibi AWS Glue gözlemlenebilirlik ölçümlerini görselleştirir.

Örnek kontrol panelinde aşağıdaki grafikler bulunur:

• [Güvenilirlik] İş Çalıştırma Hatalarının Dağılımı
• [Verim] Bayt Okuma ve Yazma
• [Verim] Kayıtları Okuma ve Yazma
• [Kaynak Kullanımı] İşçi Kullanımı
• [İş Performansı] Çarpıklık
• [Kaynak Kullanımı] Kullanılan Disk (%)
• [Kaynak Kullanımı] Disk Kullanılabilir (GB)
• [Yürütücü OOM] OOM Hata Sayısı
• [Yürütücü OOM] Kullanılan Yığın Belleği (%)
• [Sürücü OOM] OOM Hata Sayısı
• [Sürücü OOM] Kullanılan Yığın Belleği (%)

İş başarısızlıklarının nedenlerini analiz edin

İşin çalıştırılmasındaki başarısızlıkların nedenlerini analiz etmeye çalışalım iot_data_processing.

Öncelikle pasta grafiğine bakın: [Güvenilirlik] İş Çalıştırma Hatalarının Dağılımı. Bu pasta grafiği, hangi hataların en yaygın olduğunu hızlı bir şekilde tanımlar.

Daha sonra iş adıyla filtreleyin iot_data_processing Bu işteki yaygın hataları görmek için.

Başarısızlıkların çoğunluğunun (%75) sebeplerden kaynaklandığını görüyoruz. glue.error.DISK_NO_SPACE_ERROR.

Daha sonra, işin yürütülmesi sırasında sürücünün kullandığı disk alanını anlamak için [Kaynak Kullanımı] Kullanılan Disk (%) çizgi grafiğine bakın. Bu iş için yeşil çizgi sürücünün disk kullanımını, sarı çizgi ise uygulayıcının ortalama disk kullanımını gösterir.

Yürütücülerde diskin %100'ünün kullanıldığı üç kez olduğunu gözlemleyebiliriz.

Daha sonra, veri biriminin değişip değişmediğini ve bunun disk kullanımını etkileyip etkilemediğini görmek için [Verim] Kayıt Okuma ve Yazma çizgi grafiğine bakın.

Grafik, bu aralığın başında yaklaşık dört milyar kaydın okunduğunu gösteriyor; ancak zirvede yaklaşık 63 milyar kayıt okundu. Bu, gelen veri hacminin önemli ölçüde arttığı ve çalışan düğümlerde yerel disk alanı sıkıntısına neden olduğu anlamına gelir. Bu gibi durumlarda çalışan sayısını artırabilir, otomatik ölçeklendirmeyi etkinleştirebilir veya daha büyük çalışan türlerini seçebilirsiniz.

Bu önerileri uyguladıktan sonra daha düşük disk kullanımı ve başarılı bir iş çalıştırması görebiliriz.

(İsteğe bağlı) Hesaplar arası kurulumu yapılandırın

İsteğe bağlı olarak hesaplar arası kurulumu yapılandırabiliriz. Hesaplar arası metrikler şunlara bağlıdır: CloudWatch hesaplar arası gözlemlenebilirlik. Bu kurulumda aşağıdaki ortamı bekliyoruz:

• AWS hesapları yönetilmiyor AWS Kuruluşları
• İki hesabınız var: Bir hesap, Grafana'nın bulunduğu izleme hesabı olarak kullanılırken, başka bir hesap, AWS Glue tabanlı veri entegrasyonu hattının bulunduğu kaynak hesap olarak kullanılır.

Bu ortama yönelik hesaplar arası kurulumu yapılandırmak için her hesap için aşağıdaki adımları tamamlayın.

Hesabı izleme

İzleme hesabınızı yapılandırmak için aşağıdaki adımları tamamlayın:

1. Adresinde oturum açın AWS Yönetim Konsolu İzleme için kullanacağınız hesabı kullanarak.
2. CloudWatch konsolunda seçin Ayarlar Gezinti bölmesinde.
3. Altında Hesap yapılandırmasını izleme, seçmek yapılandırma.
4. İçin Veri seçin, seçmek Metrikleri.
5. İçin Kaynak hesapları listeleyin, bu izleme hesabının görüntüleyeceği kaynak hesabın AWS hesap kimliğini girin.
6. İçin Kaynak hesabınızı tanımlamak için bir etiket tanımlayın, seçmek hesap adı.
7. Klinik yapılandırma.

Artık hesap başarıyla bir izleme hesabı olarak yapılandırıldı.

8. Altında Hesap yapılandırmasını izleme, seçmek Hesapları bağlamak için kaynaklar.
9. Klinik Herhangi bir hesap Bireysel hesapları kaynak hesaplar olarak ayarlamak için bir URL almak için.
10. Klinik Url'yi kopyala.

Sonraki adımlarda kaynak hesaptan kopyalanan URL'yi kullanacaksınız.

Kaynak hesap

Kaynak hesabınızı yapılandırmak için aşağıdaki adımları tamamlayın:

1. Kaynak hesabınızı kullanarak konsolda oturum açın.
2. İzleme hesabından kopyaladığınız URL'yi girin.

Bazı bilgilerin doldurulmuş olduğu CloudWatch ayarları sayfasını görebilirsiniz.

3. İçin Veri seçin, seçmek Metrikleri.
4. ARN'yi değiştirmeyin İzleme hesabı yapılandırmasına (ARN) girin.
5. The Kaynak hesabınızı tanımlamak için bir etiket tanımlayın bölümü, izleme hesabındaki etiket seçimiyle önceden doldurulmuştur. İsteğe bağlı olarak seçin Düzenle onu değiştirmek için.
6. Klinik Link.
7. Keşfet Confirm kutuya girin ve seçin Onaylamak.

Artık kaynak hesabınız izleme hesabına bağlanacak şekilde yapılandırılmıştır. Kaynak hesapta yayılan metrikler, izleme hesabındaki Grafana kontrol panelinde gösterilecektir.

Daha fazla bilgi için bkz. CloudWatch hesaplar arası gözlemlenebilirlik.

Hususlar

Bu çözümü kullanırken dikkat edilmesi gereken bazı noktalar şunlardır:

• Grafana entegrasyonu gerçek zamanlı izleme için tanımlanmıştır. İşleriniz hakkında temel bilgiye sahipseniz performansı, hataları ve daha fazlasını Grafana kontrol panelinden izlemeniz kolay olacaktır.
• Amazon Tarafından Yönetilen Grafana şunlara bağlıdır: AWS IAM Tanımlama Merkezi. Bu, tek oturum açma (SSO) kullanıcılarını ayrı ayrı yönetmenize gerek olduğu anlamına gelir. AWS Kimlik ve Erişim Yönetimi (IAM) kullanıcıları ve rolleri. Ayrıca AWS konsolundan başka bir oturum açma adımı da gerekir. Amazon Managed Grafana fiyatlandırma modeli, çalışma alanı başına etkin kullanıcı lisansına bağlıdır. Daha fazla kullanıcı daha fazla ücretlendirmeye neden olabilir.
• Grafik çizgileri iş başına görselleştirilir. Tüm işlerdeki çizgileri görmek istiyorsanız, HEPSİ kontrolde.

Sonuç

AWS Glue iş gözlemlenebilirlik ölçümleri, veri hattı performansını gerçek zamanlı olarak izlemeye yönelik güçlü ve yeni bir yetenek sunar. Önemli ölçümleri CloudWatch'a aktararak ve bunları Grafana'da görselleştirerek, daha önce mümkün olmayan daha ayrıntılı görünürlük elde edersiniz. Bu gönderi, Amazon Yönetilen Grafana'yı kullanarak gözlemlenebilirlik ölçümlerini etkinleştirmenin ve verileri Grafana ile entegre etmenin ne kadar kolay olduğunu gösterdi. Mevcut farklı ölçümleri ve eyleme geçirilebilir içgörüleri ortaya çıkarmak için özelleştirilmiş Grafana kontrol panellerinin nasıl oluşturulacağını araştırdık.

Gözlemlenebilirlik artık AWS'de güçlü veri düzenlemenin önemli bir parçası. Veri entegrasyonu eğilimlerini gerçek zamanlı olarak izleme yeteneği sayesinde maliyetleri, performansı ve güvenilirliği optimize edebilirsiniz.

Yazarlar Hakkında

Noritaka Sekiyama AWS Glue ekibinde Baş Büyük Veri Mimarıdır. Müşterilere yardımcı olmak için yazılım yapıları oluşturmaktan sorumludur. Boş zamanlarında yeni yol bisikletiyle bisiklete binmekten keyif alıyor.

Xiaoxi Liu AWS Glue ekibinde Yazılım Geliştirme Mühendisidir. Tutkusu, buluttaki büyük verileri verimli bir şekilde yönetmek için ölçeklenebilir dağıtılmış sistemler oluşturmaktır ve yoğunlaşmış olduğu alanlar dağıtılmış sistem, büyük veri ve bulut bilişimdir.

Akira Ajisaka AWS Glue ekibinde Kıdemli Yazılım Geliştirme Mühendisidir. Açık kaynaklı yazılımları ve dağıtık sistemleri seviyor. Boş zamanlarında atari oyunları oynamaktan hoşlanıyor.

Shenoda Guirguis AWS Glue ekibinde Kıdemli Yazılım Geliştirme Mühendisidir. Tutkusu ölçeklenebilir ve dağıtılmış veri altyapısı ve işleme sistemleri oluşturmaktır. Shenoda fırsat bulduğunda kitap okumaktan ve futbol oynamaktan hoşlanıyor.

Sean Anne AWS Glue ekibinde Baş Ürün Yöneticisidir. Kullanıcılar için verilerin gücünü açığa çıkaran kurumsal ürünler geliştirme ve sunma konusunda 18 yıllık bir geçmişe sahiptir. Sean, iş dışında tüplü dalıştan ve kolej futbolundan hoşlanıyor.

Mohit Saxena AWS Glue ekibinde Kıdemli Yazılım Geliştirme Yöneticisidir. Ekibi, etkileşimli ve kullanımı basit arayüzlere sahip müşterilerin Amazon S3'teki veri gölleri, buluttaki veritabanları ve veri ambarları genelinde petabaytlarca veriyi verimli bir şekilde yönetmelerini ve sorunsuz bir şekilde dönüştürmelerini sağlamak için dağıtılmış sistemler oluşturmaya odaklanıyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/part-2-enhance-monitoring-and-debugging-for-aws-glue-jobs-using-new-job-observability-metrics/