Apache Airflow için Amazon Tarafından Yönetilen İş Akışları (Amazon MWAA) yönetilen bir hizmettir. Apache Hava Akışı Bu, buluttaki veri hatlarını düzenlemek için altyapının kurulumunu ve çalışmasını kolaylaştırır. Müşteriler, Apache Airflow ortamlarının ölçeklenebilirliğini, kullanılabilirliğini ve güvenliğini yönetmek için Amazon MWAA'yı kullanıyor. Müşteriler daha yoğun, karmaşık ve sürekli büyüyen veri işleme hatları tasarlarken, görevleri ve iş akışları için daha fazla eşzamanlılık ve kapasite sağlamak üzere bizden ek temel kaynaklar istediler.

Bu sorunu çözmek için bugün Amazon MWAA'da daha büyük ortam sınıflarının kullanıma sunulduğunu duyuruyoruz. Bu yazıda, bu yeni XL ve 2XL ortamlarının yeteneklerini, bunların çok uygun olduğu senaryoları ve artan kaynaklardan yararlanmak için mevcut Amazon MWAA ortamınızı nasıl kurabileceğinizi veya yükseltebileceğinizi ayrıntılı olarak ele alacağız.

Mevcut zorluklar

Bir Amazon MWAA ortamı oluşturduğunuzda, bir dizi yönetilen Amazon Elastik Konteyner Hizmeti (Amazon ECS) ile AWS Fargate konteynerler tanımlanmış sanal CPU'lar ve RAM ile sağlanır.

Daha büyük, karmaşık, kaynak yoğun iş yükleriyle çalışırken veya binlerce Yönlendirilmiş Asiklik Grafikler (DAG'ler) her gün, zamanlayıcılarda ve çalışanlarda CPU kullanılabilirliğini tüketmeye veya çalışanlarda bellek sınırlarına ulaşmaya başlayabilirsiniz. Apache Airflow'u uygun ölçekte çalıştırmak, Airflow meta veri veritabanına orantılı olarak daha fazla yük getirir ve bazen temeldeki CPU ve bellek sorunlarına yol açar. Amazon İlişkisel Veritabanı Hizmeti (Amazon RDS) kümesi. Kaynak sıkıntısı çeken bir meta veri veritabanı, çalışanlarınızın bağlantılarının kesilmesine ve görevlerin zamanından önce başarısız olmasına neden olabilir.

Görevlerinizin performansını ve dayanıklılığını artırmak için aşağıdakileri göz önünde bulundurun Apache Hava Akışı en iyi uygulamaları DAG'leri yazmak için. Alternatif olarak iş yüklerini dağıtmak için birden fazla Amazon MWAA ortamı oluşturabilirsiniz. Ancak bu, ilave mühendislik ve yönetim çabası gerektirir.

Yeni çevre sınıfları

Bugünkü sürümle birlikte artık Amazon MWAA'da mevcut ortam sınıflarına ek olarak XL ve 2XL ortamları oluşturabilirsiniz. Mevcut büyük Amazon MWAA ortam bulut sunucusu sınıfına göre sırasıyla iki ve dört kat daha fazla işlem gücüne ve üç ve altı kat daha fazla belleğe sahiptirler. Bu örnekler, tüm Apache Airflow bileşenlerinin kapasitesini ve performansını doğrudan artırmak için işlem ve RAM'i doğrusal olarak ekler. Aşağıdaki tablo özetlemektedir çevre yetenekleri.

Bu daha büyük ortamların kullanıma sunulmasıyla birlikte Amazon Aurora meta veri veritabanınız artık daha büyük, bellek açısından optimize edilmiş bulut sunucularını kullanacak. AWS Graviton2. Graviton2 işlemci ailesiyle bilgi işlem, depolama ve ağ iletişimi iyileştirmelerinin yanı sıra AWS işlemci ailesinin sunduğu karbon ayak izinde azalma elde edersiniz.

Fiyatlandırma

Amazon MWAA fiyatlandırma boyutları değişmeden kalır ve yalnızca kullandığınız kadar ödeme yaparsınız:

• Çevre sınıfı
• Ek çalışan örnekleri
• Ek planlayıcı örnekleri
• Meta veri veritabanı depolama alanı tüketildi

Artık ilk üç boyutta iki ek seçeneğe sahipsiniz: Ortam sınıfı, ek çalışanlar ve zamanlayıcı örnekleri için XL ve 2XL. Meta veri veritabanı depolama fiyatlandırması aynı kalır. Bakınız Apache Airflow Fiyatlandırması için Amazon Yönetilen İş Akışları Fiyatlar ve daha fazla ayrıntı için.

Daha büyük ortamlara ölçeklendirmeyi planlamak için Amazon MWAA performansını gözlemleyin

Yeni ortam sınıflarını kullanmaya başlamadan önce, meta veri veritabanının belleğinin yetersiz olması veya çalışanların veya zamanlayıcıların yüksek CPU kullanımıyla çalışması gibi kapasite sorunlarıyla ilgili bir senaryoda olup olmadığınızı anlamanız önemlidir. Ortam kaynaklarınızın performansını anlamak, kapasiteyle ilgili sorunları gidermenin anahtarıdır. bölümünde açıklanan yönergeleri izlemenizi öneririz. Amazon MWAA ortamı için konteyner, veritabanı ve kuyruk kullanım ölçümleriyle tanışın Amazon MWAA ortamlarının durumunu daha iyi anlamak ve bulut sunucularınızı doğru boyutlandırmaya yönelik öngörüler elde etmek için.

Aşağıdaki testte yüksek yük senaryosunu simüle ediyoruz; CloudWatch gözlemlenebilirlik ölçümleri Yaygın sorunları belirlemek ve sorunları hafifletmek için daha büyük ortamlara ölçeklendirmeyi planlamak için bilinçli bir karar vermek.

Testlerimiz sırasında dinamik olarak 500'den fazla görev oluşturan ve farklı bir DAG'da görevin tamamlanmasını beklemek için harici sensörler kullanan karmaşık bir DAG çalıştırdık. Maksimum 10 çalışan düğümüne kadar otomatik ölçeklendirme ayarlı bir Amazon MWAA geniş ortam sınıfında çalıştırdıktan sonra, aşağıdaki ölçümleri ve değerleri fark ettik: CloudWatch kontrol paneli.

Çalışan düğümler maksimum CPU kapasitesine ulaştı ve bu da sıradaki görevlerin sayısının artmaya devam etmesine neden oldu. Meta veri veritabanı CPU kullanımı %65'in üzerinde kapasiteye ulaştı ve kullanılabilir veritabanı boş belleği azaldı. Bu durumda, ölçeklendirmek için çalışan düğümleri daha da artırabiliriz ancak bu, meta veri veritabanı CPU'suna ek yük getirecektir. Bu, çalışan veritabanı bağlantılarının sayısında ve kullanılabilir boş veritabanı belleğinde düşüşe yol açabilir.

Yeni ortam sınıflarıyla, aşağıdaki ekran görüntüsünde gösterildiği gibi ortamı düzenleyerek ve daha yüksek bir ortam sınıfı seçerek mevcut kaynakları artırmak için dikey olarak ölçekleyebilirsiniz.

Ortam listesinden bu test için kullanılanı seçiyoruz. Seçmek Düzenle şuraya gitmek Gelişmiş ayarları yapılandırın sayfasına gidin ve gerektiği gibi uygun xlarge veya 2xlarge ortamını seçin.

Değişikliği kaydettikten sonra ortam yükseltme işleminin tamamlanması 20-30 dakika sürecektir. Yükseltme sırasında kesintiye uğrayan çalışan herhangi bir DAG, DAG'leriniz için yeniden denemeleri yapılandırma şeklinize bağlı olarak yeniden deneme için planlanır. Artık bunları manuel olarak başlatmayı veya bir sonraki programlanmış çalıştırmayı beklemeyi seçebilirsiniz.

Ortam sınıfını yükselttikten sonra aynı DAG'yi test ettik ve artık daha fazla kaynak mevcut olduğundan ölçümlerin iyileştirilmiş değerler gösterdiğini gözlemledik. Bu XL ortamıyla, daha az çalışan düğümde daha fazla görev çalıştırabilirsiniz ve bu nedenle sıradaki görevlerin sayısı azalmaya devam eder. Alternatif olarak, daha fazla bellek ve/veya CPU gerektiren görevleriniz varsa, çalışan başına düşen görevleri azaltabilir ancak yine de daha büyük bir ortam boyutuyla çalışan başına daha yüksek sayıda göreve ulaşabilirsiniz. Örneğin, çalışan düğüm CPU'sunun maksimuma çıktığı geniş bir ortamınız varsa celery.worker_autoscale (Çalışan başına görev sayısını tanımlayan Airflow yapılandırması) 20,20 olarak ayarlandığında, XL ortamına yükseltebilir ve celery.worker_autoscale XL ortamında çalışan başına varsayılan 20,20 görev yerine XL'de 40'ye düşürülmesi ve CPU yükünün önemli ölçüde azalması gerekir.

Amazon MWAA'da yeni bir XL ortamı kurun

Yapabilirsin Amazon MWAA'yı kullanmaya başlayın hesabınızda ve tercih ettiğiniz AWS Bölgesinde AWS Yönetim Konsolu, API veya AWS Komut Satırı Arayüzü (AWS CLI). Kod olarak altyapıyı (IaC) benimsiyorsanız, kurulumu aşağıdakileri kullanarak otomatikleştirebilirsiniz: AWS CloudFormation, AWS Bulut Geliştirme Kiti (AWS CDK) veya Terraform betikleri.

Amazon MWAA XL ve 2XL ortam sınıfları, Amazon MWAA'nın şu anda mevcut olduğu tüm Bölgelerde bugün mevcuttur.

Sonuç

Bugün Amazon MWAA'da iki yeni ortam sınıfının kullanıma sunulduğunu duyuruyoruz. XL ve 2XL ortam sınıflarıyla, daha büyük hacimli karmaşık veya yoğun kaynak kullanan iş akışlarını yönetebilirsiniz. Çok sayıda bağımlılığa sahip DAG'ler çalıştırıyorsanız, birden çok ortamda binlerce DAG çalıştırıyorsanız veya bilgi işlem için çalışanları yoğun şekilde kullanmanızı gerektiren bir senaryoda, artık ortam kaynaklarınızı birkaç saniyede artırarak ilgili kapasite sorunlarının üstesinden gelebilirsiniz. basit adımlar.

Bu yazıda, fiyatlandırma ve çözdükleri bazı ortak kaynak kısıtlaması sorunları da dahil olmak üzere iki yeni ortam sınıfının yeteneklerini tartıştık. XL veya 2XL'e ölçeklendirmeyi planlamak için mevcut ortamlarınızı nasıl gözlemleyeceğinize dair rehberlik ve bir örnek sağladık ve artan kaynakları kullanmak için mevcut ortamları nasıl yükseltebileceğinizi açıkladık.

Amazon MWAA ile ilgili ek ayrıntılar ve kod örnekleri için şu adresi ziyaret edin: Amazon MWAA Kullanım Kılavuzu ve Amazon MWAA örnekleri GitHub deposu.

Apache, Apache Airflow ve Airflow tescilli ticari markalar veya tescilli ticari markalardır. Apache Yazılım Vakfı Amerika Birleşik Devletleri ve/veya diğer ülkelerde.

Yazarlar Hakkında

hernan garcia Hollanda merkezli AWS'de Kıdemli Çözüm Mimarıdır. Finansal hizmetler sektöründe çalışıyor ve işletmelerin bulutu benimsemelerine destek oluyor. Sunucusuz teknolojiler, güvenlik ve uyumluluk konusunda tutkulu. Ailesi ve arkadaşlarıyla vakit geçirmekten, farklı mutfaklardan yeni yemekler denemekten hoşlanıyor.

Jeetendra Vaidya AWS'de Kıdemli Çözüm Mimarıdır ve uzmanlığını AI/ML, sunucusuz ve veri analizi alanlarına taşıyor. Müşterilere güvenli, ölçeklenebilir, güvenilir ve uygun maliyetli çözümler tasarlama konusunda yardımcı olma konusunda tutkuludur.

Sriharsh Adari AWS'de Kıdemli Çözüm Mimarıdır ve müşterilerin AWS'de yenilikçi çözümler geliştirmek için iş sonuçlarından geriye doğru çalışmalarına yardımcı olur. Yıllar boyunca, birden fazla müşteriye sektör genelinde veri platformu dönüşümleri konusunda yardımcı oldu. Temel uzmanlık alanı teknoloji stratejisi, veri analitiği ve veri bilimini içerir. Boş zamanlarında spor yapmaktan, dizi izlemekten ve Tabla oynamaktan hoşlanıyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/