Przepływy pracy zarządzane przez Amazon dla Apache Airflow (Amazon MWAA) to usługa zarządzana dla Przepływ powietrza Apache co usprawnia konfigurację i działanie infrastruktury w celu orkiestracji potoków danych w chmurze. Klienci używają Amazon MWAA do zarządzania skalowalnością, dostępnością i bezpieczeństwem swoich środowisk Apache Airflow. Projektując bardziej intensywne, złożone i stale rosnące potoki przetwarzania danych, klienci poprosili nas o dodatkowe zasoby podstawowe, aby zapewnić większą współbieżność i wydajność ich zadań i przepływów pracy.

Aby rozwiązać ten problem, dzisiaj ogłaszamy dostępność większych klas środowiska w Amazon MWAA. W tym poście zagłębiamy się w możliwości tych nowych środowisk XL i 2XL, scenariusze, do których są dobrze dostosowane oraz w jaki sposób można skonfigurować lub zaktualizować istniejące środowisko Amazon MWAA, aby wykorzystać zwiększone zasoby.

Aktualne wyzwania

Kiedy tworzysz środowisko Amazon MWAA, zestaw zarządzanych Usługa Amazon Elastic Container Service (Amazon ECS) z AWS-Fargate kontenery są wyposażone w zdefiniowane wirtualne procesory i pamięć RAM.

Podczas pracy z większymi, złożonymi i wymagającymi dużych zasobów obciążeniami lub uruchamiając tysiące Kierowane grafy acykliczne (DAG) dziennie, możesz zacząć wyczerpywać dostępność procesora w programach planujących i procesach roboczych lub osiągać limity pamięci w procesach roboczych. Uruchamianie Apache Airflow na dużą skalę powoduje proporcjonalnie większe obciążenie bazy danych metadanych Airflow, co czasami prowadzi do problemów z procesorem i pamięcią w systemie bazowym Usługa relacyjnych baz danych Amazon Klaster (Amazon RDS). Baza danych metadanych pozbawiona zasobów może prowadzić do zerwania połączeń od pracowników, co przedwcześnie kończy się niepowodzeniem zadań.

Aby poprawić wydajność i odporność swoich zadań, rozważ wykonanie poniższych czynności Najlepsze praktyki Apache Airflow do tworzenia DAG-ów. Alternatywnie możesz utworzyć wiele środowisk Amazon MWAA w celu dystrybucji obciążeń. Wymaga to jednak dodatkowego wysiłku w zakresie inżynierii i zarządzania.

Nowe klasy środowiska

Dzięki dzisiejszej wersji można teraz tworzyć środowiska XL i 2XL w Amazon MWAA, oprócz istniejących klas środowisk. Mają odpowiednio dwa i cztery razy więcej mocy obliczeniowej oraz trzy i sześć razy więcej pamięci w porównaniu z obecną dużą klasą instancji środowiska Amazon MWAA. Instancje te liniowo dodają moc obliczeniową i pamięć RAM, aby bezpośrednio poprawić pojemność i wydajność wszystkich komponentów Apache Airflow. Poniższa tabela podsumowuje możliwości środowiska.

Wraz z wprowadzeniem tych większych środowisk baza danych metadanych Amazon Aurora będzie teraz korzystać z większych, zoptymalizowanych pod kątem pamięci instancji obsługiwanych przez Grawiton AWS2. Dzięki rodzinie procesorów Graviton2 zyskujesz ulepszenia w zakresie obliczeń, pamięci masowej i sieci, a także redukcję śladu węglowego, jaką zapewnia rodzina procesorów AWS.

Cennik

Wymiary cenowe Amazon MWAA pozostają niezmienione, a płacisz tylko za to, z czego korzystasz:

• Klasa środowiska
• Dodatkowe instancje robocze
• Dodatkowe instancje harmonogramu
• Zajęto miejsce w bazie danych metadanych

Dostępne są teraz dwie dodatkowe opcje w pierwszych trzech wymiarach: XL i 2XL dla klasy środowiska, dodatkowych pracowników i instancji planistów. Ceny przechowywania baz danych metadanych pozostają takie same. Odnosić się do Przepływy pracy zarządzane przez Amazon dla cen Apache Airflow aby poznać ceny i więcej szczegółów.

Obserwuj wydajność Amazon MWAA, aby zaplanować skalowanie do większych środowisk

Przed rozpoczęciem korzystania z nowych klas środowiska ważne jest, aby zrozumieć, czy znajdujesz się w scenariuszu związanym z problemami z wydajnością, takimi jak brak pamięci w bazie danych metadanych lub procesy robocze lub programy planujące działające przy dużym obciążeniu procesora. Zrozumienie wydajności zasobów środowiska jest kluczem do rozwiązywania problemów związanych z pojemnością. Zalecamy stosowanie się do wskazówek opisanych w Przedstawiamy wskaźniki wykorzystania kontenerów, baz danych i kolejek dla środowiska Amazon MWAA aby lepiej zrozumieć stan środowisk Amazon MWAA i uzyskać informacje umożliwiające dobranie odpowiedniego rozmiaru instancji.

W poniższym teście symulujemy scenariusz dużego obciążenia Metryki obserwowalności CloudWatch aby zidentyfikować typowe problemy i podjąć świadomą decyzję o zaplanowaniu skalowania do większych środowisk w celu złagodzenia problemów.

Podczas naszych testów uruchomiliśmy złożony DAG, który dynamicznie tworzy ponad 500 zadań i wykorzystuje zewnętrzne czujniki do oczekiwania na zakończenie zadania w innym DAG. Po uruchomieniu w dużej klasie środowiska Amazon MWAA z automatycznym skalowaniem ustawionym na maksymalnie 10 węzłów roboczych, zauważyliśmy następujące metryki i wartości w pliku Pulpit nawigacyjny CloudWatch.

Węzły robocze osiągnęły maksymalną pojemność procesora, co powoduje ciągły wzrost liczby zadań w kolejce. Wykorzystanie procesora bazy danych metadanych osiągnęło szczytowy poziom wynoszący ponad 65%, a dostępna wolna pamięć bazy danych została zmniejszona. W tej sytuacji moglibyśmy jeszcze bardziej zwiększyć liczbę węzłów roboczych w celu skalowania, ale spowodowałoby to dodatkowe obciążenie procesora bazy danych metadanych. Może to prowadzić do spadku liczby połączeń roboczych z bazą danych i dostępnej wolnej pamięci bazy danych.

Dzięki nowym klasom środowiska można skalować w pionie, aby zwiększyć dostępne zasoby, edytując środowisko i wybierając wyższą klasę środowiska, jak pokazano na poniższym zrzucie ekranu.

Z listy środowisk wybieramy to, które jest używane w tym teście. Wybierać Edytuj przejść do Skonfiguruj ustawienia zaawansowane i wybierz odpowiednie środowisko xlarge lub 2xlarge, zgodnie z wymaganiami.

Po zapisaniu zmiany aktualizacja środowiska zajmie 20–30 minut. Każda działająca grupa DAG, która została przerwana podczas aktualizacji, jest zaplanowana na ponowną próbę, w zależności od sposobu skonfigurowania ponownych prób dla grup DAG. Możesz teraz wywołać je ręcznie lub poczekać na następne zaplanowane uruchomienie.

Po uaktualnieniu klasy środowiska przetestowaliśmy ten sam DAG i zaobserwowaliśmy, że metryki pokazywały lepsze wartości, ponieważ dostępnych jest teraz więcej zasobów. W tym środowisku XL można uruchamiać więcej zadań na mniejszej liczbie węzłów roboczych, w związku z czym liczba zadań w kolejce stale maleje. Alternatywnie, jeśli masz zadania wymagające więcej pamięci i/lub procesora, możesz zmniejszyć liczbę zadań na pracownika, ale nadal osiągnąć dużą liczbę zadań na pracownika w większym środowisku. Na przykład, jeśli masz duże środowisko, w którym procesor węzła roboczego jest maksymalnie obciążony celery.worker_autoscale (konfiguracja Airflow, która definiuje liczbę zadań na pracownika) Ustaw na 20,20, możesz zwiększyć do środowiska XL i ustawić celery.worker_autoscale do 20,20 w środowisku XL zamiast domyślnych 40 zadań na pracownika w środowisku XL, a obciążenie procesora powinno znacznie się zmniejszyć.

Skonfiguruj nowe środowisko XL w Amazon MWAA

Możesz rozpocznij korzystanie z Amazon MWAA na swoim koncie i preferowanym regionie AWS za pomocą Konsola zarządzania AWS, API lub Interfejs wiersza poleceń AWS (interfejs wiersza poleceń AWS). Jeśli przyjmujesz infrastrukturę jako kod (IaC), możesz zautomatyzować konfigurację za pomocą Tworzenie chmury AWSThe Zestaw programistyczny AWS Cloud (AWS CDK) lub skrypty Terraform.

Klasy środowiskowe Amazon MWAA XL i 2XL są już dostępne we wszystkich regionach, w których usługa Amazon MWAA jest obecnie dostępna.

Wnioski

Dziś ogłaszamy dostępność dwóch nowych klas środowiska w Amazon MWAA. Dzięki klasom środowiska XL i 2XL można organizować większe ilości złożonych lub wymagających dużej ilości zasobów przepływów pracy. Jeśli używasz grup DAG z dużą liczbą zależności, uruchamiasz tysiące DAG w wielu środowiskach lub w scenariuszu, który wymaga intensywnego wykorzystania procesów roboczych do obliczeń, możesz teraz przezwyciężyć powiązane problemy z wydajnością, zwiększając zasoby środowiska w kilku proste kroki.

W tym poście omówiliśmy możliwości dwóch nowych klas środowisk, w tym ceny i niektóre typowe problemy z ograniczeniami zasobów, które rozwiązują. Podaliśmy wskazówki i przykład obserwowania istniejących środowisk w celu zaplanowania skalowania do rozmiaru XL lub 2XL oraz opisaliśmy, w jaki sposób można uaktualnić istniejące środowiska, aby wykorzystać zwiększone zasoby.

Aby uzyskać dodatkowe informacje i przykłady kodu dotyczące Amazon MWAA, odwiedź stronę Podręcznik użytkownika Amazon MWAA oraz Amazon MWAA przykłady repozytorium GitHub.

Apache, Apache Airflow i Airflow są zarejestrowanymi znakami towarowymi lub znakami towarowymi firmy Apache Software Foundation w Stanach Zjednoczonych i/lub innych krajach.

O autorach

Hernana Garcii jest starszym architektem rozwiązań w AWS z siedzibą w Holandii. Pracuje w branży usług finansowych, wspierając przedsiębiorstwa w adaptacji chmury. Pasjonuje się technologiami bezserwerowymi, bezpieczeństwem i zgodnością. Lubi spędzać czas z rodziną i przyjaciółmi oraz próbować nowych dań z różnych kuchni.

Jeetendra Vaidya jest starszym architektem rozwiązań w AWS, wnosząc swoją wiedzę do dziedzin AI/ML, rozwiązań bezserwerowych i analityki danych. Jego pasją jest pomaganie klientom w projektowaniu bezpiecznych, skalowalnych, niezawodnych i opłacalnych rozwiązań.

Sriharsz Adari jest starszym architektem rozwiązań w AWS, gdzie pomaga klientom pracować wstecz od wyników biznesowych w celu opracowania innowacyjnych rozwiązań w AWS. Przez lata pomagał wielu klientom w transformacji platform danych w różnych branżach. Jego główny obszar specjalizacji obejmuje strategię technologiczną, analizę danych i naukę o danych. W wolnym czasie lubi uprawiać sport, oglądać programy telewizyjne i grać na Tabli.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/