Amazonin hallinnoidut työnkulut Apache Airflowlle (Amazon MWAA) on hallittu palvelu apache-ilmavirta joka virtaviivaistaa infrastruktuurin asennuksen ja käytön dataputkien järjestämiseksi pilvessä. Asiakkaat käyttävät Amazon MWAA:ta Apache Airflow -ympäristöjensä skaalautuvuuden, saatavuuden ja turvallisuuden hallintaan. Suunnitellessaan entistä intensiivisempiä, monimutkaisempia ja jatkuvasti kasvavia tietojenkäsittelyputkia, asiakkaat ovat pyytäneet meiltä lisää taustalla olevia resursseja, jotta heidän tehtäviensä ja työnkulkujensa samanaikaisuutta ja kapasiteettia voidaan parantaa.

Tämän vuoksi ilmoitamme tänään suurempien ympäristöluokkien saatavuudesta Amazon MWAA:ssa. Tässä viestissä perehdymme näiden uusien XL- ja 2XL-ympäristöjen ominaisuuksiin, skenaarioihin, joihin ne sopivat hyvin, ja miten voit määrittää tai päivittää nykyisen Amazon MWAA -ympäristösi hyödyntääksesi lisääntyneet resurssit.

Nykyiset haasteet

Kun luot Amazon MWAA -ympäristön, joukko hallittuja Amazonin elastisten säiliöiden palvelu (Amazon ECS) kanssa AWS-veljeskunta Säilöt on varustettu määritetyillä virtuaalisilla prosessoreilla ja RAM-muistilla.

Kun työskentelet suurempien, monimutkaisten, resurssiintensiivisten työkuormien kanssa tai suoritat tuhansia Ohjatut asykliset kaaviot (DAG) päivässä, saatat alkaa kuluttaa suorittimen saatavuutta ajoittajilta ja työntekijöiltä tai saavuttaa työntekijöiden muistirajat. Apache Airflown suorittaminen mittakaavassa lisää suhteellisesti enemmän Airflow-metatietotietokannan kuormitusta, mikä joskus johtaa prosessori- ja muistiongelmiin taustalla. Amazon Relational Database -palvelu (Amazon RDS) -klusteri. Resurssien puutteellinen metatietokanta voi johtaa työntekijöiden yhteyksien katkeamiseen ja tehtävien ennenaikaiseen epäonnistumiseen.

Harkitse seuraavia ohjeita parantaaksesi tehtäviesi suorituskykyä ja kestävyyttä Apache Airflow parhaat käytännöt tekijän DAG:ille. Vaihtoehtoisesti voit luoda useita Amazon MWAA -ympäristöjä työkuormien jakamiseksi. Tämä vaatii kuitenkin lisää suunnittelu- ja hallintoponnisteluja.

Uudet ympäristöluokat

Tämän päivän julkaisun myötä voit nyt luoda XL- ja 2XL-ympäristöjä Amazon MWAA:ssa olemassa olevien ympäristöluokkien lisäksi. Heillä on kaksi ja neljä kertaa enemmän laskentaa ja vastaavasti kolme ja kuusi kertaa muistia nykyiseen suureen Amazon MWAA -ympäristöilmentymäluokkaan verrattuna. Nämä tapaukset lisäävät laskentaa ja RAM-muistia lineaarisesti parantaakseen suoraan kaikkien Apache Airflow -komponenttien kapasiteettia ja suorituskykyä. Seuraavassa taulukossa on yhteenveto ympäristövalmiuksia.

Näiden suurempien ympäristöjen käyttöönoton myötä Amazon Aurora -metatietotietokanta käyttää nyt suurempia, muistiin optimoituja esiintymiä AWS Graviton 2. Graviton2-prosessoriperheen avulla saat laskenta-, tallennus- ja verkkoparannuksia sekä AWS-prosessoriperheen tarjoaman hiilijalanjälkesi pienentymisen.

Hinnasto

Amazon MWAA -hinnoittelumitat pysyvät ennallaan, ja maksat vain siitä, mitä käytät:

• Ympäristöluokka
• Työntekijän lisäesiintymiä
• Muut ajoitusesiintymät
• Metatietokannan tallennustila käytetty

Saat nyt kaksi lisävaihtoehtoa kolmessa ensimmäisessä ulottuvuudessa: XL ja 2XL ympäristöluokille, lisätyöntekijöille ja ajoittajille. Metatietokannan varastointihinnat pysyvät ennallaan. Viitata Amazonin hallinnoimat työnkulut Apache Airflow -hinnoittelulle hinnat ja lisätiedot.

Tarkkaile Amazon MWAA:n suorituskykyä suunnitellaksesi skaalausta suurempiin ympäristöihin

Ennen kuin aloitat uusien ympäristöluokkien käytön, on tärkeää ymmärtää, jos olet skenaariossa, joka liittyy kapasiteettiongelmiin, kuten metatietokanta loppuu muistiin tai korkealla suorittimen käytöllä työskenteleviin työntekijöihin tai ajoittajiin. Ympäristöresurssien suorituskyvyn ymmärtäminen on avainasemassa kapasiteettiin liittyvien ongelmien vianmäärityksessä. Suosittelemme noudattamaan kohdassa kuvattuja ohjeita Esittelyssä säilö-, tietokanta- ja jonojen käyttömittarit Amazon MWAA -ympäristössä ymmärtääksesi paremmin Amazon MWAA -ympäristöjen tilaa ja saada oivalluksia tapausten oikean kokoiseen kokoon.

Seuraavassa testissä simuloimme korkean kuormituksen skenaariota, käytä CloudWatchin havainnointimittarit tunnistaa yleisiä ongelmia ja tehdä tietoon perustuva päätös suunnitella skaalaamista suurempiin ympäristöihin ongelmien lieventämiseksi.

Testimme aikana suoritimme monimutkaisen DAG:n, joka luo dynaamisesti yli 500 tehtävää ja käyttää ulkoisia antureita odottamaan tehtävän valmistumista toisessa DAG:ssa. Suoritettuamme Amazon MWAA:n suuressa ympäristöluokassa, jossa automaattinen skaalaus oli asetettu enintään 10 työntekijäsolmuun, huomasimme seuraavat tiedot ja arvot CloudWatch-hallintapaneeli.

Työntekijäsolmut ovat saavuttaneet maksimisuorittimen kapasiteetin, minkä vuoksi jonossa olevien tehtävien määrä kasvaa jatkuvasti. Metatietokannan prosessorin käyttöaste on saavuttanut huippunsa yli 65 %:ssa, ja käytettävissä olevaa tietokannan vapaata muistia on vähennetty. Tässä tilanteessa voisimme lisätä työntekijöiden solmuja skaalautumaan, mutta se kuormittaisi metatietotietokannan CPU:ta. Tämä saattaa johtaa työntekijöiden tietokantayhteyksien ja käytettävissä olevan vapaan tietokantamuistin määrän vähenemiseen.

Uusien ympäristöluokkien avulla voit skaalata pystysuunnassa käytettävissä olevien resurssien lisäämiseksi muokkaamalla ympäristöä ja valitsemalla korkeamman ympäristöluokan, kuten seuraavassa kuvakaappauksessa näkyy.

Valitsemme ympäristöjen luettelosta tähän testiin käytetyn ympäristön. Valita muokata navigoidaksesi kohtaan Määritä lisäasetukset sivulle ja valitse sopiva xlarge- tai 2xlarge-ympäristö tarpeen mukaan.

Kun olet tallentanut muutoksen, ympäristöpäivityksen valmistuminen kestää 20–30 minuuttia. Kaikki käynnissä olevat DAG:t, jotka keskeytettiin päivityksen aikana, ajoitetaan uudelleenyritykselle sen mukaan, kuinka määritit DAG:ien uudelleenyritykset. Voit nyt kutsua ne manuaalisesti tai odottaa seuraavaa ajoitettua ajoa.

Kun päivitimme ympäristöluokan, testasimme samaa DAG:ta ja havaitsimme, että mittarit osoittivat parempia arvoja, koska enemmän resursseja on nyt saatavilla. Tämän XL-ympäristön avulla voit suorittaa enemmän tehtäviä harvemmissa työntekijäsolmuissa, ja siksi jonossa olevien tehtävien määrä laski jatkuvasti. Vaihtoehtoisesti, jos sinulla on tehtäviä, jotka vaativat enemmän muistia ja/tai suoritinta, voit vähentää tehtäviä työntekijää kohti, mutta silti saavuttaa suuren määrän tehtäviä työntekijää kohden suuremmalla ympäristön koosta. Jos sinulla on esimerkiksi suuri ympäristö, jossa työntekijäsolmun CPU on maksimoitu celery.worker_autoscale (Airflow-kokoonpano, joka määrittää tehtävien määrän työntekijää kohti) Aseta arvoon 20,20, voit kasvattaa XL-ympäristöön ja asettaa celery.worker_autoscale 20,20 XL-ympäristössä sen sijaan, että XL-ympäristössä olisi oletusarvoisesti 40 tehtävää työntekijää kohti, ja suorittimen kuormituksen pitäisi vähentyä merkittävästi.

Määritä uusi XL-ympäristö Amazon MWAA:ssa

Sinä pystyt aloita Amazon MWAA tililläsi ja haluamallasi AWS-alueella käyttämällä AWS-hallintakonsoli, API tai AWS-komentoriviliitäntä (AWS CLI). Jos käytät infrastruktuuria koodina (IaC), voit automatisoida asennuksen käyttämällä AWS-pilven muodostuminen, The AWS Cloud Development Kit (AWS CDK) tai Terraform-komentosarjat.

Amazon MWAA XL- ja 2XL -ympäristöluokat ovat tänään saatavilla kaikilla alueilla, joilla Amazon MWAA on tällä hetkellä saatavilla.

Yhteenveto

Tänään ilmoitamme kahden uuden ympäristöluokan saatavuudesta Amazon MWAA:ssa. XL- ja 2XL-ympäristöluokilla voit organisoida suurempia määriä monimutkaisia ​​tai resurssiintensiivisiä työnkulkuja. Jos käytät DAG:ita, joissa on suuri määrä riippuvuuksia, käytät tuhansia DAG:ita useissa ympäristöissä tai jos sinulla on tilanne, jossa sinun on käytettävä paljon työntekijöitä laskemiseen, voit nyt voittaa liittyvät kapasiteettiongelmat lisäämällä ympäristöresurssejasi muutamassa ajassa. suoria askeleita.

Tässä viestissä keskustelimme kahden uuden ympäristöluokan ominaisuuksista, mukaan lukien hinnoittelusta ja joistakin yleisistä resurssirajoitusongelmista, joita ne ratkaisevat. Annoimme ohjeita ja esimerkin olemassa olevien ympäristöjesi tarkkailemisesta XL- tai 2XL-skaalauksen suunnittelussa, ja kuvailimme, kuinka voit päivittää olemassa olevia ympäristöjä käyttämään lisääntyneitä resursseja.

Lisätietoja ja koodiesimerkkejä Amazon MWAA:sta on osoitteessa Amazon MWAA käyttöopas ja Amazon MWAA esimerkkejä GitHub reposta.

Apache, Apache Airflow ja Airflow ovat joko yrityksen rekisteröityjä tavaramerkkejä tai tavaramerkkejä Apache-ohjelmistosäätiö Yhdysvalloissa ja / tai muissa maissa.

Tietoja Tekijät

Hernan Garcia on AWS:n vanhempi ratkaisuarkkitehti Alankomaissa. Hän työskentelee rahoituspalvelualalla ja tukee yrityksiä niiden pilvipalveluiden käyttöönotossa. Hän on intohimoinen palvelimettomista teknologioista, turvallisuudesta ja vaatimustenmukaisuudesta. Hän viettää mielellään aikaa perheen ja ystävien kanssa ja kokeilee uusia ruokia eri keittiöistä.

Jeetendra Vaidya on AWS:n vanhempi ratkaisuarkkitehti, joka tuo asiantuntemuksensa AI/ML:n, palvelimettomien ja data-analytiikan aloille. Hän on intohimoinen auttaa asiakkaita luomaan turvallisia, skaalautuvia, luotettavia ja kustannustehokkaita ratkaisuja.

Sriharsh Adari on Senior Solutions Architect AWS:ssä, jossa hän auttaa asiakkaita työskentelemään taaksepäin liiketoiminnan tuloksista ja kehittämään innovatiivisia ratkaisuja AWS:lle. Vuosien varrella hän on auttanut useita asiakkaita tietoympäristön muutoksissa eri toimialoilla. Hänen ydinosaamisensa ovat teknologiastrategia, data-analytiikka ja datatiede. Vapaa-ajallaan hän harrastaa urheilua, tv-ohjelmien katselua ja Tablaa.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/