Awọn iṣan-iṣẹ iṣakoso Amazon fun Apache Airflow (Amazon MWAA) jẹ iṣẹ iṣakoso fun Afun Afẹfẹ ti o ṣe atunṣe iṣeto ati iṣiṣẹ ti awọn amayederun lati ṣe agbekalẹ awọn pipeline data ninu awọsanma. Awọn alabara lo Amazon MWAA lati ṣakoso iwọn, wiwa, ati aabo ti awọn agbegbe Apache Airflow wọn. Bi wọn ṣe ṣe apẹrẹ aladanla diẹ sii, eka, ati awọn opo gigun ti n ṣatunṣe data nigbagbogbo, awọn alabara ti beere lọwọ wa fun awọn ohun elo ti o wa ni ipilẹ lati pese ibaramu nla ati agbara fun awọn iṣẹ ṣiṣe wọn ati ṣiṣan iṣẹ.

Lati koju eyi, loni, a n kede wiwa ti awọn kilasi agbegbe ti o tobi julọ ni Amazon MWAA. Ninu ifiweranṣẹ yii, a tẹ sinu awọn agbara ti awọn agbegbe XL tuntun ati 2XL, awọn oju iṣẹlẹ ti wọn baamu daradara, ati bii o ṣe le ṣeto tabi ṣe igbesoke agbegbe Amazon MWAA ti o wa tẹlẹ lati lo anfani awọn orisun ti o pọ si.

Awọn italaya lọwọlọwọ

Nigbati o ba ṣẹda agbegbe Amazon MWAA, ṣeto ti iṣakoso Amazon Rirọ Eiyan Service (Amazon ECS) pẹlu AWS Fargate awọn apoti ti wa ni ipese pẹlu telẹ foju CPUs ati Ramu.

Bi o ṣe n ṣiṣẹ pẹlu titobi, eka, awọn ẹru iṣẹ aladanla awọn orisun, tabi ṣiṣe awọn ẹgbẹẹgbẹrun Awọn aworan Acyclic Dari (DAGs) fun ọjọ kan, o le bẹrẹ wiwa Sipiyu ti o rẹwẹsi lori awọn oluṣeto ati awọn oṣiṣẹ, tabi de awọn opin iranti ni awọn oṣiṣẹ. Nṣiṣẹ Apache Airflow ni iwọn n gbe ẹru ti o tobi ju ni iwọn lori data data metadata Airflow, nigbakan yori si Sipiyu ati awọn ọran iranti lori ipilẹ Iṣẹ Ibaraẹnisọrọ ibatan ti Amazon (Amazon RDS) iṣupọ. Ipamọ data metadata ti ebi npa awọn oluşewadi le ja si awọn asopọ silẹ lati ọdọ awọn oṣiṣẹ rẹ, ti o kuna awọn iṣẹ ṣiṣe laipẹ.

Lati mu iṣẹ ṣiṣe dara si ati isọdọtun ti awọn iṣẹ ṣiṣe rẹ, ronu atẹle Apache Airflow awọn iṣe ti o dara julọ to onkowe DAGs. Gẹgẹbi yiyan, o le ṣẹda awọn agbegbe Amazon MWAA pupọ lati kaakiri awọn ẹru iṣẹ. Sibẹsibẹ, eyi nilo imọ-ẹrọ afikun ati igbiyanju iṣakoso.

New ayika kilasi

Pẹlu itusilẹ oni, o le ṣẹda awọn agbegbe XL ati 2XL ni Amazon MWAA ni afikun si awọn kilasi ayika ti o wa. Wọn ni ilọpo meji ati mẹrin ni iṣiro, ati mẹta ati mẹfa ni iranti, ni atele, ti kilasi apẹẹrẹ agbegbe Amazon MWAA nla lọwọlọwọ. Awọn iṣẹlẹ wọnyi ṣafikun iṣiro ati Ramu laini lati mu agbara taara ati iṣẹ ṣiṣe ti gbogbo awọn paati Apache Airflow. Awọn wọnyi tabili akopọ awọn awọn agbara ayika.

Pẹlu iṣafihan awọn agbegbe nla wọnyi, ibi-ipamọ data metadata Amazon Aurora rẹ yoo lo nla, awọn iṣẹlẹ iṣapeye iranti ti o ni agbara nipasẹ Aws Graviton2. Pẹlu idile Graviton2 ti awọn ero isise, o gba iṣiro, ibi ipamọ, ati awọn ilọsiwaju netiwọki, ati idinku ti ifẹsẹtẹ erogba rẹ ti a funni nipasẹ idile AWS ti awọn ilana.

ifowoleri

Awọn iwọn idiyele Amazon MWAA ko yipada, ati pe o sanwo nikan fun ohun ti o lo:

• kilasi ayika
• Awọn apẹẹrẹ oṣiṣẹ afikun
• Awọn apẹẹrẹ oluṣeto afikun
• Ibi ipamọ data metadata jẹ

O ni bayi ni awọn aṣayan afikun meji ni awọn iwọn mẹta akọkọ: XL ati 2XL fun kilasi agbegbe, awọn oṣiṣẹ afikun, ati awọn iṣẹlẹ iṣeto. Idiyele ibi ipamọ data metadata jẹ kanna. Tọkasi si Awọn iṣan-iṣẹ Ṣiṣakoṣo Amazon fun Ifowoleri ṣiṣan Air Apache fun awọn oṣuwọn ati awọn alaye diẹ sii.

Ṣe akiyesi iṣẹ Amazon MWAA lati gbero iwọnwọn si awọn agbegbe nla

Ṣaaju ki o to bẹrẹ lilo awọn kilasi agbegbe titun, o ṣe pataki lati ni oye ti o ba wa ni oju iṣẹlẹ kan ti o nii ṣe pẹlu awọn ọran agbara, gẹgẹbi data data metadata kuro ni iranti, tabi awọn oṣiṣẹ tabi awọn oluṣeto ti nṣiṣẹ ni lilo Sipiyu giga. Loye iṣẹ ṣiṣe ti awọn orisun ayika rẹ jẹ bọtini si awọn iṣoro laasigbotitusita ti o ni ibatan si agbara. A ṣe iṣeduro tẹle awọn itọnisọna ti a ṣalaye ninu Ṣafihan apoti, ibi ipamọ data, ati awọn metiriki lilo isinyi fun agbegbe Amazon MWAA lati ni oye daradara ni ipo ti awọn agbegbe Amazon MWAA, ati ki o gba awọn oye lati ṣe iwọn awọn iṣẹlẹ rẹ ni ẹtọ.

Ni awọn wọnyi igbeyewo, a ṣedasilẹ a ga fifuye ohn, lo awọn Awọn metiriki akiyesi CloudWatch lati ṣe idanimọ awọn iṣoro ti o wọpọ, ati ṣe ipinnu alaye lati gbero iwọnwọn si awọn agbegbe nla lati dinku awọn ọran naa.

Lakoko awọn idanwo wa, a ran DAG eka kan ti o ṣẹda ni agbara to ju awọn iṣẹ-ṣiṣe 500 lọ ati lo awọn sensọ ita lati duro de ipari iṣẹ-ṣiṣe ni DAG oriṣiriṣi. Lẹhin ti nṣiṣẹ lori kilasi agbegbe nla Amazon MWAA pẹlu iwọn adaṣe ti a ṣeto si iwọn awọn apa oṣiṣẹ 10, a ṣe akiyesi awọn metiriki atẹle ati awọn iye ninu Dasibodu CloudWatch.

Awọn apa oṣiṣẹ ti de agbara Sipiyu ti o pọju, nfa nọmba awọn iṣẹ ṣiṣe ti isinyi lati ma pọ si. Lilo Sipiyu data metadata ti ga ju agbara 65% lọ, ati pe iranti ọfẹ data ti o wa ti dinku. Ni ipo yii, a le ṣe alekun awọn apa oṣiṣẹ si iwọn, ṣugbọn iyẹn yoo fi ẹru afikun sori Sipiyu data data metadata. Eyi le ja si idinku ninu nọmba awọn asopọ data data osise ati iranti data ọfẹ ti o wa.

Pẹlu awọn kilasi agbegbe titun, o le ṣe iwọn ni inaro lati mu awọn orisun ti o wa pọ si nipa ṣiṣatunṣe agbegbe ati yiyan kilasi agbegbe ti o ga julọ, bi o ṣe han ninu sikirinifoto atẹle.

Lati atokọ ti awọn agbegbe, a yan eyi ti o lo fun idanwo yii. Yan Ṣatunkọ lati lilö kiri si awọn Tunto to ti ni ilọsiwaju eto oju-iwe, ki o si yan agbegbe xlarge tabi 2xlarge ti o yẹ bi o ṣe nilo.

Lẹhin ti o fipamọ iyipada, igbesoke ayika yoo gba iṣẹju 20-30 lati pari. Eyikeyi DAG nṣiṣẹ ti o ni idilọwọ lakoko iṣagbega ti ṣeto fun atunyẹwo, da lori ọna ti o tunto awọn atunwo fun awọn DAG rẹ. O le yan bayi lati pe wọn pẹlu ọwọ tabi duro fun ṣiṣe eto atẹle.

Lẹhin ti a ṣe igbesoke kilasi ayika, a ṣe idanwo DAG kanna ati ṣe akiyesi awọn metiriki n ṣafihan awọn iye ilọsiwaju nitori awọn orisun diẹ sii wa bayi. Pẹlu agbegbe XL yii, o le ṣiṣe awọn iṣẹ-ṣiṣe diẹ sii lori awọn apa oṣiṣẹ diẹ, ati nitorinaa nọmba awọn iṣẹ ṣiṣe ti isinku n dinku. Ni omiiran, ti o ba ni awọn iṣẹ ṣiṣe ti o nilo iranti diẹ sii ati / tabi Sipiyu, o le dinku awọn iṣẹ-ṣiṣe fun oṣiṣẹ, ṣugbọn tun ṣaṣeyọri nọmba giga ti awọn iṣẹ ṣiṣe fun oṣiṣẹ pẹlu iwọn agbegbe ti o tobi ju. Fun apẹẹrẹ, ti o ba ni agbegbe nla nibiti Sipiyu ipade oṣiṣẹ ti pọ si pẹlu celery.worker_autoscale (iṣeto ni Airflow ti o ṣalaye nọmba awọn iṣẹ-ṣiṣe fun oṣiṣẹ) Ṣeto ni 20,20, o le pọ si agbegbe XL ati ṣeto celery.worker_autoscale si 20,20 lori XL, dipo awọn iṣẹ-ṣiṣe 40 aiyipada fun oṣiṣẹ lori agbegbe XL ati fifuye Sipiyu yẹ ki o dinku ni pataki.

Ṣeto agbegbe XL tuntun ni Amazon MWAA

O le bẹrẹ pẹlu Amazon MWAA ninu akọọlẹ rẹ ati agbegbe AWS ti o fẹ nipa lilo awọn Aṣakoso Iṣakoso AWS, API, tabi Ọlọpọọmídíà Ifilelẹ Aws AWS (AWS CLI). Ti o ba n gba awọn amayederun bi koodu (IaC), o le ṣe adaṣe adaṣe ni lilo AWS awọsanma Ibiyi, awọn AWS awọsanma Development Kit (AWS CDK), tabi awọn iwe afọwọkọ Terraform.

Amazon MWAA XL ati awọn kilasi ayika 2XL wa loni ni gbogbo Awọn agbegbe nibiti Amazon MWAA wa lọwọlọwọ.

ipari

Loni, a n kede wiwa ti awọn kilasi agbegbe tuntun meji ni Amazon MWAA. Pẹlu awọn kilasi ayika XL ati 2XL, o le ṣeto awọn iwọn didun ti o tobi ju ti eka tabi ṣiṣan iṣẹ agbara-orisun. Ti o ba n ṣiṣẹ DAG pẹlu nọmba giga ti awọn igbẹkẹle, nṣiṣẹ ẹgbẹẹgbẹrun DAG kọja awọn agbegbe pupọ, tabi ni oju iṣẹlẹ ti o nilo ki o lo awọn oṣiṣẹ lọpọlọpọ fun iṣiro, o le bori awọn ọran agbara ti o jọmọ nipa jijẹ awọn orisun ayika rẹ ni diẹ awọn igbesẹ ti o tọ.

Ninu ifiweranṣẹ yii, a jiroro lori awọn agbara ti awọn kilasi agbegbe tuntun meji, pẹlu idiyele ati diẹ ninu awọn iṣoro idiwọ orisun ti o wọpọ ti wọn yanju. A pese itọnisọna ati apẹẹrẹ ti bi o ṣe le ṣe akiyesi awọn agbegbe ti o wa tẹlẹ lati gbero iwọnwọn si XL tabi 2XL, ati pe a ṣe apejuwe bi o ṣe le ṣe igbesoke awọn agbegbe to wa tẹlẹ lati lo awọn ohun elo ti o pọ sii.

Fun awọn alaye afikun ati awọn apẹẹrẹ koodu lori Amazon MWAA, ṣabẹwo si Amazon MWAA Itọsọna olumulo ati awọn Awọn apẹẹrẹ Amazon MWAA GitHub repo.

Apache, Apache Airflow, ati Airflow jẹ boya aami-išowo ti a forukọsilẹ tabi aami-iṣowo ti awọn Apapo Software Apache ni Amẹrika ati/tabi awọn orilẹ -ede miiran.

Nipa awọn onkọwe

Hernan Garcia jẹ Onitumọ Awọn Solusan Agba ni AWS ti o da ni Fiorino. O ṣiṣẹ ni ile-iṣẹ awọn iṣẹ inawo, atilẹyin awọn ile-iṣẹ ni gbigba awọsanma wọn. O ni itara nipa awọn imọ-ẹrọ ti ko ni olupin, aabo, ati ibamu. O gbadun lilo akoko pẹlu ẹbi ati awọn ọrẹ, ati gbiyanju awọn ounjẹ tuntun lati awọn ounjẹ oriṣiriṣi.

Jeetendra Vaidya jẹ Olukọni Awọn Solusan Olukọni ni AWS, ti o mu ọgbọn rẹ wá si awọn agbegbe ti AI / ML, olupin, ati awọn ibugbe atupale data. O ni itara lati ṣe iranlọwọ fun awọn alabara ni ṣiṣeto ni aabo, iwọn, igbẹkẹle, ati awọn solusan idiyele-doko.

Sriharsh Adari jẹ Olukọni Awọn Solusan Olukọni ni AWS, nibiti o ṣe iranlọwọ fun awọn alabara ṣiṣẹ sẹhin lati awọn abajade iṣowo lati ṣe agbekalẹ awọn solusan tuntun lori AWS. Ni awọn ọdun, o ti ṣe iranlọwọ fun ọpọlọpọ awọn alabara lori awọn iyipada Syeed data kọja awọn inaro ile-iṣẹ. Agbegbe ipilẹ ti oye rẹ pẹlu ilana imọ-ẹrọ, awọn atupale data, ati imọ-jinlẹ data. Ni akoko apoju rẹ, o gbadun awọn ere idaraya, wiwo awọn ifihan TV, ati ṣiṣere Tabla.

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/