תהליכי עבודה מנוהלים של אמזון עבור זרימת האוויר של אפאצ'י (Amazon MWAA) הוא שירות מנוהל עבור זרימת אוויר של אפאצ'י שמייעל את ההגדרה והתפעול של התשתית לתכנון צינורות נתונים בענן. לקוחות משתמשים ב-Amazon MWAA כדי לנהל את המדרגיות, הזמינות והאבטחה של סביבות ה-Apache Airflow שלהם. ככל שהם מתכננים צינורות עיבוד נתונים אינטנסיביים, מורכבים וגדלים כל הזמן, לקוחות ביקשו מאתנו משאבים בסיסיים נוספים כדי לספק במקביל וקיבולת רבה יותר למשימות ולזרימות העבודה שלהם.

כדי לטפל בזה, היום, אנו מכריזים על זמינותן של מחלקות סביבה גדולות יותר באמזון MWAA. בפוסט זה, אנו צוללים לתוך היכולות של סביבות XL ו-2XL חדשות אלה, התרחישים שהם מתאימים להם, וכיצד ניתן להגדיר או לשדרג את סביבת ה-Amazon MWAA הקיימת שלך כדי לנצל את המשאבים המוגדלים.

אתגרים עכשוויים

כאשר אתה יוצר סביבת MWAA של אמזון, קבוצה של מנוהלים שירות מיכלים אלסטי של אמזון (Amazon ECS) עם AWS פרגייט קונטיינרים מסופקים עם מעבדים וירטואליים מוגדרים ו-RAM.

כשאתה עובד עם עומסי עבודה גדולים יותר, מורכבים ועתירי משאבים, או מפעיל אלפי בימוי גרפים אציקליים (DAGs) ליום, ייתכן שתתחיל למצות את זמינות ה-CPU על מתזמנים ועובדים, או להגיע למגבלות זיכרון אצל עובדים. הפעלת Apache Airflow בקנה מידה מטילה עומס גדול יותר באופן יחסי על מסד הנתונים של מטא נתונים של Airflow, ולפעמים מובילה לבעיות CPU וזיכרון בבסיס שירות מסדי נתונים יחסי של אמזון (Amazon RDS) אשכול. מסד נתונים מורעב במשאבים עלול להוביל לניתוק חיבורים מהעובדים שלך, כשל במשימות בטרם עת.

כדי לשפר את הביצועים והגמישות של המשימות שלך, שקול לעקוב שיטות עבודה מומלצות של Apache Airflow למחבר DAGs. כחלופה, אתה יכול ליצור מספר סביבות MWAA של אמזון כדי להפיץ עומסי עבודה. עם זאת, זה דורש מאמץ הנדסי וניהולי נוסף.

חוגי סביבה חדשים

עם המהדורה של היום, אתה יכול כעת ליצור סביבות XL ו-2XL באמזון MWAA בנוסף למחלקות הסביבה הקיימות. יש להם פי שניים וארבעה מהחישוב, ופי שלושה ושישה מהזיכרון, בהתאמה, ממחלקת המופעים הגדולה הנוכחית של סביבת MWAA של אמזון. מופעים אלה מוסיפים מחשוב ו-RAM באופן ליניארי כדי לשפר ישירות את הקיבולת והביצועים של כל רכיבי Apache Airflow. הטבלה הבאה מסכמת את יכולות סביבה.

עם הצגתן של סביבות גדולות יותר אלה, מסד הנתונים המטא-נתונים של אמזון אורורה שלך ישתמש כעת במופעים גדולים יותר, מותאמים לזיכרון, המופעלים על ידי AWS Graviton2. עם משפחת המעבדים Graviton2, אתה מקבל שיפורים במחשוב, אחסון ורשת, והפחתת טביעת הרגל הפחמנית שלך המוצעת על ידי משפחת המעבדים AWS.

מחיר כרטיס

מידות התמחור של Amazon MWAA נשארות ללא שינוי, ואתה משלם רק על מה שאתה משתמש:

• כיתת הסביבה
• מקרים נוספים של עובדים
• מופעי מתזמן נוספים
• נצרך אחסון מסד נתונים של מטא נתונים

כעת אתה מקבל שתי אפשרויות נוספות בשלושת המימדים הראשונים: XL ו-2XL עבור מחלקת סביבה, מופעי עובדים נוספים ומתזמנים. תמחור אחסון מסדי נתונים של מטא נתונים נשאר זהה. מתייחס אמזון מנוהל זרימות עבודה עבור תמחור זרימת אוויר של Apache לתעריפים ופרטים נוספים.

צפה בביצועי Amazon MWAA כדי לתכנן קנה מידה לסביבות גדולות יותר

לפני שתתחיל להשתמש במחלקות הסביבה החדשות, חשוב להבין אם אתה נמצא בתרחיש המתייחס לבעיות קיבולת, כגון מסד נתונים של מטא נתונים מחוץ לזיכרון, או עובדים או מתזמנים הפועלים בשימוש גבוה ב-CPU. הבנת הביצועים של משאבי הסביבה שלך היא המפתח לפתרון בעיות הקשורות לקיבולת. אנו ממליצים לעקוב אחר ההנחיות המתוארות ב הצגת מדדי ניצול מיכל, מסד נתונים ותורים עבור סביבת אמזון MWAA כדי להבין טוב יותר את מצב סביבות MWAA של אמזון, ולקבל תובנות לגודל נכון של המופעים שלך.

בבדיקה הבאה, אנו מדמים תרחיש עומס גבוה, השתמש ב- מדדי צפייה של CloudWatch לזהות בעיות נפוצות, ולקבל החלטה מושכלת לתכנן קנה מידה לסביבות גדולות יותר כדי להפחית את הבעיות.

במהלך הבדיקות שלנו, הרצנו DAG מורכב שיוצר באופן דינמי למעלה מ-500 משימות ומשתמש בחיישנים חיצוניים כדי לחכות להשלמת משימה ב-DAG אחר. לאחר הפעלת מחלקה של סביבה גדולה של אמזון MWAA עם קנה מידה אוטומטי שהוגדר עד למקסימום של 10 צמתי עובדים, שמנו לב למדדים ולערכים הבאים ב- לוח המחוונים של CloudWatch.

צמתי העבודה הגיעו לקיבולת ה-CPU המקסימלית, מה שגרם למספר המשימות בתור להמשיך לגדול. ניצול ה-CPU של מסד הנתונים של מטא נתונים הגיע לשיא בקיבולת של למעלה מ-65%, והזיכרון הפנוי של מסד הנתונים הצטמצם. במצב זה, נוכל להגדיל עוד יותר את צמתי העבודה לקנה מידה, אבל זה יכניס עומס נוסף על ה-CPU של מסד הנתונים של המטא נתונים. זה עלול להוביל לירידה במספר חיבורי מסד הנתונים של עובדים וזיכרון מסד נתונים פנוי זמין.

עם מחלקות סביבה חדשות, אתה יכול לשנות קנה מידה אנכי כדי להגדיל את המשאבים הזמינים על ידי עריכת הסביבה ובחירה בדרגה גבוהה יותר של סביבה, כפי שמוצג בצילום המסך הבא.

מרשימת הסביבות, אנו בוחרים את זו שנמצאת בשימוש לבדיקה זו. בחר ערוך כדי לנווט אל הגדר הגדרות מתקדמות עמוד, ובחר את סביבת xlarge או 2xlarge המתאימה לפי הצורך.

לאחר שמירת השינוי, השדרוג של הסביבה ייקח 20-30 דקות. כל DAG פועל שהופסק במהלך השדרוג מתוזמן לניסיון חוזר, בהתאם לאופן שבו הגדרת את הניסיונות החוזרים עבור ה-DAG שלך. כעת תוכל לבחור להפעיל אותם באופן ידני או להמתין להפעלה המתוזמנת הבאה.

לאחר ששדרגנו את מחלקת הסביבה, בדקנו את אותו DAG וראינו שהמדדים מראים ערכים משופרים מכיוון שיש יותר משאבים זמינים כעת. עם סביבת XL זו, אתה יכול להריץ יותר משימות על פחות צמתים של עובדים, ולכן מספר המשימות בתור המשיך לרדת. לחילופין, אם יש לך משימות הדורשות יותר זיכרון ו/או מעבד, תוכל לצמצם את המשימות לכל עובד, אך עדיין להשיג מספר גבוה של משימות לכל עובד עם גודל סביבה גדול יותר. לדוגמה, אם יש לך סביבה גדולה שבה ה-CPU של צומת העבודה מצטמצם celery.worker_autoscale (תצורת זרימת האוויר המגדירה את מספר המשימות לכל עובד) הגדר ל-20,20, אתה יכול להגדיל לסביבת XL ולהגדיר celery.worker_autoscale ל-20,20 ב-XL, במקום ברירת המחדל של 40 משימות לכל עובד בסביבת XL ועומס ה-CPU אמורים להפחית באופן משמעותי.

הגדר סביבת XL חדשה באמזון MWAA

אתה יכול התחל עם Amazon MWAA בחשבונך ובאזור AWS המועדף באמצעות ה קונסולת הניהול של AWS, API או ממשק שורת הפקודה של AWS (AWS CLI). אם אתה מאמצת תשתית כקוד (IaC), אתה יכול להפוך את ההגדרה לאוטומטית באמצעות AWS CloudFormation, ה ערכת פיתוח ענן AWS (AWS CDK), או סקריפטים של Terraform.

שיעורי סביבה של Amazon MWAA XL ו-2XL זמינים היום בכל האזורים שבהם Amazon MWAA זמין כעת.

סיכום

היום, אנו מכריזים על זמינותם של שני מחלקות סביבה חדשות באמזון MWAA. עם שיעורי סביבה XL ו-2XL, אתה יכול לתזמן כמויות גדולות יותר של זרימות עבודה מורכבות או עתירות משאבים. אם אתה מפעיל DAGs עם מספר גבוה של תלות, מפעיל אלפי DAGs על פני מספר סביבות, או בתרחיש הדורש ממך שימוש רב בעובדים לצורך מחשוב, כעת תוכל להתגבר על בעיות הקיבולת הקשורות על ידי הגדלת משאבי הסביבה שלך בכמה צעדים ישרים.

בפוסט זה, דנו ביכולות של שני מחלקות הסביבה החדשות, כולל תמחור וכמה בעיות נפוצות של אילוצי משאבים שהם פותרים. סיפקנו הנחיות ודוגמה כיצד לצפות בסביבות הקיימות שלך כדי לתכנן קנה מידה ל-XL או 2XL, ותיארנו כיצד ניתן לשדרג סביבות קיימות כדי להשתמש במשאבים המוגדלים.

לפרטים נוספים ודוגמאות קוד ב-Amazon MWAA, בקר באתר מדריך למשתמש של אמזון MWAA ו אמזון MWAA דוגמת ריפו של GitHub.

Apache, Apache Airflow ו-Airflow הם סימנים מסחריים רשומים או סימנים מסחריים של קרן אפאצ 'י תוכנה בארצות הברית ו / או במדינות אחרות.

על הכותבים

הרנן גרסיה הוא אדריכל פתרונות בכיר ב-AWS המבוסס בהולנד. הוא עובד בתעשיית השירותים הפיננסיים, תומך בארגונים באימוץ הענן שלהם. הוא נלהב מטכנולוגיות ללא שרתים, אבטחה ותאימות. הוא נהנה לבלות עם משפחה וחברים, ולנסות מנות חדשות ממטבחים שונים.

ג'יטנדרה וידיה הוא ארכיטקט פתרונות בכיר ב-AWS, ומביא את המומחיות שלו לתחומים של AI/ML, חסרי שרתים וניתוח נתונים. הוא נלהב לסייע ללקוחות בבניית פתרונות מאובטחים, ניתנים להרחבה, אמינים וחסכוניים.

סריהרש אדרי הוא אדריכל פתרונות בכיר ב-AWS, שם הוא עוזר ללקוחות לעבוד לאחור מהתוצאות העסקיות כדי לפתח פתרונות חדשניים ב-AWS. במהלך השנים, הוא עזר ללקוחות רבים בטרנספורמציות של פלטפורמת נתונים על פני ענפי תעשייה. תחום המומחיות שלו כולל אסטרטגיה טכנולוגית, ניתוח נתונים ומדעי נתונים. בזמנו הפנוי הוא נהנה לשחק ספורט, לצפות בתוכניות טלוויזיה ולשחק בטאבלה.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/