פוסט זה נכתב בשיתוף עם הרנן פיגרואה, מנהל מדעי הנתונים האב ב-Marubeni Power International.

Marubeni Power International Inc (MPII) מחזיקה ומשקיעה בפלטפורמות עסקיות כוח ביבשת אמריקה. ענף חשוב עבור MPII הוא ניהול נכסים עבור אנרגיה מתחדשת ונכסי אחסון אנרגיה, שהם קריטיים להפחתת עוצמת הפחמן של תשתית החשמל שלנו. עבודה עם נכסי חשמל מתחדשים מצריכה פתרונות דיגיטליים חזויים ומגיבים, מכיוון שייצור אנרגיה מתחדשת ותנאי שוק החשמל משתנים ללא הרף. MPII משתמש במנוע אופטימיזציית הצעות למידת מכונה (ML) כדי ליידע תהליכי קבלת החלטות במעלה הזרם בניהול נכסי חשמל ובמסחר. פתרון זה עוזר לאנליסטי שוק לתכנן ולבצע אסטרטגיות הצעות מחיר מונחות נתונים המותאמות לרווחיות נכסי כוח.

בפוסט זה תלמדו כיצד Marubeni מייעל החלטות שוק על ידי שימוש במערך הרחב של שירותי ניתוח AWS ו-ML, כדי לבנות פתרון אופטימיזציית Power Bid חסכונית וחסכונית.

סקירת פתרונות

שוקי החשמל מאפשרים מסחר בכוח ואנרגיה כדי לאזן בין אספקת החשמל וביקוש ברשת החשמל ולכסות צרכי אמינות שונים של רשת החשמל. משתתפי שוק, כגון מפעילי נכסי MPII, מציעים ללא הרף כמויות כוח ואנרגיה לשווקי החשמל הללו כדי להשיג רווחים מנכסי החשמל שלהם. משתתף בשוק יכול להגיש הצעות לשווקים שונים בו-זמנית כדי להגדיל את הרווחיות של נכס, אך הוא צריך לשקול מגבלות כוח נכסים ומהירויות תגובה, כמו גם אילוצים תפעוליים אחרים של נכסים ואת יכולת הפעולה ההדדית של אותם שווקים.

פתרון מנוע אופטימיזציית ההצעות של MPII משתמש במודלים של ML כדי ליצור הצעות מחיר אופטימליות להשתתפות בשווקים שונים. ההצעות הנפוצות ביותר הן הצעות אנרגיה ליום קדימה, שאותן יש להגיש יום אחד לפני יום המסחר בפועל, והצעות אנרגיה בזמן אמת, אותן יש להגיש 1 דקות לפני שעת המסחר. הפתרון מתזמר את ההצעות הדינמיות והתפעול של נכס כוח ודורש שימוש ביכולות אופטימיזציה וחיזוי הזמינות בדגמי ה-ML שלו.

פתרון Power Bid Optimization כולל מספר רכיבים הממלאים תפקידים ספציפיים. בואו נעבור על המרכיבים המעורבים והתפקוד העסקי שלהם.

איסוף וקליעת נתונים

שכבת איסוף והטמעת הנתונים מתחברת לכל מקורות הנתונים במעלה הזרם וטוענת את הנתונים לאגם הנתונים. הצעות מחיר בשוק החשמל דורשות לפחות ארבעה סוגי תשומות:

• תחזיות ביקוש לחשמל
• תחזיות מזג אוויר
• היסטוריית מחירי שוק
• תחזיות מחירי חשמל

הגישה למקורות הנתונים הללו מתבצעת אך ורק באמצעות ממשקי API. לכן, רכיבי ההטמעה צריכים להיות מסוגלים לנהל אימות, מקורות נתונים במצב משיכה, עיבוד מוקדם של נתונים ואחסון נתונים. מכיוון שהנתונים נלקחים מדי שעה, נדרש גם מנגנון לתזמור ותזמון עבודות קליטה.

הכנת נתונים

כמו ברוב מקרי השימוש ב-ML, הכנת הנתונים משחקת תפקיד קריטי. הנתונים מגיעים ממקורות שונים במספר פורמטים. לפני שהוא מוכן לצריכה לאימון מודל ML, עליו לעבור כמה מהשלבים הבאים:

• איחוד מערכי נתונים לפי שעה על סמך זמן הגעה. מערך נתונים שלם חייב לכלול את כל המקורות.
• הגדל את איכות הנתונים על ידי שימוש בטכניקות כגון סטנדרטיזציה, נורמליזציה או אינטרפולציה.

בסופו של תהליך זה, הנתונים שנאספו מבוימים וזמינים לצריכה נוספת.

הדרכה ופריסה של מודל

השלב הבא מורכב מהדרכה ופריסה של מודל המסוגל לחזות הצעות שוק אופטימליות לקנייה ומכירה של אנרגיה. כדי למזער את הסיכון של תת ביצועים, Marubeni השתמש בטכניקת דוגמנות אנסמבל. דוגמנות אנסמבל מורכבת משילוב של מספר מודלים של ML כדי לשפר את ביצועי החיזוי. Marubeni מאגד את התפוקות של מודלים חיזויים חיצוניים ופנימיים עם ממוצע משוקלל כדי לנצל את החוזק של כל הדגמים. המודלים הפנימיים של Marubeni מבוססים על ארכיטקטורות זיכרון לטווח קצר (LSTM), אשר מתועדים היטב וקלים ליישום והתאמה אישית ב-TensorFlow. אמזון SageMaker תומך בפריסות TensorFlow ובסביבות ML רבות אחרות. המודל החיצוני הוא קנייני, ולא ניתן לכלול את התיאור שלו בפוסט זה.

במקרה השימוש של Marubeni, המודלים של הצעות המחיר מבצעים אופטימיזציה מספרית כדי למקסם את ההכנסה באמצעות גרסה שונה של פונקציות האובייקטיביות המשמשות בפרסום הזדמנויות לאחסון אנרגיה ב-CAISO.

SageMaker מאפשר ל-Marubeni להריץ אלגוריתמי ML ואופטימיזציה מספרית בסביבה אחת. זה קריטי, מכיוון שבמהלך אימון המודל הפנימי, התפוקה של האופטימיזציה המספרי משמשת כחלק מפונקציית אובדן החיזוי. למידע נוסף על איך לטפל במקרים של שימוש באופטימיזציה מספרית, עיין ב פתרון בעיות אופטימיזציה מספריות כמו תזמון, ניתוב והקצאה באמצעות Amazon SageMaker Processing.

לאחר מכן אנו פורסים את המודלים הללו באמצעות נקודות קצה של מסקנות. מכיוון שהנתונים הטריים נקלטים מעת לעת, יש להכשיר את המודלים מחדש מכיוון שהם נעשים מיושנים עם הזמן. סעיף הארכיטקטורה בהמשך פוסט זה מספק פרטים נוספים על מחזור החיים של הדגמים.

הפקת נתוני הצעות כוח

על בסיס שעתי, הפתרון חוזה את הכמויות והמחירים האופטימליים שבהם יש להציע כוח בשוק - הנקרא גם הצעות מחיר. הכמויות נמדדות ב-MW והמחירים נמדדים ב-$/MW. הצעות מופקות עבור שילובים מרובים של תנאי שוק חזויים ונתפסים. הטבלה הבאה מציגה דוגמה לגמר עקומת הצעת המחיר פלט לשעת פעילות 17 בצומת מסחר להמחשה ליד משרדו של Marubeni בלוס אנג'לס.

דוגמה זו מייצגת את הנכונות שלנו להציע 1.65 MW של הספק אם מחיר ההספק הוא לפחות $80.79, 5.15 MW אם מחיר ההספק הוא לפחות $105.34, ו-8 MW אם מחיר ההספק הוא לפחות $230.15.

מפעילי מערכות עצמאיים (ISOs) מפקחים על שוקי החשמל בארה"ב ואחראים להענקה ודחיית הצעות כדי לשמור על אמינות רשת החשמל בצורה החסכונית ביותר. מפעיל מערכת עצמאית בקליפורניה (CAISO) מפעילה שוקי חשמל בקליפורניה ומפרסמת תוצאות שוק כל שעה לפני חלון ההצעות הבא. על ידי הצלבת תנאי השוק הנוכחיים עם המקבילה שלהם על העקומה, אנליסטים מסוגלים להסיק הכנסה אופטימלית. פתרון ה-Power Bid Optimization מעדכן הצעות עתידיות תוך שימוש במידע שוק נכנס חדש ותפוקות חזויות של מודלים חדשים

סקירת ארכיטקטורת AWS

ארכיטקטורת הפתרון המוצגת באיור הבא מיישמת את כל השכבות שהוצגו קודם לכן. הוא משתמש בשירותי AWS הבאים כחלק מהפתרון:

• שירות אחסון פשוט של אמזון (Amazon S3) כדי לאחסן את הנתונים הבאים:
  • נתוני תמחור, מזג אוויר ותחזיות עומס ממקורות שונים.
  • נתונים מאוחדים ומוגברים מוכנים לשימוש עבור אימון מודלים.
  • עקומות הצעות פלט מתרעננות מדי שעה.
• אמזון SageMaker לאמן, לבדוק ולפרוס מודלים להגשת הצעות אופטימיזציה באמצעות נקודות קצה של מסקנות.
• פונקציות שלב AWS לתזמר הן את הנתונים והן את צינורות ה-ML. אנו משתמשים בשתי מכונות מדינה:
  • מכונת מדינה אחת לתזמורת איסוף נתונים ולהבטיח שכל המקורות נקלטו.
  • מכונת מדינה אחת לתזמורת צינור ML וכן את זרימת העבודה האופטימלית של יצירת הצעות מחיר.
• AWS למבדה ליישם פונקציונליות הטמעה, עיבוד מקדים ואחרי עיבוד:
  • שלוש פונקציות להטמעת עדכוני נתוני קלט, עם פונקציה אחת לכל מקור.
  • פונקציה אחת לאיחוד והכנת הנתונים לאימון.
  • פונקציה אחת שמייצרת את תחזית המחיר על ידי קריאה לנקודת הקצה של המודל הפרוסה בתוך SageMaker.
• אמזונה אתנה לספק למפתחים ולמנתחים עסקיים גישת SQL לנתונים שנוצרו לצורך ניתוח ופתרון בעיות.
• אמזון EventBridge להפעיל את קליטת הנתונים ואת צינור ה-ML בלוח זמנים ובתגובה לאירועים.

בסעיפים הבאים, נדון בזרימת העבודה ביתר פירוט.

איסוף נתונים והכנה

כל שעה מופעלת מכונת המצב של הכנת הנתונים Step Functions. זה קורא לכל אחת מתפקודי קליטת הנתונים Lambda במקביל, וממתין עד שכל הארבעה יסתיימו. פונקציות איסוף הנתונים מתקשרות ל-API המקור שלהן ומחזירות נתונים מהשעה האחרונה. לאחר מכן כל פונקציה מאחסנת את הנתונים שהתקבלו בדלי ה-S3 שלהם.

פונקציות אלה חולקות קו בסיס יישום משותף המספק אבני בניין למניפולציה סטנדרטית של נתונים כגון נורמליזציה או אינדקס. כדי להשיג זאת, אנו משתמשים בשכבות למבדה ו גביע AWS, כמתואר ב שימוש בשכבות AWS Lambda עם AWS Chalice. זה מבטיח שכל המפתחים משתמשים באותן ספריות בסיס כדי לבנות לוגיקות הכנת נתונים חדשות ומזרז את היישום.

לאחר שכל ארבעת המקורות נבלעו ואוחסנו, מכונת המצב מפעילה את פונקציית הכנת הנתונים Lambda. נתוני מחיר חשמל, מזג אוויר ותחזית עומס מתקבלים ב-JSON ובקבצים מופרדים בתווים. כל חלק רשומה של כל קובץ נושא חותמת זמן המשמשת לאיחוד הזנות נתונים לתוך מערך נתונים אחד המכסה מסגרת זמן של שעה אחת.

מבנה זה מספק זרימת עבודה מונעת אירועים לחלוטין. הכנת נתוני האימון מתחילה ברגע שכל הנתונים הצפויים נקלטים.

צינור ML

לאחר הכנת הנתונים, מערכי הנתונים החדשים מאוחסנים באמזון S3. כלל EventBridge מפעיל את צינור ML דרך מכונת מצב Step Functions. מכונת המדינה מניעה שני תהליכים:

• בדוק אם מודל יצירת עקומת הצעת המחיר עדכני
• הפעל אוטומטית הדרכה מחדש של המודל כאשר הביצועים יורדים או שהדגמים ישנים יותר ממספר מסוים של ימים

אם הגיל של המודל שנפרס כעת ישן יותר ממערך הנתונים האחרון בסף מסוים - נניח 7 ימים - מכונת המצב של Step Functions מתחילה את צינור SageMaker שמאמן, בודק ופורס נקודת קצה חדשה. אם המודלים עדיין מעודכנים, זרימת העבודה מדלגת על צינור ה-ML ועוברת לשלב יצירת הצעות המחיר. ללא קשר למצב המודל, עקומת הצעת מחיר חדשה נוצרת עם מסירת מערך נתונים שעתי חדש. התרשים הבא ממחיש זרימת עבודה זו. כברירת מחדל, ה StartPipelineExecution הפעולה היא אסינכרונית. נוכל לבקש ממכונת המדינה לחכות לסוף הצינור לפני שנפעיל את שלב הפקת הצעות המחיר על ידי שימוש ב'המתן להתקשרות חוזרת"אופציה.

כדי להפחית את העלות והזמן לשוק בבניית פתרון פיילוט, השתמש Marubeni Amazon SageMaker Serverless Inference. זה מבטיח שהתשתית הבסיסית המשמשת להדרכה ופריסה כרוכה בתשלום רק בעת הצורך. זה גם מקל על תהליך בניית הצינור מכיוון שמפתחים כבר לא צריכים לנהל את התשתית. זוהי אפשרות מצוינת לעומסי עבודה שיש להם תקופות סרק בין פרצי תנועה. ככל שהפתרון יתבגר ויעבור לייצור, Marubeni יבדוק את העיצוב שלהם ויאמצו תצורה המתאימה יותר לשימוש צפוי ויציב.

הפקת הצעות ושאילתת נתונים

פונקציית Lambda ליצירת הצעות מפעילה מעת לעת את נקודת הסיום כדי ליצור תחזיות לפי שעה ומאחסנת את הפלט באמזון S3.

מפתחים ואנליסטים עסקיים יכולים לאחר מכן לחקור את הנתונים באמצעות Athena ו-Microsoft Power BI להדמיה. הנתונים יכולים להיות זמינים גם באמצעות API ליישומים עסקיים במורד הזרם. בשלב הפיילוט, המפעילים מתייעצים חזותית בעקומת ההצעות כדי לתמוך בפעילות עסקאות החשמל שלהם בשווקים. עם זאת, Marubeni שוקל לבצע אוטומציה של תהליך זה בעתיד, ופתרון זה מספק את היסודות הדרושים לכך.

סיכום

פתרון זה אפשר ל-Marubeni לבצע אוטומציה מלאה של צינורות עיבוד הנתונים והטמעה שלהם, כמו גם לצמצם את זמן הפריסה של מודל הניבוי והאופטימיזציה משעות לדקות. עקומות הצעות מחיר נוצרות כעת באופן אוטומטי ומתעדכנות ככל שתנאי השוק משתנים. הם גם הבינו הפחתה של 80% בעלויות בעת המעבר מנקודת קצה מסופקת לנקודת קצה ללא שרת.

פתרון החיזוי של MPII הוא אחת מיוזמות הטרנספורמציה הדיגיטלית האחרונות שמשיקה חברת Marubeni בתחום החשמל. MPII מתכננת לבנות פתרונות דיגיטליים נוספים לתמיכה בפלטפורמות עסקיות חדשות. MPII יכול להסתמך על שירותי AWS כדי לתמוך באסטרטגיית הטרנספורמציה הדיגיטלית שלהם בהרבה מקרי שימוש.

"אנחנו יכולים להתמקד בניהול שרשרת הערך עבור פלטפורמות עסקיות חדשות, בידיעה ש-AWS מנהלת את התשתית הדיגיטלית הבסיסית של הפתרונות שלנו."

– הרנן פיגרואה, מנהל מדעי הנתונים האב ב-Marubeni Power International.

למידע נוסף על האופן שבו AWS עוזרת לארגוני אנרגיה ביוזמות הטרנספורמציה הדיגיטלית והקיימות שלהם, עיין AWS Energy.

Marubeni Power International היא חברת בת של Marubeni Corporation. Marubeni Corporation הוא קונגלומרט עסקי מסחר והשקעות יפני גדול. המשימה של Marubeni Power International היא לפתח פלטפורמות עסקיות חדשות, להעריך מגמות וטכנולוגיות אנרגיה חדשות ולנהל את תיק החשמל של Marubeni ביבשת אמריקה. אם תרצה לדעת יותר על Marubeni Power, בדוק https://www.marubeni-power.com/.

על הכותבים

הרנן פיגרואה מוביל את יוזמות הטרנספורמציה הדיגיטלית ב-Marubeni Power International. הצוות שלו מיישם מדעי נתונים וטכנולוגיות דיגיטליות כדי לתמוך באסטרטגיות הצמיחה של Marubeni Power. לפני שהצטרף למרובני, הרנן היה מדען נתונים באוניברסיטת קולומביה. הוא בעל תואר Ph.D. בהנדסת חשמל ותואר ראשון בהנדסת מחשבים.

לינו ברשיה הוא מנהל חשבון ראשי שבסיסו בניו יורק. יש לו למעלה מ-25 שנות ניסיון טכנולוגי והצטרף ל-AWS ב-2018. הוא מנהל לקוחות ארגוניים גלובליים בזמן שהם משנים את העסק שלהם עם שירותי ענן של AWS ומבצעים העברות בקנה מידה גדול.

נרסיס זקפה הוא אדריכל Sr. Solutions שבסיסו בבוסטון. הוא עוזר ללקוחות בצפון מזרח ארה"ב להאיץ את הטרנספורמציה העסקית שלהם באמצעות פתרונות חדשניים וניתנים להרחבה בענן AWS. כשנרסיס לא בונה, הוא נהנה לבלות עם משפחתו, לטייל, לבשל, ​​לשחק כדורסל ולרוץ.

פדרם ג'האנגירי הוא ארכיטקט פתרונות ארגוניים עם AWS, בעל תואר דוקטור בהנדסת חשמל. יש לו ניסיון של 10+ שנים בתעשיית האנרגיה וה-IT. ל-Pedram ניסיון מעשי של שנים רבות בכל ההיבטים של Advanced Analytics לבניית פתרונות כמותיים וגדולים עבור ארגונים על ידי מינוף טכנולוגיות ענן.

שרה צ'ילדרס הוא מנהל חשבונות שבסיסו בוושינגטון די.סי. היא מחנכת מדעית לשעבר שהפכה לחובבת ענן שהתמקדה בתמיכה בלקוחות במסע הענן שלהם. שרה נהנית לעבוד לצד צוות חדור מוטיבציה המעודד רעיונות מגוונים כדי לצייד את הלקוחות בצורה הטובה ביותר בפתרונות החדשניים והמקיפים ביותר.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/how-marubeni-is-optimizing-market-decisions-using-aws-machine-learning-and-analytics/