דגמי AI הם חזירי כוח.
ככל שהאלגוריתמים גדלים והופכים מורכבים יותר, הם מטילים יותר ויותר מס על שבבי מחשב קיימים. חברות רבות תכננו שבבים המותאמים ל-AI כדי להפחית את צריכת החשמל. אבל כולם מבוססים על כלל בסיסי אחד - הם משתמשים בחשמל.
החודש, צוות מאוניברסיטת Tsinghua בסין שינה את המתכון. הֵם בנה שבב רשת עצבית שמשתמש באור ולא בחשמל כדי להפעיל משימות בינה מלאכותית בשבריר מעלות האנרגיה של H100 של NVIDIA, שבב חדיש המשמש לאימון והפעלת דגמי AI.
המכונה Taichi, השבב משלב שני סוגים של עיבוד מבוסס אור לתוך המבנה הפנימי שלו. לעומת הקודם שבבים אופטיים, טאיצ'י הרבה יותר מדויק למשימות פשוטות יחסית כמו זיהוי מספרים בכתב יד או תמונות אחרות. בניגוד לקודמיו, השבב יכול לייצר גם תוכן. הוא יכול ליצור תמונות בסיסיות בסגנון המבוסס על האמן ההולנדי וינסנט ואן גוך, למשל, או נאמברים מוזיקליים קלאסיים בהשראת יוהאן סבסטיאן באך.
חלק מהיעילות של טאיצ'י נובעת מהמבנה שלה. השבב עשוי ממספר רכיבים הנקראים צ'יפלטים. בדומה לארגון המוח, כל צ'יפלט מבצע במקביל חישובים משלו, שתוצאותיהם משולבות עם האחרים כדי להגיע לפתרון.
מול בעיה מאתגרת של הפרדת תמונות מעל 1,000 קטגוריות, טאיצ'י הצליחה כמעט 92 אחוז מהמקרים, תוך התאמה לביצועי השבב הנוכחיים, אך צמצמה את צריכת האנרגיה פי אלף.
עבור AI, "המגמה של התמודדות עם משימות מתקדמות יותר [היא] בלתי הפיכה", כתבו המחברים. "טאיצ'י סולל את הדרך למחשוב פוטוני [מבוסס אור] בקנה מידה גדול", מה שמוביל לבינה מלאכותית גמישה יותר עם עלויות אנרגיה נמוכות יותר.
צ'יפ על הכתף
שבבי המחשב של היום אינם משתלבים היטב עם AI.
חלק מהבעיה היא מבנית. עיבוד וזיכרון בשבבים מסורתיים מופרדים פיזית. העברה של נתונים ביניהם גוזלת כמויות אדירות של אנרגיה וזמן.
אמנם יעילה לפתרון בעיות פשוטות יחסית, אך ההתקנה היא צריכת חשמל להפליא בכל הנוגע לבינה מלאכותית מורכבת, כמו דגמי השפה הגדולים המפעילים ChatGPT.
הבעיה העיקרית היא איך שבבי מחשב בנויים. כל חישוב מסתמך על טרנזיסטורים, אשר מופעלים או מכבים כדי לייצג את ה-0 וה-1 המשמשים בחישובים. מהנדסים כיווצו באופן דרמטי את הטרנזיסטורים במהלך עשרות השנים, כך שהם יכולים לדחוס יותר ויותר על שבבים. אבל טכנולוגיית השבבים הנוכחית צועדת לקראת נקודת שבירה שבה אנחנו לא יכולים להצטמצם.
מדענים ביקשו זה מכבר לחדש את השבבים הנוכחיים. אסטרטגיה אחת בהשראת המוח מסתמכת על "סינפסות" - ה"מעגן" הביולוגי המחבר נוירונים - שמחשבות ומאחסנות מידע באותו מיקום. השבבים בהשראת המוח, או הנוירומורפיים, מצמצמים את צריכת האנרגיה ומזרזים את החישובים. אבל כמו השבבים הנוכחיים, הם מסתמכים על חשמל.
רעיון נוסף הוא להשתמש במנגנון מחשוב אחר לגמרי: אור. "מחשוב פוטוני" הוא "מושך תשומת לב הולכת וגוברת", כתבו המחברים. במקום להשתמש בחשמל, ייתכן שניתן יהיה לחטוף חלקיקי אור כדי להפעיל AI במהירות האור.
יהי אור
בהשוואה לשבבים מבוססי חשמל, האור משתמש בהרבה פחות חשמל ויכול להתמודד בו זמנית עם מספר חישובים. תוך שימוש במאפיינים אלה, מדענים בנו רשתות עצביות אופטיות המשתמשות בפוטונים - חלקיקי אור - עבור שבבי AI, במקום חשמל.
שבבים אלה יכולים לעבוד בשתי דרכים. באחד, שבבים מפזרים אותות אור לתוך ערוצים מהונדסים שבסופו של דבר משלבים את הקרניים כדי לפתור בעיה. המכונה דיפרקציה, רשתות עצבים אופטיות אלה אורזות נוירונים מלאכותיים בצמוד זה לזה ומצמצמות את עלויות האנרגיה. אבל הם לא ניתנים לשינוי בקלות, כלומר הם יכולים לעבוד רק על בעיה אחת ופשוטה.
הגדרה שונה תלויה בתכונה אחרת של אור הנקראת הפרעה. כמו גלי אוקיינוס, גלי אור מתחברים ומבטלים זה את זה. כאשר הם נמצאים בתוך מיקרו-מנהרות על שבב, הן יכולות להתנגש כדי להגביר או לעכב זו את זו - ניתן להשתמש בדפוסי ההפרעה הללו לחישובים. שבבים המבוססים על הפרעות ניתנים להגדרה מחדש בקלות באמצעות מכשיר הנקרא אינטרפרומטר. הבעיה היא שהם מגושמים פיזית וצורכים טונות של אנרגיה.
ואז יש את בעיית הדיוק. אפילו בערוצים המפוסלים המשמשים לעתים קרובות לניסויי הפרעות, הקפצות ופיזור אור, מה שהופך את החישובים ללא אמינים. עבור רשת עצבית אופטית אחת, השגיאות נסבלות. אבל עם רשתות אופטיות גדולות יותר ובעיות מתוחכמות יותר, הרעש עולה באופן אקספוננציאלי והופך לבלתי נסבל.
זו הסיבה שלא ניתן להגדיל בקלות רשתות עצביות מבוססות אור. עד כה, הם הצליחו לפתור רק משימות בסיסיות, כמו זיהוי מספרים או תנועות.
"הגדלת קנה המידה של ארכיטקטורות קיימות לא תשפר את הביצועים באופן פרופורציונלי", כתב הצוות.
Double Trouble
ה-AI החדש, Taichi, שילב את שתי התכונות כדי לדחוף רשתות עצביות אופטיות לעבר שימוש בעולם האמיתי.
במקום להגדיר רשת עצבית אחת, הצוות השתמש בשיטת chiplet, שהאצילה חלקים שונים של משימה למספר בלוקים פונקציונליים. לכל בלוק היו יתרונות משלו: אחד הוקם לניתוח עקיפה, שיכולה לדחוס כמויות גדולות של נתונים בפרק זמן קצר. בלוק נוסף הוטבע עם אינטרפרומטרים כדי לספק הפרעות, המאפשרות להגדיר מחדש את השבב בקלות בין משימות.
בהשוואה ללמידה עמוקה, טאיצ'י נקטה בגישה "רדודה" לפיה המשימה מפוזרת על פני מספר רב של צ'יפלטים.
עם מבני למידה עמוקה סטנדרטיים, שגיאות נוטות להצטבר על פני שכבות וזמן. הגדרה זו חותכת בעיות הנובעות מעיבוד רציף בתחילת הדרך. כאשר מתמודדים עם בעיה, Taichi מחלק את עומס העבודה על פני אשכולות עצמאיים מרובים, מה שמקל על התמודדות עם בעיות גדולות יותר עם מינימום שגיאות.
האסטרטגיה השתלמה.
לטאיצ'י יכולת חישובית של 4,256 נוירונים מלאכותיים בסך הכל, עם כמעט 14 מיליון פרמטרים המחקים את הקשרים המוחיים המקודדים למידה וזיכרון. כשמיינו תמונות ל-1,000 קטגוריות, השבב הפוטוני היה מדויק בכמעט 92%, דומה ל"רשתות עצביות אלקטרוניות פופולריות כיום", כתב הצוות.
השבב גם הצטיין במבחני זיהוי תמונה סטנדרטיים אחרים של AI, כמו זיהוי תווים בכתב יד מאלפבית שונים.
כמבחן אחרון, הצוות אתגר את ה-AI הפוטוני לתפוס ולשחזר תוכן בסגנון של אמנים ומוזיקאים שונים. כשהתאמן עם הרפרטואר של באך, ה-AI למד בסופו של דבר את גובה הצליל והסגנון הכללי של המוזיקאי. באופן דומה, תמונות של ואן גוך או אדוורד מונק - האמן מאחורי הציור המפורסם, הצעקה-הוזנה ל-AI אפשרה לו ליצור תמונות בסגנון דומה, אם כי רבים נראו כמו בילוי של פעוט.
לרשתות עצביות אופטיות יש עוד הרבה מעבר. אבל אם נעשה בהם שימוש נרחב, הם יכולים להיות אלטרנטיבה חסכונית יותר באנרגיה למערכות AI הנוכחיות. טאיצ'י יעילה יותר באנרגיה פי 100 מאשר איטרציות קודמות. אבל השבב עדיין דורש לייזרים עבור יחידות כוח והעברת נתונים, שקשה לעבות.
בשלב הבא, הצוות מקווה לשלב מיני לייזרים זמינים ורכיבים אחרים לתוך שבב פוטוני אחד ומלוכד. בינתיים, הם מקווים ש-Taichi "תאיץ את הפיתוח של פתרונות אופטיים חזקים יותר" שיכולים להוביל בסופו של דבר ל"עידן חדש" של בינה מלאכותית חזקה וחסכונית באנרגיה.
תמונת אשראי: spainter_vfx / Shutterstock.com
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/
