CCC תמכה בשלושה מפגשים מדעיים בכנס השנתי של AAAS השנה, ובמקרה שלא הצלחת להשתתף באופן אישי, נסכם כל מפגש. השבוע, נסכם את עיקרי מצגות חברי הפאנל של המושב, "דגמי שפה גדולים: עוזרים מועילים, שותפים רומנטיים או אמני נוכלים?" הפאנל הזה, בהנחיית ד"ר מריה ג'יני, חבר מועצת CCC ופרופסור למדעי המחשב והנדסה באוניברסיטת מינסוטה, הוצג ד"ר איס קמאר, מנכ"ל AI Frontiers ב-Microsoft Research, ד"ר האל דאומה השלישי, פרופסור למדעי המחשב באוניברסיטת מרילנד, ו ד"ר יונתן מאי, פרופסור למדעי המחשב במכון למדעי המידע של אוניברסיטת דרום קליפורניה.
דגמי שפה גדולים נמצאים בחזית השיחות בחברה כיום, וחבר המושבעים בוחן אם הם עומדים בהייפ סביבם. משתתפי הפאנל של מושב AAAS זה התייחסו לאפשרויות, האתגרים והפוטנציאל של לימודי LLM.
חבר הפאנל הראשון היה ד"ר Ece Kamar (מחקר של מיקרוסופט). היא תיארה את המצב הנוכחי של AI כ"מעבר שלבים". היא סיפקה פרספקטיבה ייחודית כמי שראתה את השינויים בבינה מלאכותית בתעשייה, ואת הצמיחה האקספוננציאלית במודלים של למידה עמוקה, שמעט מאוד אנשים ציפו שימשיכו ב-2024.
הצמיחה נגרמה על ידי עלייה בכמות הנתונים שעליהם מתאמנים ה-LLM, והארכיטקטורה הגדולה יותר שנקראת שנאים. תובנה מעניינת שחלקה ד"ר קמאר בגרף היא שהמודלים מתרחבים כל כך מהר מכיוון שהם רק אומנו בהתחלה למשימה מסוימת; משימה שהם יכלו לבצע בצורה מהימנה. ChatGPT הראה שאם אתה מגדיל מספיק, כולל מספר הפרמטרים שמודל לוקח בחשבון, מודלים יכולים להתחיל להשלים משימות בביצועים דומים של מודל שהוכשר להשלים ספציפית את אותן משימות.
זו ההגדרה של מעבר השלב של LLM: מודלים כבר לא צריכים לעבור הכשרה ספציפית למשימה מסוימת, אלא ניתן לאמן באופן כללי ולאחר מכן לבצע משימות רבות. ואין סימנים לכך שהצמיחה של היכולות הללו מואטת.
לד"ר קמאר הייתה גישה מוקדמת ל-GPT-4, ובמהלך הזמן הרב שבדקה אותו, היא התרשמה מהשיפורים המשמעותיים שלו שהגיעו עם קנה מידה ונתונים, ומהעובדה שהוא יכול לבצע משימות שונות באופן סינכרוני.
מה צופן העתיד ללימודי LLM אלה? ד"ר קמאר צופה שלימודי תואר שני בלימודים יחרגו מעבר לשפה האנושית, וילמדו שפת מכונה ויוכלו לתרגם בין שתי השפות. זה ישפר את יכולות האופנים בקלט ובפלט, מה שיכול להוביל לכך שמודלים יוכלו לא רק ליצור שפה, אלא פעולות ותחזיות בהתנהגויות.
לאחר מכן, ד"ר קמר הרחיב על מעבר השלב המשמעותי המתרחש במחשוב. מערכות מפותחות היום בצורה שונה מאוד, ופיתוח זה ידרוש יצירת פרדיגמת מחשוב חדשה שרק שרטנו את פניה בשלב זה. האופן שבו אנו מתקשרים עם מחשבים עומד להיראות שונה בהרבה בשנים הקרובות, וזה ידרוש חשיבה מחודשת של אינטראקציה בין אדם למחשב (HCI).
שינוי נוסף הוא הדרך שבה בני האדם יעבדו קדימה. מיקרוסופט ערכה מחקרים לפיהם הפרודוקטיביות של העובדים יכולה להכפיל את עצמו מבחינת שורות קוד שנכתבות בסיוע AI. זהו הישג מדהים, אבל הדרך שבה הטכנולוגיה הזו עובדת ומאיפה מגיעה האינטליגנציה שלה לא ידועה ברובה, אז יש הרבה שאלות מחקר בתחום הזה.
יש גם הרבה שאלות לגבי שימוש לרעה פוטנציאלי של LLMs כמו אלה. יש דאגות לגבי הוגנות, סיכונים דמוגרפיים שונים והשלכות אחרות אפילו יותר דרסטיות. אמנם יש פוטנציאל גדול לגילוי מדעי, אבל יש גם פוטנציאל גדול לפגיעה; למשל לשכנע הורים לא לחסן את ילדיהם, ילד לעשות משהו רע, או לשכנע מישהו שהעולם שטוח. מאמצי בטיחות רבים הושקעו בפיתוח של LLMs, ומקור פתוח יכול להיות מאוד מועיל כדי להתקדם גם בתחום זה.
ד"ר קמאר הציג אז שאלות לקהילה המדעית:
- כיצד ישתנה המדע עם שיבוש בינה מלאכותית?
- האם אנו נוקטים בצעדים לשנות את האופן שבו אנו מחנכים ומכמנים את הדור הבא?
- האם אתה בונה תשתית טכנולוגית כדי ליהנות ממעבר השלב הזה?
- האם אנחנו מכינים את הדורות הבאים לעולם החדש?
לבסוף, ד"ר קמאר הדגיש שאחד מהיבטי הליבה של מעבר השלבים המדהים הוא המהירות שבה מתפתחים לימודי LLM. המודלים הללו משתפרים משמעותית בפרק זמן קצר מאוד, ולחוקרי המחשוב יש הרבה מה להדביק את הקצב.
חבר הפאנל השני, ד"ר האל דאומה השלישי (אוניברסיטת מרילנד), התחיל את הרצאתו בהסבר שצריך לפתח מודלים של AI כדי לעזור לאנשים לעשות את הדברים שהם רוצים לעשות; להגדיל את העבודה האנושית, לא לבצע אוטומציה. החזון הזה של אוטומציה פשט בחברה מאז שנות ה-60. במקום לעזור לאנשים לשחק שחמט טוב יותר, מדענים תכננו מערכת שמשחקת שח בעצמה.
הפילוסופיה הזו לא הולכת לשום מקום; AI היום עדיין ראוי לחדשות ברגע שהוא אינטליגנטי מספיק כדי לבצע משימה בעצמו. זה עמוק בדם של AI. לפני שמבזבזים זמן וכסף על אוטומציה של מערכת, כדאי קודם כל לעצור ולשאול האם זה האינטרס שלנו?
ד"ר דאומה דחף את מושג ההגדלה: כיצד ניתן להשתמש בבינה מלאכותית ככלי? מערכות כמו Github Copilot מגדילות את הפרודוקטיביות, אך הגדלת הפרודוקטיביות אינה מספיקה. משתמש במערכת קרא שהיא מאפשרת להם להתמקד בחלקי קידוד שהם מהנים, וזה הרבה יותר בקנה אחד עם האופן שבו יש לבנות AI.
חוקרי בינה מלאכותית לא צריכים לרצות להסיר את החלקים מהעבודה של אדם שהם מהנים; הם צריכים לתעדף את הסרת עבודת הפרך. זה צריך לשפר חיי אדם ולא רק לשפר את השורה התחתונה של חברה.
ד"ר דאומה היה שותף בכתיבת מאמר שהעלה את הנקודות הללו, והטענה הנגדית עלתה שמנקודת המבט הטכנית, בניית מערכות המשתמשות בטכנולוגיית למידת מכונה בפרט היא לרוב הרבה יותר קלה לאוטומציה מאשר להגדיל. הסיבה לכך היא שקל להשיג את הנתונים הדרושים להכשרת מערכת שתאמן מערכת. אנו מספקים מידע זה על ידי ביצוע עבודתנו, וקל לאמן ML לחקות התנהגות אנושית. הרבה יותר קשה ללמד מערכת לעזור למישהו להשלים משימה. מידע זה מפוזר בין סקירות ספרות של NSF, כתיבה על פיסת נייר על ידי מתכנת וכו'. הנתונים הדרושים כדי לעזור לאדם לבצע משימות אינם מתועדים.
היבט מרכזי נוסף בבניית מערכות מועילות הוא לשאול את המשתמש אילו מערכות יועילו לחייו. למשל, הצרכים של אנשים עיוורים שונים מאוד מהצרכים של אנשים רואים (ששונים גם מאלה של אנשים רואים לחשוב הצרכים של עיוורים הם). דוגמה ששיתף ד"ר דאומה היא שמערכת חזותית עשויה לחשוף שחפץ הוא פחית סודה, אבל אדם עיוור יכול לדעת זאת בעצמו. המרכיבים של הסודה יהיו הרבה יותר שימושיים עבורם. קיים פער עצום בין איכות התשובות של מערכת לשאלות פשוטות להבנת השאלות לטיפול בשאלות נגישות, והפער הזה הולך ומתרחב.
דוגמה נוספת לחשיבות של קביעה תחילה של צרכי הקהילה לפני יצירת טכנולוגיה כדי "לעזור" להם היא מתן תוכן. מנחי תוכן מתנדבים רבים עוסקים בעבודה כי הם רוצים להפוך את העולם למקום טוב יותר, ולעזור לבנות קהילה שהם חושבים שהיא חשובה. כשנשאלים איזה סוג של כלי הם רוצים לסייע לתפקידם, הם לרוב לא רוצים שהעבודה שלהם תהיה אוטומטית לחלוטין, הם רק רוצים שחלקים משעממים כמו חיפוש היסטוריית הצ'אט יהיו קלים יותר.
ד"ר דאומה מסכם את הדיון הזה בדוגמה אחרונה של אמו חובבת המכוניות שאוהבת מכוניות, ומסרבת לנהוג במכוניות אוטומטיות. היא בוחרת תיבת הילוכים ידנית, וממש חשוב לה שתהיה לה את הבחירה הזו. לאנשים צריכים להיות שליטה אם הם רוצים שהמשימות שלהם יהיו אוטומטיות או לא.
ד"ר דאומה ממשיך את השיחה בכך שהוא מציע חלופות לגישות הנוכחיות לטכנולוגיית נגישות. לדוגמה, כאשר בונים כלי סביב זיהוי שפת הסימנים, במקום לגרד באינטרנט סרטונים של אנשים חותמים (שיש לו הרבה חששות הסכמה ופרטיות, בנוסף רוב הסרטונים האלה הם של אנשי מקצוע וללא רעשי רקע/הסחות דעת, וזה לא לא מציאותי), להגיע לקהילה וליזום פרויקט שמאפשר להם לשלוח סרטונים כדי להכשיר את הכלים. אסטרטגיות קהילתיות כמו אלה הן אתיות ואחריות יותר, ומעניקות למשתמשים יותר שליטה.
יש לפתח תכניות לימודים וכלים אחרים כדי לתעדף שימושיות, לא אינטליגנציה, מסכם ד"ר דאומה. ככל שהוא שימושי יותר, כך הוא יכול לעזור לאנשים לעשות משהו שהם לא יכולים או לא רוצים לעשות, במקום להפוך משהו שאנשים כבר עושים טוב ונהנים ממנו.
ד"ר ג'ונתן מיי (מכון מדעי המידע של אוניברסיטת דרום קליפורניה) היה הדובר הבא, והוא החל את הרצאתו בהרהור על נושא הכנס: "לקראת מדע ללא חומות". הוא טוען שבעוד שפיתוח LLM לאחרונה מוריד קירות עבור אנשים מסוימים, הוא בונה קירות עבור רבים.
תחילה הוא דן כיצד האינטרנט הוריד חסמים רבים לביצוע מחקר; כשהיה בן 17 הוא תהה מדוע למלחמת הכוכבים ולשר הטבעות יש עלילות דומות מאוד, והוא נאלץ לנסוע לספרייה ולמצוא ספר עם התשובה. הוא עשה מחקר גבוה יותר אך מפרך באותה מידה עבור עבודת הדוקטורט שלו, אבל בסוף תקופת הלימודים שלו נוצר דף ויקיפדיה בנושא, ולאחר מכן חיפוש באינטרנט, ועכשיו מחקר ללא מכוניות הוא הנורמה.
ד"ר מיי המשיך ואמר כי הוא חש זכות להיות בדמוגרפיה עבור קהל היעד של לימודי תואר שני. הוא לא מקודד לעתים קרובות ומעולם לא למד הרבה כישורי קידוד, אבל כשהוא כן צריך את זה לעבודתו הוא יכול לשאול את ChatGPT וזה עושה עבודה מצוינת.
עם זאת, יש הרבה חומות להפיכת השימושיות של LLM לנפוצה:
- חומות שפה: מודלים עובדים טוב יותר ככל שהם מאומנים יותר. בעוד שהלימודי LLM המסחריים של היום הם רב לשוניים, הם בעלי משקל רב לעבר אנגלית. לדוגמה, ChatGPT מאומן ב-92% בשפה האנגלית. יתרה מכך, נתוני ההוראה, שהם "הרוטב הסודי" של ה-LLMs, הם רובם המכריע באנגלית (96% של ChatGPT למשל). יש כיום מעט מאוד מאמצים לשיפור ביצועים חוצי לשוניים של מודלים אלה למרות פערי ביצועים מערכתיים במבחנים קיימים, דבר הגיוני בשל הסכמה כללית שתרגום מכונה (MT) "נפתר" ויש למקד את המאמצים במשימות אחרות.
- חומות זהות: אם אתה שואל את ChatGPT מה עליך לעשות בחג המולד, זה מתמקד בפעילויות ובמסורות שונות שאתה יכול לעסוק בהן; זה לא מזכיר שאתה יכול ללכת לעבודה. הוכח כי LLMs מתנהגים בצורה שונה כאשר הם מתארים קבוצות דמוגרפיות שונות, מבטאים יותר סנטימנט שלילי ואפילו רעילות מוחלטת במקרים מסוימים. יש הסתברויות למשפטים סטריאוטיפיים שיכולים לגרום נזק בקהילות כמו LGBTQ+ או יהודית; על פני השטח יש הרבה הטיה ויש לכך השלכות בקבלת החלטות פרוסה. יש כמה אמצעי הגנה מובנים, ושאלות בדיקה מפורשות יותר נוטות פחות לקבל תשובות רעילות, אבל מודלים מעדיפים הצהרות ותוצאות סטריאוטיפיות, ושם יש נזקים במיוחד כאשר משתמשים במודלים ביכולות במורד הזרם שבהם אינך רואה את תפוקה (כלומר זכאות להלוואה). הוא נתן דוגמה של LLMs שמראים הטיה בעת יצירת פרצופים של אנשים על סמך עבודתם; המשרות בעלות השכר הנמוך יותר מוצגות כנשים ומיעוטים, ואילו המשרות הגבוהות יותר הן גברים לבנים.
- קירות סביבתיים (תוכנה): LLMs דורשים כמות משמעותית של אנרגיה כדי לייצר ולהפעיל. אפילו ה-LMs ה"צנועים" ביותר משתמשים פי 3 באנרגיה שנתית משימוש של אדם בודד. יש גם פער משמעותי בנתונים עבור דגמי השפות הגדולים ביותר כמו ChatGPT, אך החברות שבבעלותם מונעות במפורש גישה לצריכת האנרגיה שלהם.
- קירות סביבתיים (חומרה): על מנת לייצר שבבים, אשר כל ה-LLMs דורשים, אתה צריך "חומרי עימות" כמו טנטלום (נכרה בקונגו) והפניום (הנכרה בסנגל וברוסיה). בארה"ב, חברות אמורות לדווח על כמות מינרלים סכסוכים שהן משתמשות בהן, אך ארה"ב מציגה בפומבי ירידה בשימוש בחומרים אלו, מה שלא יכול להיות נכון. מעבר לכך, יש הרבה בעיות חברתיות-פוליטיות כמו סין המגבילה את הגרמניום והגליום כנקמה על מגבלות הייצוא של ארה"ב.
ד"ר מיי מביעה כי קטגוריות אלו חושפות כמה מהבעיות הרבות במורד הזרם עבור נזק שנגרם על ידי LLMs, ומקרים בהם אנשים אינם מרוויחים. יש סיבה לדאגה, אבל יש גם הזדמנויות למחקר ו/או שינויים בהתנהגות שיפחיתו חלק מהנזקים הללו:
- שפה: הקדש יותר מימון מחקר לרב לשוניות (לא רק תרגום הגמוני לאנגלית וממנה).
- זהות: מחקר מלמטה למעלה ומכיל קהילה. שינוי ובדיקות מודל לפני פריסה
- סביבה: פיתוח אלגוריתם שמשתמש בפחות נתונים ומשנה פחות פרמטרים (למשל LoRA, מתאמים, לא-RL PO). היו מצפוניים לגבי מחשוב והתעקשו על פתיחות ברמות הרגולציה
ד"ר מיי סיכמה את הפאנל וחזרה על טענתו של ד"ר דאומה, לפיה יש להפיק תועלת מאנשים באופן שבו הם רוצים להיות מועילים בעת אינטראקציה עם לימודי LLM, וזה צריך להיות בראש מעייניו בשלב הפיתוח.
תודה רבה שקראתם, ובבקשה הצטרפו מחר כדי לקרוא את הסיכום של חלק השאלות והתשובות של הפגישה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/
