פרצופים מעובדים בתלת-ממד הם חלק גדול מכל סרט או משחק מרכזי עכשיו, אבל המשימה של לכידת והנפשה שלהם בצורה טבעית יכולה להיות קשה. מחקר דיסני עובדת על דרכים להחליק את התהליך הזה, ביניהן כלי למידת מכונה שעושה אותו הרבה יותר קל ליצור ולתפעל פרצופים תלת מימדיים מבלי לטבול לתוך העמק המדהים.
כמובן שהטכנולוגיה הזו עברה דרך ארוכה מביטויי העץ והפרטים המוגבלים של ימים קודמים. פרצופים תלת-ממדיים משכנעים ברזולוציה גבוהה ניתנים להנפשה במהירות ובטוב, אבל הדקויות של הביטוי האנושי הן לא רק בלתי מוגבלות במגוון, קל מאוד לטעות בהן.
תחשוב על איך כל הפנים של מישהו משתנות כשהוא מחייך - זה שונה עבור כולם, אבל יש מספיק קווי דמיון שאנחנו חושבים שנוכל לדעת כשמישהו "באמת" מחייך או סתם מזייף. איך אתה יכול להשיג את רמת הפירוט הזו בפנים מלאכותיות?
מודלים "לינארים" קיימים מפשטים את עדינות ההבעה, מה שהופך את "אושר" או "כעס" להתאמה דקה, אך במחיר של דיוק - הם לא יכולים לבטא כל פרצוף אפשרי, אבל יכולים בקלות לגרום לפרצופים בלתי אפשריים. מודלים עצביים חדשים יותר לומדים מורכבות מהתבוננות בחיבור הדדי של הבעות, אבל כמו מודלים אחרים כאלה, פעולתם סתומה וקשה לשליטה, ואולי לא ניתנת להכללה מעבר לפנים שהם למדו מהם. הם לא מאפשרים את רמת השליטה שאמן שעובד על סרט או משחק צריך, או מביאים לפרצופים ש(בני אדם טובים להפליא בזיהוי זה) הם פשוט כבוי איכשהו.
צוות ב-Disney Research מציע דגם חדש עם הטוב משני העולמות - מה שהוא מכנה "מודל פנים עמוק סמנטי". מבלי להיכנס לביצוע הטכני המדויק, השיפור הבסיסי הוא שזהו מודל עצבי שלומד כיצד הבעת פנים משפיעה על כל הפנים, אך אינה ספציפית לפנים בודדות - ויותר מכך אינו ליניארי, מה שמאפשר גמישות באופן שבו הבעות מתקשרות עם הגיאומטריה של הפנים וזה את זה.
תחשוב על זה כך: מודל ליניארי מאפשר לך לקבל הבעה (חיוך, או נשיקה, נניח) מ-0-100 על כל פנים תלת-ממדיות, אבל התוצאות עשויות להיות לא מציאותיות. מודל עצבי מאפשר לך לקחת הבעה נלמדת מ-3-0 באופן מציאותי, אבל רק על הפנים ממנו הוא למד אותה. זֶה המודל יכול לקבל הבעה מ-0-100 בצורה חלקה על כל פנים תלת-ממדיות. זה משהו של פישוט יתר, אבל אתה מבין את הרעיון.
קרדיט תמונה: מחקר דיסני
התוצאות עוצמתיות: אתה יכול ליצור אלף פרצופים עם צורות וגוונים שונים, ואז להנפיש את כולם עם אותם הבעות ללא כל עבודה נוספת. תחשוב איך זה יכול לגרום להמוני CG מגוונים שאתה יכול לזמן בכמה לחיצות, או דמויות במשחקים שיש להם הבעות פנים מציאותיות, ללא קשר אם הם נוצרו בעבודת יד או לא.
זה לא כדור כסף, וזה רק חלק ממערך עצום של שיפורים שאמנים ומהנדסים עושים בתעשיות השונות בהן הטכנולוגיה הזו מופעלת - מעקב פנים ללא סמנים, עיוות עור טוב יותר, תנועות עיניים ריאליסטיות ועוד עשרות תחומי עניין. חלקים חשובים בתהליך זה.
מאמר המחקר של דיסני הוצג בכנס הבינלאומי לראייה תלת מימדית; אתה יכול לקרוא את הקטע המלא כאן.
