ولدت مع Midjourney
ركز مؤتمر NeurIPS 2023، الذي انعقد في مدينة نيو أورليانز النابضة بالحياة في الفترة من 10 إلى 16 ديسمبر، بشكل خاص على الذكاء الاصطناعي التوليدي ونماذج اللغات الكبيرة (LLMs). وفي ضوء التطورات الحديثة في هذا المجال، لم يكن من المستغرب أن تهيمن هذه المواضيع على المناقشات.
كان أحد المواضيع الأساسية لمؤتمر هذا العام هو البحث عن أنظمة ذكاء اصطناعي أكثر كفاءة. يبحث الباحثون والمطورون بنشاط عن طرق لبناء الذكاء الاصطناعي الذي لا يتعلم بشكل أسرع من حاملي شهادات LLM الحاليين فحسب، بل يمتلك أيضًا قدرات تفكير محسنة مع استهلاك موارد حاسوبية أقل. يعد هذا السعي أمرًا بالغ الأهمية في السباق نحو تحقيق الذكاء العام الاصطناعي (AGI)، وهو الهدف الذي يبدو أنه يمكن تحقيقه بشكل متزايد في المستقبل المنظور.
وكانت المحادثات المدعوة في NeurIPS 2023 انعكاسًا لهذه الاهتمامات الديناميكية والمتطورة بسرعة. شارك مقدمو العروض من مختلف مجالات أبحاث الذكاء الاصطناعي أحدث إنجازاتهم، مما أتاح نافذة على أحدث تطورات الذكاء الاصطناعي. في هذه المقالة، نتعمق في هذه المحادثات، ونستخرج ونناقش النقاط الرئيسية والدروس المستفادة، والتي تعتبر ضرورية لفهم المشهد الحالي والمستقبلي لابتكار الذكاء الاصطناعي.
NextGenAI: وهم التوسع ومستقبل الذكاء الاصطناعي التوليدي
In حديثه، شارك بيورن أومير، رئيس مجموعة الرؤية والتعلم الحاسوبي في جامعة لودفيغ ماكسيميليان في ميونيخ، كيف جاء مختبره لتطوير الانتشار المستقر، وبعض الدروس التي تعلموها من هذه العملية، والتطورات الأخيرة، بما في ذلك كيف يمكننا مزج نماذج الانتشار مع مطابقة التدفق، وزيادة الاسترجاع، وتقريبات LoRA، من بين أمور أخرى.
الوجبات الرئيسية:
- في عصر الذكاء الاصطناعي التوليدي، انتقلنا من التركيز على الإدراك في نماذج الرؤية (أي التعرف على الأشياء) إلى التنبؤ بالأجزاء المفقودة (على سبيل المثال، توليد الصور والفيديو باستخدام نماذج الانتشار).
- لمدة 20 عامًا، ركزت الرؤية الحاسوبية على الأبحاث المعيارية، مما ساعد على التركيز على أبرز المشكلات. في الذكاء الاصطناعي التوليدي، ليس لدينا أي معايير لتحسينها، مما فتح المجال أمام الجميع للسير في اتجاههم الخاص.
- تجمع نماذج الانتشار بين مزايا النماذج التوليدية السابقة من خلال كونها قائمة على النتائج وإجراءات تدريب مستقرة وتحرير فعال للعينات، ولكنها باهظة الثمن بسبب سلسلة ماركوف الطويلة.
- التحدي الذي يواجه نماذج الاحتمالية القوية هو أن معظم البتات تدخل في تفاصيل يصعب إدراكها بالعين البشرية، في حين أن تشفير الدلالات، وهو الأمر الأكثر أهمية، لا يستغرق سوى بضع بتات. لن يحل التوسع وحده هذه المشكلة لأن الطلب على موارد الحوسبة ينمو بمعدل 9 أضعاف سرعة عرض وحدة معالجة الرسومات.
- الحل المقترح هو الجمع بين نقاط القوة في نماذج الانتشار وشبكات التحويل، وخاصة كفاءة التلافيف لتمثيل التفاصيل المحلية وتعبير نماذج الانتشار للسياق طويل المدى.
- يقترح بيورن أومر أيضًا استخدام أسلوب مطابقة التدفق لتمكين تركيب صور عالية الدقة من نماذج الانتشار الكامنة الصغيرة.
- هناك طريقة أخرى لزيادة كفاءة تركيب الصورة وهي التركيز على تكوين المشهد أثناء استخدام تكبير الاسترجاع لملء التفاصيل.
- وأخيرًا، قدم نهج iPoke لتركيب الفيديو العشوائي الخاضع للرقابة.
إذا كان هذا المحتوى المتعمق مفيدًا لك، اشترك في قائمتنا البريدية AI ليتم تنبيهنا عندما نصدر مادة جديدة.
الوجوه المتعددة للذكاء الاصطناعي المسؤول
In العرض التقديمي لها، سلطت لورا أرويو، عالمة الأبحاث في Google Research، الضوء على أحد القيود الرئيسية في أساليب التعلم الآلي التقليدية: اعتمادها على التصنيفات الثنائية للبيانات كأمثلة إيجابية أو سلبية. وقالت إن هذا التبسيط المفرط يتجاهل الذاتية المعقدة المتأصلة في سيناريوهات ومحتوى العالم الحقيقي. من خلال حالات الاستخدام المختلفة، أوضحت أرويو كيف أن غموض المحتوى والتباين الطبيعي في وجهات النظر البشرية غالبًا ما يؤدي إلى خلافات لا مفر منها. وشددت على أهمية التعامل مع هذه الخلافات باعتبارها إشارات ذات معنى وليس مجرد ضجيج.
وفيما يلي الوجبات الرئيسية من الحديث:
- يمكن أن يكون الخلاف بين العمال البشريين مثمرًا. بدلاً من التعامل مع جميع الإجابات على أنها صحيحة أو خاطئة، قدمت لورا أرويو مبدأ "الحقيقة من خلال الاختلاف"، وهو نهج توزيع الحقيقة لتقييم موثوقية البيانات من خلال تسخير خلاف المقيمين.
- تعتبر جودة البيانات صعبة حتى مع الخبراء، لأن الخبراء يختلفون بقدر ما يختلفون مع العاملين في المختبرات. يمكن أن تكون هذه الخلافات أكثر إفادة من ردود خبير واحد.
- في مهام تقييم السلامة، يختلف الخبراء على 40% من الأمثلة. وبدلاً من محاولة حل هذه الخلافات، نحتاج إلى جمع المزيد من هذه الأمثلة واستخدامها لتحسين النماذج ومقاييس التقييم.
- كما قدمت لورا أرويو السلامة مع التنوع طريقة فحص البيانات من حيث ما فيها ومن حاشية عليها.
- أنتجت هذه الطريقة مجموعة بيانات مرجعية مع تباين في أحكام السلامة في LLM عبر مجموعات ديموغرافية مختلفة من المقيِّمين (إجمالي 2.5 مليون تقييم).
- بالنسبة لـ 20% من المحادثات، كان من الصعب تحديد ما إذا كانت استجابة روبوتات الدردشة آمنة أم غير آمنة، حيث كان هناك عدد متساوٍ تقريبًا من المشاركين الذين وصفوها بأنها آمنة أو غير آمنة.
- يلعب تنوع المقيِّمين والبيانات دورًا حاسمًا في تقييم النماذج. إن الفشل في الاعتراف بمجموعة واسعة من وجهات النظر البشرية والغموض الموجود في المحتوى يمكن أن يعيق مواءمة أداء التعلم الآلي مع توقعات العالم الحقيقي.
- إن 80% من جهود سلامة الذكاء الاصطناعي جيدة جدًا بالفعل، لكن الـ 20% المتبقية تتطلب مضاعفة الجهد لمعالجة حالات الحافة وجميع المتغيرات في مساحة التنوع اللامتناهية.
إحصائيات التماسك، والخبرة الذاتية، ولماذا يكون الشباب أكثر ذكاءً من الذكاء الاصطناعي الحالي
In حديثها، قامت ليندا سميث، الأستاذة المتميزة في جامعة إنديانا بلومنجتون، باستكشاف موضوع تناثر البيانات في عمليات التعلم للرضع والأطفال الصغار. ركزت بشكل خاص على التعرف على الأشياء وتعلم الأسماء، وتعمقت في كيفية تقديم إحصائيات التجارب الذاتية التي يقوم بها الأطفال الرضع حلولاً محتملة للتحدي المتمثل في شح البيانات.
الوجبات الرئيسية:
- بحلول سن الثالثة، يطور الأطفال القدرة على أن يكونوا متعلمين مرة واحدة في مجالات مختلفة. وفي أقل من 16,000 ساعة من الاستيقاظ حتى عيد ميلادهم الرابع، يتمكنون من تعلم أكثر من 1,000 فئة من الكائنات، وإتقان تركيب لغتهم الأم، واستيعاب الفروق الثقافية والاجتماعية الدقيقة في بيئتهم.
- اكتشفت الدكتورة ليندا سميث وفريقها ثلاثة مبادئ للتعلم البشري تسمح للأطفال بالحصول على الكثير من هذه البيانات المتفرقة:
- يتحكم المتعلمون في المدخلات، حيث يقومون لحظة بلحظة بتشكيل وتنظيم المدخلات. على سبيل المثال، خلال الأشهر القليلة الأولى من حياتهم، يميل الأطفال إلى النظر أكثر إلى الأشياء ذات الحواف البسيطة.
- نظرًا لأن الأطفال يتطورون باستمرار في معارفهم وقدراتهم، فإنهم يتبعون منهجًا دراسيًا مقيدًا للغاية. يتم تنظيم البيانات التي يتعرضون لها بطرق مهمة للغاية. على سبيل المثال، يقضي الأطفال الذين تقل أعمارهم عن 4 أشهر معظم الوقت في النظر إلى الوجوه، ما يقرب من 15 دقيقة في الساعة، في حين يركز الأطفال الأكبر من 12 شهرًا بشكل أساسي على اليدين، ويراقبونهم لمدة 20 دقيقة تقريبًا في الساعة.
- تتكون حلقات التعلم من سلسلة من التجارب المترابطة. تخلق الارتباطات المكانية والزمانية التماسك، والذي بدوره يسهل تكوين ذكريات دائمة من أحداث لمرة واحدة. على سبيل المثال، عند تقديم مجموعة عشوائية من الألعاب، غالبًا ما يركز الأطفال على عدد قليل من الألعاب "المفضلة". وهم يتعاملون مع هذه الألعاب باستخدام أنماط متكررة، مما يساعد على التعلم بشكل أسرع للأشياء.
- تستمر الذكريات العابرة (العاملة) لفترة أطول من المدخلات الحسية. تشمل الخصائص التي تعزز عملية التعلم تعدد الوسائط، والجمعيات، والعلاقات التنبؤية، وتنشيط ذكريات الماضي.
- للتعلم السريع، تحتاج إلى تحالف بين الآليات التي تولد البيانات والآليات التي تتعلم.
الرسم: الأدوات الأساسية، وزيادة التعلم، والمتانة التكيفية
جيلاني نيلسون، أستاذ الهندسة الكهربائية وعلوم الكمبيوتر في جامعة كاليفورنيا في بيركلي، قدم مفهوم "الرسومات التخطيطية" للبيانات - تمثيل مضغوط بالذاكرة لمجموعة بيانات لا يزال يتيح الإجابة على الاستعلامات المفيدة. على الرغم من أن الحديث كان تقنيًا تمامًا، إلا أنه قدم نظرة عامة ممتازة على بعض أدوات الرسم الأساسية، بما في ذلك التطورات الحديثة.
الوجبات الرئيسية:
- تم طرح أداة الرسم الأساسية CountSketch لأول مرة في عام 2002 لمعالجة مشكلة "الضاربين الثقيلين"، حيث تقوم بالإبلاغ عن قائمة صغيرة من العناصر الأكثر شيوعًا من مجموعة العناصر المحددة. كانت CountSketch أول خوارزمية خطية معروفة تستخدم لهذا الغرض.
- يتضمن التطبيقان غير المتدفقين للضاربين الثقيلين ما يلي:
- الطريقة الداخلية القائمة على النقاط (IPM) التي توفر أسرع خوارزمية معروفة للبرمجة الخطية.
- طريقة HyperAttention التي تعالج التحدي الحسابي الذي يفرضه التعقيد المتزايد للسياقات الطويلة المستخدمة في LLMs.
- لقد ركز الكثير من العمل الحديث على تصميم رسومات تخطيطية قوية للتفاعل التكيفي. الفكرة الرئيسية هي استخدام الرؤى من تحليل البيانات التكيفية.
ما وراء لوحة القياس
هذه لوحة رائعة على نماذج اللغات الكبيرة أدار الجلسة ألكسندر راش، الأستاذ المشارك في جامعة كورنيل للتكنولوجيا والباحث في Hugging Face. وكان من بين المشاركين الآخرين:
- آكانكشا تشودري – عالمة أبحاث في Google DeepMind ولها اهتمامات بحثية في الأنظمة، والتدريب المسبق على ماجستير إدارة الأعمال، والوسائط المتعددة. لقد كانت جزءًا من فريق تطوير PaLM وGemini وPathways.
- أنجيلا فان – عالمة أبحاث في Meta Geneative AI ولها اهتمامات بحثية في مجال المحاذاة ومراكز البيانات وتعدد اللغات. شاركت في تطوير Llama-2 وMeta AI Assistant.
- بيرسي ليانغ - أستاذ في جامعة ستانفورد يبحث عن المبدعين والمصادر المفتوحة والوكلاء المولدين. وهو مدير مركز أبحاث النماذج الأساسية (CRFM) في جامعة ستانفورد ومؤسس شركة Together AI.
ركزت المناقشة على أربعة مواضيع رئيسية: (1) البنى والهندسة، (2) البيانات والمواءمة، (3) التقييم والشفافية، و(4) المبدعين والمساهمين.
فيما يلي بعض الوجبات السريعة من هذه اللوحة:
- تدريب نماذج اللغة الحالية ليس بالأمر الصعب بطبيعته. يكمن التحدي الرئيسي في تدريب نموذج مثل Llama-2-7b في متطلبات البنية التحتية والحاجة إلى التنسيق بين وحدات معالجة الرسومات المتعددة ومراكز البيانات وما إلى ذلك. ومع ذلك، إذا كان عدد المعلمات صغيرًا بما يكفي للسماح بالتدريب على وحدة معالجة رسومات واحدة، حتى الطالب الجامعي يمكنه إدارتها.
- في حين أن نماذج الانحدار الذاتي تستخدم عادةً لإنشاء النصوص ونماذج الانتشار لإنشاء الصور ومقاطع الفيديو، فقد كانت هناك تجارب لعكس هذه الأساليب. على وجه التحديد، في مشروع الجوزاء، يتم استخدام نموذج الانحدار الذاتي لتوليد الصور. كانت هناك أيضًا استكشافات لاستخدام نماذج الانتشار لإنشاء النص، لكن هذه لم تثبت فعاليتها بعد بما فيه الكفاية.
- ونظرًا لمحدودية توافر البيانات باللغة الإنجليزية لنماذج التدريب، يقوم الباحثون باستكشاف طرق بديلة. أحد الاحتمالات هو تدريب نماذج متعددة الوسائط على مجموعة من النصوص والفيديو والصور والصوت، مع توقع أن المهارات المكتسبة من هذه الطرائق البديلة قد تنتقل إلى نص. خيار آخر هو استخدام البيانات الاصطناعية. من المهم ملاحظة أن البيانات الاصطناعية غالبًا ما تمتزج بالبيانات الحقيقية، لكن هذا التكامل ليس عشوائيًا. عادةً ما يخضع النص المنشور عبر الإنترنت للتنظيم والتحرير البشري، مما قد يضيف قيمة إضافية للتدريب النموذجي.
- كثيرًا ما يُنظر إلى نماذج الأساس المفتوح على أنها مفيدة للابتكار ولكنها قد تكون ضارة لسلامة الذكاء الاصطناعي، حيث يمكن استغلالها من قبل جهات ضارة. ومع ذلك، يرى الدكتور بيرسي ليانغ أن النماذج المفتوحة تساهم أيضًا بشكل إيجابي في تحقيق السلامة. ويقول إنه من خلال سهولة الوصول إليها، فإنها توفر لعدد أكبر من الباحثين فرصًا لإجراء أبحاث سلامة الذكاء الاصطناعي ومراجعة نماذج نقاط الضعف المحتملة.
- اليوم، تتطلب البيانات التوضيحية خبرة أكبر بكثير في مجال التعليقات التوضيحية مقارنة بما كانت عليه قبل خمس سنوات. ومع ذلك، إذا كان أداء مساعدي الذكاء الاصطناعي كما هو متوقع في المستقبل، فسنتلقى بيانات تعليقات أكثر قيمة من المستخدمين، مما يقلل الاعتماد على البيانات الشاملة من المعلقين.
أنظمة لنماذج الأساسات، ونماذج الأساسات للأنظمة
In هذا الكلاميوضح كريستوفر ري، الأستاذ المشارك في قسم علوم الكمبيوتر بجامعة ستانفورد، كيف غيرت النماذج الأساسية الأنظمة التي نبنيها. ويستكشف أيضًا كيفية بناء نماذج الأساس بكفاءة، واستعارة الأفكار من أبحاث أنظمة قواعد البيانات، ويناقش بنيات محتملة أكثر كفاءة لنماذج الأساس من المحول.
فيما يلي أهم النقاط من هذا الحديث:
- تعد النماذج الأساسية فعالة في معالجة مشكلات "الموت بمقدار 1000 تخفيض"، حيث قد تكون كل مهمة فردية بسيطة نسبيًا، ولكن اتساع المهام وتنوعها يمثل تحديًا كبيرًا. ومن الأمثلة الجيدة على ذلك مشكلة تنظيف البيانات، والتي يمكن الآن لـ LLM المساعدة في حلها بشكل أكثر كفاءة.
- عندما تصبح المسرعات أسرع، غالبًا ما تظهر الذاكرة على أنها عنق الزجاجة. هذه مشكلة ظل الباحثون في قواعد البيانات يعالجونها منذ عقود، ويمكننا اعتماد بعض استراتيجياتهم. على سبيل المثال، يعمل نهج Flash Attention على تقليل تدفقات المدخلات والمخرجات من خلال الحجب والدمج العدواني: كلما وصلنا إلى معلومة ما، نقوم بإجراء أكبر عدد ممكن من العمليات عليها.
- هناك فئة جديدة من البنيات، متجذرة في معالجة الإشارات، والتي يمكن أن تكون أكثر كفاءة من نموذج المحولات، وخاصة في التعامل مع التسلسلات الطويلة. توفر معالجة الإشارات الاستقرار والكفاءة، مما يضع الأساس لنماذج مبتكرة مثل S4.
التعلم المعزز عبر الإنترنت في التدخلات الصحية الرقمية
In حديثها، شاركت سوزان ميرفي، أستاذ الإحصاء وعلوم الكمبيوتر في جامعة هارفارد، الحلول الأولى لبعض التحديات التي يواجهونها في تطوير خوارزميات RL عبر الإنترنت لاستخدامها في التدخلات الصحية الرقمية.
فيما يلي بعض الوجبات السريعة من العرض التقديمي:
- ناقشت الدكتورة سوزان ميرفي مشروعين كانت تعمل عليهما:
- HeartStep، حيث تم اقتراح الأنشطة بناءً على بيانات من الهواتف الذكية وأجهزة التتبع القابلة للارتداء
- Oralytics للتدريب على صحة الفم، حيث استندت التدخلات إلى بيانات المشاركة الواردة من فرشاة الأسنان الإلكترونية.
- عند وضع سياسة سلوكية لعامل الذكاء الاصطناعي، يجب على الباحثين التأكد من أنها مستقلة ويمكن تنفيذها بشكل عملي في نظام الرعاية الصحية الأوسع. ويستلزم هذا التأكد من أن الوقت اللازم لمشاركة الفرد معقول، وأن الإجراءات الموصى بها سليمة أخلاقيا ومعقولة علميا.
- تشمل التحديات الأساسية في تطوير وكيل RL لتدخلات الصحة الرقمية التعامل مع مستويات الضوضاء العالية، حيث يعيش الناس حياتهم وقد لا يتمكنون دائمًا من الرد على الرسائل، حتى لو رغبوا في ذلك، بالإضافة إلى إدارة الآثار السلبية القوية والمتأخرة .
كما ترون، قدم NeurIPS 2023 لمحة مضيئة عن مستقبل الذكاء الاصطناعي. وسلطت المحادثات المدعوة الضوء على الاتجاه نحو نماذج أكثر كفاءة ووعيًا بالموارد واستكشاف أبنية جديدة تتجاوز النماذج التقليدية.
هل تستمتع بهذه المقالة؟ قم بالتسجيل للحصول على المزيد من تحديثات أبحاث الذكاء الاصطناعي.
سنخبرك عندما نصدر المزيد من المقالات الموجزة مثل هذه.
مقالات ذات صلة
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.topbots.com/neurips-2023-invited-talks/
