تقدم نظرية الخيال تنبؤًا مختلفًا حول كيفية ظهور الإعادة: عندما تستريح على الأريكة ، يجب أن يعيد دماغك تسلسل "الكلب ، المزهرية ، الماء". أنت تعلم من التجربة السابقة أن الكلاب أكثر عرضة للتسبب في المزهريات المكسورة من المزهريات المكسورة التي تسبب الكلاب - ويمكن استخدام هذه المعرفة لإعادة تنظيم التجربة في ترتيب أكثر فائدة.
في RL العميق ، استخدمت الغالبية العظمى من العملاء إعادة تشغيل تشبه الفيلم ، لأنه سهل التنفيذ (يمكن للنظام ببساطة تخزين الأحداث في الذاكرة ، وتشغيلها كما حدث). ومع ذلك ، استمر باحثو RL في دراسة الاحتمالات حول إعادة الخيال.
وفي الوقت نفسه في علم الأعصاب ، افترضت النظريات الكلاسيكية لإعادة العرض أن إعادة تشغيل الفيلم سيكون مفيدًا لتقوية الروابط بين الخلايا العصبية التي تمثل أحداثًا أو مواقع مختلفة بالترتيب الذي مرت به. ومع ذلك ، كانت هناك تلميحات من علم الأعصاب التجريبي الذي قد يكون قادرًا على تخيل تسلسلات جديدة. الأكثر إلحاحًا ملاحظة هو أنه حتى عندما تعرضت الفئران لذراعين فقط من متاهة بشكل منفصل ، فإن تسلسل إعادة التشغيل اللاحق يتبع في بعض الأحيان مسارات من ذراع إلى أخرى.
لكن مثل هذه الدراسات تركت السؤال حول ما إذا كانت إعادة التشغيل تقوم ببساطة بجمع أجزاء من التسلسلات من ذوي الخبرة ، أو ما إذا كان يمكنها توليف مسارات جديدة من القماش كله. أيضا ، اقتصرت تجارب القوارض في المقام الأول على مكاني التسلسل ، ولكن سيكون من الرائع معرفة ما إذا كانت قدرة البشر على تخيل التسلسلات قد تم إثرائها من خلال احتياطينا الهائل من الملخصات المفاهيمي المعرفه.
تجربة إعادة تشغيل جديدة في البشر
طرحنا هذه الأسئلة في مجموعة حديثة تجارب بالاشتراك بين UCL و Oxford و DeepMind.
في هذه التجارب ، قمنا أولاً بتعليم الناس قاعدة تحدد كيفية تفاعل مجموعة من الكائنات. يمكن العثور على القاعدة الدقيقة التي استخدمناها في الورقة. ولكن للاستمرار بلغة مثال "الماء ، المزهرية ، الكلب" ، يمكننا أن نفكر في القاعدة على أنها معرفة أن الكلاب يمكن أن تسبب مزهريات مكسورة ، والمزهريات المكسورة يمكن أن تسبب الماء على الأرض. ثم قدمنا هذه الأشياء إلى الناس في تزاحم طلب (مثل "ماء ، إناء ، كلب"). وبهذه الطريقة ، يمكننا أن نتساءل عما إذا كانت أدمغتهم قد أعادت العناصر بالترتيب المخلوط الذي اختبروه ، أو بالترتيب غير المشفر الذي ربط العناصر بشكل هادف. عرض عليهم التسلسل المخفوق ثم أعطوا خمس دقائق للراحة ، بينما كانوا يجلسون في MEG ماسح الدماغ.
كما هو الحال في التجارب السابقة ، كانت تسلسلات إعادة الأشياء السريعة واضحة في تسجيلات الدماغ. (في مثال آخر لل دورة فعالة بين علم الأعصاب والذكاء الاصطناعي ، استخدمنا التعلم الآلي لقراءة هذه التوقيعات من النشاط القشري.) لعبت هذه التسلسلات العفوية بسرعة أكثر من سدس ثانية تقريبًا ، واحتوت ما يصل إلى أربعة كائنات على التوالي. ومع ذلك ، لم تلعب التسلسلات في تمكنت الطلب (أي الترتيب المخفوق: الماء المنسكب -> إناء -> الكلب). بدلا من ذلك ، لعبوا غير مشفر، ترتيب ذو مغزى: كلب -> إناء -> ماء مسكوب. يجيب هذا - بالإيجاب - على الأسئلة حول ما إذا كان إعادة العرض يمكن أن يتخيل تسلسلات جديدة من قطعة قماش كاملة ، وما إذا كانت هذه التسلسلات تتشكل من خلال المعرفة المجردة.
ومع ذلك ، لا يزال هذا الاستنتاج يترك السؤال المهم كيف يبني الدماغ هذه التسلسلات غير المرتبة. لمحاولة الإجابة على هذا ، قمنا بتشغيل تسلسل ثانٍ للمشاركين. في هذا التسلسل ، تدخل إلى مصنعك وترى الزيت المنسكب على الأرض. ثم ترى برميل الزيت مطروحًا. أخيرًا ، تلتفت لترى روبوتًا مذنبًا. لفك رموز هذا التسلسل ، يمكنك استخدام نفس النوع من المعرفة كما في تسلسل "ماء ، إناء ، كلب": معرفة أن وكيلًا متنقلًا يمكنه أن يطرق الأوعية ، وأن تلك الحاويات المفكوكة يمكن أن تنسكب السائل. باستخدام هذه المعرفة ، يمكن أيضًا فك الترتيب الثاني: الروبوت -> البرميل -> الزيت المسكوب.
من خلال إظهار تسلسلات متعددة للناس بنفس البنية ، يمكننا فحص نوعين جديدين من التمثيل العصبي. أولاً ، الجزء الذي يمثله مشترك بين الماء المسكوب والزيت المسكوب. هذا ملخص رمز "سائل مسكوب" ، ثابت حول ما إذا كنا في تسلسل المنزل أو تسلسل المصنع. وثانيًا ، جزء التمثيل الشائع بين الماء والمزهريات والكلب. هذا هو رمز مجرد لـ "تسلسل المنزل" ، وهو ثابت على أي كائن نفكر فيه.
وجدنا كلا هذين النوعين من الرموز المجردة في بيانات الدماغ. ولدهشتنا ، أثناء الراحة ، لعبوا في تسلسلات سريعة تم تنسيقها بدقة مع تسلسل إعادة التشغيل التلقائي المذكور أعلاه. كل كائن في تسلسل إعادة مسبوق قليلاً بكودين مجردة. على سبيل المثال ، أثناء تسلسل الكلاب ، المزهرية ، إعادة تشغيل الماء ، سبق تمثيل "الماء" برموز "التسلسل المنزلي" و "السائل المنسكب".
المصدر: https://deepmind.com/blog/article/replay-in-biological-and-artificial-neural-networks
