@نيوراللاديسلاف نيفري

يحظر شفرتي عمليات الاستغلال في اليوم صفر على مئات الملايين من أجهزة الكمبيوتر. دائما على أمل جعل العالم مكانا أفضل.

ماذا لو دربنا الذكاء الاصطناعي لإكمال المعادلات بدلاً من صور القطط؟

هل يمكن للذكاء الاصطناعي المساعدة في حل النظرية الموحدة؟

تذكر تلك الصدمة من رؤية بعض الاختراق لأول مرة؟

مثل عندما كان الذكاء الاصطناعي قادرًا على إكمال المستطيلات السوداء أعلاه بـ ...

… حلول معقولة بشكل صادم؟

هذا الذكاء الاصطناعي كان ImageGPT من OpenAI حيث يرمز GPT إلى Generative Pretrained Transformer. الآن بالتأكيد لست الوحيد الذي جن جنونه فورًا بأفكار حول ما يمكن العثور عليه "حل معقول" للتالي.

رأى البعض مجرد مولد صور آخر بالذكاء الاصطناعي. لكن …

لقد رأيت مساحة احتمالية كبيرة لا يمكن تصورها تم تقليصها إلى شريحة رفيعة ومركزة.

وما هو أكثر إثارة للصدمة. تم تقليله إلى شريحة رفيعة من خلال اتباع الكثير من القواعد المعقدة للغاية المرصودة والمكتسبة. لاحظ كيف أثر موقع مصدر الضوء على الإضاءة في مشهد المشاة الناتج.

لاحظ طول شفافية معقول ومنظور الظلال. تشريح مشترك معقول لأقدام القطط ذات الفرو. هذا هو. إذا أرادت قطة يومًا ما أن تحمل بطاقة؟ هيك ، حتى أنه أضاف ظلًا طفيفًا على البطاقة.

ولكن ما هي حقًا المشكلة الأكثر أهمية التي تستحق الإكمال للمضي قدمًا بالبشر؟

دعنا ننشئ نموذجًا ثوريًا للغة جديدًا - على قدم المساواة مع Gpt3 ... ولكن هذه المرة ، بدلاً من ضجيج الإنترنت ، دعنا ندربه فقط على أفضل الكتب العلمية والمجلات والأوراق العلمية التي راجعها الأقران ، جنبًا إلى جنب مع التعليقات النقدية من عملية الإرسال .

اليوم ، أصبح كل شيء بتنسيق Pdf ، حيث تكون المعادلات نصوصًا قابلة للمعالجة بسهولة داخليًا. قد تكون إحدى مزايا مجموعة البيانات هذه أن جميع الأدبيات والأوراق تقريبًا تحتوي في نهايتها على قائمة بالعمل البديل ذي الصلة أو المصادر المؤثرة التي اعتبروها مهمة في ذلك الوقت.

دعنا نساعد gpt ، مع الاهتمام وإمكانية الشرح من خلال وضع معرف arxiv والتاريخ في بداية كل مستند وجميع المراجع الخاصة به في نهايته. ومن خلال إجبار النموذج على إضافة بادئة لكل إجابة بقائمة من معرفات المستندات المؤثرة. مثال:

"س: ما نتيجة 1 + 1 ولماذا"

"أ: نتيجة 1 + 1 هي 2 وفقًا للقواعد الموضحة في arxivurl1 و arxivurl2"

مزايا التدريب على جميع المصادر العلمية المحكّمة:
تعلم الوصول إلى استنتاجات من خلال مراقبة عملية التفكير وصولاً إلى العناصر الأساسية (Arxiv) ، وليس مجرد الاستنتاجات نفسها (ويكيبيديا).

جودة المعلومات. كثافة المعلومات. مجموعة بيانات أصغر. تدريب أسرع. ذاكرة أقل. القدرة على المتابعة وتركيز الانتباه على سلسلة المراجع وحسابات الاقتباس. تحيز أقل. أي تسرب.

تم إنشاء الصورة بالكامل باستخدام الذكاء الاصطناعي. فقط عن طريق الضغط على زر

لا يوجد شيء مثل الخيال العلمي. مجرد تنبؤات.

بعد كل شيء يتم تدريبه واختباره بواسطة مجموعة أكثر تعقيدًا من المعادلات الحالية. حتى الذهاب إلى حد التدريب على جميع مقترحات النظرية الموحدة المتنافسة المعروفة. يمكن للمرء بعد ذلك أن يبدأ في طلب إكمال النظرية النهائية نفسها.

ما هي الحلول المعقولة المروعة التي ستبدو الآن؟

ما هي القواعد المخفية التي سيراقبها الذكاء الاصطناعي ويطبقها من جميع البيانات والمعرفة البشرية العلمية التي تم تدريبه عليها؟ هل ستكمل المعادلة بمصطلح يصف النمط الذي لاحظته داخل البيانات في بعض أوراق LHC؟

اقترحت تدقيق الحقائق في الوقت الحقيقي بواسطة منظمة العفو الدولية للبث التلفزيوني المباشر و net والوصول إلى Gpt3

هل يمكن للذكاء الاصطناعي تعلم قواعد جديدة في الرياضيات أو الفيزياء عن طريق الملاحظة فقط؟

فيما يلي مثال لما أنتجه gpt3 لهذه المقالة فقط. تذكر أنه لم يتم تدريس أي شيء. تم عرض الكثير من نصوص الإنترنت في الغالب وملف بعض أمثلة الرياضيات الأساسية. ومع ذلك ، يبدو أنه تعلم هذا بطريقة ما ...

خرج اختبار Gpt3 Beta اعتبارًا من 6 مارس 2021

ضع في اعتبارك أنه لم ينجح كل اختبار كما أن عدد العمليات وطول الأرقام محدودان للغاية. ولكن ليس ذلك المقصود. Gpt3 هو مجرد نسخة تجريبية ولا يزال قيد التطوير. لكن حقيقة أننا نلاحظ انهيارًا جليديًا زائدًا صحيحًا من نموذج اللغة؟ بالنسبة لي ، غير متوقع وصادم على الأقل.

الآن بالنسبة لأولئك المشككين ما زالوا يعتقدون أن المحولات لا تزال بطريقة ما مجرد متغير لشيء مثل Hidden Markov. أي ، عدم القدرة على التنبؤ بنتائج الرياضيات التي لم يسبق لها مثيل وعدم إجراء العمليات الحسابية الفعلية مثل العمليات المذكورة أعلاه. هنا حديث مثير للاهتمام ورقة من اللقطات الكبيرة لمنظمة العفو الدولية. و هنا فيديو شرحه بسرعة لمن هم في وقت قصير. لكن باختصار ...

مع ما يكفي من التعقيد هناك المنفعة الحسابية في المحولات... يانيك كيلشر "

يعمل الآن نص قصير مثل هذا على تنشيط جزء فقط من إدخال النموذج والأوزان. لذا بدافع الفضول الخالص ، حاولت العثور على أقصى عدد من المعادلات الرياضية يمكنني أن أطلب من gpt3 أن يحسبها مرة واحدة.

فكر في المعادلات على أنها ظلال ملحوظة لبنية معقدة متوقعة على مستوى فهمنا المحدود.

عالم الرياضيات اللامع أنتوني جاريت ليسي كان قادرًا على تحديد الأنماط داخل خصائص الجسيمات المعروفة وتعيينها لمجموعة الكذب E8 أعلاه. وبالتالي ، كان من الناحية النظرية قادرًا على التنبؤ بجسيمات لم نرها حتى الآن. اختراق لا يصدق إذا اكتملت نظريته يومًا ما. حق؟

الآن ضع في اعتبارك أن قدرة الإنسان على اكتشاف الأنماط كانت بالفعل إلى حد كبير حلت محلها منظمة العفو الدولية.

وبينما تعلمت Gpt3 متابعة وإنشاء لغة نصية بشكل جيد. كما هو موضح في المثال السابق للرياضيات gpt3 أعلاه ، يمكننا أن نستنتج أن ...

المعادلات هي مجرد لغة أيضًا ، مع قواعد قابلة للتعلم بنفس القدر.

إذا كان بإمكانه تعلم قواعد الرياضيات المعروفة عن طريق الملاحظة فقط.
مما يمكنه تعلم قواعد الرياضيات غير المعروفة أيضًا.

أثبتت الطبيعة متعددة الأبعاد لأوزان الذكاء الاصطناعي حتى الآن أنها قادرة على مراقبة وتعلم القواعد المخفية لهذه التركيبات ذات الأبعاد الأعلى لإبراز ظلال / معادلات بناء جديدة.

تمامًا كما حدث مع ImageGpt (12 مليار معلمة) وصور القطط أعلى المقالة. على سبيل المثال،   اكتشف الذكاء الاصطناعي للرياضيات بطريقة آلية وجود حدس جديد بالفعل.

الطاغوت الحالي لنماذج اللغة.

OpenAI 175. تدعي Google 600 مليار معلمة ولكنها لم تعطنا أي واجهة برمجة تطبيقات لاختبارها حتى الآن. لاكتساب قابلية التوسع ، لم تتبع Google نهج الطبقات الأكثر تكلفة ، ولكنها اختارت التوفيق بين العديد من المهام المحددة؟ شبكات وما يليها. تقليل وقت التدريب إلى 4 أيام على 2048tpus؟

إذن هل 600 أكثر من 175 ؟. حسنًا ، ربما يكون الأشخاص الذين يقفون وراء استنساخ Gpt3 الحالي إليوثر AI متشككين بعض الشيء

تميل النماذج القائمة على مزيج الخبراء إلى أداء أقل بكثير من النماذج المتجانسة (العادية) لنفس العدد من المعلمات. "الأسئلة الشائعة حول إليوثر حول الذكاء الاصطناعي"

لا يمكن إنكار أن Gpt3 ينتج غالبًا إجابات رائعة حول الموضوعات التي كانت موجودة بشكل متكرر في مجموعة بيانات التدريب. هيك ، يبدو أنه تعلم الرياضيات البسيطة منذ أن رأينا مجرد رياضيات بسيطة.

مجموعة بيانات Gpt3 الحالية كما هو مذكور في الأصل ورقة: الرموز (المليارات) المجموع 499 ، الزحف المشترك (تمت تصفيته حسب الجودة) 410 ، WebText 219 ، Books1 12 ، Books2 55 ، ويكيبيديا 3.

لكن هناك مشكلة.
تحتوي ويكيبيديا في كثير من الأحيان على النتائج والاستنتاجات النهائية فقط.
ليست العملية المهمة لكيفية وصولنا إليهم.

النموذج الذي لاحظ عمليات التفكير المتعددة التي توصلت إلى استنتاجات متعددة أفضل من النموذج الذي لاحظ للتو استنتاجات متعددة.

إذن ماذا لو قمنا بتدريبه على Arxiv.org بالكامل ولكن بما في ذلك المعادلات المعقدة التي غالبًا ما تكون محتوى بنسبة 50٪ أو أكثر؟

تحديث: نحن نصل إلى هناك بسرعة. بفضل EleutherAI ممتاز مفتوح المصدر نموذج استنساخ gpt3 جي بي تي نيو ومجموعة البيانات "كومة"ولد مؤخرًا أثناء تدريبه على جزء كبير من أمثلة Arxiv و DeepMind Math. ياي ، د

سيكون نهجي في مجموعة البيانات مختلفًا تمامًا عن الشائع حاليًا ...

دعنا نلقي عليها الكثير من النصوص العشوائية

لن تبدأ في تدريس الرياضيات لطفل في المدرسة الثانوية بدون الرياضيات الأساسية أولاً.

إذا قمت بتدريس القواعد الأساسية من كتاب تعليمي واحد مثل الجبر مليء بالمعلومات الجديدة في كل سطر. سيتعلم الطفل ذلك أسرع مما لو كان قد قرأ للتو قصصًا عشوائية منخفضة على معلومات جديدة حيث سيتعلمها في النهاية أيضًا ولكن الأمر سيستغرق وقتًا أطول.

لسوء الحظ ، هذه هي الطريقة التي يتم بها تدريب نماذج GPT الحالية غير الفعالة

إذا كان هناك شيء مثل كثافة المعلومات الجديدة ، فلن تكون كل نصوص التدريب متساوية.

فمثلا:

لنفترض أن الملف النصي الذي يحتوي على 1 غيغابايت من أمثلة الإضافة فقط سيعلمه عملية الإضافة بغض النظر عن طول المدة. بعد التكرار الخامس ، أنت تقوم بتزويدها بمعلومات مكررة إلى حد كبير وتهدر وحدة المعالجة المركزية والذاكرة مما يعزز ما قد لا يكون بهذه الأهمية.

لذلك ، إذا أعدنا ترتيب مجموعة البيانات بنص يحتوي ، على سبيل المثال ، على كثافة معلومات جديدة أعلى بكثير أولاً ، فقم بتعديل بسيط وتكرار ، ثم يجب أن نتقارب بشكل أسرع ، والأهم من ذلك ، أن نستخرج المعلومات ذات المستوى الأعلى بطريقة غير قابلة للفك من قبل بسبب عدم الحاجة إلى انخفاض سابق على مستوى المعرفة.

لماذا؟

في كتاب يحتوي على مفاهيم عالية المستوى مثل المدرسة الثانوية ، فإن الرياضيات يمكن مقارنتها بملف مضغوط يتطلب منك امتلاك قاموس فك تشفير / معرفة خارجية سابقة لفك تشفير هذا المحتوى المضغوط الآن. حتى رمز واحد أو مزدوج هنا يشير غالبًا إلى معرفة مسبقة معقدة ومليئة بالمعلومات.

لذا فإن كثافة المعلومات الجديدة والنظام مهمان للغاية.

من أجل التمكن من فك وفهم واستخراج هذه المعلومات الجديدة ذات المستوى الأعلى

مرور 1: قم بتدريب العديد من الحقب على آلاف فقط (ولكن المصادر الأكثر كثافة للمعلومات الجديدة على هذا الكوكب) من الكتب التعليمية المدرسية حيث يمثل كل سطر معلومات جديدة إلى حد كبير. ونفعل ذلك بترتيب محدد للغاية ، كما هو الحال في المدرسة. ابدأ بشرح وتعليم أساسيات اللغة الإنجليزية ، والرياضيات الأساسية ، والفيزياء الأساسية ، والكيمياء الأساسية ، ثم متغيرات المدرسة الثانوية من كل هؤلاء.

بدلاً من ذلك ، عندما لا يكون لديك مجموعة كبيرة من الكتب التعليمية المرغوبة ، يكون هناك مجموعة بيانات موجودة بشكل عشوائي ولكن كبيرة. يمكن للمرء تنفيذ هذا التدريب على المناهج وفرز المستندات في مجموعة البيانات عن طريق تقدير كثافة المعلومات الجديدة من خلال تتبع التغييرات الكبيرة في الوزن والتكرار لكل مستند.

مرور 2: صقل أكبر عدد ممكن من المعادلات الاصطناعية العشوائية التي تم إنشاؤها بواسطة الكمبيوتر.

لا أستطيع أن أتخيل مرشحًا أفضل حاليًا لهذا النجاح مجموعة بيانات DeepMind Mathematics. فيما يلي أمثلة على القطار:

Question: Solve -42*r + 27*c = -1167 and 130*r + 4*c = 372 for r.
Answer: 4 Question: Calculate -841880142.544 + 411127.
Answer: -841469015.544 Question: Let x(g) = 9*g + 1. Let q(c) = 2*c + 1. Let f(i) = 3*i - 39. Let w(j) = q(x(j)). Calculate f(w(a)).
Answer: 54*a - 30

اجتياز 3: الآن هذا النموذج لديه فهم قوي للرياضيات وتشكلت وحداته الحسابية. الآن فقط تدرب على جميع أوراق arxiv والمرشحين النظرية التي تحتوي على معادلات رياضية معقدة. حسنًا ، معقد بالنسبة للبشر نظرًا لأن سياق الدماغ ومخازن الذاكرة لدينا محدودة.

يجب أن يكون النموذج ، من الناحية النظرية ، قادرًا على شرح أي جزء من سبب وصوله إلى النتيجة التي توصل إليها بشكل تفاعلي. وما هو أكثر. مثل gpt3.

فكر في المتغيرات الجديدة. غالبًا ما تقترح الأوراق نفسها اتجاهات أخرى محتملة كانت بسبب قيود الوقت التي لم يتم استكشافها. احتمالية أن الذكاء الاصطناعي قد يستفيد منه بالتأكيد بسبب قابلية التوسع اللانهائية.

أوقات مثيرة

بالتاكيد. لقد أصبت بالجنون على الفور واقترحت هذا على Arxiv OpenAI و Google في بريد غير متماسك ومفرط في الإثارة ؛ D مثل هذه المقالة.

لأنه في بعض الأحيان حتى أصغر شرارة يمكن أن تؤدي إلى حريق كبير.

ونعم. أنا أعرف. هناك الكثير لدى الجميع في الوقت الحاضر. وأنا أعلم أيضًا أنه ليس كما لو كنت تضغط على مفتاح وتنتهي. ولكن عندما تفكر في الأمر أكثر. يمكنه استخدام سلاسل أدوات نصية موجودة بالفعل ...

وتقريباً جميع الأوراق أو الكتب بصيغة pdf. حيث إذا حاولت تحديد معادلة ، فستكتشف أنها بالفعل في شكل نصي.

في الواقع هذه هي الطريقة التي ولدت بها مجموعة بيانات arxiv بسعة 76 جيجا بايت. يرى هذه الورقة

• هل ستلهم هذه الإكمال الأكثر ثاقبة علميًا اتجاهات أو وجهات نظر جديدة في الرياضيات والفيزياء إذا من جميع كان لديه حق الوصول إليه؟
• هل ستنتشر التطورات في مجال / ورقة واحدة بسهولة أكبر للآخرين نظرًا لأن الشبكة تقترحها حيث ترى الفرصة؟ أي أولا بصيرة متعددة التخصصات حقا؟
• هل سيحتوي الإخراج الآن دائمًا على الأقل على بعض التلميح للحل؟ وبالتالي تقليل مساحة البحث عن المشكلات التي نحاول عادةً حلها بالقوة الغاشمة؟ في كثير من الأحيان ، بعد العمل على المعادلة لعقود من الزمن ، مجرد الحصول على تلميح يعني حدوث اختراق.
• هل ستكون قادرة على اقتراح المعادلات الموجودة في البيانات المراقبة التعسفية. أي مجموعة من الأرقام في السياق لمجرد أنها شهدت سلوكًا مشابهًا موصوفًا أو مقترحًا من قبل بعض الأوراق؟ بيانات LHC؟
• هل تسمح بحث أسرع عن الحلول في أزمة عالمية مفاجئة؟
• كيف سيبدو تصور ميزة الشبكة القادرة الآن على فهم المعادلات؟ ضوضاء؟ أنماط - رسم؟ فركتلات؟
• هل يمكن لشيء مثل Disentangled Variational Autoencoder (beta-vae؟) أن يكون قادرًا على اكتشاف واستخراج وتصور أساسيات الرياضيات أو الفيزياء المخفية الجديدة من المساحة الكامنة لهذه الشبكات.
• إذا تم طرح مجموعة المعادلات المتتالية المناسبة ، إذا تم تدريب OpenAI Clip على مجموعة البيانات هذه. ما الذي يمكن أن تعزله وتمثله الخلايا العصبية الخاصة بفئة معينة بشكل غريب؟

اعلم اعلم.
ولكن كما يقول رجل الصاروخ الكبير.

يجب أن نحلم بالخروج من BIG كل صباح اليوم التالي.

نشرت أيضا على متوسط.

كوينسمارت. Beste Bitcoin-Börse في أوروبا
المصدر: https://hackernoon.com/math-gpt-can-ai-help-solve-complex-equations-xib235n2؟