أظهرت دراسة أن أفضل مجموعات البيانات المستخدمة لتدريب نماذج الذكاء الاصطناعي وقياس مدى تقدم التكنولوجيا بمرور الوقت مليئة بأخطاء التوسيم.
تعد البيانات موردًا حيويًا في تعليم الآلات كيفية إكمال مهام محددة ، سواء كان ذلك تحديد أنواع مختلفة من النباتات أو إنشاء تسميات توضيحية تلقائيًا. معظم الشبكات العصبية يتم تغذيتها بالملعقة والكثير من العينات المشروحة قبل أن تتمكن من تعلم الأنماط الشائعة في البيانات.
لكن هذه التسميات ليست دائمًا صحيحة ؛ يمكن لآلات التدريب التي تستخدم مجموعات البيانات المعرضة للخطأ أن تقلل من أدائها أو دقتها. في ال الدراسة المذكورة أعلاه، بقيادة معهد ماساتشوستس للتكنولوجيا ، قام المحللون بتمشيط عشر مجموعات بيانات شائعة تم الاستشهاد بها أكثر من 100,000 مرة في الأوراق الأكاديمية ووجدوا أن 3.4 في المائة من العينات في المتوسط مصنفة بشكل خاطئ.
تتراوح مجموعات البيانات التي نظروا إليها من الصور في ImageNet إلى الأصوات في AudioSet والمراجعات المأخوذة من Amazon إلى الرسومات في QuickDraw. أمثلة لبعض الأخطاء جمعت من قبل الباحثين أظهروا أنه في بعض الحالات ، يكون هذا خطأ فادحًا ، مثل رسم مصباح كهربائي تم تمييزه على أنه تمساح ، في حالات أخرى ، ومع ذلك ، فإنه ليس دائمًا واضحًا. هل يجب تسمية صورة دلو من كرات البيسبول على أنها "كرات بيسبول" أو "دلو"؟
داخل مجموعة بيانات ImageNet سعة 1 تيرابايت المستخدمة لتدريب الذكاء الاصطناعي في العالم: أطفال عراة وحفلات أخوية في حالة سكر ونجوم إباحية والمزيد
حاشية كل عينة عمل شاق. غالبًا ما يتم الاستعانة بمصادر خارجية لهذا العمل لخدمات مثل Amazon Mechanical Turk ، حيث يتم دفع الجذر التربيعي للعمال جميعًا للتنقيب في البيانات قطعة قطعة ، ووضع العلامات على الصور والصوت لإدخالها في أنظمة الذكاء الاصطناعي. هذه العملية تضخم التحيزات والأخطاء ، كما وثق نائب هنا.
يتم الضغط على العمال للموافقة على الوضع الراهن إذا كانوا يريدون الحصول على أموال: إذا وصف الكثير منهم دلوًا من كرات البيسبول بأنه "دلو" ، وقررت أنه "كرات أساسية" ، فقد لا يتم الدفع لك على الإطلاق إذا كانت المنصة الأرقام كنت مخطئًا أو تحاول عمدًا إفساد وضع العلامات. هذا يعني أن العمال سيختارون التسمية الأكثر شيوعًا لتجنب الظهور وكأنهم قد ارتكبوا خطأ. من مصلحتهم التمسك بالسرد وتجنب الخروج مثل الإبهام المؤلم. وهذا يعني أخطاء ، أو أسوأ من ذلك ، التحيزات العرقية وما شابهها ، كرة الثلج في مجموعات البيانات هذه.
تختلف معدلات الخطأ عبر مجموعات البيانات. في IMAGEnet، مجموعة البيانات الأكثر شيوعًا المستخدمة لتدريب النماذج على التعرف على الكائنات ، يزداد المعدل إلى ستة في المائة. بالنظر إلى أنه يحتوي على حوالي 15 مليون صورة ، فهذا يعني أن مئات الآلاف من الملصقات خاطئة. تتأثر بعض فئات الصور أكثر من غيرها ، على سبيل المثال ، غالبًا ما يُخطئ مصطلح "الحرباء" على أنها "سحلية خضراء" والعكس صحيح.
هناك تأثيرات أخرى غير مباشرة: قد تتعلم الشبكات العصبية ربط الميزات داخل البيانات بشكل غير صحيح مع تسميات معينة. إذا كان يبدو ، على سبيل المثال ، أن العديد من صور البحر تحتوي على قوارب واستمر وضع علامة عليها على أنها "بحر" ، فقد يتم الخلط بين الماكينة ومن المرجح أن تتعرف بشكل غير صحيح على القوارب على أنها بحار.
لا تظهر المشكلات فقط عند محاولة مقارنة أداء النماذج باستخدام مجموعات البيانات الصاخبة هذه. وأوضح كيرتس نورثكوت ، المؤلف الرئيسي المشارك للمسمار وطالب الدكتوراه في معهد ماساتشوستس للتكنولوجيا ، وهو أيضًا مؤسس مشارك ورئيس قسم التكنولوجيا في ChipBrain ، وهي شركة ناشئة لأجهزة التعلم الآلي ، أن المخاطر تكون أعلى إذا تم نشر هذه الأنظمة في العالم الحقيقي السجل.
قال: "تخيل سيارة ذاتية القيادة تستخدم نموذجًا للذكاء الاصطناعي لاتخاذ قرارات التوجيه عند التقاطعات". "ماذا سيحدث إذا تم تدريب السيارة ذاتية القيادة على مجموعة بيانات مع وجود أخطاء متكررة في التسمية والتي تُصنف بشكل خاطئ تقاطعًا ثلاثي الاتجاهات على أنه تقاطع رباعي الاتجاهات؟ الجواب: قد يتعلم القيادة عن الطريق عندما يواجه تقاطعات ثلاثية الاتجاهات.
ماذا سيحدث إذا تم تدريب السيارة ذاتية القيادة على مجموعة بيانات مع وجود أخطاء متكررة في التسمية والتي تُخطئ في تسمية تقاطع ثلاثي الاتجاهات على أنه تقاطع رباعي الاتجاهات؟
"ربما يكون أحد نماذجك ذاتية القيادة بالذكاء الاصطناعي أكثر قوة في الواقع لضوضاء التدريب ، بحيث لا تنطلق بعيدًا عن الطريق بنفس القدر. لن تعرف هذا أبدًا إذا كانت مجموعة الاختبار الخاصة بك صاخبة جدًا لأن تسميات مجموعة الاختبار الخاصة بك لن تتطابق مع الواقع. هذا يعني أنه لا يمكنك قياس أفضل طرازات الذكاء الاصطناعي التي يتم قيادتها بشكل صحيح - على الأقل ليس حتى تنشر السيارة في العالم الحقيقي ، حيث قد تكون خارج الطريق. "
عندما قام الفريق العامل في الدراسة بتدريب بعض الشبكات العصبية التلافيفية على أجزاء من شبكة ImageNet تم مسحها من الأخطاء ، تحسن أداؤها. يعتقد boffins أن المطورين يجب أن يفكروا مليًا في تدريب النماذج الكبيرة على مجموعات البيانات ذات معدلات الخطأ العالية ، ونصحهم بفرز العينات أولاً. يمكن العثور على Cleanlab ، البرنامج الذي طوره الفريق واستخدمه لتحديد الملصقات غير الصحيحة وغير المتسقة GitHub جيثب:.
قال نورثكوت: "Cleanlab عبارة عن حزمة بيثون مفتوحة المصدر للتعلم الآلي مع تسميات صاخبة". "Cleanlab يعمل من خلال تنفيذ كل من النظرية والخوارزميات في مجال فرعي للتعلم الآلي يسمى التعلم الواثق ، اخترع في معهد ماساتشوستس للتكنولوجيا. لقد قمت ببناء cleanlab للسماح للباحثين الآخرين باستخدام التعلم الواثق - عادةً باستخدام بضعة أسطر من التعليمات البرمجية - ولكن الأهم من ذلك ، لتعزيز تقدم العلم في التعلم الآلي مع تسميات صاخبة ولتوفير إطار عمل للباحثين الجدد للبدء بسهولة. "
واعلم أنه إذا كانت تسميات مجموعة البيانات رديئة بشكل خاص ، فقد لا يكون تدريب الشبكات العصبية الكبيرة المعقدة مفيدًا دائمًا. تميل النماذج الأكبر إلى الإفراط في استيعاب البيانات أكثر من النماذج الأصغر.
"في بعض الأحيان ، يعمل استخدام نماذج أصغر لمجموعات البيانات الصاخبة جدًا. ومع ذلك ، بدلاً من التخلف دائمًا عن استخدام نماذج أصغر لمجموعات البيانات الصاخبة للغاية ، أعتقد أن الهدف الرئيسي هو أن مهندسي التعلم الآلي يجب أن ينظفوا ويصححوا مجموعات الاختبار الخاصة بهم قبل أن يقيسوا نماذجهم ، " ®
كوينسمارت. Beste Bitcoin-Börse في أوروبا
المصدر: https://go.theregister.com/feed/www.theregister.com/2021/04/01/mit_ai_accuracy/
