وفقًا لاستطلاع أجراه مركز بيو عام 2019 ، يعتقد غالبية المستجيبين أن لهجة وطبيعة النقاش السياسي في الولايات المتحدة أصبحت أكثر سلبية وأقل احترامًا. حفزت هذه الملاحظة العلماء على دراسة الكياسة أو عدم وجودها في الخطاب السياسي ، لا سيما في البث التلفزيوني. نظرًا لقدرتها على تحليل اللغة على نطاق واسع ، قد يفترض المرء أن أنظمة الذكاء الاصطناعي والتعلم الآلي قد تكون قادرة على المساعدة في هذه الجهود. لكن الباحثين في جامعة بنسلفانيا وجدوا أن هناك أداة واحدة على الأقل ، وهي Jigsaw's Perspective API ، من الواضح أنه لا يصل إلى مستوى المهمة.

الفظاظة هي أكثر دقة ودقة من السمية ، على سبيل المثال ، والتي تشمل الإهانات الهوية ، والألفاظ النابية ، والتهديدات بالعنف. في حين أن الكشف عن الفظاظة مهمة راسخة في الذكاء الاصطناعي ، إلا أنها ليست موحدة بشكل جيد ، مع اختلاف درجة ونوع الفظاظة عبر مجموعات البيانات.

درس الباحثون المنظور - وهو واجهة برمجة تطبيقات مدعومة بالذكاء الاصطناعي للإشراف على المحتوى طورتها Jigsaw ، وهي المنظمة التي تعمل تحت إشراف شركة Alphabet التابعة لشركة Google لمعالجة التسلط عبر الإنترنت والمعلومات المضللة - ويرجع ذلك جزئيًا إلى استخدامها على نطاق واسع. المنظمات الإعلامية بما في ذلك نيويورك تايمز تبنتها Vox Media و OpenWeb و Disqus ، وهي الآن تعالج 500 مليون طلب يوميًا.

لقياس قدرة Perspective على اكتشاف الفظاظة ، قام الباحثون ببناء مجموعة تحتوي على 51 نسخة من PBS NewsHour ، و Rachel Maddow Show على MSNBC ، و Hannity من Fox News. قرأ المعلقون كل نص وحدد المقاطع التي بدت غير مدنية أو مدنية بشكل خاص ، وصنفوها على مقياس من عشر نقاط لمقاييس مثل "مهذب / فظ" و "ودود / عدائي" و "تعاوني / مشاجرة" و "هادئ / مضطرب. " تم تكوين النتائج والاختيارات عبر المعلقين للحصول على درجة التحضر لكل قصاصة بين 1 و 10 ، حيث 1 هو الأكثر حضارة و 10 هو الأقل حضاريًا ممكنًا.

بعد تشغيل مقتطفات النص المشروحة من خلال Perspective API ، وجد الباحثون أن واجهة برمجة التطبيقات لم تكن حساسة بما يكفي لاكتشاف الاختلافات في مستويات الفظاظة بالنسبة إلى التصنيفات الأقل من ستة. زادت درجات المنظور للمستويات الأعلى من الفظاظة ، لكن درجات الفظاظة والمنظور اتفقت فقط على 51٪ من الوقت.

كتب الباحثون: "بشكل عام ، بالنسبة للأخبار المذاعة ، لا يمكن لـ Perspective إعادة إنتاج مفهوم الفظاظة لدى الناس". "بالإضافة إلى عدم القدرة على اكتشاف السخرية والخطأ ، يبدو أن هناك مشكلة في الإفراط في التنبؤ بالفظاظة في [برمجة] PBS و FOX."

في اختبار لاحق ، أخذ الباحثون عينات من آلاف الكلمات من كل نص ، وجمعوا ما مجموعه 2,671 ، والتي قاموا بتزويدها بـ Perspective للتنبؤ بالفظاظة. تُظهر النتائج اتجاهًا إشكاليًا: يميل المنظور إلى تصنيف هويات معينة - بما في ذلك "مثلي الجنس" و "الأمريكيين من أصل أفريقي" و "مسلم" و "الإسلام" و "يهودي" و "النساء" و "النسوية" و "النسوية" - سامة. علاوة على ذلك ، تشير API بشكل خاطئ إلى الكلمات المتعلقة بالعنف والموت (على سبيل المثال ، "تموت" ، "تقتل" ، "إطلاق النار" ، "الدعارة" ، "المواد الإباحية" ، "الجنسية") حتى في غياب الفظاظة وكذلك الكلمات التي يمكن أن تكون سامة في سياق ما ولكن في سياق آخر يمكن أن تشير إلى اسم (على سبيل المثال ، "ديك").

زعم مدققون آخرون أن المنظور لا يخفف الكراهية والكلام السام بالتساوي بين مجموعات من الناس. وجدت دراسة نشرها باحثون في جامعة أكسفورد ، ومعهد آلان تورينج ، وجامعة أوتريخت ، وجامعة شيفيلد ، أن واجهة برمجة تطبيقات المنظور تكافح بشكل خاص مع إدانات الكراهية التي تقتبس خطاب الكراهية للآخرين أو تشير إليه بشكل مباشر. وجدت دراسة سابقة لجامعة واشنطن نُشرت في عام 2019 أن المنظور كان أكثر احتمالًا لتصنيف "الإنجليزية المنحازة إلى السود" على أنها هجومية مقابل "الإنجليزية المنحازة للبيض".

من جانبها ، أخبرت Jigsaw مؤخرًا VentureBeat بذلك أحرزت ولا تزال تحرز تقدمًا نحو التخفيف من التحيزات في نماذجها.

يقول الباحثون إن عملهم يسلط الضوء على أوجه القصور في الذكاء الاصطناعي عند تطبيقه على مهمة الكشف عن الكياسة. في حين أنهم يعتقدون أن التحيزات ضد مجموعات مثل المسلمين والأمريكيين الأفارقة يمكن تقليلها من خلال تقنيات "مدفوعة بالبيانات" ، فإنهم يتوقعون أن التصنيف الصحيح للحالات المتطورة مثل السخرية سيتطلب تطوير أنظمة جديدة.

كان العمل الذي قدمناه مدفوعًا بالرغبة في تطبيق طرق جاهزة للتنبؤ بالسمية لتحليل الكياسة في الأخبار الأمريكية. تم تطوير هذه الأساليب لاكتشاف التعليقات الوقحة أو غير المحترمة أو غير المعقولة التي من المحتمل أن تجعلك تترك المناقشة في منتدى عبر الإنترنت "، كتب المؤلفان المشاركان. "وجدنا أن عدم قدرة Perspective على التمييز بين مستويات الفظاظة ترجع جزئيًا إلى الارتباطات الزائفة التي تكونت بين بعض الكلمات غير المسيئة والفظاظة. العديد من هذه الكلمات مرتبطة بالهوية. وسيسهل عملنا جهود البحث المستقبلية بشأن إزالة الحياد للتنبؤات الآلية ".