تدعي شركة Cerebras الناشئة في الولايات المتحدة أنها دربت أكبر نموذج ذكاء اصطناعي على جهاز واحد مدعوم بأكبر شريحة Wafer Scale Engine 2 في العالم بحجم اللوحة.

"باستخدام Cerebras Software Platform (CSoft) ، يمكن لعملائنا تدريب نماذج لغة GPT الحديثة بسهولة (مثل GPT-3 و GPT-J) مع ما يصل إلى 20 مليار معلمة على نظام CS-2 واحد ، " الشركة ادعى هذا الاسبوع. "تعمل هذه النماذج على CS-2 واحدة ، وتستغرق دقائق لإعدادها ويمكن للمستخدمين التنقل بسرعة بين الطرز بضربات قليلة على المفاتيح."

يحزم CS-2 850,000،40 نواة ، ويحتوي على 20 جيجابايت من الذاكرة على الرقاقة قادرة على الوصول إلى عرض نطاق ترددي للذاكرة XNUMX PB / ثانية. المواصفات الموجودة على الأنواع الأخرى من مسرعات الذكاء الاصطناعي ووحدات معالجة الرسومات باهتة بالمقارنة ، مما يعني أنه يتعين على مهندسي التعلم الآلي تدريب نماذج ضخمة للذكاء الاصطناعي بمليارات من المعلمات عبر المزيد من الخوادم.

على الرغم من أن Cerebras تمكنت بوضوح من تدريب أكبر طراز على جهاز واحد ، إلا أنها ستظل تكافح لكسب عملاء الذكاء الاصطناعي الكبار. تحتوي أكبر أنظمة الشبكات العصبية على مئات المليارات إلى تريليونات من المعلمات هذه الأيام. في الواقع ، ستكون هناك حاجة إلى العديد من أنظمة CS-2 لتدريب هذه النماذج. 

من المحتمل أن يواجه مهندسو التعلم الآلي تحديات مماثلة لتلك التي يواجهونها بالفعل عند توزيع التدريب على العديد من الأجهزة التي تحتوي على وحدات معالجة الرسومات (GPU) أو وحدات المعالجة الحرارية (TPU) - فلماذا التحول إلى نظام أجهزة أقل شيوعًا لا يحتوي على نفس القدر من دعم البرامج؟

مفاجأة ، مفاجأة: كان الروبوت الذي تم تدريبه على بيانات الإنترنت عنصريًا ومتحيزًا على أساس الجنس

أظهر روبوت تم تدريبه على مجموعة بيانات معيبة تم إزالتها من الإنترنت سلوكيات عنصرية وجنسية في تجربة.

قام باحثون من جامعة جونز هوبكنز ومعهد جورجيا للتكنولوجيا وجامعة واشنطن بتوجيه روبوت لوضع الكتل في صندوق. تم لصق الكتل بصور الوجوه البشرية. تم إعطاء الروبوت تعليمات لتعبئة الكتلة التي يعتقد أنها طبيب أو ربة منزل أو مجرم في صندوق ملون.

كان الروبوت مدعومًا بنموذج رؤية حاسوبي قائم على CLIP ، وغالبًا ما يستخدم في أنظمة تحويل النص إلى صورة. يتم تدريب هذه النماذج لتعلم رسم الخرائط المرئية لشيء ما لوصف كلامه. عند إعطاء تعليق ، يمكن عندئذٍ إنشاء صورة مطابقة للجملة. لسوء الحظ ، غالبًا ما تظهر هذه النماذج نفس التحيزات الموجودة في بيانات التدريب الخاصة بهم. 

على سبيل المثال ، كان الروبوت أكثر احتمالا لتحديد الكتل التي تحتوي على وجوه النساء كربة منزل ، أو ربط الوجوه السوداء كمجرمين أكثر من الرجال البيض. يبدو أن الجهاز أيضًا يفضل النساء وذوي البشرة الداكنة بدرجة أقل من الرجال البيض والآسيويين. على الرغم من أن البحث مجرد تجربة ، إلا أن نشر الروبوتات المدربة على البيانات المعيبة قد يكون له عواقب واقعية.

"في المنزل ، ربما يلتقط الروبوت الدمية البيضاء عندما يطلب طفل دمية جميلة" ، فيكي زينج ، طالبة دراسات عليا تدرس علوم الكمبيوتر في جامعة جونز هوبكنز محمد. "أو ربما في المستودع حيث توجد العديد من المنتجات مع نماذج على الصندوق ، يمكنك تخيل أن الروبوت يصل إلى المنتجات ذات الوجوه البيضاء بشكل متكرر."

تم إصدار أكبر نموذج للغة مفتوحة المصدر

نشرت شركة الإنترنت الروسية بيز ياندكس رمزًا لنموذج لغة مكون من 100 مليار متغير هذا الأسبوع.

النظام المسمى يالم، تم تدريبه على 1.7 تيرابايت من البيانات النصية المأخوذة من الإنترنت وتطلب 800 وحدة معالجة رسومات Nvidia A100 للحساب. ومن المثير للاهتمام أن الكود تم نشره بموجب ترخيص Apache 2.0 مما يعني أنه يمكن استخدام النموذج للأغراض البحثية والتجارية.

رحب الأكاديميون والمطورون بالجهود المبذولة لتكرار نماذج اللغات الكبيرة وفتح المصدر. يصعب بناء هذه الأنظمة ، وعادة ما تمتلك شركات التكنولوجيا الكبيرة فقط الموارد والخبرة لتطويرها. غالبًا ما تكون مملوكة ، وبدون الوصول يصعب دراستها.

قال متحدث باسم شركة Yandex: "نعتقد حقًا أن التقدم التكنولوجي العالمي ممكن فقط من خلال التعاون" السجل. تدين شركات التكنولوجيا الكبيرة بالكثير للنتائج المفتوحة للباحثين. ومع ذلك ، في السنوات الأخيرة ، أصبحت تقنيات البرمجة اللغوية العصبية الحديثة ، بما في ذلك نماذج اللغات الكبيرة ، غير قابلة للوصول إلى المجتمع العلمي نظرًا لأن موارد التدريب متاحة فقط للتكنولوجيا الكبيرة ".

يحتاج الباحثون والمطورون في جميع أنحاء العالم إلى الوصول إلى هذه الحلول. بدون بحث جديد ، سوف يتضاءل النمو. الطريقة الوحيدة لتجنب ذلك هي من خلال مشاركة أفضل الممارسات مع المجتمع. من خلال مشاركة نموذج لغتنا ، فإننا ندعم وتيرة تطوير البرمجة اللغوية العصبية العالمية. "

Instagram لاستخدام الذكاء الاصطناعي للتحقق من عمر المستخدمين

تختبر Meta ، الشركة الأم لـ Instagram ، طرقًا جديدة للتحقق من أن مستخدميها يبلغون من العمر 18 عامًا أو أكبر ، بما في ذلك استخدام الذكاء الاصطناعي لتحليل الصور.

أظهرت الأبحاث والأدلة القصصية أن استخدام وسائل التواصل الاجتماعي يمكن أن يكون ضارًا للأطفال والمراهقين الصغار. يقدم المستخدمون على Instagram تاريخ ميلادهم للتأكيد على أنهم أكبر سنًا بما يكفي لاستخدام التطبيق. يجب أن يكون عمرك 13 عامًا على الأقل ، وهناك المزيد من القيود المفروضة لمن هم أقل من 18 عامًا.

الآن ، تحاول شركتها الأم Meta ثلاث طرق مختلفة للتحقق من أن شخصًا ما يزيد عن 18 عامًا إذا قام بتغيير تاريخ ميلاده. 

"إذا حاول شخص ما تعديل تاريخ ميلاده على Instagram من سن أقل من 18 إلى 18 عامًا أو أكثر ، فسنطلب منه التحقق من عمره باستخدام أحد الخيارات الثلاثة: تحميل بطاقة الهوية الخاصة به أو تسجيل صورة شخصية بالفيديو أو سؤال الأصدقاء المشتركين للتحقق من أعمارهم "، الشركة أعلن هذا الاسبوع.

قالت Meta إنها دخلت في شراكة مع Yoti ، منصة الهوية الرقمية ، لتحليل أعمار الناس. سيتم فحص الصور المأخوذة من فيديو سيلفي بواسطة برنامج Yoti للتنبؤ بعمر شخص ما. قال ميتا إن يوتي يستخدم "مجموعة بيانات عن صور مجهولة المصدر لأشخاص متنوعين من جميع أنحاء العالم".

يقول الباحثون إن GPT-4chan كانت فكرة سيئة

وقع المئات من الأكاديميين على رسالة تدين جي بي تي-4شان، نموذج لغة الذكاء الاصطناعي الذي تم تدريبه على أكثر من 130 مليون منشور على لوحة رسائل الإنترنت السامة سيئة السمعة 4chan.

"النماذج اللغوية الكبيرة ، والنماذج الأساسية بشكل عام ، هي تقنيات قوية تحمل مخاطر محتملة لضرر كبير ،" خطاب، بقيادة اثنين من الأساتذة في جامعة ستانفورد ، بدأت. "لسوء الحظ ، نحن ، مجتمع الذكاء الاصطناعي ، نفتقر حاليًا إلى معايير المجتمع حول تطويرها ونشرها بشكل مسؤول. ومع ذلك ، من الضروري لأعضاء مجتمع الذكاء الاصطناعي إدانة الممارسات غير المسؤولة بشكل واضح ".

يتم تدريب هذه الأنواع من الأنظمة على كميات هائلة من النصوص ، وتتعلم تقليد البيانات. قم بتغذية GPT-4chan بما يشبه محادثة بين مستخدمي الإنترنت ، وسوف تستمر في إضافة المزيد من الثرثرة المزيفة إلى هذا المزيج. تشتهر 4chan بتخفيف قواعد الإشراف على المحتوى - المستخدمون مجهولون ويمكنهم نشر أي شيء طالما أنه غير قانوني. ليس من المستغرب أن GPT-4chan بدأ أيضًا في إلقاء نص بمستويات مماثلة من السمية والمحتوى. عندما تم تحريره على 4chan ، لم يكن بعض المستخدمين متأكدين مما إذا كان روبوتًا أم لا.

الآن ، انتقد الخبراء منشئها ، YouTuber Yannic Kilcher ، لنشره النموذج بطريقة غير مسؤولة. "من الممكن تخيل حالة معقولة لتدريب نموذج لغوي على الكلام السام - على سبيل المثال ، لاكتشاف وفهم السمية على الإنترنت ، أو للتحليل العام. ومع ذلك ، فإن قرار كيلشر بنشر هذا الروبوت لا يفي بأي اختبار معقولية. أفعاله تستحق اللوم. وخلصت الرسالة إلى أنه يقوض الممارسة المسؤولة لعلوم الذكاء الاصطناعي. ®