برنامج الدردشة ChatGPT الخاص بـ OpenAI ، إذا تم تركه في العالم ، فسوف يسجل بين B و B- في اختبار إدارة العمليات بكلية Wharton Business School ، وسيقترب أو يتجاوز الدرجة المطلوبة لاجتياز اختبار الترخيص الطبي الأمريكي (USMLE).
في حين أن هذا قد يقول المزيد عن الطبيعة الثابتة التي تركز على المستندات للاختبار أكثر من البراعة الفكرية للبرامج ، إلا أنها مع ذلك تشكل مصدر قلق واهتمام للمعلمين ، وأي شخص آخر يعيش في عصر الأتمتة.
كان الأكاديميون قلقون من أن الأنظمة المساعدة مثل شات جي بي تي وجيثب مساعد طيار (بناءً على نموذج OpenAI المسمى Codex) سيتطلب من المعلمين إعادة تقييم كيفية تدريسهم وتصحيح الاختبارات لأن التكنولوجيا المساعدة القائمة على التعلم الآلي أصبحت قادرة للغاية.
في الأوساط التعليمية ، أصبحت نصائح الذكاء الاصطناعي شائعة: صحيفة ستانفورد ديلي فقط وذكرت، "لقد استخدم عدد كبير من الطلاب بالفعل ChatGPT في اختباراتهم النهائية." قال ما يقدر بنحو 17 في المائة من الطلاب ، استنادًا إلى استطلاع مجهول لـ 4,497،5 مشاركًا ، إنهم استخدموا ChatGPT للمساعدة في مهام وامتحانات ربع السنة ، مع XNUMX في المائة قالوا إنهم أرسلوا المواد مباشرة من ChatGPT مع القليل من التحرير أو بدون تحرير - وهو ما يفترض انتهاك لقواعد الشرف.
بشكل منفصل ، قرر كريستيان تيرويش ، الأستاذ في كلية وارتون بجامعة بنسلفانيا ، ومجموعة من الباحثين الطبيين المنتسبين في الغالب إلى Ansible Health ، وضع ChatGPT ، يمكن القول مستشار آلي غير أخلاقي و معارضة للواقع نظام خبير ، للاختبار.
أوضح كل من Terwiesch و Ansible Health boffins أن ChatGPT له قيود ويفهم الأمور بشكل خاطئ. بشكل عام ، أعطوها علامات متوسطة لكنهم أوضحوا أنهم يتوقعون أن تجد الأنظمة المساعدة للذكاء الاصطناعي مكانًا في التدريس وفي القطاعات الأخرى.
لقد تم تدريب النموذج ، بعد كل شيء ، على عدد لا يحصى من الكتابات من صنع الإنسان ، وبالتالي فإن قدرته على تخمين إجابة مرضية لسؤال من كل تلك المعرفة المستنشقة والواقعية ليست غير متوقعة.
قال تيرويش في ورقته. "الإجابات ليست صحيحة فحسب ، بل التفسيرات ممتازة".
ومع ذلك ، لاحظ أن ChatGPT يرتكب أخطاء حسابية بسيطة ويتعثر على أسئلة تحليل العمليات المتقدمة. ومع ذلك ، فإن نموذج الذكاء الاصطناعي يستجيب لتلميحات الأشخاص حول كيفية التحسين - يمكنه تصحيح نفسه بنجاح عند إعطاء تلميحات من خبير بشري.
لقد كان التوجيه البشري أيضًا بمثابة مصدر للمدخلات الخبيثة ، كما يتضح من برنامج Tay chatbot من Microsoft و البحث اللاحق.
دكتور ، دكتور
مجموعة البحث الطبي التي كتبت "أداء ChatGPT على USMLE: إمكانية التعليم الطبي بمساعدة الذكاء الاصطناعي باستخدام نماذج اللغة الكبيرة"يتضمن" ChatGPT "كمؤلف مشارك.
"ساهم ChatGPT في كتابة عدة أقسام من هذه المخطوطة ،" كما ذكر المؤلفون البيولوجيون في ورقتهم.
الانتماءات التنظيمية الأخرى للمؤلفين تشمل: مستشفى ماساتشوستس العام ، كلية الطب بجامعة هارفارد ، في بوسطن ، ماساتشوستس ؛ كلية الطب وارن ألبرت ، جامعة براون ، في بروفيدنس ، رود آيلاند ؛ وقسم التعليم الطبي في UWorld، LLC ، وهي شركة تعليم إلكتروني صحي مقرها في دالاس ، تكساس.
توصل المؤلفون - تيفاني كونغ ، ومورجان تشيثام ، وشات جي بي تي ، وأرييل ميدينيلا ، وكزارينا سيلوس ، ولوري دي ليون ، وكاميل إلبانو ، وماريا مادرياغا ، وريميل أغاباو ، وجيزيل دياز - كانديدو ، وجيمس مانينغو ، وفيكتور تسينج - إلى استنتاج مماثل مثل تيرويش وارتون. . على وجه التحديد ، وجدوا أن أداء ChatGPT مقبول - أعلى من عتبة النجاح المتغيرة البالغة حوالي 60 بالمائة - في امتحان USMLE ، إذا أعطيت ميزة الإجابات غير المحددة. ويتوقعون أن تلعب النماذج اللغوية الكبيرة (LLMs) دورًا متزايدًا في التعليم الطبي واتخاذ القرارات السريرية.
صرح المؤلفون في ورقتهم البحثية: "ينتج عن ChatGPT دقة معتدلة في الاقتراب من أداء التمرير على USMLE". "تم ترميز عناصر الاختبار أولاً كأسئلة مفتوحة مع توجيهات متغيرة. يحاكي تنسيق الإدخال هذا نمط استعلام المستخدم الطبيعي المجاني. مع الاستجابات غير المحددة الخاضعة للرقابة / المضمنة ، كانت دقة ChatGPT لخطوات USMLE 1 و 2CK و 3 68.0 بالمائة / 42.9 بالمائة و 58.3 بالمائة / 51.4 بالمائة و 62.4 بالمائة / 55.7 بالمائة على التوالي. "
يعد وصف أداء ChatGPT بأنه "يقترب من النجاح" طريقة سخية لصياغة ذلك ، لا سيما مع منح الذكاء الاصطناعي الفضل في الإجابات غير المحددة. قد يؤدي الوصول إلى مكتب الطبيب ورؤية دبلوم يعلن عن درجة D إلى إثارة قلق أكبر قليلاً بين المرضى.
لكن الباحثين يؤكدون أن الأشياء التي حصل عليها ChatGPT بشكل صحيح تتوافق بشكل وثيق مع الإجابات المقبولة وأن نموذج الذكاء الاصطناعي قد تحسن بشكل ملحوظ ، بعد أن حقق قبل أشهر معدل نجاح بلغ حوالي 36.7 في المائة فقط.
ومن المثير للاهتمام ، أنهم لاحظوا أن أداء ChatGPT أفضل من PubMedGPT ، وهو LLM يعتمد فقط على البيانات الطبية الحيوية التي تمكنت من إدارة دقة تبلغ حوالي 50.8 بالمائة فقط (بناءً على بيانات غير منشورة).
يقول المؤلفون: "نتوقع أن يكون التدريب الخاص بالمجال قد خلق تناقضًا أكبر في نموذج PubMedGPT ، لأنه يمتص نصًا من العالم الحقيقي من الخطاب الأكاديمي المستمر الذي يميل إلى أن يكون غير حاسم أو متناقض أو شديد التحفظ أو غير ملزم في لغته" .
بشكل أساسي ، يبدو أن المواد الأقل علمية والأكثر إصرارًا التي دخلت في تدريب ChatGPT ، مثل كتيبات شرح المرض التي تواجه المريض ، جعلت ChatGPT أكثر إبداءً للرأي.
خلص المؤلفون إلى أنه "مع ازدياد كفاءة الذكاء الاصطناعي ، سيصبح قريبًا في كل مكان ، وسيحول الطب السريري عبر جميع قطاعات الرعاية الصحية" ، مضيفين أن الأطباء المرتبطين بـ AnsibleHealth يستخدمون ChatGPT في سير عملهم وقد أبلغوا عن انخفاض بنسبة 33 بالمائة في ذلك الوقت مطلوب لإكمال التوثيق ومهام رعاية المرضى غير المباشرة.
ربما يفسر هذا قرار مايكروسوفت لتوجيه المليارات إلى OpenAI لبرامجها المستقبلية.
تم التأكيد على فائدة ChatGPT في بيئة تعليمية - على الرغم من أنها غالبًا ما تكون خاطئة - في ملف بلوق وظيفة نشر يوم الأحد توماس ريد ، أستاذ الدراسات الاستراتيجية والمدير المؤسس لمعهد ألبيروفيتش لدراسات الأمن السيبراني.
يصف ريد الدورة التدريبية الأخيرة لتحليل البرامج الضارة والهندسة العكسية التي استمرت خمسة أيام والتي قام بتدريسها خوان أندريس غيريرو-سعادة.
قال ريد: "بعد خمسة أيام لم يعد لدي أي شك: هذا الشيء سيغير التعليم العالي". "كنت أحد الطلاب. وقد أذهلتني ما كان التعلم الآلي قادرًا على تقديمه لنا ، في الوقت الفعلي. وأنا أقول هذا كشخص كان متشددًا الشكوكي من ضجيج الذكاء الاصطناعي لسنوات عديدة. لاحظ أنني لم أقل التحويل "المحتمل". سيحول التعليم العالي. "
Guerrero-Saade ، في خيط تويتر، يقر بأن ChatGPT أخطأ في الأمور ولكنه يصر على أن الأداة ساعدت الطلاب على التوصل إلى إجابات أفضل. يقترح أنها تعمل كمساعد تدريس شخصي لكل طالب.
"تثير المخاوف حول الذكاء الاصطناعي (أو التوقعات الضخمة للمخرجات المثالية) التعرف على الأداة المساعدة المذهلة LLMs هذه: كمساعد قادر على دمج المعلومات بسرعة (صحيحة أو خاطئة) ذات الصلة الشديدة للحصول على ذكاء أكثر تمييزًا (المستخدم) للعمل معه ، " كتب.
يجادل ريد بأنه في حين أن المخاوف بشأن الذكاء الاصطناعي كآلية للانتحال والغش في التعليم تحتاج إلى معالجة ، فإن المحادثة الأكثر أهمية تتعلق بكيفية قيام أدوات الذكاء الاصطناعي بتحسين النتائج التعليمية. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
