وفي حدث لمعهد ماساتشوستس للتكنولوجيا في شهر مارس، قال سام ألتمان، المؤسس المشارك والرئيس التنفيذي لشركة OpenAI، إن فريقه لم يقوم بعد بتدريب الذكاء الاصطناعي التالي، GPT-5. "نحن لسنا كذلك ولن نفعل لبعض الوقت" قال للجمهور.
ومع ذلك، ظهرت هذا الأسبوع تفاصيل جديدة حول حالة GPT-5.
في مقابلة، وقال التمان ل فاينانشال تايمز وتعمل الشركة الآن على تطوير GPT-5. على الرغم من أن المقال لم يحدد ما إذا كان النموذج قيد التدريب أم لا، فمن المحتمل ألا يكون كذلك، إلا أن ألتمان قال إنه سيحتاج إلى مزيد من البيانات. ستأتي البيانات من مصادر عامة عبر الإنترنت - وهي الطريقة التي تم بها تدريب هذه الخوارزميات، التي تسمى نماذج اللغة الكبيرة - ومجموعات البيانات الخاصة.
هذا يتماشى مع مكالمة OpenAI الأسبوع الماضي للمؤسسات للتعاون في مجموعات البيانات الخاصة بالإضافة إلى العمل السابق للحصول على محتوى قيم من كبار الناشرين مثل وكالة انباء و نيوز كورب. في منشور مدونة، رقال الفريق إنهم يريدون الشراكة في النصوص أو الصور أو الصوت أو الفيديو ولكنهم مهتمون بشكل خاص بـ "الكتابة أو المحادثات الطويلة بدلاً من المقتطفات المنفصلة" التي تعبر عن "النية البشرية".
ليس من المستغرب أن تتطلع OpenAI إلى الاستفادة من مصادر ذات جودة أعلى غير متاحة للعامة. تمثل احتياجات الذكاء الاصطناعي القصوى من البيانات نقطة شائكة في تطوره. كان ظهور نماذج اللغات الكبيرة وراء برامج الدردشة الآلية مثل ChatGPT مدفوعًا بخوارزميات أكبر من أي وقت مضى تستهلك المزيد من البيانات. ومن بين الاثنين، من الممكن أن تؤدي المزيد من البيانات ذات الجودة الأعلى إلى نتائج أكبر على المدى القريب. الأبحاث الحديثة يقترح نماذج أصغر تغذي كميات أكبر من البيانات أداء جيد أو أفضل من النماذج الأكبر حجمًا التي يتم تغذيتها بشكل أقل.
"المشكلة هي أن النثر الجيد، كغيره من المنتجات الثقافية الإنسانية الراقية، يعد من بين أصعب الأشياء التي يمكن إنتاجها في الكون المعروف". كتب روس أندرسن في المحيط الأطلسي هذا العام. "إنها ليست متوفرة بشكل لا نهائي، وبالنسبة للذكاء الاصطناعي، فإن أي نص قديم لن يفي بالغرض: نماذج اللغة الكبيرة المدربة على الكتب هي كتاب أفضل بكثير من أولئك الذين تم تدريبهم على مجموعات ضخمة من منشورات وسائل التواصل الاجتماعي."
بعد استغلال الكثير من الإنترنت لتدريب GPT-4، يبدو أنه قد تم قطف الثمار القريبة إلى حد كبير. وقد قدر فريق من الباحثين في العام الماضي المعروض من المعلومات المتاحة للجمهور، سوف تنفد البيانات عالية الجودة عبر الإنترنت بحلول عام 2026. إحدى الطرق للتغلب على هذه المشكلة، على الأقل في المدى القريب، هي عقد صفقات مع أصحاب جحافل المعلومات الخاصة.
الحوسبة هي عقبة أخرى تناولها ألتمان في المقابلة.
تتطلب النماذج الأساسية مثل GPT-4 من OpenAI إمدادات هائلة من وحدات معالجة الرسومات (GPUs)، وهي نوع من شرائح الكمبيوتر المتخصصة المستخدمة على نطاق واسع لتدريب وتشغيل الذكاء الاصطناعي. شركة Chipmaker Nvidia هي المورد الرئيسي لوحدات معالجة الرسوميات، وبعد إطلاق ChatGPT، أصبحت رقائقها هي السلعة الأكثر رواجًا في مجال التكنولوجيا. وقال ألتمان إنهم استلموا مؤخرًا مجموعة من أحدث شرائح H100 للشركة، ويتوقع أن يخفف العرض بشكل أكبر في عام 2024.
بالإضافة إلى توفرها بشكل أكبر، يبدو أن الرقائق الجديدة أسرع أيضًا.
في الاختبارات الصادرة هذا الأسبوع بواسطة منظمة قياس الذكاء الاصطناعي MLPerf، قامت الرقائق بتدريب نماذج لغوية كبيرة أسرع بثلاث مرات تقريبًا من العلامة التي تم تحديدها قبل خمسة أشهر فقط. (منذ أن بدأت شركة MLPerf لأول مرة في قياس أداء شرائح الذكاء الاصطناعي قبل خمس سنوات، تحسن الأداء الإجمالي بمعامل قدره 49.)
القراءة بين السطور - والتي أصبحت أكثر صعوبة مع أصبحت الصناعة أقل شفافية- من المحتمل أن يكون عمل GPT-5 الذي يشير إليه ألتمان يتعلق بتجميع المكونات الضرورية أكثر من تدريب الخوارزمية نفسها. تعمل الشركة على تأمين التمويل من المستثمرين—تكلفة تدريب GPT-4 تزيد عن 100 مليون دولار- شرائح من Nvidia، وبيانات عالية الجودة من أي مكان يمكنهم وضع أيديهم عليها.
لم يلتزم ألتمان بجدول زمني لإصدار GPT-5، ولكن حتى لو بدأ التدريب قريبًا، فلن ترى الخوارزمية النور لفترة من الوقت. اعتمادًا على حجمه وتصميمه، قد يستغرق التدريب أسابيع أو أشهر. ومن ثم يجب أن يتم اختبار الخوارزمية الأولية وضبطها بواسطة الكثير من الأشخاص لجعلها آمنة. استغرق الأمر الشركة ثمانية أشهر لصقل وإطلاق GPT-4 بعد التدريب. وعلى الرغم من أن المشهد التنافسي أصبح أكثر حدة الآن، فمن الجدير بالذكر أيضًا أن GPT-4 وصل بعد ثلاث سنوات تقريبًا من وصول GPT-3.
لكن من الأفضل عدم الانشغال كثيرًا بأرقام الإصدارات. لا تزال OpenAI تمضي قدمًا بقوة باستخدام تقنيتها الحالية. قبل أسبوعين، في مؤتمر المطورين الأولأطلقت الشركة روبوتات الدردشة المخصصة، والتي تسمى GPTs، بالإضافة إلى GPT-4 Turbo. تشتمل الخوارزمية المحسنة على معلومات أكثر حداثة - مما يؤدي إلى تمديد الحد الفاصل من سبتمبر 2021 إلى أبريل 2023 - ويمكن أن تعمل مع مطالبات أطول بكثير، كما أنها أرخص بالنسبة للمطورين.
والمنافسون ساخنون في أعقاب OpenAI. جوجل ديب مايند هو تعمل حاليًا على خوارزمية الذكاء الاصطناعي التالية, الجوزاء, والتكنولوجيا الكبيرة هي الاستثمار بكثافة في الشركات الناشئة الرائدة الأخرى، مثل Anthropic، وCacter.AI، وInflection AI. كل هذا العمل لديه الحكومات تتطلع إلى اللوائح ويأملون أن يتمكنوا من تقليل المخاطر على المدى القريب التي يفرضها التحيز الخوارزمي، والمخاوف المتعلقة بالخصوصية، وانتهاك حقوق الملكية الفكرية، بالإضافة إلى جعل الخوارزميات المستقبلية أكثر أمانًا.
ومع ذلك، على المدى الطويل، ليس من الواضح ما إذا كان يمكن حل أوجه القصور المرتبطة بنماذج اللغة الكبيرة بمزيد من البيانات وخوارزميات أكبر أم أنها ستتطلب اختراقات جديدة. في الملف الشخصي لشهر سبتمبر, سلكي كتب ستيفن ليفي أن OpenAI ليس متأكدًا بعد مما يمكن أن يؤدي إلى "تحسين قوي بشكل كبير" على GPT-4.
قال جريج بروكمان، رئيس شركة OpenAI، لليفي: "إن أكبر شيء نفتقده هو الخروج بأفكار جديدة. من الجيد أن يكون لديك شيء يمكن أن يكون مساعدًا افتراضيًا. ولكن هذا ليس الحلم. الحلم هو مساعدتنا على حل المشاكل التي لا نستطيع حلها.
لقد كان جوجل عام 2017 اختراع المحولات التي جلبت اللحظة الحالية في الذكاء الاصطناعي. لعدة سنوات، قام الباحثون بتكبير خوارزمياتهم، وزودوها بالمزيد من البيانات، وأدى هذا التوسع إلى تحسينات تلقائية تقريبًا، وغالبًا ما تكون مفاجئة للأداء.
ولكن في حدث معهد ماساتشوستس للتكنولوجيا في شهر مارس، قال ألتمان إنه يعتقد أن لقد انتهى عصر التحجيم وسيجد الباحثون طرقًا أخرى لتحسين الخوارزميات. من الممكن أن تفكيره قد تغير منذ ذلك الحين. من الممكن أيضًا أن يكون GPT-5 أفضل من GPT-4 مثل أحدث هاتف ذكي أفضل من الأخير، ولم تولد بعد التكنولوجيا التي تتيح تغيير الخطوة التالية. ولا يبدو ألتمان متأكدًا تمامًا أيضًا.
وقال: "إلى أن نبدأ بتدريب هذا النموذج، فإن الأمر سيكون بمثابة لعبة تخمين ممتعة بالنسبة لنا". FT. "نحن نحاول أن نتحسن في هذا الأمر، لأنني أعتقد أنه من المهم من منظور السلامة التنبؤ بالقدرات. لكن لا يمكنني أن أخبركم بالتحديد ما الذي سيفعله GPT-4 والذي لم يفعله.
في هذه الأثناء، يبدو أنه سيكون لدينا ما يكفي لإبقائنا مشغولين.
الصورة الائتمان: مكسيم بيرج / Unsplash
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://singularityhub.com/2023/11/15/openai-ceo-sam-altman-says-his-company-is-now-building-gpt-5/
