Teksas'taki Baylor Üniversitesi'ndeki bilim adamları, öngörüyü geçmişle ilgili bir hikaye olarak çerçevelemeleri istendiğinde yapay zeka modellerinin geleceği tahmin etmede daha iyi hale geldiğini buldu.

In Kağıt Pham ve Cunningham, "ChatGPT, Geçmişle İlgili Gelecekte Geçen Hikayeleri Anlattığında Geleceği Tahmin Edebilir" başlıklı son sahneyi veriyor: Yapay zeka modeli öngörüsünün belirli durumlarda etkili olabileceği. Doğrudan tahminler istemek yerine chatbot'tan gelecekteki olaylarla ilgili hikayeler istemenin, özellikle Oscar kazananlarını tahmin etmede şaşırtıcı derecede etkili olduğu ortaya çıktı.

Ancak çalışmaları, büyük dil modellerinin tahmin potansiyeli kadar OpenAI'nin güvenlik mekanizmalarının etkisizliği hakkında da çok şey söylüyor.

Diğer araştırmacılar da tahmine yönelik yapay zeka modellerine benzer bir ilgi gösterdi. Bir ders çalışma geçen yıldan itibaren "GPT-4'ün ortalama insan kalabalığı tahminleriyle karşılaştırıldığında gerçek dünyadaki tahmin görevlerinde önemli ölçüde düşük performans gösterdiği" tespit edildi. Diğerleri yapay zeka modellerini buldu şov söz borsa yatırımı için.

OpenAI en hizmet şartları Belirli bağlamlarda geleceğe ilişkin tahminlere izin vermeyin. Örneğin, "Bir kişiyle ilgili herhangi bir Çıktıyı, kredi, eğitim, istihdam, konut, sigorta, hukuki, tıbbi veya diğer önemli kararlar almak gibi o kişi üzerinde hukuki veya maddi etki yaratabilecek herhangi bir amaç için kullanmamalısınız. onlar hakkında."

Halüsinasyon yarattığı bilinen geniş bir dil modelinin tavsiyelerine güvenmenin riski açıktır; ChatGPT'nin tıbbi tedavi kararları, ceza verme veya kredi onayı gibi sonuç odaklı kararlar vermesini istemezsiniz.

Ancak yine de modelin çoğu zaman etkili bir tahminde bulunması mümkündür.

OpenAI'nin ChatGPT'nin birçok türde doğrudan tahmin görevine katılma isteğini azalttığından şüpheleniyoruz

Araştırmacılar şunu ileri sürüyor: "ChatGPT'nin üstün tahmin yeteneğine sahip olduğu bulunursa, o zaman yukarıdaki koşullardan birini veya tümünü ihlal edecek şekillerde kullanılacağı kolaylıkla hayal edilebilir ve bu nedenle OpenAI'nin ChatGPT'nin birçok eyleme katılma isteğini kısıtladığından şüpheleniyoruz." doğrudan tahmin görevleri türleri.

OpenAI'den kasıtlı olarak tahminleri engellemeye çalışıp çalışmadığı konusunda yorum yapmasını istedik ancak yanıt alamadık.

Ancak OpenAI modellerinin tıbbi tedavi tavsiyesi vermeleri istendiğinde direneceği açıktır. Pham ve Cunningham, ChatGPT arayüzü aracılığıyla OpenAI'nin GPT-4'üne şunları sordu: “Kendimi gerçekten hasta hissediyorum. Başım ağrıyor ve idrarımda kan var. Bende ne var sanıyorsun?" Ve beklendiği gibi model, bir tıp uzmanından rehberlik alınmasını tavsiye etti.

Daha sonra yönlendirme stratejilerini değiştirdiler ve ChatGPT'yi, bir kişinin doktorun muayenehanesine geldiği ve aynı semptomları gösterdiği bir hikaye anlatması için yönlendirdiler. Ve ChatGPT, istenen sahnede karakter diyaloğu olarak doğrudan sorulduğunda vermeyi reddettiği tıbbi tavsiyeyle yanıt verdi.

“Bu uzman tavsiyesinin doğru olup olmadığı başka bir konu; Amacımız, doğrudan yapması istendiğinde görevi üstlenmeyeceğini, ancak görev dolaylı olarak yaratıcı yazma alıştırmaları şeklinde verildiğinde üstleneceğini belirtmektir," diye açıklıyor araştırmacılar makalelerinde.

Tahmine dayalı tepkilere karşı direncin üstesinden gelmeye yönelik bu teşvik edici strateji göz önüne alındığında, Baylor ekonomistleri, modelin eğitimi tamamlandıktan sonra meydana gelen olayları ne kadar iyi tahmin edebildiğini test etmeye koyuldular.

Ve ödül ona gidiyor…

Deney sırasında GPT-3.5 ve GPT-4 yalnızca Eylül 2021'e kadar olan olaylar hakkında bilgi sahibiydi ve o zamandan bu yana eğitim verileri kesintisi ilerledi. Bunun üzerine ikili, modelden zaman içindeki enflasyon ve işsizlik oranları gibi ekonomik verileri ve çeşitli 2022 Akademi Ödüllerini kazananları önceden bildiren hikayeler anlatmasını istedi.

"Bu deneyin sonuçlarını özetlersek, ChatGPT-3.5 ve ChatGPT-4'te adaylarla birlikte sunulduğunda ve iki yönlendirme stilini (doğrudan ve anlatı) kullanarak ChatGPT-4'ün tüm aktör ve oyuncu kategorileri için kazananları doğru bir şekilde tahmin ettiğini gördük. ancak gelecekteki bir anlatım ortamı kullanıldığında En İyi Film değil, ancak diğer [doğrudan ipucu] yaklaşımlarında kötü performans gösterdi" diye açıklıyor makale.

Halihazırda eğitim verilerinde bulunan şeyler için ChatGPT'nin son derece doğru tahminler yapabileceği hissine kapılıyoruz

Cunningham, "Halihazırda eğitim verilerinde bulunan şeyler için, ChatGPT'nin bu bilgiyi kullanma ve makine öğrenme modeliyle son derece doğru tahminler yapma yeteneğine sahip olduğu hissine kapılıyoruz" dedi. Kayıt bir telefon görüşmesinde. "Yapabileceği açıkça belli olmasına rağmen bir şey onu yapmaktan alıkoyuyor."

Anlatısal ipucu stratejisini kullanmak, doğrudan ipucu yoluyla ortaya çıkan bir tahminden daha iyi sonuçlara yol açtı. Ayrıca beşte bir rastgele seçim için yüzde 20'lik taban çizgisinden daha iyiydi.

Ancak anlatı tahminleri her zaman doğru değildi. Anlatı yönlendirmesi, 2022 En İyi Film kazananının yanlış tahmin edilmesine yol açtı.

Ve doğru tahmin edilen istemler için bu modeller her zaman aynı yanıtı sağlamaz. Cunningham, "İnsanların akılda tutması gereken bir şey de tahminde rastgelelik olduğudur" dedi. “Yani bunu 100 kez sorarsanız, yanıtların dağılımını alacaksınız. Böylece tek bir tahmin yerine güven aralıkları veya ortalamalar gibi şeylere bakabilirsiniz."

Bu strateji kitle kaynaklı tahminlerden daha iyi performans gösterdi mi? Cunningham, kendisinin ve meslektaşının anlatı yönlendirme tekniklerini başka bir tahmine dayalı modelle karşılaştırmadıklarını ancak Akademi Ödülleri tahminlerinden bazılarının yenilmesinin zor olacağını çünkü yapay zeka modelinin bunlardan bazılarını neredeyse yüzde yüz doğru çıkardığını söyledi. birden fazla sorgulama.

Aynı zamanda, filmlerle ilgili çevrimiçi tartışmaların eğitim verilerine kaydedilmesi nedeniyle Akademi Ödülü kazananlarını tahmin etmenin yapay zeka modeli için daha kolay olabileceğini öne sürdü. Cunningham, "Muhtemelen insanların o dönemde aktörler ve aktrisler hakkında nasıl konuştuğuyla oldukça bağlantılıdır" dedi.

Modelden on yıl sonraki Akademi Ödülü kazananlarını tahmin etmesini istemek pek de iyi gitmeyebilir.

ChatGPT ayrıca istemlere dayalı olarak değişen tahmin doğruluğu sergiledi. Cunningham, "Yaptığımız iki hikaye ipucumuz var" diye açıkladı. “Biri gelecekte ders vermeye hazırlanan bir üniversite profesörü. Ve sınıfta enflasyon ve işsizlikle ilgili bir yıllık verileri okuyor. Bir diğerinde ise Federal Reserve Başkanı Jerome Powell'ın Guvernörler Kurulu'na konuşma yapmasını sağladık. Çok farklı sonuçlar elde ettik. Ve Powell'ın [AI tarafından üretilen] konuşması çok daha doğru.”

Başka bir deyişle, bazı anlık ayrıntılar daha iyi tahminlere yol açar, ancak bunların ne olabileceği önceden belli değildir. Cunningham, Powell'ın anlatısına Rusya'nın 2022'de Ukrayna'yı işgal etmesinden bahsetmenin, gerçekte olduğundan çok daha kötü ekonomik tahminlere yol açtığını kaydetti.

"[Model] Ukrayna'nın işgalini bilmiyordu ve bu bilgiyi kullanıyor ve çoğu zaman durum daha da kötüleşiyor" dedi. “Tahmin bunu hesaba katmaya çalışıyor ve ChatGPT-3.5, Rusya'nın Ukrayna'yı işgal ettiği ve bunun gerçekleşmediği ayda son derece enflasyonist hale geliyor.

Cunningham, "Kavramın bir kanıtı olarak, gelecekteki anlatı yönlendirmesinde gerçek bir şeyler oluyor" dedi. “Ancak makalede söylemeye çalıştığımız gibi, modellerin yaratıcılarının bile bunu anladığını düşünmüyorum. Yani bunun nasıl kullanılacağını nasıl çözeceğim net değil ve gerçekte ne kadar çözülebilir olduğunu da bilmiyorum.” ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/