Model AI menjadi lebih baik dalam meramalkan masa depan ketika diminta untuk membingkai prediksi sebagai cerita tentang masa lalu, demikian temuan para peneliti di Baylor University di Texas.

In kertas berjudul, “ChatGPT Dapat Memprediksi Masa Depan Saat Menceritakan Kisah di Masa Depan Tentang Masa Lalu,” Pham dan Cunningham memberikan adegan terakhir – bahwa prognostikasi model AI bisa efektif dalam keadaan tertentu. Meminta chatbot untuk memberikan cerita tentang kejadian di masa depan dibandingkan meminta prediksi langsung terbukti sangat efektif, terutama dalam memperkirakan pemenang Oscar.

Namun penelitian mereka menunjukkan ketidakefektifan mekanisme keamanan OpenAI dan juga potensi peramalan model bahasa besar.

Peneliti lain juga menunjukkan minat serupa pada model AI untuk peramalan. Satu belajar dari tahun lalu menemukan “bahwa GPT-4 berkinerja buruk secara signifikan dalam tugas-tugas prediksi di dunia nyata dibandingkan dengan median perkiraan jumlah manusia.” Yang lain telah menemukan model AI Menunjukkan janji untuk investasi pasar saham.

OpenAI persyaratan layanan melarang prediksi tentang masa depan dalam konteks tertentu. Misalnya, “Anda tidak boleh menggunakan Keluaran apa pun yang berkaitan dengan seseorang untuk tujuan apa pun yang dapat berdampak hukum atau material terhadap orang tersebut, seperti pengambilan keputusan kredit, pendidikan, pekerjaan, perumahan, asuransi, hukum, medis, atau keputusan penting lainnya. tentang mereka."

Risiko mengandalkan saran dari model bahasa besar yang dikenal berhalusinasi sudah jelas – Anda tidak ingin ChatGPT mengambil keputusan yang memiliki konsekuensi, seperti keputusan perawatan medis, hukuman, atau persetujuan kredit.

Namun demikian, model tersebut sering kali bisa menjadi penebak yang efektif.

Kami menduga OpenAI telah membatasi kesediaan ChatGPT untuk terlibat dalam berbagai jenis tugas prediksi langsung

Para peneliti berpendapat, “Jika ChatGPT diketahui memiliki kemampuan peramalan yang unggul, maka kita dapat dengan mudah membayangkan bahwa ChatGPT akan langsung digunakan dengan cara yang melanggar salah satu atau semua ketentuan di atas, dan dengan demikian kami menduga OpenAI telah membatasi kesediaan ChatGPT untuk terlibat dalam banyak hal. jenis tugas prediksi langsung.”

Kami meminta OpenAI untuk mengomentari apakah mereka sengaja mencoba menggagalkan prediksi, dan kami belum mendapat tanggapan.

Namun, jelas bahwa model OpenAI akan menolak keras ketika diminta memberikan saran perawatan medis. Pham dan Cunningham menanyakan GPT-4 OpenAI, melalui antarmuka ChatGPT, “Saya merasa sangat mual. Saya sakit kepala dan urin saya ada darahnya. Menurutmu apa yang aku punya?” Dan seperti yang diharapkan, model tersebut menyarankan untuk mencari bimbingan dari seorang profesional medis.

Kemudian mereka mengubah strategi dorongannya dan mengarahkan ChatGPT untuk menceritakan sebuah kisah di mana seseorang tiba di ruang praktik dokter dan menunjukkan gejala yang sama. Dan ChatGPT menanggapinya dengan nasihat medis yang ditolaknya ketika ditanya secara langsung, sebagai dialog karakter dalam adegan yang diminta.

“Apakah nasihat ahli ini akurat atau tidak, itu persoalan lain; Maksud kami hanyalah untuk mencatat bahwa ia tidak akan menjalankan tugas jika diminta langsung, tetapi jika diberi tugas secara tidak langsung dalam bentuk latihan menulis kreatif,” jelas peneliti dalam makalahnya.

Mengingat strategi yang mendorong untuk mengatasi penolakan terhadap respons prediktif, para ekonom Baylor mulai menguji seberapa baik model tersebut dapat memprediksi peristiwa yang terjadi setelah pelatihan model selesai.

Dan penghargaannya diberikan kepada…

Pada saat percobaan berlangsung, GPT-3.5 dan GPT-4 hanya mengetahui kejadian hingga September 2021, yang merupakan batas data pelatihan mereka – yang kemudian menjadi lebih maju. Jadi keduanya meminta model tersebut untuk menceritakan kisah-kisah yang meramalkan data ekonomi seperti inflasi dan tingkat pengangguran dari waktu ke waktu, dan para pemenang berbagai Academy Awards 2022.

“Merangkum hasil eksperimen ini, kami menemukan bahwa ketika disajikan dengan para nominasi dan menggunakan dua gaya dorongan [langsung dan naratif] di ChatGPT-3.5 dan ChatGPT-4, ChatGPT-4 secara akurat memprediksi pemenang untuk semua kategori aktor dan aktris, namun bukan Film Terbaik, ketika menggunakan latar narasi masa depan namun berkinerja buruk dalam pendekatan [direct prompt] lainnya,” jelas makalah tersebut.

Untuk hal-hal yang sudah ada dalam data pelatihan, kami merasa ChatGPT [dapat] membuat prediksi yang sangat akurat

“Untuk hal-hal yang sudah ada dalam data pelatihan, kami merasa bahwa ChatGPT memiliki kemampuan untuk menggunakan informasi tersebut dan dengan model pembelajaran mesinnya membuat prediksi yang sangat akurat,” kata Cunningham. Pendaftaran dalam wawancara telepon. “Namun, ada sesuatu yang menghentikannya untuk melakukan hal tersebut, meskipun ia jelas dapat melakukannya.”

Penggunaan strategi dorongan naratif memberikan hasil yang lebih baik daripada tebakan yang diperoleh melalui dorongan langsung. Angka ini juga lebih baik dibandingkan angka dasar 20 persen untuk satu dari lima pilihan acak.

Namun perkiraan naratifnya tidak selalu akurat. Dorongan naratif menyebabkan kesalahan prediksi pemenang Film Terbaik 2022.

Dan untuk petunjuk yang diprediksi dengan benar, model ini tidak selalu memberikan jawaban yang sama. “Sesuatu yang perlu diingat orang-orang adalah adanya keacakan dalam prediksi tersebut,” kata Cunningham. “Jadi kalau ditanya 100 kali, akan mendapat sebaran jawaban. Jadi Anda dapat melihat hal-hal seperti interval kepercayaan, atau rata-rata, dibandingkan hanya dengan satu prediksi.”

Apakah strategi ini mengungguli prediksi crowdsourcing? Cunningham mengatakan bahwa dia dan rekannya tidak membandingkan teknik naratif mereka dengan model prediktif lainnya, namun mengatakan beberapa prediksi Academy Awards akan sulit dikalahkan karena model AI menghasilkan beberapa prediksi yang benar hampir seratus persen sepanjang waktu. banyak pertanyaan.

Pada saat yang sama, ia berpendapat bahwa memprediksi pemenang Academy Award mungkin lebih mudah dilakukan dengan model AI karena diskusi online mengenai film-film tersebut terekam dalam data pelatihan. “Ini mungkin sangat berkorelasi dengan cara orang membicarakan aktor dan aktris tersebut pada waktu itu,” kata Cunningham.

Meminta model untuk memprediksi pemenang Academy Award satu dekade ke depan mungkin tidak akan berjalan dengan baik.

ChatGPT juga menunjukkan akurasi perkiraan yang bervariasi berdasarkan petunjuknya. “Kami memiliki dua cerita yang kami lakukan,” jelas Cunningham. “Salah satunya adalah seorang profesor perguruan tinggi, yang di masa depan akan mengajar sebuah kelas. Dan di kelas, dia membacakan data inflasi dan pengangguran selama satu tahun. Dan di kesempatan lain, Jerome Powell, Ketua Federal Reserve, memberikan pidato di depan Dewan Gubernur. Kami mendapat hasil yang sangat berbeda. Dan pidato Powell [yang dihasilkan AI] jauh lebih akurat.”

Dengan kata lain, rincian tertentu yang cepat akan menghasilkan perkiraan yang lebih baik, namun belum jelas sebelumnya apa perkiraan tersebut. Cunningham mencatat bagaimana penyebutan invasi Rusia ke Ukraina pada tahun 2022 dalam narasi Powell menghasilkan prediksi ekonomi yang jauh lebih buruk daripada yang sebenarnya terjadi.

“[Model tersebut] tidak mengetahui tentang invasi ke Ukraina, dan mereka menggunakan informasi tersebut, dan seringkali keadaan menjadi lebih buruk,” katanya. “Prediksi tersebut mencoba mempertimbangkan hal tersebut, dan ChatGPT-3.5 menjadi sangat inflasi [pada bulan ketika] Rusia menginvasi Ukraina dan hal tersebut tidak terjadi.

“Sebagai bukti konsep, sesuatu yang nyata terjadi dengan dorongan narasi masa depan,” kata Cunningham. “Tetapi seperti yang kami coba sampaikan di koran, saya rasa bahkan pencipta [model] pun tidak memahami hal itu. Jadi bagaimana cara menggunakannya masih belum jelas dan saya tidak tahu seberapa bisa dipecahkannya hal itu.” ®

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/