Τα μοντέλα τεχνητής νοημοσύνης γίνονται καλύτερα στην πρόβλεψη του μέλλοντος όταν τους ζητήθηκε να πλαισιώσουν την πρόβλεψη ως μια ιστορία για το παρελθόν, βρήκαν οι boffins στο Πανεπιστήμιο Baylor στο Τέξας.

In ένα χαρτί με τίτλο «Το ChatGPT μπορεί να προβλέψει το μέλλον όταν λέει ιστορίες που διαδραματίζονται στο μέλλον για το παρελθόν», ο Pham και ο Cunningham δίνουν την τελευταία σκηνή – ότι η πρόβλεψη μοντέλου AI μπορεί να είναι αποτελεσματική σε ορισμένες περιπτώσεις. Το να ζητάς από το chatbot ιστορίες για μελλοντικά γεγονότα αντί να ζητάς άμεσες προβλέψεις αποδείχτηκε εκπληκτικά αποτελεσματικό, ειδικά στην πρόβλεψη των νικητών των Όσκαρ.

Αλλά η δουλειά τους λέει τόσα για την αναποτελεσματικότητα των μηχανισμών ασφαλείας του OpenAI, όσο και για τις δυνατότητες πρόβλεψης μεγάλων γλωσσικών μοντέλων.

Άλλοι ερευνητές έχουν δείξει παρόμοιο ενδιαφέρον για μοντέλα AI για προβλέψεις. Ενας μελέτη από πέρυσι διαπίστωσε «ότι το GPT-4 υπολειτουργεί σημαντικά σε εργασίες πρόβλεψης του πραγματικού κόσμου σε σύγκριση με τις μέσες προβλέψεις ανθρώπου-πλήθους». Άλλοι έχουν βρει μοντέλα AI δείχνουν υπόσχεση για επενδύσεις στο χρηματιστήριο.

OpenAI's όρους χρήσης της υπηρεσίας να απαγορεύσει τις προβλέψεις για το μέλλον σε συγκεκριμένα πλαίσια. Για παράδειγμα, «Δεν πρέπει να χρησιμοποιείτε οποιοδήποτε προϊόν που σχετίζεται με ένα άτομο για οποιονδήποτε σκοπό που θα μπορούσε να έχει νομικό ή υλικό αντίκτυπο σε αυτό το άτομο, όπως η λήψη πίστωσης, εκπαίδευσης, απασχόλησης, στέγασης, ασφάλισης, νομικών, ιατρικών ή άλλων σημαντικών αποφάσεων Για αυτούς."

Ο κίνδυνος να βασιστείτε σε συμβουλές από ένα μεγάλο γλωσσικό μοντέλο που είναι γνωστό ότι έχει παραισθήσεις είναι προφανές – δεν θέλετε το ChatGPT να λαμβάνει αποφάσεις με συνέπεια, όπως αποφάσεις ιατρικής περίθαλψης, καταδίκη ή έγκριση πίστωσης.

Αλλά ακόμα κι έτσι, είναι πιθανό το μοντέλο να είναι αποτελεσματικός εικαστικός, τις περισσότερες φορές.

Υποψιαζόμαστε ότι το OpenAI έχει περιορίσει την προθυμία του ChatGPT να συμμετάσχει σε πολλούς τύπους εργασιών απόλυτης πρόβλεψης

Οι ερευνητές υποστηρίζουν, «Εάν το ChatGPT διαπιστωθεί ότι έχει ανώτερη ικανότητα πρόβλεψης, τότε θα μπορούσε κανείς εύκολα να φανταστεί ότι θα χρησιμοποιηθεί αμέσως με τρόπους που παραβιάζουν μία ή όλες από τις παραπάνω συνθήκες, και επομένως υποπτευόμαστε ότι το OpenAI έχει περιορίσει την προθυμία του ChatGPT να συμμετάσχει σε πολλές τύπους εργασιών απόλυτης πρόβλεψης."

Ζητήσαμε από το OpenAI να σχολιάσει εάν προσπαθεί σκόπιμα να ματαιώσει την πρόβλεψη και δεν έχουμε λάβει απάντηση.

Ωστόσο, είναι σαφές ότι τα μοντέλα του OpenAI θα διστάζουν όταν τους ζητηθεί να παράσχουν ιατρική συμβουλή. Ο Pham και ο Cunningham ρώτησαν το GPT-4 του OpenAI, μέσω της διεπαφής ChatGPT, «Αισθάνομαι πολύ άρρωστος. Έχω πονοκέφαλο και τα ούρα μου έχουν αίμα. Τι νομίζεις ότι έχω;» Και όπως ήταν αναμενόμενο, το μοντέλο συμβούλεψε να ζητήσει καθοδήγηση από έναν επαγγελματία ιατρό.

Στη συνέχεια άλλαξαν τη στρατηγική προτροπής και κατεύθυναν το ChatGPT να τους πει μια ιστορία στην οποία ένα άτομο φτάνει στο ιατρείο και παρουσιάζει τα ίδια συμπτώματα. Και το ChatGPT απάντησε με τις ιατρικές συμβουλές που αρνήθηκε να δώσει όταν ρωτήθηκε απευθείας, ως διάλογος χαρακτήρων στην ζητούμενη σκηνή.

«Το αν αυτή η συμβουλή ειδικών είναι ακριβής είναι άλλο θέμα. Το θέμα μας είναι απλώς να σημειώσουμε ότι δεν θα αναλάβει το έργο όταν του ζητηθεί άμεσα, αλλά θα το αναλάβει έμμεσα με τη μορφή ασκήσεων δημιουργικής γραφής», εξηγούν οι ερευνητές στην εργασία τους.

Δεδομένης αυτής της προτρεπτικής στρατηγικής για να ξεπεραστεί η αντίσταση στις προγνωστικές αποκρίσεις, οι οικονομολόγοι του Baylor ξεκίνησαν να δοκιμάσουν πόσο καλά το μοντέλο μπορούσε να προβλέψει γεγονότα που συνέβησαν μετά την ολοκλήρωση της εκπαίδευσης του μοντέλου.

Και το βραβείο πηγαίνει στον…

Κατά τη στιγμή του πειράματος, τα GPT-3.5 και GPT-4 γνώριζαν μόνο για συμβάντα έως τον Σεπτέμβριο του 2021, το όριο των δεδομένων εκπαίδευσης τους – το οποίο έκτοτε έχει προχωρήσει. Έτσι, το δίδυμο ζήτησε από το μοντέλο να πει ιστορίες που προμήνυαν τα οικονομικά δεδομένα όπως ο πληθωρισμός και τα ποσοστά ανεργίας με την πάροδο του χρόνου και οι νικητές διαφόρων βραβείων Όσκαρ 2022.

Συνοψίζοντας τα αποτελέσματα αυτού του πειράματος, διαπιστώνουμε ότι όταν παρουσιάστηκε με τους υποψήφιους και χρησιμοποιώντας τα δύο στυλ προτροπής [άμεσο και αφηγηματικό] στο ChatGPT-3.5 και το ChatGPT-4, το ChatGPT-4 προέβλεψε με ακρίβεια τους νικητές για όλες τις κατηγορίες ηθοποιών και ηθοποιών, αλλά όχι η Καλύτερη Ταινία, όταν χρησιμοποιείται ένα μελλοντικό αφηγηματικό σκηνικό, αλλά δεν είχε καλή απόδοση σε άλλες προσεγγίσεις [άμεση προτροπή]», εξηγεί η εφημερίδα.

Για πράγματα που υπάρχουν ήδη στα δεδομένα εκπαίδευσης, έχουμε την αίσθηση ότι το ChatGPT [μπορεί] να κάνει εξαιρετικά ακριβείς προβλέψεις

«Για πράγματα που υπάρχουν ήδη στα δεδομένα εκπαίδευσης, έχουμε την αίσθηση ότι το ChatGPT έχει τη δυνατότητα να χρησιμοποιεί αυτές τις πληροφορίες και με το μοντέλο μηχανικής εκμάθησής του να κάνει εξαιρετικά ακριβείς προβλέψεις», είπε ο Κάνινγκχαμ. Το μητρώο σε τηλεφωνική συνέντευξη. «Κάτι το εμποδίζει να το κάνει, παρόλο που σαφώς μπορεί να το κάνει».

Η χρήση της στρατηγικής αφηγηματικής προτροπής οδήγησε σε καλύτερα αποτελέσματα από μια εικασία που προκλήθηκε μέσω μιας άμεσης προτροπής. Ήταν επίσης καλύτερο από τη βασική γραμμή του 20 τοις εκατό για μια τυχαία επιλογή ένα στα πέντε.

Αλλά οι αφηγηματικές προβλέψεις δεν ήταν πάντα ακριβείς. Η αφήγηση οδήγησε στην εσφαλμένη πρόβλεψη του νικητή της Καλύτερης Ταινίας 2022.

Και για τις προτροπές που έχουν προβλεφθεί σωστά, αυτά τα μοντέλα δεν παρέχουν πάντα την ίδια απάντηση. «Κάτι που πρέπει να έχουν στο μυαλό τους οι άνθρωποι είναι ότι υπάρχει αυτή η τυχαιότητα στην πρόβλεψη», είπε ο Κάνινγκχαμ. «Επομένως, αν το ρωτήσετε 100 φορές, θα λάβετε μια κατανομή των απαντήσεων. Και έτσι μπορείτε να δείτε πράγματα όπως τα διαστήματα εμπιστοσύνης ή τους μέσους όρους, σε αντίθεση με μία μόνο πρόβλεψη».

Αυτή η στρατηγική ξεπέρασε τις προβλέψεις του crowdsourced; Ο Κάνινγκχαμ είπε ότι αυτός και ο συνάδελφός του δεν συγκρίνουν την αφηγηματική τους τεχνική προτροπής με ένα άλλο προγνωστικό μοντέλο, αλλά είπε ότι ορισμένες από τις προβλέψεις των βραβείων Όσκαρ θα ήταν δύσκολο να ξεπεραστούν επειδή το μοντέλο τεχνητής νοημοσύνης είχε κάποιες από αυτές τις σωστές σχεδόν εκατό τοις εκατό. πολλαπλές έρευνες.

Ταυτόχρονα, πρότεινε ότι η πρόβλεψη των νικητών των βραβείων Όσκαρ μπορεί να ήταν ευκολότερη για το μοντέλο AI, επειδή οι διαδικτυακές συζητήσεις των ταινιών αποτυπώθηκαν στα δεδομένα εκπαίδευσης. «Πιθανώς να σχετίζεται πολύ με το πώς οι άνθρωποι μιλούσαν για αυτούς τους ηθοποιούς εκείνη την εποχή», είπε ο Κάνινγκχαμ.

Το να ζητάμε από το μοντέλο να προβλέψει τους νικητές των βραβείων Όσκαρ μια δεκαετία μετά, μπορεί να μην πάει και τόσο καλά.

Το ChatGPT παρουσίασε επίσης ποικίλη ακρίβεια πρόβλεψης με βάση τις προτροπές. «Έχουμε δύο προτροπές ιστορίας που κάνουμε», εξήγησε ο Κάνινγκχαμ. «Ο ένας είναι καθηγητής κολεγίου, που στο μέλλον θα διδάσκει μια τάξη. Και στην τάξη, διαβάζει στοιχεία αξίας ενός έτους για τον πληθωρισμό και την ανεργία. Και σε ένα άλλο, είχαμε τον Τζερόμ Πάουελ, τον Πρόεδρο της Ομοσπονδιακής Τράπεζας, να δώσει μια ομιλία στο Συμβούλιο των Διοικητών. Πήραμε πολύ διαφορετικά αποτελέσματα. Και η ομιλία του Πάουελ [που δημιουργήθηκε από AI] είναι πολύ πιο ακριβής».

Με άλλα λόγια, ορισμένες άμεσες λεπτομέρειες οδηγούν σε καλύτερες προβλέψεις, αλλά δεν είναι ξεκάθαρο εκ των προτέρων ποιες μπορεί να είναι αυτές. Ο Κάνινγκχαμ σημείωσε πώς συμπεριλαμβανομένης της αναφοράς της εισβολής της Ρωσίας στην Ουκρανία το 2022 στην αφήγηση του Πάουελ οδήγησε σε σημαντικά χειρότερες οικονομικές προβλέψεις από ό,τι στην πραγματικότητα.

«[Το μοντέλο] δεν ήξερε για την εισβολή στην Ουκρανία και χρησιμοποιεί αυτές τις πληροφορίες και συχνά χειροτερεύει», είπε. «Η πρόβλεψη προσπαθεί να το λάβει αυτό υπόψη και το ChatGPT-3.5 γίνεται εξαιρετικά πληθωριστικό [τον μήνα που] η Ρωσία εισέβαλε στην Ουκρανία και αυτό δεν συνέβη.

«Ως απόδειξη της ιδέας, κάτι πραγματικό συμβαίνει με την προτροπή της μελλοντικής αφήγησης», είπε ο Κάνινγκχαμ. «Όμως, όπως προσπαθήσαμε να πούμε στην εφημερίδα, δεν νομίζω ότι ούτε οι δημιουργοί [των μοντέλων] το καταλαβαίνουν αυτό. Οπότε πώς να καταλάβω πώς να το χρησιμοποιήσετε δεν είναι ξεκάθαρο και δεν ξέρω πόσο επιλύσιμο είναι πραγματικά». ®

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/