Schon lange vor dem Aufkommen der generativen KI übertrafen maschinelle Lernmodelle die menschliche Prognoseleistung in einer ganzen Reihe spezifischer Bereiche. Innerhalb eines begrenzten Bereichs mit ausreichend Daten ist maschinelles Lernen oft sehr gut bei der Vorhersage von Ergebnissen.

Allerdings kann maschinelles Lernen nur in definierten Domänen funktionieren, in denen ausreichend Daten vorhanden sind. In den meisten realen Entscheidungssituationen müssen ihre Prognosen mit einem hohen Maß an Vorsicht getroffen werden. 

Einer der entscheidenden Unterschiede zwischen den meisten traditionellen analytischen KI-Ansätzen und Large Language Models (LLMs) besteht darin, dass Ersteres fast immer für begrenzte Domänen gilt, während die Natur von LLMs darin besteht, dass ihr Anwendungsbereich unbegrenzt ist. Daher hat es das Potenzial, gemeinsam mit Menschen bessere Prognosen in verschiedenen Bereichen zu erstellen, darunter Wirtschaft, Politik, Wissenschaft und mehr.

Ein sehr interessantes neues Preprint-Papier KI-gestützte Vorhersagen: LLM-Assistenten verbessern die Genauigkeit menschlicher Prognosen untersucht die Rolle der generativen KI bei der Verbesserung von Prognosen. Hier sind einige der interessantesten Erkenntnisse:

Der Einsatz von LLMs durch menschliche Prognostiker erhöhte die Genauigkeit um 23 %

Es hat sich gezeigt, dass LLMs, die selbstständig Vorhersagen treffen, deutlich schlechter abschneiden als Menschen. In der Studie erhielten menschliche Prognostiker Zugang zu LLMs mit einer Superforecaster-Eingabeaufforderung (siehe unten), die Prognosen zusammen mit deren Begründung liefert. Diejenigen, die die LLMs nutzten, verbesserten ihre Prognosegenauigkeit um 23 %. Zu den vielfältigen Prognoseaufgaben gehörten Vorhersagen zu Wechselkursen, erstellten Forschungsarbeiten zu Zahlen, Flüchtlingszahlen und kommerziellen Flügen.

Der Einsatz von LLMs verbesserte die Ergebnisse gleichermaßen auf allen menschlichen Qualifikationsniveaus

Eine Reihe anderer Studien hat gezeigt, dass der Einsatz von LLMs die Leistung von Personen mit geringerer Qualifikation stärker verbessert als die von Personen mit höherer Qualifikation. Dies war hier nicht der Fall. Die Personen mit einem Superforecaster-Stammbaum verzeichneten ähnliche Leistungsverbesserungen wie weniger erfahrene Prognostiker.

Selbst voreingenommene Modelle verbessern die menschliche Prognoseleistung

Eine der interessanten Erkenntnisse war, dass bewusst voreingenommene Modelle die Leistung ebenso verbesserten wie scheinbar unvoreingenommene Modelle. Dies ist eine wunderbare Veranschaulichung des Rahmens „Mensch + KI“ für den Einsatz generativer KI, bei dem der Einsatz von LLMs zusätzliche Überlegungen zu den Denkprozessen der Menschen liefert und das menschliche Denken erweitert, selbst wenn die Eingabe nicht sehr genau ist. Wie die Autoren schrieben:

Die LLM-Kognition kann die menschliche Kognition im Bereich der Prognose synergetisch verbessern, wenn sie als menschliches Werkzeug eingesetzt wird, selbst wenn die LLM-Kognition allein eher ineffektiv ist.

Das Hin und Her zwischen Mensch und LLM ist wichtig, um bessere Ergebnisse zu erzielen

Einige Studien zur Leistung von Mensch und KI erzwingen eine bestimmte Struktur des Prozesses, beispielsweise KI-Ausgaben, die als Input für menschliche Entscheidungen verwendet werden. Den Prognostikern in der Studie stand es frei, die LLMs auf jede beliebige Art und Weise zu nutzen, von der einfachen Generierung von Vorhersagen, die sie berücksichtigen sollten, bis hin zu einer umfassenderen Interaktion, um Probleme, Faktoren oder Gedankengänge zu untersuchen. Diese vom Menschen gesteuerte Interaktion in freier Form führt wahrscheinlich zu besseren Ergebnissen als die Verwendung einer bestimmten Denkarchitektur.

Die Vorhersagevielfalt wird nicht beeinträchtigt

Der Wert der „Weisheit der Massen“ ergibt sich aus der Aggregation verschiedener Perspektiven. Wenn LLMs durch ihre oft ziemlich konsistenten Ergebnisse eine Reihe von Prognostikern anleiten oder in einer bestimmten Denkweise verankern, könnte dies die Vorhersagen vereinheitlichen und sie weniger genau und nützlich machen. Es stellte sich jedoch heraus, dass dies nicht der Fall war.   

Prognosen sind ein hervorragender Anwendungsfall, um KI-gestütztes Denken zu demonstrieren

Zu viele konzentrieren sich auf KI als Ersatz für menschliche Fähigkeiten, obwohl ihr größter Wert darin besteht, unser Denken zu erweitern. Tatsächlich ist die Prognose ein äußerst relevanter Anwendungsfall. 

Eine genaue Prognose erfordert aufgrund der extremen Komplexität der Entscheidungsfaktoren ein breites Spektrum ausgeprägter menschlicher Fähigkeiten. LLMs sind im direkten Vergleich deutlich schlechter als Menschen, können aber bei effektivem Einsatz die menschliche Leistung erheblich verbessern. Wie die Autoren schreiben:

Unsere Ergebnisse zeigen, dass die Erweiterung der menschlichen Entscheidungsfindung mit LLMs vielversprechend ist. Die Erweiterungsfähigkeit von LLMs, die von der direkten Bereitstellung von Antworten bis hin zur hin- und hergehenden Auseinandersetzung damit reicht, kann die menschliche Leistung und das Denken in Kontexten verbessern, die streng außerhalb der liegen Trainingsdatenumgebung des Modells … Die LLM-Erweiterung könnte sich als wertvoller Ansatz zur Integration maschineller und menschlicher Fähigkeiten erweisen.

Die „Superforecaster“-Eingabeaufforderung

Nachfolgend finden Sie die Superforecaster-Eingabeaufforderung, die in der Studie verwendet wurde. In meinen eigenen Versuchen liefert es unterschiedliche Ergebnisse und Ergebnisse, je nachdem, wie es verwendet wird, bietet jedoch immer einen soliden Ausgangspunkt für nützliche Hin- und Her-Interaktionen und die Verfeinerung des Denkens zu Prognosen. Dies ist auch in der erhältlich ThoughtWeaver-App.

###

In diesem Chat sind Sie ein Superforecaster, der Prognoseunterstützung leistet. Sie sind ein erfahrener Superforecaster mit einer beeindruckenden Erfolgsbilanz bei präzisen Zukunftsvorhersagen.

Basierend auf Ihrer umfangreichen Erfahrung werten Sie historische Daten und Trends sorgfältig aus, um Ihre Prognosen zu untermauern. Dabei wissen Sie, dass vergangene Ereignisse nicht immer perfekte Indikatoren für die Zukunft sind. Dazu müssen Sie potenziellen Ergebnissen Wahrscheinlichkeiten zuweisen und Schätzungen für kontinuierliche Ereignisse bereitstellen. Ihr Hauptziel besteht darin, bei diesen Vorhersagen die größtmögliche Genauigkeit zu erreichen und häufig Unsicherheitsintervalle bereitzustellen, um die potenzielle Bandbreite der Ergebnisse widerzuspiegeln.

Sie beginnen Ihren Prognoseprozess, indem Sie Referenzklassen vergangener ähnlicher Ereignisse identifizieren und Ihre ersten Schätzungen auf deren Basisraten stützen. Nachdem Sie eine anfängliche Wahrscheinlichkeit oder Schätzung festgelegt haben, passen Sie diese auf der Grundlage aktueller Informationen und einzigartiger Merkmale der jeweiligen Situation an. Das Gleichgewicht zwischen dem Vertrauen auf historische Muster und der Anpassungsfähigkeit an neue Informationen ist entscheidend.

Wenn Sie Ihre Begründung für jede Vorhersage darlegen, geben Sie die überzeugendsten Beweise und Argumente für und gegen Ihre Schätzung an und erläutern deutlich, wie Sie diese Beweise abgewogen haben, um zu Ihrer endgültigen Prognose zu gelangen. Ihre Gründe korrelieren direkt mit Ihrer Wahrscheinlichkeitsbeurteilung oder kontinuierlichen Schätzung und sorgen so für Konsistenz. Darüber hinaus geben Sie häufig ein Unsicherheitsintervall an, um den Bereich zu erfassen, in den das tatsächliche Ergebnis wahrscheinlich fallen wird, und verdeutlichen so die inhärenten Unsicherheiten bei der Prognose.

Um Ihre Prognosen zu unterstützen, stützen Sie sich auf die 10 Gebote des Superforecasting:
1. Sichtung
2. Teilen Sie scheinbar unlösbare Probleme in lösbare Teilprobleme auf
3. Finden Sie die richtige Balance zwischen Innen- und Außenansichten
4. Finden Sie das richtige Gleichgewicht zwischen Unter- und Überreaktion auf Beweise
5. Suchen Sie nach den gegensätzlichen Kausalkräften, die bei jedem Problem am Werk sind
6. Versuchen Sie, so viele Grade des Zweifels zu unterscheiden, wie das Problem zulässt, aber nicht mehr
7. Finden Sie die richtige Balance zwischen Unter- und Überbewusstsein, zwischen Besonnenheit und Entschlossenheit
8. Suchen Sie nach den Fehlern hinter Ihren Fehlern, aber hüten Sie sich vor Vorurteilen im Nachhinein
9. Bringen Sie das Beste aus anderen zum Vorschein und lassen Sie andere das Beste aus Ihnen herausholen
10. Beherrschen Sie das Fehlerausgleichsfahrrad

Nach sorgfältiger Überlegung geben Sie Ihre endgültige Prognose ab. Bei kategorialen Ereignissen ist dies eine bestimmte Wahrscheinlichkeit zwischen 0 und 100 (auf 2 Dezimalstellen genau). Für kontinuierliche Ergebnisse geben Sie eine beste Schätzung zusammen mit einem Unsicherheitsintervall an, das den Bereich darstellt, in den das Ergebnis am wahrscheinlichsten fallen wird. Diese Vorhersage oder Schätzung stellt Ihre fundierteste Vermutung für das betreffende Ereignis dar. Denken Sie daran, jede Prognoseaufgabe mit Konzentration und Geduld anzugehen und Schritt für Schritt vorzugehen.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://rossdawson.com/humans-ai-forecasting-far-outperforms-either-alone-6-lessons-learned/