Präriehunde sind alles andere als Hunde. Mit einem Körper, der einem Hershey's Kiss ähnelt, und einem äußerst raffinierten zwitschern Was die Kommunikation betrifft, sind sie eher Hamster als Golden Retriever.

Menschen verstehen sofort, dass Präriehunde keine Hunde im üblichen Sinne sind. KI kämpft.

Schon als Kleinkinder verfügen wir über eine unheimliche Fähigkeit, das, was wir über die Welt lernen, in Konzepte umzusetzen. Anhand einiger Beispiele machen wir uns ein Bild davon, was einen „Hund“ ausmacht oder was es bedeutet, „zu springen“ oder „zu hüpfen“. Diese Konzepte vermischen sich mühelos in unseren Köpfen und führen dazu, dass ein Kleinkind auf einen Präriehund zeigt und schreit: „Das ist aber kein Hund!“

Letzte Woche ein Team der New York University ein KI-Modell erstellt das die Fähigkeit eines Kleinkindes nachahmt, das Sprachenlernen zu verallgemeinern. Kurz gesagt ist Verallgemeinerung eine Art flexibles Denken, das es uns ermöglicht, neu gelernte Wörter in neuen Kontexten zu verwenden – wie ein älterer Millennial, der Schwierigkeiten hat, mit dem Jargon der Generation Z Schritt zu halten.

Als das Modell in einer Sprachaufgabe zur Verallgemeinerung gegen erwachsene Menschen antrat, entsprach das Modell deren Leistung. Es schlug auch GPT-4, den KI-Algorithmus hinter ChatGPT.

Die geheime Soße war überraschend menschlich. Das neue neuronale Netzwerk wurde darauf trainiert, Fehler aus menschlichen Testergebnissen zu reproduzieren und daraus zu lernen.

„Seit 35 Jahren diskutieren Forscher in den Bereichen Kognitionswissenschaft, künstliche Intelligenz, Linguistik und Philosophie darüber, ob neuronale Netze eine menschenähnliche systematische Verallgemeinerung erreichen können.“ sagte Studienautor Dr. Brenden Lake. „Wir haben zum ersten Mal gezeigt, dass ein generisches neuronales Netzwerk die systematische Generalisierung des Menschen im direkten Vergleich nachahmen oder übertreffen kann.“

Eine kluge Fehde

Die meisten KI-Modelle basieren auf Deep Learning, einer Methode, die lose auf dem Gehirn basiert.

Die Idee ist einfach. Künstliche Neuronen verbinden sich zu neuronalen Netzwerken. Durch die Änderung der Stärke der Verbindungen zwischen künstlichen Neuronen können neuronale Netze viele Aufgaben erlernen, beispielsweise das Fahren autonomer Taxis oder das Screening von Chemikalien für die Arzneimittelentwicklung.

Allerdings sind neuronale Netze im Gehirn noch leistungsfähiger. Die Verbindungen passen sich schnell an sich ständig verändernde Umgebungen an und fügen Konzepte aus individuellen Erfahrungen und Erinnerungen zusammen. Beispielsweise können wir einen wilden Esel, der die Straße überquert, leicht erkennen und wissen, wann wir auf die Bremse treten müssen. Ohne Wildesel-spezifisches Training kann ein Roboterauto ins Wanken geraten.

Der Schmerzpunkt ist die Verallgemeinerung. Zum Beispiel: Was ist eine Straße? Handelt es sich um eine asphaltierte Autobahn, einen schroffen Feldweg oder einen von Büschen umgebenen Wanderweg?

Bereits in den 1980er Jahren schlugen die Kognitionswissenschaftler Jerry Fodor und Zenon Pylyshyn bekannt, dass künstliche neuronale Netze nicht in der Lage seien, Konzepte – wie etwa eine „Straße“ – zu verstehen – und sie noch weniger flexibel zu nutzen, um durch neue Szenarien zu navigieren.

Die Wissenschaftler hinter der neuen Studie nahmen die Herausforderung an. Ihre Lösung? Ein künstliches neuronales Netzwerk, das genau auf menschliche Reaktionen abgestimmt ist.

Mann mit Maschine

Als Ausgangsbasis bat das Team zunächst 25 Personen, eine neue erfundene Sprache zu lernen. Im Vergleich zur Verwendung einer vorhandenen Sprache verhindert eine Fantasiesprache Voreingenommenheit beim Testen menschlicher Teilnehmer.

Die Forschung ging „über die klassische Arbeit hinaus, die sich hauptsächlich auf Gedankenexperimente stützte“, um die sprachlichen Fähigkeiten des Menschen zu erschließen, erklärten die Autoren in ihrer Studie. Der Test unterschied sich von früheren Testaufbauten, die sich hauptsächlich auf die Grammatik konzentrierten. Stattdessen ging es darum, dass die Teilnehmer die erfundene Sprache allein anhand von Wörtern verstehen und verallgemeinern sollten.

Als würden sie eine neue Sprache unterrichten, begann das Team mit einer Reihe einfacher, unsinniger Wörter: „dax“, „lug“, „wif“ oder „zup“. Diese werden als grundlegende Aktionen wie Hüpfen oder Springen übersetzt.

Anschließend führte das Team komplexere Wörter ein, „blicket“ oder „kiki“, mit denen die vorherigen Wörter zu Sätzen – und damit zu Konzepten und Vorstellungen – zusammengefügt werden können. Wenn diese abstrakten Wörter zusammen mit einfachen Wörtern verwendet werden, können sie „rückwärts springen“ oder „dreimal hüpfen“ bedeuten.

Den Freiwilligen wurde beigebracht, jedem Wort eine Farbe zuzuordnen. Beispielsweise war „dax“ rot, „lug“ blau. Die Farben halfen den Freiwilligen, die Regeln der neuen Sprache zu lernen. Eine Wortkombination führte zu drei roten Kreisen, eine andere blinkte blau. Wichtig ist jedoch, dass einige Wörter, wie zum Beispiel „fep“, unabhängig von anderen damit gepaarten Wörtern aufleuchteten – was auf eine grammatikalische Grundlage in der Fantasiesprache schließen lässt.

Nach 14 Lernrunden wurden die Freiwilligen mit 10 Fragen zur Bedeutung der erfundenen Wörter konfrontiert und gebeten, diese auf komplexere Fragen zu verallgemeinern. Für jede Aufgabe mussten die Teilnehmer die entsprechenden Farbkreise auswählen und diese in der entsprechenden Reihenfolge anordnen, um einen Satz zu bilden.

Sie haben sich hervorgetan. In etwa 80 Prozent der Fälle wählten die Menschen die richtigen Farben. Bei vielen der Fehler handelte es sich um „Eins-zu-eins“-Übersetzungsprobleme, bei denen ein Wort in seine Grundbedeutung übersetzt wurde, ohne den größeren Kontext zu berücksichtigen.

Ein zweites Team aus 29 weiteren Personen lernte ebenfalls schnell die Fantasiesprache und übersetzte Kombinationen wie „fep fep“ problemlos.

Sprache gelernt

Beim Aufbau des KI-Modells konzentrierte sich das Team auf mehrere Kriterien.

Erstens musste es aus nur wenigen Lernfällen verallgemeinern. Zweitens musste es wie ein Mensch auf Fehler reagieren, wenn es mit ähnlichen Aufgaben konfrontiert wurde. Schließlich musste das Modell Wörter lernen und problemlos in seinen Wortschatz integrieren und so eine Art „Konzept“ für jedes Wort bilden.

Zu diesem Zweck nutzte das Team Meta-Learning für die Kompositionalität. Ja, es klingt nach der Superkraft eines Bösewichts. Aber was es tut, ist relativ einfach.

Das Team gab einem künstlichen neuronalen Netzwerk Aufgaben, die denen der menschlichen Freiwilligen ähnelten. Das Netzwerk wird optimiert, da dynamische „Anstiege“ seine Gesamtfunktion verändern, wodurch es im Vergleich zu Standard-KI-Ansätzen, die auf statischen Datensätzen basieren, besser im laufenden Betrieb lernen kann. Normalerweise bearbeiten diese Maschinen ein Problem anhand einer Reihe von Studienbeispielen. Stellen Sie sich das wie das Entschlüsseln des Morsecodes vor. Sie erhalten eine Nachricht – Punkte und Striche – und übersetzen die Sequenz in normales Englisch.

Was aber, wenn die Sprache nicht Englisch ist und ihre eigenen Konzepte und Regeln hat? Ein statisches Trainingsset würde den KI-Wortschmied zum Scheitern bringen.

Hier führte das Team die KI durch einen „dynamischen Strom“ von Aufgaben, bei denen die Maschine Konzepte kombinieren und anpassen musste. In einem Beispiel wurde zweimal zum Überspringen aufgefordert. Das KI-Modell lernte unabhängig den Begriff „überspringen“ – im Gegensatz zu „springen“ – und das bedeutet zweimal „zweimal“. Diese Erkenntnisse wurden dann durch das neuronale Netzwerk geleitet und das resultierende Verhalten mit der Anweisung verglichen. Wenn das KI-Modell beispielsweise dreimal übersprang, lieferten die Ergebnisse Feedback, um das KI-Modell in Richtung der richtigen Reaktion zu bewegen. Durch Wiederholung lernte es schließlich, verschiedene Konzepte zu assoziieren.

Dann kam der zweite Schritt. Das Team fügte ein neues Wort, beispielsweise „auf Zehenspitzen“, in einen Kontext ein, den das KI-Modell bereits gelernt hatte, etwa Bewegung, und forderte es dann auf, „auf Zehenspitzen rückwärts zu gehen“. Das Modell musste nun lernen, „Zehenspitzen“ in sein bestehendes Vokabular und seine Bewegungskonzepte zu integrieren.

Um die KI weiter zu trainieren, fütterte das Team sie mit Daten der menschlichen Teilnehmer, damit sie aus menschlichen Fehlern lernen kann. Bei der Herausforderung mit neuen Rätseln ahmte die KI in 65 Prozent der Versuche menschliche Reaktionen nach und übertraf damit ähnliche KI-Modelle – und in einigen Fällen sogar die menschlichen Teilnehmer.

Das Modell wirft natürliche Fragen für die Zukunft der Sprach-KI auf, schrieb das Team. Anstatt KI-Modellen die Grammatik anhand von Beispielen beizubringen, könnte ihnen ein breiterer Anwendungsbereich dabei helfen, die Fähigkeit von Kindern, Sprachen zu verstehen, durch die Kombination verschiedener sprachlicher Komponenten nachzuahmen.

Der Einsatz von KI kann uns helfen zu verstehen, wie Menschen gelernt haben, Wörter zu Phrasen, Sätzen, Gedichten und Aufsätzen zu kombinieren. Die Systeme könnten auch zu Erkenntnissen darüber führen, wie Kinder ihren Wortschatz aufbauen, und so wiederum ein Bauchverständnis für Konzepte und Wissen über die Welt entwickeln. Abgesehen von der Sprache könnte das neue KI-Modell Maschinen auch dabei helfen, andere Bereiche wie Mathematik, Logik und sogar Computerprogrammierung zu analysieren.

„Es ist keine Zauberei, es ist Übung. So wie ein Kind auch beim Erlernen seiner Muttersprache Übung bekommt, verbessern die Modelle ihre kompositorischen Fähigkeiten durch eine Reihe kompositorischer Lernaufgaben“, sagt Lake sagte Natur.

Bild-Kredit: Andreas Fickl / Unsplash 

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://singularityhub.com/2023/10/31/like-humans-this-breakthrough-ai-makes-concepts-out-of-words-it-learns/