An einem sonnigen Tag Ende 1987 fuhr ein Chevy-Van einen kurvigen Waldweg auf dem Campus der Carnegie Mellon University in Pittsburgh entlang. Das riesige Fahrzeug mit dem Namen Navlab zeichnete sich nicht durch seine Schönheit oder Geschwindigkeit aus, sondern durch sein Gehirn: Es war eine experimentelle Version eines autonomen Fahrzeugs, das von (für die damalige Zeit) vier leistungsstarken Computern im Laderaum gesteuert wurde.

Zunächst die Ingenieure hinter Navlab versuchte, das Fahrzeug zu kontrollieren mit einem Navigationsalgorithmus, aber wie viele frühere Forscher fanden sie es schwierig, die große Bandbreite an Fahrbedingungen mit einem einzigen Satz von Anweisungen zu berücksichtigen. Also versuchten sie es noch einmal, diesmal mit einem Ansatz der künstlichen Intelligenz namens maschinelles Lernen: Der Van sollte sich selbst das Fahren beibringen. Ein Doktorand namens Dean Pomerleau baute ein künstliches neuronales Netzwerk auf, bestehend aus kleinen Logikverarbeitungseinheiten, die wie Gehirnzellen funktionieren sollen, und machte sich daran, es mit Fotos von Straßen unter verschiedenen Bedingungen zu trainieren. Für das kleine Team war es jedoch zu schwierig, genügend Fotos zu machen, um die große Bandbreite potenzieller Fahrsituationen abzudecken. Deshalb erstellte Pomerleau 1,200 synthetische Straßenbilder auf einem Computer und trainierte damit das System. Die autodidaktische Maschine fuhr genauso gut wie alles andere, was sich die Forscher einfallen ließen.

Navlab führte nicht direkt zu großen Durchbrüchen beim autonomen Fahren, aber das Projekt zeigte die Leistungsfähigkeit synthetischer Daten zum Trainieren von KI-Systemen. Als das maschinelle Lernen in den folgenden Jahrzehnten große Fortschritte machte, entwickelte es einen unstillbaren Appetit auf Trainingsdaten. Doch Daten sind schwer zu bekommen: Sie können teuer, privat oder knapp sein. Daher greifen Forscher zunehmend auf synthetische Daten zurück, um natürliche Daten für das Training neuronaler Netze zu ergänzen oder sogar zu ersetzen. „Maschinelles Lernen kämpft seit langem mit dem Datenproblem“, sagte er Sergey Nikolenko, der Leiter der KI-Abteilung bei Synthesis AI, einem Unternehmen, das synthetische Daten generiert, um Kunden bei der Entwicklung besserer KI-Modelle zu unterstützen. „Synthetische Daten sind einer der vielversprechendsten Wege, dieses Problem zu lösen.“

Glücklicherweise sind mit der Weiterentwicklung des maschinellen Lernens auch die Werkzeuge zum Generieren nützlicher synthetischer Daten immer ausgefeilter geworden.

Ein Bereich, in dem sich synthetische Daten als nützlich erweisen, ist die Bewältigung von Bedenken hinsichtlich der Gesichtserkennung. Viele Gesichtserkennungssysteme werden mit riesigen Bildbibliotheken echter Gesichter trainiert, was Fragen hinsichtlich der Privatsphäre der Personen auf den Bildern aufwirft. Auch Bias ist ein Problem, da verschiedene Bevölkerungsgruppen in diesen Bibliotheken über- und unterrepräsentiert sind. Forscher des Mixed Reality & AI Lab von Microsoft haben sich mit diesen Bedenken befasst. Veröffentlichung einer Sammlung von 100,000 synthetischen Gesichtern für das Training von KI-Systemen. Diese Gesichter werden aus einer Gruppe von 500 Personen generiert, die dem Scannen ihrer Gesichter zugestimmt haben.

Das System von Microsoft übernimmt Elemente von Gesichtern aus dem ursprünglichen Satz, um neue und einzigartige Kombinationen zu erstellen, und fügt dann visuelles Flair mit Details wie Make-up und Haaren hinzu. Die Forscher sagen, dass ihr Datensatz ein breites Spektrum an Ethnien, Altersgruppen und Stilen umfasst. „Es gibt immer einen langen Schwanz menschlicher Vielfalt. Wir denken und hoffen, dass wir viel davon einfangen“, sagte er Tadas Baltrušaitis, ein Microsoft-Forscher, der an dem Projekt arbeitet.

Ein weiterer Vorteil der synthetischen Gesichter besteht darin, dass der Computer jeden Teil jedes Gesichts beschriften kann, wodurch das neuronale Netz schneller lernt. Echte Fotos müssen stattdessen von Hand beschriftet werden, was viel länger dauert und nie so konsistent oder genau ist.

Die Ergebnisse sind nicht fotorealistisch – die Gesichter sehen ein wenig wie Figuren aus einem Pixar-Film aus –, aber Microsoft hat sie verwendet, um Gesichtserkennungsnetzwerke zu trainieren, deren Genauigkeit der von Netzwerken nahekommt, die auf Millionen echter Gesichter trainiert wurden.

Auch die Fähigkeit von Computern, nützliche synthetische Daten zu generieren, hat sich in letzter Zeit verbessert, was teilweise auf bessere GPUs zurückzuführen ist – eine Art Chip, der für die grafische Verarbeitung entwickelt wurde und realistischere Bilder erzeugen kann. Erroll Wood, ein derzeit bei Google arbeitender Forscher, der auch an der Erstellung der synthetischen Gesichter beteiligt war, verließ sich bei einem Eye-Tracking-Projekt auf GPUs. Eye-Tracking ist für Computer eine schwierige Aufgabe, da es darum geht, die winzigen Bewegungen unterschiedlich aussehender Augen unter unterschiedlichen Lichtverhältnissen zu verfolgen, selbst bei extremen Winkeln, bei denen der Augapfel kaum sichtbar ist. Normalerweise müsste eine Maschine Tausende Fotos von menschlichen Augen machen, um zu lernen, wohin eine Person schaut – und diese Fotos sind schwer zu bekommen und unerschwinglich teuer.

Woods Team zeigte dass ein Computer, der von einer GPU angetrieben wird und auf dem Unity, ein Softwarepaket zur Produktion von Videospielen, läuft, die notwendigen Bilder erzeugen könnte – einschließlich detaillierter Reflexionen digitaler Bilder, die um den gebogenen, feuchten menschlichen Augapfel gewickelt sind. Das GPU-System benötigte nur 23 Millisekunden, um jedes Foto zu generieren. (Tatsächlich dauerte die Erstellung jedes Bildes nur 3.6 Millisekunden; der Rest der Zeit wurde für die Speicherung des Bildes aufgewendet.) Die Forscher erstellten 1 Million Augenbilder und trainierten damit ein neuronales Netzwerk, das genauso gut funktionierte wie dasselbe Netzwerk Trainieren Sie anhand echter Fotos menschlicher Augen, zu einem Bruchteil des Preises und in viel kürzerer Zeit. Wie bei den synthetischen Gesichtern von Microsoft profitierte das Eye-Tracking-Netzwerk von der Fähigkeit des Computers, den Trainingsbildern pixelgenaue Beschriftungen hinzuzufügen.

Forscher nutzen auch die neuesten KI-Systeme, um die Daten zu erzeugen, die zum Trainieren von KI-Systemen erforderlich sind. In der Medizin beispielsweise besteht seit langem das Ziel darin, ein neuronales Netzwerk zu schaffen, das radiologische Bilder genauso gut interpretieren kann wie menschliche Radiologen. Es ist jedoch schwierig, die zum Trainieren dieser Systeme erforderlichen Daten zu erhalten, da es sich bei Röntgen- und CT-Scans echter Patienten um private Gesundheitsinformationen handelt. Es ist eine Belastung, Zugriff auf Tausende oder Millionen von Bildern zu erhalten, die zum Trainieren eines wirklich genauen Modells erforderlich sind.

Früher in diesem Jahr, Hadhrat Ali, Informatiker an der COMSATS-Universität in Pakistan, beschrieben seine frühen Experimente mit DALL·E 2, einem beliebten Diffusionsmodell, um realistische Röntgen- und CT-Bilder der Lunge zu erstellen, einschließlich Darstellungen spezifischer Lungenerkrankungen. Diese Bilder können dann verwendet werden, um ein neuronales Netzwerk darauf zu trainieren, Tumore und andere Anomalien zu erkennen. Er erwartet, dass Diffusionsmodelle innerhalb eines Jahres einen neuen Maßstab für KI-Radiologiewerkzeuge setzen werden. „Sobald wir in der Lage sind, realistischere MRTs, CTs und vielleicht auch Ultraschallbilder zu synthetisieren, wird dies die Forschung und letztendlich die klinische Umsetzung beschleunigen, ohne Bedenken hinsichtlich der Privatsphäre der Patienten und des Datenaustauschs aufkommen zu lassen.“

Als Navlab zaghaft durch den CMU-Campus rollte, glaubten die Zuschauer wahrscheinlich nicht, dass sie der Geburt einer wichtigen Technologie beiwohnten. Aber diese langsame Reise hat dazu beigetragen, die Welt mit synthetischen Daten bekannt zu machen, die eine Schlüsselrolle bei der Entwicklung der künstlichen Intelligenz eingenommen haben. Und diese Rolle könnte in Zukunft wirklich wichtig werden. „Synthetische Daten werden bleiben“, sagte er Marina Ivasic-Kos, ein Forscher für maschinelles Lernen an der Universität Rijeka in Kroatien. „Das Endziel besteht darin, reale Daten vollständig durch synthetische Daten zu ersetzen.“