Angenommen, Sie haben ein tausendseitiges Buch, aber jede Seite enthält nur eine einzige Textzeile. Sie sollen die im Buch enthaltenen Informationen mithilfe eines Scanners extrahieren. Dieser spezielle Scanner durchsucht jedoch systematisch jede einzelne Seite und scannt jeweils einen Quadratzoll. Es würde lange dauern, mit diesem Scanner das ganze Buch durchzulesen, und die meiste Zeit würde mit dem Scannen leerer Stellen verschwendet werden. 

So ist das Leben vieler Experimentalphysiker. Bei Teilchenexperimenten erfassen und analysieren Detektoren riesige Datenmengen, auch wenn nur ein winziger Bruchteil davon nützliche Informationen enthält. „Auf einem Foto beispielsweise eines am Himmel fliegenden Vogels kann jedes Pixel eine Bedeutung haben“, erklärt er Kazuhiro Terao, ein Physiker am SLAC National Accelerator Laboratory. Aber in den Bildern, die ein Physiker betrachtet, ist oft nur ein kleiner Teil davon wirklich wichtig. Unter solchen Umständen kostet das Nachdenken über jedes Detail unnötig Zeit und Rechenressourcen.

Aber das beginnt sich zu ändern. Mit einem Werkzeug für maschinelles Lernen, das als Sparse Convolutional Neural Network (SCNN) bekannt ist, können sich Forscher auf die relevanten Teile ihrer Daten konzentrieren und den Rest aussortieren. Forscher haben diese Netzwerke genutzt, um ihre Fähigkeit zur Datenanalyse in Echtzeit erheblich zu beschleunigen. Und sie planen, SCNNs in kommenden oder bestehenden Experimenten auf mindestens drei Kontinenten einzusetzen. Der Wechsel markiert einen historischen Wandel für die Physik-Community. 

„In der Physik sind wir es gewohnt, unsere eigenen Algorithmen und Rechenansätze zu entwickeln“, sagte er Carlos Argüelles-Delgado, ein Physiker an der Harvard University. „Wir standen schon immer an der Spitze der Entwicklung, aber jetzt, was die Rechenleistung betrifft, ist die Informatik oft führend.“ 

Spärliche Charaktere

Die Arbeit, die zu SCNNs führen sollte, begann im Jahr 2012 Benjamin Graham, damals an der University of Warwick, wollte ein neuronales Netzwerk entwickeln, das chinesische Handschriften erkennen konnte. 

Die damals wichtigsten Werkzeuge für bildbezogene Aufgaben wie diese waren Convolutional Neural Networks (CNNs). Für die chinesische Handschriftaufgabe zeichnete ein Schriftsteller ein Zeichen auf einem digitalen Tablet nach und erzeugte so ein Bild mit beispielsweise 10,000 Pixeln. Das CNN würde dann ein 3x3-Gitter namens Kernel über das gesamte Bild verschieben und den Kernel einzeln auf jedem Pixel zentrieren. Für jede Platzierung des Kernels führte das Netzwerk eine komplizierte mathematische Berechnung namens Faltung durch, die nach Unterscheidungsmerkmalen suchte.

CNNs wurden für die Verwendung mit informationsreichen Bildern wie Fotos entwickelt. Aber ein Bild, das ein chinesisches Schriftzeichen enthält, ist größtenteils leer; Forscher bezeichnen Daten mit dieser Eigenschaft als spärlich. Es ist ein gemeinsames Merkmal von allem in der natürlichen Welt. „Um ein Beispiel dafür zu geben, wie karg die Welt sein kann“, sagte Graham, wenn der Eiffelturm von einem möglichst kleinen Rechteck umgeben wäre, würde dieses Rechteck aus „99.98 % Luft und nur 0.02 % Eisen“ bestehen.

Graham hat versucht, den CNN-Ansatz so zu optimieren, dass der Kernel nur auf 3x3-Abschnitten des Bildes platziert wird, die mindestens ein Pixel enthalten, das einen Wert ungleich Null hat (und nicht nur leer ist). Auf diese Weise gelang es ihm, ein System zu entwickeln, das handgeschriebenes Chinesisch effizient identifizieren konnte. Es gewann einen Wettbewerb im Jahr 2013, indem es einzelne Zeichen mit einer Fehlerquote von nur 2.61 % identifizierte. (Menschen erreichten im Durchschnitt 4.81 %.) Als nächstes wandte er seine Aufmerksamkeit einem noch größeren Problem zu: der dreidimensionalen Objekterkennung.

Bis 2017 war Graham zu Facebook AI Research gewechselt und hatte seine Technik weiter verfeinert veröffentlicht Details für das erste SCNN, das den Kernel nur auf Pixel zentrierte, die einen Wert ungleich Null hatten (anstatt den Kernel auf einen beliebigen 3x3-Abschnitt zu platzieren, der mindestens ein „Nicht-Null“-Pixel hatte). Es war diese allgemeine Idee, die Terao in die Welt der Teilchenphysik einbrachte.

Unterirdische Aufnahmen

Terao ist an Experimenten am Fermi National Accelerator Laboratory beteiligt, die die Natur von Neutrinos erforschen, die zu den schwer fassbaren bekannten Elementarteilchen gehören. Sie sind auch die massereichsten Teilchen im Universum (wenn auch nicht sehr groß), tauchen aber selten in einem Detektor auf. Daher sind die meisten Daten für Neutrino-Experimente spärlich und Terao war ständig auf der Suche nach besseren Ansätzen für die Datenanalyse. Er hat einen in SCNNs gefunden.

Im Jahr 2019 wandte er SCNNs auf Simulationen der Daten an, die vom Deep Underground Neutrino Experiment (DUNE) erwartet werden, das das weltweit größte Experiment zur Neutrinophysik sein wird, wenn es im Jahr 2026 online geht. Das Projekt wird Neutrinos vom Fermilab, etwas außerhalb von Chicago, schießen. durch 800 Meilen der Erde zu einem unterirdischen Labor in South Dakota. Unterwegs „oszillieren“ die Teilchen zwischen den drei bekannten Neutrinotypen, und diese Oszillationen können detaillierte Neutrinoeigenschaften offenbaren.

Die SCNNs analysierten die simulierten Daten schneller als herkömmliche Methoden und benötigten dabei deutlich weniger Rechenleistung. Die vielversprechenden Ergebnisse bedeuten, dass SCNNs wahrscheinlich während des eigentlichen Versuchslaufs verwendet werden.

Im Jahr 2021 half Terao unterdessen dabei, SCNNs zu einem weiteren Neutrino-Experiment am Fermilab namens MicroBooNE hinzuzufügen. Hier untersuchen Wissenschaftler die Folgen von Kollisionen zwischen Neutrinos und den Kernen von Argonatomen. Durch die Untersuchung der durch diese Wechselwirkungen erzeugten Spuren können Forscher auf Details über die ursprünglichen Neutrinos schließen. Dazu benötigen sie einen Algorithmus, der die Pixel (oder technisch gesehen ihre dreidimensionalen Gegenstücke, Voxel genannt) in einer dreidimensionalen Darstellung des Detektors betrachten und dann bestimmen kann, welche Pixel welchen Teilchenbahnen zugeordnet sind.

Da die Daten so spärlich sind – ein paar winzige Linien innerhalb eines großen Detektors (ungefähr 170 Tonnen flüssiges Argon) – sind SCNNs für diese Aufgabe nahezu perfekt. Bei einem Standard-CNN müsste das Bild wegen des ganzen Rechenaufwands in 50 Teile zerlegt werden, sagte Terao. „Mit einem spärlichen CNN analysieren wir das gesamte Bild auf einmal – und das viel schneller.“

Rechtzeitige Auslöser

Einer der Forscher, die an MicroBooNE gearbeitet haben, war ein Bachelor-Praktikant namens Felix Yu. Beeindruckt von der Leistungsfähigkeit und Effizienz von SCNNs brachte er die Werkzeuge zu seinem nächsten Arbeitsplatz als Doktorand in einem Harvard-Forschungslabor mit, das offiziell dem IceCube-Neutrino-Observatorium am Südpol angegliedert war.

Eines der Hauptziele des Observatoriums besteht darin, die energiereichsten Neutrinos des Universums einzufangen und sie zu ihren Quellen zurückzuverfolgen, von denen die meisten außerhalb unserer Galaxie liegen. Der Detektor besteht aus 5,160 im antarktischen Eis vergrabenen optischen Sensoren, von denen jeweils nur ein winziger Bruchteil aufleuchtet. Der Rest des Arrays bleibt dunkel und ist nicht besonders informativ. Schlimmer noch, viele der „Ereignisse“, die die Detektoren aufzeichnen, sind falsch positive Ergebnisse und für die Neutrinojagd nicht nützlich. Für die weitere Analyse kommen nur so genannte Trigger-Level-Ereignisse in Frage, und es müssen sofort Entscheidungen darüber getroffen werden, welche dieser Ereignisse würdig sind und welche dauerhaft ignoriert werden.

Standard-CNNs sind für diese Aufgabe zu langsam. Deshalb verlassen sich IceCube-Wissenschaftler seit langem auf einen Algorithmus namens LineFit, der sie über potenziell nützliche Erkennungen informiert. Aber dieser Algorithmus sei unzuverlässig, sagte Yu, „was bedeutet, dass wir interessante Ereignisse verpassen könnten.“ Auch hier handelt es sich um eine Umgebung mit geringer Datendichte, die sich ideal für ein SCNN eignet.

Yu – zusammen mit Argüelles-Delgado, seinem Doktorvater, und Jeff Lazar, einem Doktoranden an der University of Wisconsin, Madison – hat diesen Vorteil quantifiziert und gezeigt ein neues Papier dass diese Netzwerke etwa 20-mal schneller wären als typische CNNs. „Das ist schnell genug, um jedes Ereignis zu verarbeiten, das aus dem Detektor kommt“, etwa 3,000 pro Sekunde, sagte Lazar. „Dadurch können wir bessere Entscheidungen darüber treffen, was wir wegwerfen und was wir behalten.“

Die Autoren haben auch erfolgreich ein SCNN in einer Simulation unter Verwendung offizieller IceCube-Daten eingesetzt. Der nächste Schritt besteht darin, ihr System auf einer Nachbildung des South Pole-Rechnersystems zu testen. Wenn alles gut geht, glaubt Argüelles-Delgado, dass das System nächstes Jahr am Antarktis-Observatorium installiert werden sollte. Aber die Technologie könnte noch breiteren Einsatz finden. „Wir glauben, dass [SCNNs] allen Neutrinoteleskopen zugute kommen könnten, nicht nur IceCube“, sagte Argüelles-Delgado.

Jenseits von Neutrinos

Philip Harris, Physiker am Massachusetts Institute of Technology, hofft, dass SCNNs beim größten Teilchenbeschleuniger von allen helfen können: dem Large Hadron Collider (LHC) am CERN. Harris hörte von einem MIT-Kollegen, dem Informatiker Song Han, von dieser Art neuronalem Netzwerk. „Song ist ein Experte darin, Algorithmen schnell und effizient zu machen“, sagte Harris – perfekt für den LHC, wo jede Sekunde 40 Millionen Kollisionen stattfinden.

Als sie sich vor ein paar Jahren unterhielten, erzählte Song Harris von einem autonomen Fahrzeugprojekt, das er mit Mitgliedern seines Labors verfolgte. Songs Team analysierte mithilfe von SCNNs 3D-Laserkarten des Raums vor dem Fahrzeug, der größtenteils leer ist, um festzustellen, ob sich vor ihm Hindernisse befanden.

Harris und seine Kollegen stehen am LHC vor ähnlichen Herausforderungen. Wenn zwei Protonen im Inneren der Maschine kollidieren, entsteht durch den Aufprall eine expandierende Kugel aus Partikeln. Wenn eines dieser Partikel auf den Kollektor trifft, entsteht ein sekundärer Partikelschauer. „Wenn Sie das volle Ausmaß dieses Schauers abbilden können“, sagte Harris, „können Sie die Energie des Teilchens bestimmen, das ihn erzeugt hat“, was ein Objekt von besonderem Interesse sein könnte – so etwas wie das Higgs-Boson, das die Physiker untersucht haben 2012 entdeckt, oder ein Teilchen der Dunklen Materie, nach dem Physiker immer noch suchen.

„Das Problem, das wir zu lösen versuchen, besteht darin, die Punkte zu verbinden“, sagte Harris, so wie ein selbstfahrendes Auto die Punkte einer Laserkarte verbinden könnte, um ein Hindernis zu erkennen.

SCNNs würden die Datenanalyse am LHC um mindestens den Faktor 50 beschleunigen, sagte Harris. „Unser oberstes Ziel ist es, [SCNNs] in den Detektor zu bekommen“ – eine Aufgabe, die mindestens ein Jahr Papierkram und zusätzliche Zustimmung der Community erfordern wird. Aber er und seine Kollegen sind hoffnungsvoll.

Insgesamt wird es immer wahrscheinlicher, dass SCNNs – eine Idee, die ursprünglich in der Welt der Informatik entwickelt wurde – bald eine Rolle in den größten Experimenten spielen werden, die jemals in der Neutrinophysik (DUNE), der Neutrinoastronomie (IceCube) und der Hochenergiephysik (dem LHC) durchgeführt wurden. .

Graham sagte, er sei angenehm überrascht gewesen, als er erfuhr, dass SCNNs ihren Weg in die Teilchenphysik gefunden hätten, obwohl er nicht völlig schockiert sei. „Im abstrakten Sinne“, sagte er, „ist ein Teilchen, das sich im Raum bewegt, ein bisschen wie die Spitze eines Stifts, die sich über ein Blatt Papier bewegt.“