Stel dat u een boek van duizend pagina's heeft, maar dat elke pagina slechts één regel tekst bevat. Het is de bedoeling dat je de informatie uit het boek extraheert met behulp van een scanner, alleen deze specifieke scanner doorloopt systematisch elke pagina en scant één vierkante centimeter per keer. Het zou veel tijd kosten om met die scanner door het hele boek te bladeren, en de meeste tijd zou verspild zijn aan het scannen van lege ruimte. 

Dat is het leven van menig experimenteel natuurkundige. Bij deeltjesexperimenten vangen en analyseren detectoren enorme hoeveelheden gegevens, ook al bevat slechts een klein deel ervan bruikbare informatie. "In een foto van bijvoorbeeld een vogel die in de lucht vliegt, kan elke pixel betekenisvol zijn", legt uit Kazuhiro Terao, een natuurkundige bij het SLAC National Accelerator Laboratory. Maar in de beelden waar een natuurkundige naar kijkt, doet er vaak maar een klein deel echt toe. In dergelijke omstandigheden kost het onnodig tijd en rekenkracht om elk detail te bestuderen.

Maar dat begint te veranderen. Met een machine learning-tool die bekend staat als een schaars convolutioneel neuraal netwerk (SCNN), kunnen onderzoekers zich concentreren op de relevante delen van hun gegevens en de rest eruit filteren. Onderzoekers hebben deze netwerken gebruikt om hun vermogen om real-time data-analyse uit te voeren enorm te versnellen. En ze zijn van plan SCNN's in te zetten bij toekomstige of bestaande experimenten op ten minste drie continenten. De overstap markeert een historische verandering voor de natuurkundegemeenschap. 

"In de natuurkunde zijn we gewend om onze eigen algoritmen en computationele benaderingen te ontwikkelen," zei Carlos Argüelles-Delgado, een natuurkundige aan de Harvard University. "We hebben altijd voorop gelopen op het gebied van ontwikkeling, maar nu, op het gebied van computers, loopt informatica vaak voorop." 

Spaarzame karakters

Het werk dat zou leiden tot SCNN's begon in 2012, toen Benjamin Graham, destijds aan de Universiteit van Warwick, wilde een neuraal netwerk maken dat Chinees handschrift kon herkennen. 

De belangrijkste tools in die tijd voor beeldgerelateerde taken als deze waren convolutionele neurale netwerken (CNN's). Voor de Chinese handschrifttaak zou een schrijver een karakter overtrekken op een digitale tablet en een afbeelding produceren van bijvoorbeeld 10,000 pixels. De CNN zou dan een raster van 3 bij 3, een kernel genaamd, over het hele beeld verplaatsen, waarbij de kernel op elke pixel afzonderlijk wordt gecentreerd. Voor elke plaatsing van de kernel voerde het netwerk een gecompliceerde wiskundige berekening uit, een convolutie genaamd, die op zoek was naar onderscheidende kenmerken.

CNN's zijn ontworpen om te worden gebruikt met afbeeldingen met veel informatie, zoals foto's. Maar een afbeelding met een Chinees karakter is meestal leeg; onderzoekers verwijzen naar gegevens met deze eigenschap als schaars. Het is een gemeenschappelijk kenmerk van alles in de natuurlijke wereld. "Om een ​​voorbeeld te geven van hoe schaars de wereld kan zijn," zei Graham, als de Eiffeltoren zou zijn ingekapseld in de kleinst mogelijke rechthoek, zou die rechthoek bestaan ​​uit "99.98% lucht en slechts 0.02% ijzer."

Graham probeerde de CNN-benadering aan te passen zodat de kernel alleen zou worden geplaatst op delen van 3 bij 3 van de afbeelding die ten minste één pixel bevatten die een waarde heeft die niet nul is (en niet alleen leeg is). Op deze manier slaagde hij erin een systeem te ontwikkelen dat handgeschreven Chinees efficiënt kon identificeren. Het won een wedstrijd van 2013 door individuele karakters te identificeren met een foutenpercentage van slechts 2.61%. (Mensen scoorden gemiddeld 4.81%). Vervolgens richtte hij zijn aandacht op een nog groter probleem: herkenning van driedimensionale objecten.

In 2017 was Graham overgestapt naar Facebook AI Research en had hij zijn techniek verder verfijnd gepubliceerde de gegevens voor de eerste SCNN, die de kernel alleen centreerde op pixels die een niet-nulwaarde hadden (in plaats van de kernel te plaatsen op een sectie van 3 bij 3 die ten minste één "niet-nul" pixel had). Het was dit algemene idee dat Terao naar de wereld van de deeltjesfysica bracht.

Ondergrondse opnamen

Terao is betrokken bij experimenten in het Fermi National Accelerator Laboratory die de aard van neutrino's onderzoeken, een van de meest ongrijpbare bekende elementaire deeltjes. Ze zijn ook de meest voorkomende deeltjes in het universum met massa (zij het niet veel), maar ze verschijnen zelden in een detector. Als gevolg hiervan zijn de meeste gegevens voor neutrino-experimenten schaars en was Terao constant op zoek naar betere benaderingen voor gegevensanalyse. Hij vond er een in SCNN's.

In 2019 paste hij SCNN's toe op simulaties van de gegevens die worden verwacht van het Deep Underground Neutrino Experiment, of DUNE, dat 's werelds grootste neutrinofysica-experiment zal zijn wanneer het in 2026 online komt. Het project zal neutrino's schieten vanuit Fermilab, net buiten Chicago, door 800 mijl aarde naar een ondergronds laboratorium in South Dakota. Onderweg zullen de deeltjes "oscilleren" tussen de drie bekende soorten neutrino's, en deze oscillaties kunnen gedetailleerde neutrino-eigenschappen onthullen.

De SCNN's analyseerden de gesimuleerde gegevens sneller dan gewone methoden, en vereisten daarbij aanzienlijk minder rekenkracht. De veelbelovende resultaten betekenen dat SCNN's waarschijnlijk zullen worden gebruikt tijdens de daadwerkelijke experimentele run.

Ondertussen hielp Terao in 2021 SCNN's toe te voegen aan een ander neutrino-experiment bij Fermilab, bekend als MicroBooNE. Hier kijken wetenschappers naar de nasleep van botsingen tussen neutrino's en de kernen van argonatomen. Door de sporen te onderzoeken die door deze interacties zijn gecreëerd, kunnen onderzoekers details over de oorspronkelijke neutrino's afleiden. Om dat te doen, hebben ze een algoritme nodig dat naar de pixels (of technisch gezien hun driedimensionale tegenhangers genaamd voxels) in een driedimensionale weergave van de detector kan kijken en vervolgens kan bepalen welke pixels bij welke deeltjestrajecten horen.

Omdat de gegevens zo schaars zijn - een paar kleine lijntjes in een grote detector (ongeveer 170 ton vloeibaar argon) - zijn SCNN's bijna perfect voor deze taak. Met een standaard CNN zou het beeld in 50 stukjes moeten worden opgedeeld, vanwege alle berekeningen die moeten worden gedaan, zei Terao. "Met een schaars CNN analyseren we het hele beeld in één keer - en doen we het veel sneller."

Tijdige triggers

Een van de onderzoekers die aan MicroBooNE werkte, was een niet-gegradueerde stagiair genaamd Felix Yu. Onder de indruk van de kracht en efficiëntie van SCNN's, nam hij de tools mee naar zijn volgende werkplek als afgestudeerde student aan een onderzoekslaboratorium van Harvard dat formeel verbonden was met het IceCube Neutrino Observatory op de Zuidpool.

Een van de belangrijkste doelen van het observatorium is om de meest energetische neutrino's van het universum te onderscheppen en ze terug te voeren naar hun bronnen, waarvan de meeste buiten ons melkwegstelsel liggen. De detector bestaat uit 5,160 optische sensoren begraven in het Antarctische ijs, waarvan slechts een klein deel op een bepaald moment oplicht. De rest van de array blijft donker en is niet bijzonder informatief. Erger nog, veel van de "gebeurtenissen" die de detectoren registreren, zijn valse positieven en niet bruikbaar voor neutrinojacht. Alleen zogenaamde gebeurtenissen op triggerniveau komen in aanmerking voor verdere analyse, en er moeten onmiddellijk beslissingen worden genomen over welke die aanduiding waard zijn en welke permanent genegeerd zullen worden.

Standaard CNN's zijn te traag voor deze taak, dus IceCube-wetenschappers vertrouwen al lang op een algoritme genaamd LineFit om hen te vertellen over mogelijk bruikbare detecties. Maar dat algoritme is onbetrouwbaar, zei Yu, "wat betekent dat we interessante evenementen zouden kunnen missen." Nogmaals, het is een schaarse gegevensomgeving die bij uitstek geschikt is voor een SCNN.

Yu - samen met Argüelles-Delgado, zijn doctoraaladviseur, en Jeff Lazar, een afgestudeerde student aan de Universiteit van Wisconsin, Madison - kwantificeerde dat voordeel, wat bleek uit een recent artikel dat deze netwerken ongeveer 20 keer sneller zouden zijn dan typische CNN's. "Dat is snel genoeg om te reageren op elke gebeurtenis die uit de detector komt", zo'n 3,000 per seconde, zei Lazar. "Dat stelt ons in staat om betere beslissingen te nemen over wat we weggooien en wat we houden."

De auteurs hebben ook met succes een SCNN gebruikt in een simulatie met behulp van officiële IceCube-gegevens, en de volgende stap is om hun systeem te testen op een replica van het computersysteem op de Zuidpool. Als alles goed gaat, denkt Argüelles-Delgado dat ze hun systeem volgend jaar op het Antarctische observatorium moeten installeren. Maar de technologie zou nog breder kunnen worden gebruikt. "We denken dat [SCNN's kunnen profiteren] van alle neutrino-telescopen, niet alleen van IceCube," zei Argüelles-Delgado.

Voorbij Neutrino's

Philip Harris, een natuurkundige aan het Massachusetts Institute of Technology, hoopt dat SCNN's kunnen helpen bij de grootste deeltjesversneller van allemaal: de Large Hadron Collider (LHC) op CERN. Harris hoorde over dit soort neurale netwerken van een MIT-collega, de computerwetenschapper Song Han. "Song is een expert in het snel en efficiënt maken van algoritmen", zei Harris - perfect voor de LHC, waar elke seconde 40 miljoen botsingen plaatsvinden.

Toen ze elkaar een paar jaar geleden spraken, vertelde Song Harris over een autonoom voertuigproject dat hij nastreefde met leden van zijn lab. Het team van Song gebruikte SCNN's om 3D-laserkaarten te analyseren van de ruimte voor het voertuig, waarvan een groot deel leeg is, om te zien of er obstakels voor hem waren.

Harris en zijn collega's staan ​​voor soortgelijke uitdagingen bij de LHC. Wanneer twee protonen in de machine botsen, ontstaat door de botsing een uitdijende bol van deeltjes. Wanneer een van deze deeltjes de collector raakt, ontstaat er een secundaire deeltjesdouche. "Als je de volledige omvang van deze regenbui in kaart kunt brengen," zei Harris, "kun je de energie bepalen van het deeltje dat het veroorzaakte", wat een object van speciaal belang zou kunnen zijn - zoiets als het Higgs-deeltje, dat natuurkundigen ontdekt in 2012, of een donkere materie deeltje, waar natuurkundigen nog steeds naar op zoek zijn.

"Het probleem dat we proberen op te lossen, komt neer op het verbinden van de punten", zei Harris, net zoals een zelfrijdende auto de punten van een laserkaart kan verbinden om een ​​obstakel te detecteren.

SCNN's zouden de gegevensanalyse bij de LHC met minstens een factor 50 versnellen, zei Harris. "Ons uiteindelijke doel is om [SCNN's] in de detector te krijgen" - een taak die minstens een jaar aan papierwerk en extra buy-in van de gemeenschap zal vergen. Maar hij en zijn collega's zijn hoopvol.

Al met al wordt het steeds waarschijnlijker dat SCNN's - een idee dat oorspronkelijk in de wereld van de informatica is bedacht - binnenkort een rol zullen spelen in de grootste experimenten ooit uitgevoerd in neutrinofysica (DUNE), neutrinoastronomie (IceCube) en hoge-energiefysica (de LHC). .

Graham zei dat hij aangenaam verrast was toen hij hoorde dat SCNN's hun weg naar de deeltjesfysica hadden gevonden, hoewel hij niet helemaal geschokt was. "In abstracte zin," zei hij, "is een deeltje dat in de ruimte beweegt een beetje zoals de punt van een pen die over een stuk papier beweegt."