Onderzoekspaper getiteld "Leren in continue actieruimte voor het ontwikkelen van hoogdimensionale potentiële energiemodellen" van onderzoekers van Argonne National Lab met bijdragen van Oak Ridge National Laboratory.
Abstract
"Reinforcement learning (RL)-benaderingen die een zoekactie in bomen combineren met diep leren, hebben opmerkelijk succes opgeleverd bij het zoeken naar exorbitant grote, zij het discrete actieruimten, zoals in schaken, Shogi en Go. Veel toepassingen voor het ontdekken en ontwerpen van materialen in de echte wereld hebben echter betrekking op multidimensionale zoekproblemen en leerdomeinen met continue actieruimten. Het verkennen van hoogdimensionale potentiële energiemodellen van materialen is een voorbeeld. Traditioneel zijn deze zoekopdrachten tijdrovend (vaak meerdere jaren voor een enkel bulksysteem) en worden ze gedreven door menselijke intuïtie en/of expertise en meer recentelijk door wereldwijde/lokale optimalisatiezoekopdrachten die problemen hebben met convergentie en/of niet goed schalen met de zoekopdracht dimensionaliteit. Hier introduceren we, in afwijking van discrete actie en andere op gradiënten gebaseerde benaderingen, een RL-strategie op basis van beslissingsbomen die aangepaste beloningen bevat voor verbeterde verkenning, efficiënte bemonstering tijdens playouts en een "vensterschaalschema" voor verbeterde exploitatie, om efficiënte en schaalbaar zoeken naar problemen met continue actieruimte. Met behulp van hoogdimensionale kunstmatige landschappen en controle-RL-problemen, hebben we onze aanpak met succes vergeleken met respectievelijk populaire wereldwijde optimalisatieschema's en geavanceerde beleidsgradiëntmethoden. We demonstreren de doeltreffendheid ervan om potentiële modellen (op fysica gebaseerde en hoogdimensionale neurale netwerken) te parametriseren voor 54 verschillende elementaire systemen in het periodiek systeem en legeringen. We analyseren fouttrends over verschillende elementen in de latente ruimte en traceren hun oorsprong tot elementaire structurele diversiteit en de gladheid van het energie-oppervlak van het element. In grote lijnen zal onze RL-strategie van toepassing zijn op vele andere natuurwetenschappelijke problemen met betrekking tot zoeken in continue actieruimten.
Vind de open toegang technisch document hier. Gepubliceerd in januari 2022. Het nieuwsbericht van Argonne National Lab is: hier.
Manna, S., Loeffler, TD, Batra, R. et al. Leren in continue actieruimte voor het ontwikkelen van hoogdimensionale potentiële energiemodellen. Nat Commun 13, 368 (2022). https://doi.org/10.1038/s41467-021-27849-6.
Bezoek Semiconductor Engineering's Technische papieren bibliotheek hier en ontdek nog veel meer academische papers in de chipindustrie.
