Neurale netwerken hebben veel succes gehad in alles, van het spelen van Go- en Atari-spellen tot beeldherkenning en taalvertaling. Maar vaak wordt over het hoofd gezien dat het succes van een neuraal netwerk bij een bepaalde toepassing vaak wordt bepaald door een reeks keuzes die aan het begin van het onderzoek zijn gemaakt, waaronder welk type netwerk moet worden gebruikt en de gegevens en methode die worden gebruikt om het te trainen. Momenteel worden deze keuzes - ook wel hyperparameters genoemd - gekozen door ervaring, willekeurig zoeken of een rekenintensief zoekproces.
In onze meest recente paperintroduceren we een nieuwe methode voor het trainen van neurale netwerken waarmee een experimentator snel de beste set hyperparameters en het model voor de taak kan kiezen. Deze techniek - bekend als Population Based Training (PBT) - traint en optimaliseert tegelijkertijd een reeks netwerken, waardoor de optimale set-up snel gevonden kan worden. Cruciaal is dat dit geen rekenkundige overhead toevoegt, net zo snel kan worden gedaan als traditionele technieken en gemakkelijk kan worden geïntegreerd in bestaande machine learning-pijplijnen.
De techniek is een hybride van de twee meest gebruikte methoden voor hyperparameteroptimalisatie: willekeurig zoeken en handmatig afstemmen. Bij willekeurig zoeken wordt een populatie van neurale netwerken onafhankelijk parallel getraind en aan het einde van de training wordt het best presterende model geselecteerd. Dit betekent doorgaans dat een klein deel van de bevolking wordt getraind met goede hyperparameters, maar nog veel meer zullen worden getraind met slechte, waardoor computerbronnen worden verspild.
Bron: https://deepmind.com/blog/article/population-based-training-neural-networks
