[Ingediend op 6 mei 2020]

PDF downloaden

Abstract: We bestuderen het probleem van het leren van exploratie-exploitatiestrategieën die
zich effectief aanpassen aan dynamische omgevingen, waar de taak in de loop van de tijd kan veranderen.
Hoewel op RNN gebaseerd beleid in principe dergelijke strategieën zou kunnen vertegenwoordigen, in
oefenen hun trainingstijd is onbetaalbaar en het leerproces vaak
convergeert naar slechte oplossingen. In dit artikel kijken we naar het geval waarin de
agent heeft toegang tot een beschrijving van de taak (bijvoorbeeld een taak-id of taak
parameters) tijdens trainingstijd, maar niet tijdens testtijd. We stellen een roman voor
algoritme dat de training van een op RNN gebaseerd beleid regulariseert met behulp van informed
beleid dat is getraind om de beloning in elke taak te maximaliseren. Dit vermindert dramatisch
de voorbeeldcomplexiteit van het op RNN gebaseerde trainingsbeleid, zonder hun
representatieve kracht. Daardoor leert onze methode verkenningsstrategieën
die efficiënte balans tussen het verzamelen van informatie over het onbekende en
het veranderen van taak en het maximaliseren van de beloning in de tijd. We testen de prestaties van
ons algoritme in verschillende omgevingen waar taken binnen elk kunnen variëren
episode.