Onderzoekspaper getiteld "A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware", van onderzoekers van de Graz University of Technology en Intel Labs.
Abstract
"Op spikes gebaseerde neuromorfische hardware belooft meer energie-efficiënte implementaties van Deep Neural Networks (DNN's) te bieden dan standaard hardware zoals GPU's. Maar dit vereist om te begrijpen hoe DNN's kunnen worden nagebootst in een op gebeurtenissen gebaseerd spaarzaam schietregime, omdat anders het energievoordeel verloren gaat. In het bijzonder gebruiken DNN's die sequentieverwerkingstaken oplossen meestal Long Short-Term Memory (LSTM) -eenheden die moeilijk te emuleren zijn met weinig pieken. We laten zien dat een facet van veel biologische neuronen, langzame na-hyperpolariserende (AHP) stromen na elke piek, een efficiënte oplossing biedt. AHP-stromen kunnen eenvoudig worden geïmplementeerd in neuromorfe hardware die neuronmodellen met meerdere compartimenten ondersteunt, zoals Intel's Loihi-chip. Filterbenaderingtheorie verklaart waarom AHP-neuronen de functie van LSTM-eenheden kunnen emuleren. Dit levert een zeer energie-efficiënte benadering van de classificatie van tijdreeksen op. Bovendien biedt het de basis voor het implementeren met zeer spaarzaam afvuren van een belangrijke klasse van grote DNN's die relaties tussen woorden en zinnen in een tekst extraheren om vragen over de tekst te beantwoorden.”
Vind de technisch document hier. Gepubliceerd 2021.
arXiv:2107.03992v2 Philipp Plank, Arjun Rao, Andreas Wild, Wolfgang Maass.
Bezoek Semiconductor Engineering's Technische papieren bibliotheek hier en ontdek nog veel meer academische papers in de chipindustrie.
