Gerandomiseerd blok Cubic Newton (RBCN) 
We bestuderen het probleem van het minimaliseren van de som van drie convexe functies: een differentieerbare, tweemaal differentieerbare en een niet-vloeiende term in een hoge dimensionale omgeving. Daartoe stellen en analyseren we een gerandomiseerde blok kubieke Newton (RBCN) -methode, die in elke iteratie een model bouwt van de objectieve functie gevormd als de som van de natuurlijke modellen van zijn drie componenten: een lineair model met een kwadratische regularisator voor de differentieerbare term, een kwadratisch model met een kubieke regularizer voor de tweemaal differentieerbare term en een perfect (proximaal) model voor de niet-soepele term. Onze methode minimaliseert in elke iteratie het model over een willekeurige subset van blokken van de zoekvariabele. RBCN is het eerste algoritme met deze eigenschappen, dat verschillende bestaande methoden generaliseert en in alle speciale gevallen overeenkomt met de bekendste grenzen. We stellen $ {cal O} (1 / epsilon) $, $ {cal O} (1 / sqrt {epsilon}) $ en $ {cal O} (log (1 / epsilon)) $ tarieven vast op basis van verschillende aannames over de component functies. Ten slotte laten we numeriek zien dat onze methode beter presteert dan de state-of-the-art op een verscheidenheid aan machine-leerproblemen, waaronder kubisch geregulariseerde kleinste kwadraten, logistieke regressie met beperkingen en Poisson-regressie. ...
Gaussiaans proces Latente variabele uitlijning leren
We presenteren een model dat automatisch uitlijningen tussen hoog-dimensionale gegevens kan leren op een onbewaakte manier. Het leren van afstemmingen is een moeilijk beperkt probleem, aangezien er veel verschillende manieren zijn om een goede afstemming te definiëren. Onze voorgestelde methode plaatst uitlijningsleren in een raamwerk waarin zowel uitlijning als gegevens gelijktijdig worden gemodelleerd. We leiden een probabilistisch model af dat is gebouwd op niet-parametrische priors dat flexibele vervormingen mogelijk maakt en tegelijkertijd middelen biedt om interpreteerbare beperkingen te specificeren. We tonen resultaten op verschillende datasets, waaronder verschillende motion capture-sequenties en laten zien dat het voorgestelde model beter presteert dan de klassieke algoritmische benaderingen van de uitlijningstaak. ...
Multimodale diepe netwerkinbedding (MDNE)
Netwerkinbedding is het proces van het leren van laag-dimensionale representaties voor knooppunten in een netwerk, met behoud van knooppuntfuncties. Bestaande onderzoeken maken alleen gebruik van netwerkstructuurinformatie en richten zich op het behoud van structurele kenmerken. Knooppunten in echte netwerken hebben echter vaak een uitgebreide set attributen die extra semantische informatie bieden. Het is aangetoond dat zowel structurele als kenmerkkenmerken belangrijk zijn voor netwerkanalysetaken. Om beide functies te behouden, onderzoeken we het probleem van het integreren van structuur- en attribuutinformatie om netwerkinbedding uit te voeren en stellen we een Multimodal Deep Network Embedding (MDNE) -methode voor. MDNE legt de niet-lineaire netwerkstructuren en de complexe interacties tussen structuren en attributen vast, met behulp van een diep model dat bestaat uit meerdere lagen van niet-lineaire functies. Aangezien structuren en attributen twee verschillende soorten informatie zijn, wordt een multimodale leermethode toegepast om ze voor te verwerken en het model te helpen de correlaties tussen knooppuntstructuur en attribuutinformatie beter vast te leggen. We gebruiken zowel structurele nabijheid als attribuut nabijheid in de verliesfunctie om de respectieve kenmerken te behouden en de representaties worden verkregen door de verliesfunctie te minimaliseren. Resultaten van uitgebreide experimenten met vier real-world datasets laten zien dat de voorgestelde methode significant beter presteert dan baselines voor een verscheidenheid aan taken, die de effectiviteit en algemeenheid van onze methode aantonen. ...
Schaal-adaptieve neurale dichte functies (SAND-functies)
Hoe zien computers en intelligente agenten de wereld om hen heen? Feature-extractie en representatie vormen een van de basisbouwstenen voor het beantwoorden van deze vraag. Traditioneel wordt dit gedaan met zorgvuldig ontworpen handgemaakte technieken zoals HOG, SIFT of ORB. Er is echter geen 'one size fits all'-benadering die aan alle eisen voldoet. In de afgelopen jaren heeft de stijgende populariteit van deep learning geresulteerd in een groot aantal end-to-end-oplossingen voor veel computerzichtproblemen. Deze benaderingen zijn weliswaar succesvol, maar missen meestal schaalbaarheid en kunnen niet gemakkelijk gebruikmaken van informatie die door andere systemen is geleerd. In plaats daarvan stellen we SAND-functies voor, een speciale deep learning-oplossing voor feature-extractie die hiërarchische contextinformatie kan bieden. Dit wordt bereikt door spaarzame relatieve labels te gebruiken die relaties van gelijkenis / ongelijkheid tussen beeldlocaties aangeven. De aard van deze labels resulteert in een bijna oneindige reeks ongelijke voorbeelden om uit te kiezen. We laten zien hoe de selectie van negatieve voorbeelden tijdens de training kan worden gebruikt om de functieruimte te wijzigen en de eigenschappen ervan te variëren. Om de algemeenheid van deze benadering aan te tonen, passen we de voorgestelde functies toe op een groot aantal taken, die elk verschillende eigenschappen vereisen. Dit omvat het schatten van ongelijkheid, semantische segmentatie, zelflokalisatie en SLAM. In alle gevallen laten we zien hoe het opnemen van SAND-functies resulteert in betere of vergelijkbare resultaten met de basislijn, terwijl er weinig tot geen extra training nodig is. Code is te vinden op: https://…/SAND_features ...
Bron: https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/
