Randomized Block Cubic Newton (RBCN) 
Vi studerar problemet med att minimera summan av tre konvexa funktioner: en differentierbar, två gånger differentierbar och en ojämn term i en högdimensionell miljö. För detta ändamål föreslår och analyserar vi en randomiserad blockkubisk Newton (RBCN) -metod, som i varje iteration bygger en modell av den objektivfunktion som bildas som summan av de naturliga modellerna av dess tre komponenter: en linjär modell med en kvadratisk regulator för differentierbar term, en kvadratisk modell med en kubisk regulator för den två gånger differentierbara termen, och perfekt (proximal) modell för den icke-smidiga termen. Vår metod i varje iteration minimerar modellen över en slumpmässig delmängd av block i sökvariabeln. RBCN är den första algoritmen med dessa egenskaper, generaliserar flera befintliga metoder, som matchar de mest kända gränserna i alla speciella fall. Vi fastställer $ {cal O} (1 / epsilon) $, $ {cal O} (1 / sqrt {epsilon}) $ och $ {cal O} (log (1 / epsilon)) $ priser under olika antaganden om komponenten funktioner. Slutligen visar vi numeriskt att vår metod överträffar det senaste inom en rad olika maskininlärningsproblem, inklusive kubiskt reglerade minsta kvadrater, logistisk regression med begränsningar och Poisson-regression. ...
Gaussisk process Latent Variable Alignment Learning
Vi presenterar en modell som automatiskt kan lära sig anpassningar mellan högdimensionella data på ett övervakat sätt. Inlärningsinriktningar är ett dåligt begränsat problem eftersom det finns många olika sätt att definiera en bra anpassning. Vår föreslagna metod kastar inlärningsinlärning i ett ramverk där både inriktning och data modelleras samtidigt. Vi härleder en probabilistisk modell byggd på icke-parametriska prioriteter som möjliggör flexibla varp samtidigt som vi tillhandahåller medel för att specificera tolkbara begränsningar. Vi visar resultat på flera datamängder, inklusive olika rörelsefångningssekvenser och visar att den föreslagna modellen överträffar de klassiska algoritmiska tillvägagångssätten för justeringsuppgiften. ...
Multimodal Deep Network Embedding (MDNE)
Nätverksbäddning är processen för att lära sig lågdimensionella representationer för noder i ett nätverk, samtidigt som nodfunktioner bevaras. Befintliga studier utnyttjar endast nätverksstrukturinformation och fokuserar på att bevara strukturella funktioner. Noder i verkliga nätverk har dock ofta en rik uppsättning attribut som ger extra semantisk information. Det har visats att både strukturella och attributfunktioner är viktiga för nätverksanalysuppgifter. För att bevara båda funktionerna undersöker vi problemet med att integrera struktur- och attributinformation för att utföra nätverksinbäddning och föreslå en Multimodal Deep Network Embedding (MDNE) -metod. MDNE fångar de icke-linjära nätverksstrukturerna och de komplexa interaktionerna mellan strukturer och attribut, med hjälp av en djup modell som består av flera lager av icke-linjära funktioner. Eftersom strukturer och attribut är två olika typer av information antas en multimodal inlärningsmetod för att förbehandla dem och hjälpa modellen att bättre fånga korrelationerna mellan nodstruktur och attributinformation. Vi använder både strukturell närhet och attribut närhet i förlustfunktionen för att bevara respektive funktioner och representationerna erhålls genom att minimera förlustfunktionen. Resultaten av omfattande experiment på fyra verkliga datamängder visar att den föreslagna metoden presterar betydligt bättre än baslinjerna för en mängd olika uppgifter, vilket visar effektiviteten och generaliteten i vår metod. ...
Skaladaptiva neurala täta funktioner (SAND-funktioner)
Hur ser datorer och intelligenta agenter världen runt dem? Funktionsutvinning och representation utgör en av de grundläggande byggstenarna för att svara på denna fråga. Traditionellt har detta gjorts med noggrant konstruerade handgjorda tekniker som HOG, SIFT eller ORB. Det finns dock ingen "one size fits all" -metod som uppfyller alla krav. Under de senaste åren har djupinlärningens ökande popularitet resulterat i en myriad av helhetslösningar på många datorsynproblem. Dessa tillvägagångssätt, även om de är framgångsrika, tenderar att sakna skalbarhet och kan inte enkelt utnyttja information som lärts av andra system. Istället föreslår vi SAND-funktioner, en dedikerad djupinlärningslösning för att extrahera funktioner som kan ge hierarkisk kontextinformation. Detta uppnås genom att använda glesa relativa etiketter som indikerar förhållanden mellan likhet / olikhet mellan bildplatser. Typen av dessa etiketter resulterar i en nästan oändlig uppsättning olika exempel att välja mellan. Vi visar hur valet av negativa exempel under träning kan användas för att modifiera funktionsutrymmet och variera dess egenskaper. För att visa hur allmänt detta tillvägagångssätt är, tillämpar vi de föreslagna funktionerna på en mängd uppgifter som alla kräver olika egenskaper. Detta inkluderar uppskattning av skillnader, semantisk segmentering, självlokalisering och SLAM. I alla fall visar vi hur integrering av SAND-funktioner resulterar i bättre eller jämförbara resultat med baslinjen, samtidigt som det krävs lite eller ingen ytterligare utbildning. Koden finns på: https://…/SAND_features .
Källa: https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/
