Randomizowany sześcienny niuton blokowy (RBCN) 
Badamy problem minimalizacji sumy trzech funkcji wypukłych: różniczkowalnej, dwukrotnie różniczkowalnej i niegładkiej w układzie wielowymiarowym. W tym celu proponujemy i analizujemy metodę randomizowanych bloków sześciennych Newtona (RBCN), która w każdej iteracji buduje model funkcji celu utworzonej jako suma modeli naturalnych jej trzech składowych: modelu liniowego z kwadratowym regulatorem dla człon różniczkowalny, model kwadratowy z regularyzatorem sześciennym dla członu dwukrotnie różniczkowalnego i model doskonały (bliższy) dla członu niegładkiego. Nasza metoda w każdej iteracji minimalizuje model na losowym podzbiorze bloków zmiennej wyszukiwania. RBCN jest pierwszym algorytmem o tych właściwościach, uogólniającym kilka istniejących metod, dopasowującym najlepsze znane granice we wszystkich szczególnych przypadkach. Ustalamy stawki ${cal O}(1/epsilon)$, ${cal O}(1/sqrt{epsilon})$ i ${cal O}(log (1/epsilon))$ przy różnych założeniach dotyczących składowej Funkcje. Na koniec pokazujemy liczbowo, że nasza metoda przewyższa najnowocześniejszą metodę w przypadku różnych problemów związanych z uczeniem maszynowym, w tym regularnych sześciennie najmniejszych kwadratów, regresji logistycznej z ograniczeniami i regresji Poissona. …
Uczenie się zmiennego wyrównania utajonego procesu Gaussa
Przedstawiamy model, który może automatycznie uczyć się wyrównań między wielowymiarowymi danymi w sposób nienadzorowany. Uczenie się wyrównań jest problemem źle ograniczonym, ponieważ istnieje wiele różnych sposobów definiowania dobrego wyrównania. Nasza proponowana metoda rzuca uczenie się wyrównania w ramach, w których zarówno wyrównanie, jak i dane są modelowane jednocześnie. Wyprowadzamy model probabilistyczny zbudowany na nieparametrycznych a priorach, który pozwala na elastyczne wypaczanie, a jednocześnie zapewnia środki do określenia możliwych do interpretacji ograniczeń. Pokazujemy wyniki na kilku zestawach danych, w tym różnych sekwencjach przechwytywania ruchu, i pokazujemy, że sugerowany model przewyższa klasyczne algorytmiczne podejścia do zadania wyrównania. …
Multimodalne głębokie osadzanie w sieci (MDNE)
Osadzanie sieci to proces uczenia się niskowymiarowych reprezentacji węzłów w sieci, przy jednoczesnym zachowaniu cech węzłów. Istniejące badania wykorzystują jedynie informacje o strukturze sieci i koncentrują się na zachowaniu cech strukturalnych. Jednak węzły w rzeczywistych sieciach często mają bogaty zestaw atrybutów dostarczających dodatkowych informacji semantycznych. Wykazano, że zarówno cechy strukturalne, jak i atrybutowe są ważne dla zadań analizy sieci. Aby zachować obie funkcje, badamy problem integracji informacji o strukturze i atrybutach w celu osadzania sieci i proponujemy metodę Multimodal Deep Network Embedding (MDNE). MDNE rejestruje nieliniowe struktury sieci oraz złożone interakcje między strukturami i atrybutami, używając głębokiego modelu składającego się z wielu warstw funkcji nieliniowych. Ponieważ struktury i atrybuty to dwa różne rodzaje informacji, zastosowano multimodalną metodę uczenia się w celu ich wstępnego przetworzenia i pomocy modelowi w lepszym uchwyceniu korelacji między strukturą węzłów a informacjami o atrybutach. W funkcji straty stosujemy zarówno bliskość strukturalną, jak i bliskość atrybutów, aby zachować odpowiednie cechy, a reprezentacje uzyskuje się poprzez minimalizację funkcji straty. Wyniki szeroko zakrojonych eksperymentów na czterech rzeczywistych zestawach danych pokazują, że proponowana metoda działa znacznie lepiej niż linie bazowe w różnych zadaniach, co pokazuje skuteczność i ogólność naszej metody. …
Dostosowujące się do skali funkcje sieci neuronowych (funkcje SAND)
Jak komputery i inteligentni agenci postrzegają otaczający ich świat? Ekstrakcja i reprezentacja cech to jeden z podstawowych elementów składowych pozwalających odpowiedzieć na to pytanie. Tradycyjnie robiono to za pomocą starannie opracowanych technik rzemieślniczych, takich jak HOG, SIFT lub ORB. Nie ma jednak uniwersalnego podejścia, które spełniałoby wszystkie wymagania. W ostatnich latach rosnąca popularność głębokiego uczenia się zaowocowała niezliczonymi kompleksowymi rozwiązaniami wielu problemów związanych z wizją komputerową. Te podejścia, choć skuteczne, zwykle nie są skalowalne i nie mogą łatwo wykorzystywać informacji zdobytych przez inne systemy. Zamiast tego proponujemy funkcje SAND, dedykowane rozwiązanie do głębokiego uczenia się do ekstrakcji cech, zdolne do dostarczania hierarchicznych informacji kontekstowych. Osiąga się to poprzez zastosowanie rzadkich względnych etykiet wskazujących relacje podobieństwa/odmienności między lokalizacjami obrazu. Charakter tych etykiet skutkuje niemal nieskończonym zestawem odmiennych przykładów do wyboru. Pokazujemy, w jaki sposób selekcja negatywnych przykładów podczas uczenia może być wykorzystana do modyfikowania przestrzeni cech i różnicowania jej właściwości. Aby zademonstrować ogólność tego podejścia, stosujemy proponowane funkcje do wielu zadań, z których każde wymaga innych właściwości. Obejmuje to szacowanie rozbieżności, segmentację semantyczną, samolokalizację i SLAM. We wszystkich przypadkach pokazujemy, w jaki sposób włączenie funkcji SAND skutkuje lepszymi lub porównywalnymi wynikami z wartością wyjściową, wymagając przy tym niewielkiego lub żadnego dodatkowego szkolenia. Kod można znaleźć pod adresem: https://…/SAND_features ...
Źródło: https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/
