Randomisierter Blockkubischer Newton (RBCN)

Wir untersuchen das Problem der Minimierung der Summe von drei konvexen Funktionen: einem differenzierbaren, doppelt differenzierbaren und einem nicht glatten Term in einer hochdimensionalen Umgebung. Zu diesem Zweck schlagen wir eine randomisierte blockkubische Newton-Methode (RBCN) vor und analysieren sie, die in jeder Iteration ein Modell der Zielfunktion erstellt, die als Summe der natürlichen Modelle ihrer drei Komponenten gebildet wird: ein lineares Modell mit einem quadratischen Regularisierer für die differenzierbarer Term, ein quadratisches Modell mit einem kubischen Regularisierer für den zweimal differenzierbaren Term und ein perfektes (proximales) Modell für den nicht glatten Term. Unsere Methode in jeder Iteration minimiert das Modell über eine zufällige Teilmenge von Blöcken der Suchvariablen. RBCN ist der erste Algorithmus mit diesen Eigenschaften, der mehrere vorhandene Methoden verallgemeinert und in allen Sonderfällen den bekanntesten Grenzen entspricht. Wir legen die Raten $ {cal O} (1 / epsilon) $, $ {cal O} (1 / sqrt {epsilon}) $ und $ {cal O} (log (1 / epsilon)) $ unter verschiedenen Annahmen für die Komponente fest Funktionen. Zuletzt zeigen wir numerisch, dass unsere Methode bei einer Vielzahl von Problemen des maschinellen Lernens, einschließlich kubisch regulierter kleinster Quadrate, logistischer Regression mit Einschränkungen und Poisson-Regression, den Stand der Technik übertrifft. …

Lernen der latenten Variablenausrichtung nach dem Gaußschen Prozess

Wir präsentieren ein Modell, mit dem Alignments zwischen hochdimensionalen Daten unbeaufsichtigt automatisch gelernt werden können. Das Lernen von Alignments ist ein schlecht eingeschränktes Problem, da es viele verschiedene Möglichkeiten gibt, ein gutes Alignment zu definieren. Unsere vorgeschlagene Methode führt das Ausrichtungslernen in einem Rahmen durch, in dem sowohl Ausrichtung als auch Daten gleichzeitig modelliert werden. Wir leiten ein probabilistisches Modell ab, das auf nicht parametrischen Prioritäten basiert und flexible Verzerrungen ermöglicht, während gleichzeitig Mittel zur Angabe interpretierbarer Einschränkungen bereitgestellt werden. Wir zeigen Ergebnisse für mehrere Datensätze, einschließlich verschiedener Bewegungserfassungssequenzen, und zeigen, dass das vorgeschlagene Modell die klassischen algorithmischen Ansätze für die Ausrichtungsaufgabe übertrifft. …

Multimodales Deep Network Embedding (MDNE)

Bei der Netzwerkeinbettung werden niedrigdimensionale Darstellungen für Knoten in einem Netzwerk gelernt, wobei die Knotenmerkmale erhalten bleiben. Bestehende Studien nutzen nur Informationen zur Netzwerkstruktur und konzentrieren sich auf die Erhaltung struktureller Merkmale. Knoten in realen Netzwerken verfügen jedoch häufig über eine Vielzahl von Attributen, die zusätzliche semantische Informationen liefern. Es wurde gezeigt, dass sowohl Struktur- als auch Attributmerkmale für Netzwerkanalyseaufgaben wichtig sind. Um beide Funktionen beizubehalten, untersuchen wir das Problem der Integration von Struktur- und Attributinformationen, um eine Netzwerkeinbettung durchzuführen, und schlagen eine MDNE-Methode (Multimodal Deep Network Embedding) vor. MDNE erfasst die nichtlinearen Netzwerkstrukturen und die komplexen Wechselwirkungen zwischen Strukturen und Attributen mithilfe eines Tiefenmodells, das aus mehreren Schichten nichtlinearer Funktionen besteht. Da Strukturen und Attribute zwei verschiedene Arten von Informationen sind, wird eine multimodale Lernmethode angewendet, um sie vorzuverarbeiten und dem Modell zu helfen, die Korrelationen zwischen Knotenstruktur und Attributinformationen besser zu erfassen. Wir verwenden sowohl strukturelle Nähe als auch Attributnähe in der Verlustfunktion, um die jeweiligen Merkmale zu erhalten, und die Darstellungen werden durch Minimieren der Verlustfunktion erhalten. Die Ergebnisse umfangreicher Experimente mit vier realen Datensätzen zeigen, dass die vorgeschlagene Methode bei einer Vielzahl von Aufgaben eine deutlich bessere Leistung als die Basiswerte aufweist, was die Wirksamkeit und Allgemeingültigkeit unserer Methode demonstriert. …

Skalenadaptive neuronale Dichtemerkmale (SAND-Merkmale)

Wie sehen Computer und intelligente Agenten die Welt um sie herum? Die Merkmalsextraktion und -darstellung ist einer der Grundbausteine ​​für die Beantwortung dieser Frage. Traditionell wurde dies mit sorgfältig entwickelten handgefertigten Techniken wie HOG, SIFT oder ORB durchgeführt. Es gibt jedoch keinen einheitlichen Ansatz, der alle Anforderungen erfüllt. In den letzten Jahren hat die zunehmende Beliebtheit von Deep Learning zu einer Vielzahl von End-to-End-Lösungen für viele Computer-Vision-Probleme geführt. Diese Ansätze sind zwar erfolgreich, weisen jedoch tendenziell keine Skalierbarkeit auf und können die von anderen Systemen gelernten Informationen nicht einfach nutzen. Stattdessen schlagen wir SAND-Funktionen vor, eine dedizierte Deep-Learning-Lösung zur Merkmalsextraktion, die hierarchische Kontextinformationen bereitstellen kann. Dies wird erreicht, indem spärliche relative Beschriftungen verwendet werden, die Beziehungen von Ähnlichkeit / Unähnlichkeit zwischen Bildorten anzeigen. Die Art dieser Etiketten führt zu einer nahezu unendlichen Anzahl unterschiedlicher Beispiele zur Auswahl. Wir zeigen, wie die Auswahl negativer Beispiele während des Trainings verwendet werden kann, um den Funktionsbereich zu ändern und seine Eigenschaften zu variieren. Um die Allgemeingültigkeit dieses Ansatzes zu demonstrieren, wenden wir die vorgeschlagenen Funktionen auf eine Vielzahl von Aufgaben an, für die jeweils unterschiedliche Eigenschaften erforderlich sind. Dies umfasst Disparitätsschätzung, semantische Segmentierung, Selbstlokalisierung und SLAM. In allen Fällen zeigen wir, wie die Einbeziehung von SAND-Funktionen zu besseren oder vergleichbaren Ergebnissen mit der Basislinie führt, während nur wenig bis gar kein zusätzliches Training erforderlich ist. Code finden Sie unter: https://…/SAND_features ...

Quelle: https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/