Newton cubique en bloc randomisé (RBCN)

Nous étudions le problème de la minimisation de la somme de trois fonctions convexes : un terme différentiable, deux fois différentiable et un terme non lisse dans un contexte de grande dimension. À cet effet, nous proposons et analysons une méthode de Newton cubique par blocs aléatoires (RBCN), qui à chaque itération construit un modèle de la fonction objectif formé comme la somme des modèles naturels de ses trois composantes : un modèle linéaire avec un régulariseur quadratique pour le terme différentiable, un modèle quadratique avec un régularisateur cubique pour le terme deux fois différentiable et un modèle parfait (proximal) pour le terme non lisse. Notre méthode à chaque itération minimise le modèle sur un sous-ensemble aléatoire de blocs de la variable de recherche. RBCN est le premier algorithme possédant ces propriétés, généralisant plusieurs méthodes existantes, correspondant aux limites les plus connues dans tous les cas particuliers. Nous établissons les taux ${cal O}(1/epsilon)$, ${cal O}(1/sqrt{epsilon})$ et ${cal O}(log (1/epsilon))$ sous différentes hypothèses sur la composante les fonctions. Enfin, nous montrons numériquement que notre méthode surpasse l'état de l'art sur une variété de problèmes d'apprentissage automatique, notamment les moindres carrés cubiquement régularisés, la régression logistique avec contraintes et la régression de Poisson. …

Apprentissage de l'alignement des variables latentes du processus gaussien

Nous présentons un modèle capable d'apprendre automatiquement les alignements entre des données de grande dimension de manière non supervisée. L’apprentissage des alignements est un problème peu contraint car il existe de nombreuses façons différentes de définir un bon alignement. La méthode proposée place l’apprentissage de l’alignement dans un cadre où l’alignement et les données sont modélisés simultanément. Nous dérivons un modèle probabiliste construit sur des a priori non paramétriques qui permet des déformations flexibles tout en fournissant en même temps des moyens de spécifier des contraintes interprétables. Nous montrons les résultats sur plusieurs ensembles de données, y compris différentes séquences de capture de mouvement, et montrons que le modèle suggéré surpasse les approches algorithmiques classiques de la tâche d'alignement. …

Intégration de réseau profond multimodal (MDNE)

L'intégration de réseau est le processus d'apprentissage de représentations de faible dimension pour les nœuds d'un réseau, tout en préservant les caractéristiques des nœuds. Les études existantes exploitent uniquement les informations sur la structure du réseau et se concentrent sur la préservation des caractéristiques structurelles. Cependant, les nœuds des réseaux du monde réel possèdent souvent un riche ensemble d’attributs fournissant des informations sémantiques supplémentaires. Il a été démontré que les caractéristiques structurelles et attributaires sont importantes pour les tâches d'analyse de réseau. Pour préserver les deux fonctionnalités, nous étudions le problème de l’intégration des informations de structure et d’attributs pour effectuer l’intégration de réseau et proposons une méthode d’intégration de réseau profond multimodal (MDNE). MDNE capture les structures de réseau non linéaires et les interactions complexes entre les structures et les attributs, à l'aide d'un modèle profond composé de plusieurs couches de fonctions non linéaires. Étant donné que les structures et les attributs sont deux types d'informations différents, une méthode d'apprentissage multimodale est adoptée pour les prétraiter et aider le modèle à mieux capturer les corrélations entre la structure des nœuds et les informations sur les attributs. Nous utilisons à la fois la proximité structurelle et la proximité d'attribut dans la fonction de perte pour préserver les caractéristiques respectives et les représentations sont obtenues en minimisant la fonction de perte. Les résultats d'expériences approfondies sur quatre ensembles de données du monde réel montrent que la méthode proposée fonctionne nettement mieux que les lignes de base sur une variété de tâches, ce qui démontre l'efficacité et la généralité de notre méthode. …

Caractéristiques neuronales denses adaptatives à l'échelle (fonctionnalités SAND)

Comment les ordinateurs et les agents intelligents perçoivent-ils le monde qui les entoure ? L’extraction et la représentation de fonctionnalités constituent l’un des éléments de base pour répondre à cette question. Traditionnellement, cela a été fait avec des techniques artisanales soigneusement conçues telles que HOG, SIFT ou ORB. Cependant, il n’existe pas d’approche universelle qui satisfasse à toutes les exigences. Ces dernières années, la popularité croissante du deep learning a donné naissance à une myriade de solutions de bout en bout à de nombreux problèmes de vision par ordinateur. Ces approches, bien que efficaces, ont tendance à manquer d'évolutivité et ne peuvent pas facilement exploiter les informations apprises par d'autres systèmes. Au lieu de cela, nous proposons des fonctionnalités SAND, une solution d'apprentissage en profondeur dédiée à l'extraction de fonctionnalités capable de fournir des informations contextuelles hiérarchiques. Ceci est réalisé en employant des étiquettes relatives clairsemées indiquant des relations de similarité/dissimilarité entre les emplacements des images. La nature de ces étiquettes donne lieu à un choix presque infini d’exemples dissemblables. Nous montrons comment la sélection d'exemples négatifs lors de la formation peut être utilisée pour modifier l'espace des fonctionnalités et faire varier ses propriétés. Pour démontrer la généralité de cette approche, nous appliquons les fonctionnalités proposées à une multitude de tâches, chacune nécessitant des propriétés différentes. Cela inclut l'estimation des disparités, la segmentation sémantique, l'autolocalisation et le SLAM. Dans tous les cas, nous montrons comment l'intégration des fonctionnalités SAND permet d'obtenir des résultats meilleurs ou comparables à la ligne de base, tout en nécessitant peu ou pas de formation supplémentaire. Le code peut être trouvé à l'adresse : https://…/SAND_features ...

Source : https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/