Рандомизированный блок кубического ньютона (RBCN)

Мы изучаем проблему минимизации суммы трех выпуклых функций: дифференцируемой, дважды дифференцируемой и негладкого члена в многомерной постановке. С этой целью мы предлагаем и анализируем рандомизированный блочно-кубический метод Ньютона (RBCN), который на каждой итерации строит модель целевой функции, сформированной как сумма естественных моделей трех ее компонентов: линейная модель с квадратичным регуляризатором для дифференцируемый член, квадратичная модель с кубическим регуляризатором для дважды дифференцируемого члена и совершенная (проксимальная) модель для негладкого члена. Наш метод на каждой итерации минимизирует модель по случайному подмножеству блоков переменной поиска. RBCN - первый алгоритм с этими свойствами, обобщающий несколько существующих методов и соответствующий самым известным границам во всех частных случаях. Мы устанавливаем ставки $ {cal O} (1 / epsilon) $, $ {cal O} (1 / sqrt {epsilon}) $ и $ {cal O} (log (1 / epsilon)) $ при различных предположениях относительно компонента. функции. Наконец, мы численно показываем, что наш метод превосходит современные по ряду задач машинного обучения, включая кубически регуляризованный метод наименьших квадратов, логистическую регрессию с ограничениями и регрессию Пуассона. …

Гауссовский процесс обучения латентному выравниванию переменных

Мы представляем модель, которая может автоматически определять соответствие между многомерными данными без присмотра. Обучение выравниванию - это плохо ограниченная проблема, поскольку есть много разных способов определения хорошего выравнивания. Предлагаемый нами метод реализует обучение выравниванию в среде, где одновременно моделируются выравнивание и данные. Мы выводим вероятностную модель, основанную на непараметрических априорных значениях, которая позволяет гибкие деформации и в то же время предоставляет средства для определения интерпретируемых ограничений. Мы показываем результаты на нескольких наборах данных, включая различные последовательности захвата движения, и показываем, что предлагаемая модель превосходит классические алгоритмические подходы к задаче выравнивания. …

Встраивание мультимодальной глубокой сети (MDNE)

Встраивание сети - это процесс изучения низкоразмерных представлений для узлов в сети с сохранением характеристик узлов. Существующие исследования используют только информацию о структуре сети и сосредотачиваются на сохранении структурных особенностей. Однако узлы в реальных сетях часто имеют богатый набор атрибутов, предоставляющих дополнительную семантическую информацию. Было продемонстрировано, что как структурные, так и атрибутные особенности важны для задач сетевого анализа. Чтобы сохранить обе функции, мы исследуем проблему интеграции информации о структуре и атрибутах для выполнения сетевого встраивания и предлагаем метод многомодального глубокого сетевого встраивания (MDNE). MDNE фиксирует нелинейные сетевые структуры и сложные взаимодействия между структурами и атрибутами, используя глубокую модель, состоящую из нескольких уровней нелинейных функций. Поскольку структуры и атрибуты представляют собой два разных типа информации, применяется метод мультимодального обучения для их предварительной обработки и помогает модели лучше фиксировать корреляции между структурой узлов и информацией об атрибутах. Мы используем как структурную близость, так и близость атрибутов в функции потерь, чтобы сохранить соответствующие особенности, и представления получаются путем минимизации функции потерь. Результаты обширных экспериментов с четырьмя наборами реальных данных показывают, что предлагаемый метод работает значительно лучше, чем исходные условия, при выполнении множества задач, что демонстрирует эффективность и универсальность нашего метода. …

Масштабируемые функции нейронной плотности (функции SAND)

Как компьютеры и интеллектуальные агенты видят мир вокруг себя? Извлечение и представление признаков составляют один из основных строительных блоков для ответа на этот вопрос. Традиционно для этого использовались тщательно разработанные вручную методы, такие как HOG, SIFT или ORB. Однако не существует универсального подхода, удовлетворяющего всем требованиям. В последние годы растущая популярность глубокого обучения привела к появлению множества сквозных решений многих проблем компьютерного зрения. Эти подходы, хотя и являются успешными, обычно не обладают масштабируемостью и не могут легко использовать информацию, полученную другими системами. Вместо этого мы предлагаем функции SAND, специальное решение для глубокого обучения для извлечения функций, способное предоставлять иерархическую контекстную информацию. Это достигается за счет использования разреженных относительных меток, указывающих на отношения сходства / несходства между местоположениями изображений. Природа этих ярлыков приводит к тому, что на выбор предлагается почти бесконечный набор разнородных примеров. Мы демонстрируем, как выбор отрицательных примеров во время обучения может быть использован для изменения пространства функций и изменения его свойств. Чтобы продемонстрировать общность этого подхода, мы применяем предложенные функции к множеству задач, каждая из которых требует разных свойств. Это включает оценку несоответствия, семантическую сегментацию, самолокализацию и SLAM. Во всех случаях мы показываем, как включение функций SAND приводит к лучшим или сопоставимым результатам с базовыми показателями, при этом практически не требуя дополнительного обучения. Код можно найти по адресу: https://…/SAND_features ...

Источник: https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/