Kami mempelajari masalah meminimalkan jumlah dari tiga fungsi cembung: suku yang dapat dibedakan, dapat dibedakan dua kali, dan tidak mulus dalam pengaturan dimensi tinggi. Untuk tujuan ini kami mengusulkan dan menganalisis metode Newton kubik blok acak (RBCN), yang dalam setiap iterasi membangun model fungsi tujuan yang dibentuk sebagai penjumlahan model alami dari tiga komponennya: model linier dengan pengatur kuadrat untuk suku terdiferensiasi, model kuadrat dengan pengatur kubik untuk suku terdiferensiasi dua kali, dan model sempurna (proksimal) untuk suku tidak mulus. Metode kami di setiap iterasi meminimalkan model melalui subset acak dari blok variabel pencarian. RBCN adalah algoritme pertama dengan properti ini, menggeneralisasi beberapa metode yang ada, mencocokkan batas yang paling dikenal dalam semua kasus khusus. Kami menetapkan tarif $ {cal O} (1 / epsilon) $, $ {cal O} (1 / sqrt {epsilon}) $ dan $ {cal O} (log (1 / epsilon)) $ rate berdasarkan asumsi yang berbeda pada komponen fungsi. Terakhir, kami menunjukkan secara numerik bahwa metode kami mengungguli state-of-the-art pada berbagai masalah pembelajaran mesin, termasuk kuadrat terkecil yang diatur secara kubik, regresi logistik dengan batasan, dan regresi Poisson. …
Proses Gaussian Pembelajaran Alignment Variabel Laten
Kami menyajikan model yang dapat secara otomatis mempelajari penyelarasan antara data berdimensi tinggi dengan cara yang tidak diawasi. Pembelajaran keselarasan adalah masalah yang tidak terbatas karena ada banyak cara berbeda untuk mendefinisikan keselarasan yang baik. Metode yang kami usulkan menghasilkan pembelajaran penyelarasan dalam kerangka kerja di mana perataan dan data dimodelkan secara bersamaan. Kami mendapatkan model probabilistik yang dibangun di atas prior non-parametrik yang memungkinkan lengkungan fleksibel sementara pada saat yang sama menyediakan sarana untuk menentukan batasan yang dapat ditafsirkan. Kami menunjukkan hasil pada beberapa kumpulan data, termasuk urutan penangkapan gerak yang berbeda dan menunjukkan bahwa model yang disarankan mengungguli pendekatan algoritmik klasik untuk tugas penyelarasan. …
Penyematan Jaringan Dalam Multimodal (MDNE)
Penyematan jaringan adalah proses mempelajari representasi dimensi rendah untuk node dalam jaringan, sambil mempertahankan fitur node. Studi yang ada hanya memanfaatkan informasi struktur jaringan dan fokus pada pelestarian fitur struktural. Namun, node dalam jaringan dunia nyata sering kali memiliki kumpulan atribut yang kaya yang memberikan informasi semantik tambahan. Telah dibuktikan bahwa fitur struktural dan atribut penting untuk tugas analisis jaringan. Untuk mempertahankan kedua fitur tersebut, kami menyelidiki masalah integrasi informasi struktur dan atribut untuk melakukan penyematan jaringan dan mengusulkan metode Multimodal Deep Network Embedding (MDNE). MDNE menangkap struktur jaringan non-linier dan interaksi kompleks antara struktur dan atribut, menggunakan model dalam yang terdiri dari beberapa lapisan fungsi non-linier. Karena struktur dan atribut adalah dua jenis informasi yang berbeda, metode pembelajaran multimodal diadopsi untuk memprosesnya terlebih dahulu dan membantu model untuk lebih menangkap korelasi antara struktur node dan informasi atribut. Kami menggunakan kedekatan struktural dan kedekatan atribut dalam fungsi kerugian untuk mempertahankan fitur masing-masing dan representasi diperoleh dengan meminimalkan fungsi kerugian. Hasil eksperimen ekstensif pada empat kumpulan data dunia nyata menunjukkan bahwa metode yang diusulkan berkinerja jauh lebih baik daripada baseline pada berbagai tugas, yang menunjukkan keefektifan dan keumuman metode kami. …
Fitur Kerapatan Neural Adaptif Skala (Fitur PASIR)
Bagaimana komputer dan agen cerdas memandang dunia di sekitar mereka? Ekstraksi fitur dan representasi merupakan salah satu blok bangunan dasar untuk menjawab pertanyaan ini. Secara tradisional, ini dilakukan dengan teknik kerajinan tangan yang direkayasa dengan cermat seperti HOG, SIFT, atau ORB. Namun, tidak ada pendekatan "satu ukuran untuk semua" yang memenuhi semua persyaratan. Dalam beberapa tahun terakhir, semakin populernya pembelajaran mendalam telah menghasilkan banyak sekali solusi ujung ke ujung untuk banyak masalah penglihatan komputer. Pendekatan ini, meskipun berhasil, cenderung kurang skalabilitas dan tidak dapat dengan mudah mengeksploitasi informasi yang dipelajari oleh sistem lain. Sebagai gantinya, kami mengusulkan fitur SAND, solusi pembelajaran mendalam khusus untuk ekstraksi fitur yang mampu memberikan informasi konteks hierarkis. Ini dicapai dengan menggunakan label relatif renggang yang menunjukkan hubungan kesamaan / ketidaksamaan antara lokasi gambar. Sifat dari label-label ini menghasilkan serangkaian contoh berbeda yang hampir tak terbatas untuk dipilih. Kami mendemonstrasikan bagaimana pemilihan contoh negatif selama pelatihan dapat digunakan untuk mengubah ruang fitur dan memvariasikan propertinya. Untuk mendemonstrasikan keumuman pendekatan ini, kami menerapkan fitur yang diusulkan ke banyak tugas, masing-masing membutuhkan properti yang berbeda. Ini termasuk estimasi disparitas, segmentasi semantik, lokalisasi diri dan SLAM. Dalam semua kasus, kami menunjukkan bagaimana menggabungkan fitur SAND menghasilkan hasil yang lebih baik atau sebanding dengan baseline, sementara hanya membutuhkan sedikit atau tanpa pelatihan tambahan. Kode dapat ditemukan di: https://…/SAND_features ...
Sumber: https://analytixon.com/2020/09/17/if-you-did-not-already-know-1188/
