Khối ngẫu nhiên Newton khối (RBCN) 
Chúng tôi nghiên cứu bài toán tối thiểu hóa tổng của ba hàm lồi: một số hạng khả vi, khả vi hai lần và một số hạng không trơn trong môi trường nhiều chiều. Để đạt được mục tiêu này, chúng tôi đề xuất và phân tích phương pháp Newton khối khối ngẫu nhiên (RBCN), trong mỗi lần lặp lại xây dựng một mô hình của hàm mục tiêu được hình thành dưới dạng tổng của các mô hình tự nhiên của ba thành phần của nó: một mô hình tuyến tính với bộ điều chỉnh bậc hai cho số hạng khả vi, một mô hình bậc hai với bộ điều chỉnh bậc ba cho số hạng khả vi hai lần và mô hình hoàn hảo (gần) cho số hạng không trơn. Phương pháp của chúng tôi trong mỗi lần lặp sẽ giảm thiểu mô hình trên một tập hợp con ngẫu nhiên các khối của biến tìm kiếm. RBCN là thuật toán đầu tiên có các thuộc tính này, khái quát hóa một số phương pháp hiện có, khớp với các giới hạn được biết đến nhiều nhất trong tất cả các trường hợp đặc biệt. Chúng tôi thiết lập các mức giá ${cal O}(1/epsilon)$, ${cal O}(1/sqrt{epsilon})$ và ${cal O}(log (1/epsilon))$ theo các giả định khác nhau về thành phần chức năng. Cuối cùng, chúng tôi chứng minh về mặt số lượng rằng phương pháp của chúng tôi vượt trội so với phương pháp hiện đại nhất trong nhiều vấn đề học máy, bao gồm bình phương tối thiểu chính quy bậc ba, hồi quy logistic có ràng buộc và hồi quy Poisson. …
Học tập căn chỉnh biến tiềm ẩn của quy trình Gaussian
Chúng tôi trình bày một mô hình có thể tự động tìm hiểu sự sắp xếp giữa dữ liệu nhiều chiều theo cách không giám sát. Sắp xếp học tập là một vấn đề không bị ràng buộc vì có nhiều cách khác nhau để xác định sự sắp xếp tốt. Phương pháp được đề xuất của chúng tôi đưa việc học căn chỉnh vào một khuôn khổ trong đó cả căn chỉnh và dữ liệu đều được mô hình hóa đồng thời. Chúng tôi rút ra một mô hình xác suất được xây dựng trên các ưu tiên không tham số cho phép thực hiện các đường cong linh hoạt đồng thời cung cấp các phương tiện để chỉ định các ràng buộc có thể giải thích được. Chúng tôi hiển thị kết quả trên một số bộ dữ liệu, bao gồm các chuỗi ghi chuyển động khác nhau và cho thấy rằng mô hình được đề xuất hoạt động tốt hơn các phương pháp thuật toán cổ điển đối với nhiệm vụ căn chỉnh. …
Nhúng mạng sâu đa phương thức (MDNE)
Nhúng mạng là quá trình học các biểu diễn chiều thấp cho các nút trong mạng, trong khi vẫn bảo toàn các tính năng của nút. Các nghiên cứu hiện tại chỉ tận dụng thông tin cấu trúc mạng và tập trung vào việc bảo tồn các đặc điểm cấu trúc. Tuy nhiên, các nút trong mạng thế giới thực thường có tập thuộc tính phong phú cung cấp thêm thông tin ngữ nghĩa. Người ta đã chứng minh rằng cả đặc điểm cấu trúc và thuộc tính đều quan trọng đối với các nhiệm vụ phân tích mạng. Để duy trì cả hai tính năng, chúng tôi điều tra vấn đề tích hợp thông tin cấu trúc và thuộc tính để thực hiện việc nhúng mạng và đề xuất phương pháp Nhúng mạng sâu đa phương thức (MDNE). MDNE nắm bắt các cấu trúc mạng phi tuyến tính và các tương tác phức tạp giữa các cấu trúc và thuộc tính bằng cách sử dụng mô hình sâu bao gồm nhiều lớp hàm phi tuyến tính. Vì cấu trúc và thuộc tính là hai loại thông tin khác nhau nên phương pháp học đa phương thức được áp dụng để xử lý trước chúng và giúp mô hình nắm bắt tốt hơn mối tương quan giữa cấu trúc nút và thông tin thuộc tính. Chúng tôi sử dụng cả độ gần về cấu trúc và độ gần thuộc tính trong hàm mất mát để bảo toàn các tính năng tương ứng và các biểu diễn thu được bằng cách giảm thiểu hàm mất mát. Kết quả thử nghiệm sâu rộng trên bốn bộ dữ liệu trong thế giới thực cho thấy phương pháp được đề xuất hoạt động tốt hơn đáng kể so với đường cơ sở trong nhiều nhiệm vụ khác nhau, điều này chứng tỏ tính hiệu quả và tính tổng quát của phương pháp của chúng tôi. …
Các tính năng dày đặc thần kinh thích ứng theo tỷ lệ (Tính năng CÁT)
Máy tính và tác nhân thông minh nhìn thế giới xung quanh như thế nào? Việc trích xuất và biểu diễn đặc trưng tạo thành một trong những khối xây dựng cơ bản để trả lời câu hỏi này. Theo truyền thống, điều này được thực hiện bằng các kỹ thuật thủ công được thiết kế cẩn thận như HOG, SIFT hoặc ORB. Tuy nhiên, không có cách tiếp cận “một kích thước phù hợp cho tất cả” đáp ứng tất cả các yêu cầu. Trong những năm gần đây, sự phổ biến ngày càng tăng của học sâu đã dẫn đến vô số giải pháp toàn diện cho nhiều vấn đề về thị giác máy tính. Những cách tiếp cận này, mặc dù thành công, nhưng có xu hướng thiếu khả năng mở rộng và không thể dễ dàng khai thác thông tin mà các hệ thống khác đã học được. Thay vào đó, chúng tôi đề xuất các tính năng SAND, một giải pháp học sâu chuyên dụng để trích xuất tính năng có khả năng cung cấp thông tin ngữ cảnh phân cấp. Điều này đạt được bằng cách sử dụng các nhãn tương đối thưa thớt để biểu thị mối quan hệ giống/khác nhau giữa các vị trí hình ảnh. Bản chất của các nhãn này dẫn đến một tập hợp gần như vô tận các ví dụ khác nhau để bạn lựa chọn. Chúng tôi chứng minh cách lựa chọn các ví dụ tiêu cực trong quá trình đào tạo có thể được sử dụng để sửa đổi không gian đặc trưng và thay đổi các thuộc tính của nó. Để chứng minh tính tổng quát của phương pháp này, chúng tôi áp dụng các tính năng được đề xuất cho vô số nhiệm vụ, mỗi nhiệm vụ yêu cầu các thuộc tính khác nhau. Điều này bao gồm ước tính chênh lệch, phân đoạn ngữ nghĩa, tự bản địa hóa và SLAM. Trong mọi trường hợp, chúng tôi cho thấy việc kết hợp các tính năng SAND mang lại kết quả tốt hơn hoặc có thể so sánh với đường cơ sở như thế nào trong khi yêu cầu ít hoặc không cần đào tạo bổ sung. Mã có thể được tìm thấy tại: https://…/SAND_features ...
Nguồn: https://analytixon.com/2020/09/17/if-you-did-not-al yet-ledge-1188 /
