Nhóm của chúng tôi đã xem xét các bài báo được chấp nhận cho NeurIPS 2020 và đưa ra danh sách chọn lọc những bài thú vị nhất trong các lĩnh vực nghiên cứu khác nhau. Dưới đây là các chủ đề chúng tôi đề cập:
Nếu bạn quan tâm đến các bài thuyết trình quan trọng đáng chú ý, các hội thảo thú vị và các hướng dẫn thú vị được trình bày tại hội nghị, hãy kiểm tra hướng dẫn của chúng tôi về NeurIPS 2020.
Đăng ký danh sách gửi thư của Nghiên cứu AI của chúng tôi ở cuối bài viết này để được cảnh báo khi chúng tôi phát hành bản tóm tắt mới.
Nghiên cứu COVID-19 tại NeurIPS 2020
NeurIPS 2020 đã có một cuộc gọi đặc biệt cho nghiên cứu liên quan đến COVID-19. Trong tổng số 40 bài báo nghiên cứu được gửi về chủ đề này, một bài đã được chấp nhận để trình bày bằng miệng, 4 bài để trình bày dưới ánh đèn sân khấu và 4 bài để trình bày trên áp phích.
Dưới đây là các tài liệu nghiên cứu về COVID-19 được chấp nhận.
Khi nào và làm thế nào để dỡ bỏ khóa máy? Phân tích kịch bản và đánh giá chính sách toàn cầu về COVID-19 bằng cách sử dụng các quy trình Gaussian theo từng ngăn
Zhaozhi Qian (Đại học Cambridge), Ahmed Alaa (UCLA), Mihaela van der Schaar (Đại học Cambridge)
Đại dịch toàn cầu do vi-rút corona gây ra năm 2019 (COVID-19) đã khiến nhiều quốc gia áp đặt các biện pháp phong tỏa chưa từng có nhằm làm chậm sự bùng phát. Các câu hỏi về việc liệu các chính phủ có hành động đủ kịp thời hay không và liệu các biện pháp phong tỏa có thể sớm được dỡ bỏ hay không đã trở thành tâm điểm trong các cuộc thảo luận công khai. Các mô hình dựa trên dữ liệu dự đoán các trường hợp tử vong do COVID-19 trong các kịch bản chính sách phong tỏa khác nhau là rất cần thiết để giải quyết những câu hỏi này và để thông báo cho các chính phủ về các định hướng chính sách trong tương lai. Để đạt được mục tiêu này, bài viết này phát triển một mô hình Bayes để dự đoán tác động của các chính sách ngăn chặn COVID-19 trong bối cảnh toàn cầu – chúng tôi coi mỗi quốc gia là một điểm dữ liệu riêng biệt và khai thác các biến thể của chính sách giữa các quốc gia để tìm hiểu tác động chính sách của từng quốc gia. Mô hình của chúng tôi sử dụng quy trình Gaussian hai lớp (GP) trước đó – lớp bên dưới sử dụng mô hình SEIR ngăn (Nhạy cảm, Bị nhiễm, Bị nhiễm, Đã khôi phục) làm hàm trung bình trước với các tham số “theo quốc gia và chính sách cụ thể” để nắm bắt tỷ lệ tử vong các đường cong theo các chính sách “phản thực tế” khác nhau trong mỗi quốc gia, trong khi lớp trên được chia sẻ trên tất cả các quốc gia và tìm hiểu các tham số SEIR của lớp dưới dưới dạng chức năng của các đặc điểm quốc gia và chỉ báo chính sách. Mô hình của chúng tôi kết hợp nền tảng cơ học vững chắc của các mô hình SEIR (tiền thân của Bayesian) với mô hình hóa dựa trên dữ liệu linh hoạt và các quy trình tối ưu hóa dựa trên độ dốc của học máy (hậu duệ của Bayesian) – tức là toàn bộ mô hình được đào tạo từ đầu đến cuối thông qua biến thiên ngẫu nhiên sự suy luận. Chúng tôi so sánh các dự đoán về mô hình của mình với các mô hình khác do Trung tâm Kiểm soát Dịch bệnh (CDC) liệt kê và cung cấp các phân tích kịch bản cho các chiến lược phong tỏa và mở cửa trở lại khác nhau, nêu rõ tác động của chúng đối với các trường hợp tử vong do COVID-19.
Học trình tự có thể diễn giải để dự báo Covid-19
Sercan Arik (Google), Chun-Liang Li (Google), Jinsung Yoon (Google), Rajarishi Sinha (Google), Arkady Epshteyn (Google), Long Lê (Google), Vikas Menon (Google), Shashank Singh (Google), Leyou Zhang (Google), Martin Nikoltchev (Google), Yash Sonthalia (Google), Hootan Nakhost (Google), Elli Kanal (Google), Tomas Pfister (Google)
Chúng tôi đề xuất một phương pháp mới tích hợp học máy vào mô hình bệnh ngăn (ví dụ: SEIR) để dự đoán sự tiến triển của COVID-19. Mô hình của chúng tôi có thể giải thích được bằng thiết kế vì nó cho thấy rõ ràng các ngăn khác nhau phát triển như thế nào và nó sử dụng các bộ mã hóa có thể hiểu được để kết hợp các biến đồng thời và cải thiện hiệu suất. Khả năng giải thích có giá trị để đảm bảo rằng các dự báo của mô hình đáng tin cậy đối với các nhà dịch tễ học và tạo niềm tin cho người dùng cuối chẳng hạn như các nhà hoạch định chính sách và các tổ chức chăm sóc sức khỏe. Mô hình của chúng tôi có thể được áp dụng ở các độ phân giải địa lý khác nhau và chúng tôi chứng minh mô hình đó cho các tiểu bang và hạt ở Hoa Kỳ. Chúng tôi cho thấy rằng mô hình của chúng tôi cung cấp các dự báo chính xác hơn so với các giải pháp thay thế và nó cung cấp những hiểu biết sâu sắc về mặt giải thích có ý nghĩa về mặt chất lượng.
Ác quỷ ở trong chi tiết: Khung dự đoán vĩ mô thông qua các mô hình hiển vi
Yingxiang Yang (Đại học Illinois tại Urbana-Champaign), Negar Kiyavash (Ecole polytechnique liên bang Lausanne), Le Song (Viện Công nghệ Georgia), Niao He (UIUC & ETH Zurich)
Dữ liệu vĩ mô được tổng hợp từ các sự kiện vi mô có sức lan tỏa trong học máy, chẳng hạn như số liệu thống kê về tình trạng lây nhiễm COVID-19 ở cấp quốc gia dựa trên dữ liệu cấp thành phố. Tuy nhiên, nhiều phương pháp hiện có để dự đoán hành vi vĩ mô chỉ sử dụng dữ liệu tổng hợp, khiến một lượng lớn thông tin vi mô chi tiết không được sử dụng. Trong bài báo này, chúng tôi đề xuất một khung tối ưu hóa nguyên tắc cho dự đoán vĩ mô bằng cách điều chỉnh các mô hình vi mô dựa trên tối ưu hóa ngẫu nhiên có điều kiện. Khung tận dụng cả thông tin vĩ mô và vi mô, đồng thời thích ứng với các mô hình vi mô riêng lẻ liên quan đến tập hợp. Ngoài ra, chúng tôi đề xuất các thuật toán học tập hiệu quả với sự đảm bảo hội tụ. Trong các thử nghiệm của mình, chúng tôi cho thấy rằng khung học tập được đề xuất rõ ràng vượt trội so với các phương pháp học tập có giám sát bổ trợ khác trong các ứng dụng trong thế giới thực, bao gồm dự đoán các trường hợp lây nhiễm COVID-19 hàng ngày và các yêu cầu về thuốc.
Hiệu quả ước tính của các biện pháp can thiệp phi dược phẩm đối với COVID-19 mạnh đến mức nào?
Mrinank Sharma (Đại học Oxford), Sören Mindermann (Đại học Oxford), Jan Brauner (Đại học Oxford), Gavin Leech (Đại học Bristol), Anna Stephenson (Đại học Harvard), Tomáš Gavenčiak (Nhà nghiên cứu độc lập), Jan Kulveit (Đại học của Oxford), Yee Whye Teh (Đại học Oxford, DeepMind), Leonid Chindelevitch (Đại học Simon Fraser), Yarin Gal (Đại học Oxford)
Ước tính hiệu quả của các biện pháp can thiệp phi dược phẩm (NPI) chống lại COVID-19 bị ảnh hưởng bởi các giả định mà mô hình của chúng tôi đưa ra ở mức độ nào? Để trả lời câu hỏi này, chúng tôi điều tra 2 mô hình hiệu quả NPI tiên tiến nhất và đề xuất 6 biến thể đưa ra các giả định cấu trúc khác nhau. Cụ thể, chúng tôi điều tra mức độ ước tính hiệu quả của NPI đối với các quốc gia chưa được quan sát và mức độ nhạy cảm của chúng đối với các yếu tố không được quan sát. Các mô hình giải thích tiếng ồn trong quá trình truyền bệnh được so sánh thuận lợi. Chúng tôi đánh giá thêm mức độ mạnh mẽ của các ước tính đối với các lựa chọn khác nhau về thông số và dữ liệu dịch tễ học. Tập trung vào các mô hình giả định tiếng ồn truyền dẫn, chúng tôi nhận thấy rằng các kết quả được công bố trước đây rất mạnh mẽ đối với các lựa chọn này và trên các mô hình khác nhau. Cuối cùng, về mặt toán học, chúng tôi giải thích các ước tính hiệu quả của NPI khi một số giả định chung nhất định không đúng.
Mạng Hopfield hiện đại và sự chú ý đối với phân loại tiết mục miễn dịch
Michael Widrich (Phòng thí nghiệm LIT AI / Đại học Linz), Bernhard Schäfl (Phòng thí nghiệm LIT AI / Đại học Linz), Hubert Ramsauer (Phòng thí nghiệm LIT AI / Đại học Linz), Milena Pavlović (Đại học Oslo), Lukas Gruber (Phòng thí nghiệm LIT AI / Đại học Linz ), Markus Holzleitner (Phòng thí nghiệm LIT AI / Đại học Linz), Johannes Brandstetter (Phòng thí nghiệm LIT AI / Đại học Linz), Geir Kjetil Sandve (Đại học Oslo), Victor Greiff (Đại học Oslo), Sepp Hochreiter (Phòng thí nghiệm LIT AI / Đại học Linz / IARAI), Günter Klambauer (Phòng thí nghiệm LIT AI / Đại học Linz)
Một cơ chế trung tâm trong học máy là xác định, lưu trữ và nhận dạng các mẫu. Cách tìm hiểu, truy cập và truy xuất các mẫu như vậy là rất quan trọng trong các mạng Hopfield và các kiến trúc máy biến áp gần đây hơn. Chúng tôi chỉ ra rằng cơ chế chú ý của kiến trúc máy biến áp thực sự là quy tắc cập nhật của các mạng Hopfield hiện đại có thể lưu trữ nhiều mẫu theo cấp số nhân. Chúng tôi khai thác khả năng lưu trữ cao này của các mạng Hopfield hiện đại để giải quyết vấn đề học tập đa phiên bản (MIL) đầy thách thức trong sinh học máy tính: phân loại tiết mục miễn dịch. Trong phân loại tiết mục miễn dịch, một số lượng lớn các thụ thể miễn dịch được sử dụng để dự đoán tình trạng miễn dịch của một cá nhân. Điều này tạo thành một vấn đề MIL với số lượng trường hợp lớn chưa từng có, lớn hơn hai bậc so với các vấn đề được coi là hiện tại và với tỷ lệ nhân chứng cực kỳ thấp. Các phương pháp học máy chính xác và có thể hiểu được để giải quyết vấn đề này có thể mở đường cho các liệu pháp và vắc-xin mới, hiện đang là một chủ đề nghiên cứu rất phù hợp được tăng cường bởi cuộc khủng hoảng COVID-19. Trong công việc này, chúng tôi trình bày phương pháp mới DeepRC của mình tích hợp sự chú ý giống như máy biến áp, hoặc mạng Hopfield hiện đại tương đương, vào các kiến trúc học sâu cho MIL lớn, chẳng hạn như phân loại tiết mục miễn dịch. Chúng tôi chứng minh rằng DeepRC vượt trội hơn tất cả các phương pháp khác về hiệu suất dự đoán trên các thử nghiệm quy mô lớn bao gồm dữ liệu lây nhiễm vi-rút trong thế giới thực và mô phỏng, đồng thời cho phép trích xuất các họa tiết trình tự được kết nối với một loại bệnh nhất định.
Mã Code: triển khai mã chính thức và bộ dữ liệu có sẵn tại đây.
Phân tích nguyên nhân lây lan Covid-19 ở Đức
Atalanti Mastakouri (Viện Max Planck về Hệ thống Thông minh), Bernhard Schölkopf (MPI về Hệ thống Thông minh, Tübingen)
Trong công việc này, chúng tôi nghiên cứu mối quan hệ nhân quả giữa các khu vực của Đức về sự lây lan của Covid-19 kể từ khi bắt đầu đại dịch, có tính đến các chính sách hạn chế được áp dụng bởi các quốc gia liên bang khác nhau. Chúng tôi bỏ qua một giả định được xây dựng nghiêm ngặt cho phương pháp lựa chọn tính năng nhân quả đối với dữ liệu chuỗi thời gian, mạnh mẽ đối với các yếu tố gây nhiễu tiềm ẩn, mà sau đó chúng tôi áp dụng cho các số trường hợp Covid-19. Chúng tôi trình bày những phát hiện về sự lây lan của vi-rút ở Đức và tác động nhân quả của các biện pháp hạn chế, thảo luận về vai trò của các chính sách khác nhau trong việc ngăn chặn sự lây lan. Vì kết quả của chúng tôi dựa trên chuỗi thời gian mục tiêu khá hạn chế (chỉ số trường hợp được báo cáo), nên cần cẩn thận khi diễn giải chúng. Tuy nhiên, điều đáng khích lệ là dữ liệu hạn chế như vậy dường như chứa các tín hiệu nhân quả. Điều này cho thấy rằng khi có nhiều dữ liệu hơn, cách tiếp cận nhân quả của chúng tôi có thể góp phần vào việc phân tích nguyên nhân có ý nghĩa của các can thiệp chính trị đối với sự phát triển của Covid-19, và do đó cũng hướng tới việc phát triển các phương pháp hợp lý và dựa trên dữ liệu để lựa chọn các biện pháp can thiệp.
CogMol: Thiết kế thuốc chọn lọc và nhắm mục tiêu cụ thể cho COVID-19 bằng cách sử dụng các mô hình tạo sâu
Vijil Chenthamarakshan (Nghiên cứu IBM), Payel Das (Nghiên cứu IBM), Samuel Hoffman (Nghiên cứu IBM), Hendrik Strobelt (Nghiên cứu IBM), Inkit Padhi (Nghiên cứu IBM), Kar Wai Lim (IBM Singapore), Ben Hoover (IBM), Matteo Manica (Nghiên cứu IBM Zürich), Jannis Born (Nghiên cứu IBM), Teodoro Laino (Nghiên cứu IBM Zurich), Aleksandra Mojsilovic (Nghiên cứu IBM)
Bản chất mới lạ của SARS-CoV-2 kêu gọi phát triển các phương pháp thiết kế thuốc de novo hiệu quả. Trong nghiên cứu này, chúng tôi đề xuất một khung đầu cuối, có tên là CogMol (Thế hệ phân tử được kiểm soát), để thiết kế các phân tử nhỏ giống như thuốc mới nhắm vào các protein virus mới có ái lực cao và tính chọn lọc ngoài mục tiêu. CogMol kết hợp quá trình đào tạo trước thích ứng của Bộ mã hóa tự động biến thể SMILES phân tử (VAE) và sơ đồ lấy mẫu được kiểm soát đa thuộc tính hiệu quả, sử dụng hướng dẫn từ các công cụ dự đoán thuộc tính được đào tạo về các tính năng tiềm ẩn. Để tạo ra các phân tử giống như thuốc mới và tối ưu cho các mục tiêu vi-rút chưa nhìn thấy, CogMol tận dụng một công cụ dự đoán ái lực liên kết phân tử protein được đào tạo bằng cách sử dụng các nhúng SMILES VAE và các nhúng trình tự protein học được mà không cần giám sát từ một kho văn bản lớn. Chúng tôi đã áp dụng khung CogMol cho ba protein mục tiêu của SARS-CoV-2: protease chính, miền liên kết với thụ thể của protein tăng đột biến và bản sao protein phi cấu trúc 9. Các ứng cử viên được tạo ra là mới lạ ở cả cấp độ giàn giáo phân tử và hóa học khi so sánh với dữ liệu đào tạo. CogMol cũng bao gồm sàng lọc insilico để đánh giá độc tính của các phân tử gốc và các chất chuyển hóa của chúng bằng bộ phân loại độc tính đa tác vụ, tính khả thi tổng hợp với công cụ dự đoán quá trình tổng hợp ngược hóa học và liên kết cấu trúc đích với mô phỏng lắp ghép. Việc ghép nối cho thấy sự liên kết thuận lợi của các phân tử được tạo ra với cấu trúc protein đích, trong đó 87–95% phân tử có ái lực cao cho thấy năng lượng tự do khi ghép nối < -6 kcal/mol. Khi so sánh với các loại thuốc đã được phê duyệt, phần lớn các hợp chất được thiết kế cho thấy độc tính của phân tử gốc và chất chuyển hóa được dự đoán thấp và tính khả thi tổng hợp được dự đoán cao. Tóm lại, CogMol có thể xử lý thiết kế đa ràng buộc của các phân tử giống như thuốc, có thể tổng hợp được, ít độc tính, có tính đặc hiệu và tính chọn lọc mục tiêu cao, ngay cả đối với các trình tự mục tiêu protein mới và không cần tinh chỉnh khung hoặc mục tiêu phụ thuộc vào mục tiêu thông tin cấu trúc.
Học tập không gắn nhãn tích cực tạm thời để tạo giả thuyết y sinh thông qua ước tính rủi ro
Uchenna Akujuobi (Đại học Khoa học và Công nghệ King Abdullah và Sony AI), Jun Chen (Đại học Khoa học và Công nghệ King Abdullah), Mohamed Elhoseiny (Đại học Khoa học và Công nghệ King Abdullah), Michael Spranger (Sony AI), Xiangliang Zhang (King Đại học Khoa học và Công nghệ Abdullah)
Hiểu được mối quan hệ giữa các thuật ngữ y sinh như vi-rút, thuốc và các triệu chứng là điều cần thiết trong cuộc chiến chống lại bệnh tật. Nhiều nỗ lực đã được thực hiện để giới thiệu việc sử dụng học máy vào quy trình tạo giả thuyết khoa học (HG), đề cập đến việc phát hiện ra các mối liên hệ ngầm có ý nghĩa giữa các thuật ngữ y sinh. Tuy nhiên, hầu hết các phương pháp hiện có không thực sự nắm bắt được động lực học tạm thời của các mối quan hệ thuật ngữ khoa học và cũng cho rằng các kết nối không được quan sát là không liên quan (nghĩa là trong môi trường học tập tích cực-tiêu cực (PN)). Để phá vỡ các giới hạn này, chúng tôi xây dựng vấn đề HG này dưới dạng nhiệm vụ dự đoán kết nối trong tương lai trên biểu đồ được phân bổ động thông qua học tập không gắn nhãn (PU) tích cực. Sau đó, điều quan trọng là nắm bắt sự phát triển theo thời gian của các mối quan hệ cặp nút (cặp thuật ngữ) chỉ từ dữ liệu tích cực và không được gắn nhãn. Chúng tôi đề xuất một mô hình suy luận đa dạng để ước tính giá trị dương trước đó và kết hợp nó trong quá trình học các nhúng cặp nút, sau đó được sử dụng để dự đoán liên kết. Kết quả thử nghiệm trên bộ dữ liệu mối quan hệ thuật ngữ y sinh trong thế giới thực và phân tích nghiên cứu trường hợp trên bộ dữ liệu COVID-19 xác thực tính hiệu quả của mô hình được đề xuất.
Khả năng hàng nhái trực tiếp sâu sắc
Mukund Sudarshan (Đại học New York), Wesley Tansey (Trung tâm Ung thư Tưởng niệm Sloan Kettering), Rajesh Ranganath (Đại học New York)
Mô hình dự đoán thường sử dụng các phương pháp máy học hộp đen, chẳng hạn như mạng lưới thần kinh sâu, để đạt được hiệu suất cao nhất. Trong các lĩnh vực khoa học, nhà khoa học thường mong muốn khám phá những đặc điểm nào thực sự quan trọng để đưa ra dự đoán. Những khám phá này có thể dẫn đến các thí nghiệm tiếp theo tốn kém và do đó, điều quan trọng là tỷ lệ lỗi trong các khám phá không quá cao. Hàng nhái Model-X cho phép khám phá các tính năng quan trọng với sự kiểm soát của FDR. Tuy nhiên, hàng nhái yêu cầu các mô hình tổng quát phong phú có khả năng mô hình hóa chính xác các tính năng của hàng nhái trong khi vẫn đảm bảo chúng tuân theo cái gọi là thuộc tính “hoán đổi”. Chúng tôi phát triển Deep Direct Likelihood Knockoffs (DDLK), giúp giảm thiểu trực tiếp sự khác biệt KL được ngụ ý bởi thuộc tính hoán đổi nhái. DDLK bao gồm hai giai đoạn: đầu tiên nó tối đa hóa khả năng rõ ràng của các tính năng, sau đó giảm thiểu sự khác biệt KL giữa phân phối chung của các tính năng và sản phẩm nhái cũng như bất kỳ sự hoán đổi nào giữa chúng. Để đảm bảo rằng các kết quả loại trực tiếp được tạo là hợp lệ trong bất kỳ hoán đổi nào có thể xảy ra, DDLK sử dụng thủ thuật Gumbel-Softmax để tối ưu hóa trình tạo kết quả nhái trong trường hợp hoán đổi xấu nhất. Chúng tôi nhận thấy DDLK có sức mạnh cao hơn so với đường cơ sở trong khi kiểm soát tỷ lệ phát hiện sai trên nhiều điểm chuẩn tổng hợp và thực, bao gồm một nhiệm vụ liên quan đến tập dữ liệu lớn từ một trong những tâm điểm của COVID-19.
Mã Code: triển khai mã chính thức có sẵn tại đây.
Các bài báo nghiên cứu hàng đầu từ năm 2020
Để chuẩn bị cho NeurIPS, bạn nên biết các bài báo nghiên cứu lớn được xuất bản trong năm qua về các chủ đề phổ biến như thị giác máy tính, NLP và các phương pháp tiếp cận máy học nói chung, ngay cả khi chúng không được trình bày tại sự kiện cụ thể này.
Chúng tôi đã đưa ra danh sách chọn lọc các tài liệu nghiên cứu hàng đầu trong các lĩnh vực này để bạn có thể xem lại chúng nhanh chóng:
Thưởng thức bài viết này? Đăng ký để cập nhật thêm nghiên cứu AI.
Chúng tôi sẽ cho bạn biết khi chúng tôi phát hành thêm các bài viết tóm tắt như thế này.
Sản phẩm liên quan
Nguồn: https://www.topbots.com/neurips-2020-covid-19-research-papers/
