Ons team heeft de papers die zijn geaccepteerd voor NeurIPS 2020 beoordeeld en de meest interessante op de shortlist gezet in verschillende onderzoeksgebieden. Dit zijn de onderwerpen die we behandelen:

Als je geïnteresseerd bent in de opmerkelijke keynote-presentaties, interessante workshops en opwindende tutorials die op de conferentie zijn gepresenteerd, kijk dan bij onze gids voor NeurIPS 2020.

Abonneer u op onze AI Research-mailinglijst onderaan dit artikel om op de hoogte te worden gehouden wanneer we nieuwe samenvattingen publiceren.

COVID-19 Onderzoek op NeurIPS 2020

NeurIPS 2020 had een speciale oproep voor COVID-19 gerelateerd onderzoek. Van de in totaal 40 ingediende onderzoekspapers over dit onderwerp, werd er één geaccepteerd voor mondelinge presentatie, 4 voor spotlightpresentatie en 4 voor een posterpresentatie.

Hier zijn de geaccepteerde COVID-19-onderzoekspapers.

Wanneer en hoe de vergrendeling opheffen? Globale COVID-19-scenarioanalyse en beleidsbeoordeling met behulp van Compartimentele Gauss-processen

Zhaozhi Qian (Universiteit van Cambridge), Ahmed Alaa (UCLA), Mihaela van der Schaar (Universiteit van Cambridge)

De wereldwijde pandemie van coronavirus 2019 (COVID-19) heeft ertoe geleid dat veel landen ongekende lockdown-maatregelen hebben opgelegd om de uitbraak te vertragen. Vragen of regeringen snel genoeg hebben gehandeld en of lockdown-maatregelen binnenkort kunnen worden opgeheven, staan ​​sindsdien centraal in het publieke debat. Datagestuurde modellen die COVID-19-dodelijke slachtoffers voorspellen onder verschillende lockdown-beleidsscenario's zijn essentieel om deze vragen aan te pakken en om overheden te informeren over toekomstige beleidsrichtingen. Daartoe ontwikkelt dit artikel een Bayesiaans model voor het voorspellen van de effecten van COVID-19-inperkingsbeleid in een mondiale context - we behandelen elk land als een afzonderlijk gegevenspunt en maken gebruik van verschillen in beleid tussen landen om landspecifieke beleidseffecten te leren. Ons model maakt gebruik van een tweelaags Gaussiaans proces (GP) prior - de onderste laag gebruikt een compartimenteel SEIR-model (Susceptible, Exposed, Infected, Recovered) als een eerdere gemiddelde functie met 'land- en beleidsspecifieke' parameters die fataliteit vastleggen curves onder verschillende "contrafeitelijke" beleidsmaatregelen binnen elk land, terwijl de bovenste laag wordt gedeeld door alle landen, en leert SEIR-parameters van de onderste laag als een functie van landkenmerken en beleidsindicatoren. Ons model combineert de solide mechanistische grondslagen van SEIR-modellen (Bayesiaanse priors) met de flexibele datagestuurde modellering en gradiëntgebaseerde optimalisatieroutines van machine learning (Bayesian posteriors) - dat wil zeggen dat het hele model end-to-end wordt getraind via stochastische variaties. gevolgtrekking. We vergelijken de projecties van ons model met andere modellen die worden vermeld door het Center for Disease Control (CDC), en bieden scenarioanalyses voor verschillende lockdown- en heropeningsstrategieën die hun impact op COVID-19-sterfgevallen benadrukken.

Interpreteerbaar sequentieleren voor Covid-19-voorspellingen

Sercan Arik (Google), Chun-Liang Li (Google), Jinsung Yoon (Google), Rajarishi Sinha (Google), Arkady Epshteyn (Google), Long Le (Google), Vikas Menon (Google), Shashank Singh (Google), Leyou Zhang (Google), Martin Nikoltchev (Google), Yash Sonthalia (Google), Hootan Nakhost (Google), Elli Kanal (Google), Tomas Pfister (Google)

We stellen een nieuwe benadering voor die machine learning integreert in compartimentele ziektemodellering (bijv. SEIR) om de progressie van COVID-19 te voorspellen. Ons model is door ontwerp verklaarbaar omdat het expliciet laat zien hoe verschillende compartimenten evolueren en het interpreteerbare encoders gebruikt om covariaten op te nemen en de prestaties te verbeteren. Uitlegbaarheid is waardevol om ervoor te zorgen dat de prognoses van het model geloofwaardig zijn voor epidemiologen en om vertrouwen te wekken bij eindgebruikers, zoals beleidsmakers en zorginstellingen. Ons model kan worden toegepast op verschillende geografische resoluties en we demonstreren het voor staten en provincies in de Verenigde Staten. We laten zien dat ons model nauwkeuriger voorspellingen geeft in vergelijking met de alternatieven, en dat het kwalitatief zinvolle verklarende inzichten geeft.

De duivel zit in de details: een kader voor macroscopische voorspelling via microscopische modellen

Yingxiang Yang (Universiteit van Illinois in Urbana-Champaign), Negar Kiyavash (Ecole polytechnique federale de Lausanne), Le Song (Georgia Institute of Technology), Niao He (UIUC & ETH Zürich)

Macroscopische gegevens verzameld uit microscopisch kleine gebeurtenissen zijn alomtegenwoordig in machine learning, zoals COVID-19-infectiestatistieken op landniveau op basis van gegevens op stadsniveau. Toch gebruiken veel bestaande benaderingen voor het voorspellen van macroscopisch gedrag alleen geaggregeerde gegevens, waardoor een grote hoeveelheid fijnmazige microscopische informatie ongebruikt blijft. In dit artikel stellen we een principieel optimalisatiekader voor macroscopische voorspelling voor door microscopische modellen aan te passen op basis van voorwaardelijke stochastische optimalisatie. Het raamwerk maakt gebruik van zowel macroscopische als microscopische informatie en past zich aan individuele microscopische modellen aan die bij de aggregatie betrokken zijn. Daarnaast stellen we efficiënte leeralgoritmen voor met convergentiegaranties. In onze experimenten laten we zien dat het voorgestelde leerkader duidelijk beter presteert dan andere door plug-in begeleide leerbenaderingen in praktijktoepassingen, waaronder de voorspelling van dagelijkse infecties van COVID-19 en medicare-claims.

Hoe robuust zijn de geschatte effecten van niet-farmaceutische interventies tegen COVID-19?

Mrinank Sharma (University of Oxford), Sören Mindermann (University of Oxford), Jan Brauner (University of Oxford), Gavin Leech (University of Bristol), Anna Stephenson (Harvard University), Tomáš Gavenčiak (onafhankelijk onderzoeker), Jan Kulveit (University van Oxford), Yee Whye Teh (University of Oxford, DeepMind), Leonid Chindelevitch (Simon Fraser University), Yarin Gal (University of Oxford)

In hoeverre worden schattingen van de effectiviteit van niet-farmaceutische interventies (NPI's) tegen COVID-19 beïnvloed door de aannames die onze modellen maken? Om deze vraag te beantwoorden, onderzoeken we 2 state-of-the-art NPI-effectiviteitsmodellen en stellen we 6 varianten voor die verschillende structurele aannames doen. In het bijzonder onderzoeken we hoe goed NPI-effectiviteitsschattingen generaliseren naar onzichtbare landen en hun gevoeligheid voor niet-waargenomen factoren. Modellen die ruis bij de overdracht van ziekten verklaren, zijn gunstig in vergelijking. We evalueren verder hoe robuust schattingen zijn voor verschillende keuzes van epidemiologische parameters en gegevens. Als we ons concentreren op modellen die transmissiegeluid veronderstellen, zien we dat eerder gepubliceerde resultaten robuust zijn voor deze keuzes en voor verschillende modellen. Ten slotte baseren we de interpretatie van NPI-effectiviteitsschattingen wiskundig wanneer bepaalde algemene veronderstellingen niet kloppen.

Moderne Hopfield-netwerken en aandacht voor classificatie van immuunrepertoire

Michael Widrich (LIT AI Lab / University Linz), Bernhard Schäfl (LIT AI Lab / University Linz), Hubert Ramsauer (LIT AI Lab / University Linz), Milena Pavlović (Universiteit van Oslo), Lukas Gruber (LIT AI Lab / University Linz ), Markus Holzleitner (LIT AI Lab / University Linz), Johannes Brandstetter (LIT AI Lab / University Linz), Geir Kjetil Sandve (University of Oslo), Victor Greiff (University of Oslo), Sepp Hochreiter (LIT AI Lab / University Linz / IARAI), Günter Klambauer (LIT AI Lab / University Linz)

Een centraal mechanisme bij machine learning is het identificeren, opslaan en herkennen van patronen. Hoe dergelijke patronen te leren, toegang te krijgen en op te halen, is cruciaal in Hopfield-netwerken en de meer recente transformatorarchitecturen. We laten zien dat het aandachtsmechanisme van transformatorarchitecturen in feite de update-regel is van moderne Hopfield-netwerken die exponentieel veel patronen kunnen opslaan. We maken gebruik van deze hoge opslagcapaciteit van moderne Hopfield-netwerken om een ​​uitdagend leerprobleem (MIL) in computationele biologie op te lossen: classificatie van immuunrepertoire. Bij de classificatie van immuunrepertoire wordt een groot aantal immuunreceptoren gebruikt om de immuunstatus van een individu te voorspellen. Dit vormt een MIL-probleem met een ongekend groot aantal gevallen, twee ordes van grootte groter dan momenteel wordt aangenomen, en met een extreem laag aantal getuigen. Nauwkeurige en interpreteerbare methoden voor machinaal leren die dit probleem oplossen, zouden de weg kunnen banen naar nieuwe vaccins en therapieën, wat momenteel een zeer relevant onderzoeksthema is dat wordt geïntensiveerd door de COVID-19-crisis. In dit werk presenteren we onze nieuwe methode DeepRC die transformatorachtige aandacht, of gelijkwaardig moderne Hopfield-netwerken, integreert in deep learning-architecturen voor massale MIL, zoals classificatie van immuunrepertoire. We tonen aan dat DeepRC alle andere methoden overtreft met betrekking tot voorspellende prestaties op grootschalige experimenten, waaronder gesimuleerde en real-world virusinfectiegegevens, en dat het de extractie mogelijk maakt van sequentiemotieven die verband houden met een bepaalde ziekteklasse. 

Code: officiële code-implementatie en datasets zijn beschikbaar hier.

Causale analyse van de verspreiding van Covid-19 in Duitsland

Atalanti Mastakouri (Max Planck Instituut voor Intelligente Systemen), Bernhard Schölkopf (MPI voor Intelligente Systemen, Tübingen)

In dit werk bestuderen we de causale relaties tussen Duitse regio's in termen van de verspreiding van Covid-19 sinds het begin van de pandemie, rekening houdend met het beperkingsbeleid dat werd toegepast door de verschillende deelstaten. We verliezen een strikt geformuleerde aanname voor een causale kenmerkselectiemethode voor tijdreeksgegevens, robuust voor latente confounders, die we vervolgens toepassen op Covid-19-casusnummers. We presenteren bevindingen over de verspreiding van het virus in Duitsland en de causale impact van beperkende maatregelen, en bespreken de rol van verschillende beleidsmaatregelen bij het beheersen van de verspreiding. Aangezien onze resultaten gebaseerd zijn op een vrij beperkte streeftijdreeks (alleen het aantal gerapporteerde gevallen), is voorzichtigheid geboden bij het interpreteren ervan. Het is echter bemoedigend dat reeds dergelijke beperkte gegevens oorzakelijke signalen lijken te bevatten. Dit suggereert dat naarmate er meer gegevens beschikbaar komen, onze causale benadering kan bijdragen aan een zinvolle causale analyse van politieke interventies op de ontwikkeling van Covid-19, en dus ook aan de ontwikkeling van rationele en datagedreven methodologieën voor het kiezen van interventies.

CogMol: doelspecifiek en selectief medicijnontwerp voor COVID-19 met behulp van diepgeneratieve modellen

Vijil Chenthamarakshan (IBM Research), Payel Das (IBM Research), Samuel Hoffman (IBM Research), Hendrik Strobelt (IBM Research), Inkit Padhi (IBM Research), Kar Wai Lim (IBM Singapore), Ben Hoover (IBM), Matteo Manica (IBM Research Zürich), Jannis Born (IBM Research), Teodoro Laino (IBM Research Zürich), Aleksandra Mojsilovic (IBM Research)

De nieuwe aard van SARS-CoV-2 vraagt ​​om de ontwikkeling van efficiënte de novo medicijnontwerpbenaderingen. In deze studie stellen we een end-to-end raamwerk voor, genaamd CogMol (Controlled Generation of Molecules), voor het ontwerpen van nieuwe medicijnachtige kleine moleculen die gericht zijn op nieuwe virale eiwitten met een hoge affiniteit en off-target selectiviteit. CogMol combineert adaptieve pre-training van een moleculaire SMILES Variational Autoencoder (VAE) en een efficiënt multi-attribuutgestuurd bemonsteringsschema dat gebruik maakt van begeleiding van attribuutvoorspellers die zijn getraind op latente kenmerken. Om nieuwe en optimale medicijnachtige moleculen te genereren voor ongeziene virale doelwitten, maakt CogMol gebruik van een eiwit-molecuul-bindingsaffiniteitsvoorspeller die is getraind met SMILES VAE-inbeddingen en eiwitsequentie-inbeddingen die zonder toezicht zijn geleerd van een groot corpus. We hebben het CogMol-raamwerk toegepast op drie SARS-CoV-2-doeleiwitten: hoofdprotease, receptorbindend domein van het spike-eiwit en niet-structureel proteïne 9-replicase. De gegenereerde kandidaten zijn nieuw op zowel moleculair als chemisch niveau in vergelijking met de trainingsgegevens. CogMol omvat ook insilico-screening voor het beoordelen van de toxiciteit van oudermoleculen en hun metabolieten met een multi-task toxiciteitsclassificatie, synthetische haalbaarheid met een chemische retrosynthesevoorspeller en doelstructuurbinding met dockingsimulaties. Docking onthult een gunstige binding van gegenereerde moleculen aan de eiwitstructuur van het doelwit, waar 87-95% van moleculen met hoge affiniteit docking vrije energie <-6 kcal / mol vertoonden. In vergelijking met goedgekeurde geneesmiddelen, vertonen de meeste ontworpen verbindingen een laag voorspelde toxiciteit van moedermoleculen en metabolieten en een hoog voorspelde synthetische haalbaarheid. Samenvattend kan CogMol het ontwerp met meerdere beperkingen aan van synthetiseerbare, laag-toxische, geneesmiddelachtige moleculen met een hoge doelspecificiteit en selectiviteit, zelfs voor nieuwe eiwitdoelsequenties, en heeft het geen doelafhankelijke fijnafstelling van het raamwerk of het doelwit nodig structuur informatie.

Temporeel positief-ongelabeld leren voor het genereren van biomedische hypothesen via risicoschatting

Uchenna Akujuobi (King Abdullah University of Science and Technology en Sony AI), Jun Chen (King Abdullah University of Science and Technology), Mohamed Elhoseiny (King Abdullah University of Science and Technology), Michael Spranger (Sony AI), Xiangliang Zhang (King Abdullah Universiteit voor Wetenschap en Technologie)

Het begrijpen van de relaties tussen biomedische termen als virussen, medicijnen en symptomen is essentieel in de strijd tegen ziekten. Er zijn veel pogingen gedaan om het gebruik van machine learning te introduceren in het wetenschappelijke proces van hypothesegeneratie (HG), dat verwijst naar de ontdekking van betekenisvolle impliciete verbanden tussen biomedische termen. De meeste bestaande methoden slagen er echter niet in om de temporele dynamiek van wetenschappelijke termrelaties echt vast te leggen en gaan er ook van uit dat niet-geobserveerde verbanden niet relevant zijn (dwz in een positief-negatieve (PN) leeromgeving). Om deze grenzen te doorbreken, formuleren we dit HG-probleem als toekomstige connectiviteitsvoorspellingstaak op een dynamische toegeschreven grafiek via positief-ongelabeld (PU) leren. Vervolgens is de sleutel om de temporele evolutie van knooppuntpaar (termpaar) relaties vast te leggen uit alleen de positieve en niet-gelabelde gegevens. We stellen een variatie-inferentiemodel voor om de positieve prior te schatten en deze op te nemen in het leren van inbeddingen van knooppuntparen, die vervolgens worden gebruikt voor linkvoorspelling. Experimentresultaten van real-world biomedische term-relatie-datasets en case study-analyses op een COVID-19-dataset valideren de effectiviteit van het voorgestelde model.

Hoge directe waarschijnlijkheid knock-offs

Mukund Sudarshan (Universiteit van New York), Wesley Tansey (Memorial Sloan Kettering Cancer Center), Rajesh Ranganath (Universiteit van New York)

Voorspellende modellen maken vaak gebruik van black box machine learning-methoden, zoals diepe neurale netwerken, om state-of-the-art prestaties te bereiken. In wetenschappelijke domeinen wil de wetenschapper vaak ontdekken welke features eigenlijk belangrijk zijn voor het doen van de voorspellingen. Deze ontdekkingen kunnen leiden tot kostbare vervolgexperimenten en daarom is het belangrijk dat het foutenpercentage bij ontdekkingen niet te hoog is. Model-X knockoffs zorgen ervoor dat belangrijke functies kunnen worden ontdekt met controle over de FDR. Voor knock-offs zijn echter rijke generatieve modellen nodig die in staat zijn om de knock-off-functies nauwkeurig te modelleren en tegelijkertijd te garanderen dat ze voldoen aan de zogenaamde 'swap'-eigenschap. We ontwikkelen Deep Direct Likelihood Knockoffs (DDLK), die de KL-divergentie die wordt geïmpliceerd door de knockoff-swap-eigenschap direct minimaliseert. DDLK bestaat uit twee fasen: het maximaliseert eerst de expliciete waarschijnlijkheid van de kenmerken, en minimaliseert vervolgens de KL-divergentie tussen de gezamenlijke distributie van kenmerken en knockoffs en elke wissel daartussen. Om ervoor te zorgen dat de gegenereerde knock-offs geldig zijn onder elke mogelijke ruil, gebruikt DDLK de Gumbel-Softmax-truc om de knock-off-generator te optimaliseren bij de worst-case swap. We vinden dat DDLK een hoger vermogen heeft dan baselines terwijl het de valse ontdekkingssnelheid controleert op een verscheidenheid aan synthetische en echte benchmarks, waaronder een taak met een grote dataset uit een van de epicentra van COVID-19.

Code: officiële code-implementatie is beschikbaar hier.

Top Research Papers vanaf 2020

Om voorbereid te zijn op NeurIPS, moet u op de hoogte zijn van de belangrijkste onderzoeksdocumenten die het afgelopen jaar zijn gepubliceerd over populaire onderwerpen zoals computervisie, NLP en algemene benaderingen van machine learning, zelfs als ze niet worden gepresenteerd op dit specifieke evenement. 

We hebben de beste research papers op deze gebieden op de shortlist gezet, zodat u ze snel kunt bekijken: 

Geniet van dit artikel? Meld u aan voor meer AI-onderzoeksupdates.

We laten het u weten wanneer we meer samenvattende artikelen zoals deze vrijgeven.

Verwant

Bron: https://www.topbots.com/neurips-2020-covid-19-research-papers/