Unbabels forskningschef, André Martins, har tilldelats ett prestigefyllt European Research Council (ERC) Starting Grant för hans föreslagna 5-åriga forskningsprojekt DeepSPIN — Deep Structured Prediction in Natural Language Processing.

Med en mängd nya språkgränssnitt som digitala assistenter, messenger-appar och kundtjänstbotar på frammarsch, har André med rätta sagt att dessa framväxande teknologier fortfarande har en lång väg kvar att gå:

Trots de många genombrotten inom Natural Language Processing, maskinöversättning och taligenkänning, saknar djupa neurala nätverk för närvarande de viktigaste strukturella mekanismerna för att lösa komplexa verkliga uppgifter.

Till exempel matar nuvarande maskinöversättningssystem ut ett ord i taget, vilket tenderar att sprida fel. Och även när de genererar flytande resultat, missar de fortfarande information från källtexten för ofta. Utöver detta är nuvarande neurala nätverk inte kapabla till komplexa resonemang, deras träning kräver för mycket övervakning och deras beslut är inte tolkbara av människor.

Om vi ​​vill att AI och människor ska fungera tillsammans måste detta åtgärdas.

Vi behöver en ny generation av maskininlärningsmodeller, metoder och algoritmer som tar hänsyn till det naturliga språkets struktur för att möjliggöra djupgående resonemang om världen omkring oss.

Med 1.44 miljoner euro i finansiering hoppas André kunna rekrytera tre postdoktorala forskare och tre doktorander för att driva det senaste inom djupinlärning, maskinöversättning och uppskattning av översättningskvalitet under en period på fem år.

André satte sig ner med oss ​​för att berätta lite mer om projektet:

Frågor och svar med Unbabels forskningschef, André Martins

Du sa att "Djupt lärande revolutionerar området Natural Language Processing". Hur så? Kan du förklara vad djupinlärning är?

Säker! Deep learning är en svit av statistiska inlärningsmetoder som hjälper maskiner att lära av och förbättra sina prestanda med upplevelsen av att få mer data att passera genom dem. Det som skiljer djupinlärning från andra metoder är dess förmåga att lära sig interna representationer.

Neurala nätverk är det populäraste exemplet: de består av flera enheter (kallade artificiella neuroner) sammankopplade i flera lager; olika lager fångar olika representationsnivåer (från ord till syntaktiska fraser till semantiska begrepp).

Under de senaste 2-3 åren har dessa modeller uppnått nya genombrott i bearbetningsuppgifter för naturligt språk som maskinöversättning, taligenkänning och frågesvar.

Under de senaste åren har vi sett uppkomsten av digitala assistenter som Amazons Alexa eller Apples Siri, kundtjänstbots och messenger-appar. Vad tycker du om utvecklingen av dessa tekniker? Hur långt är vi från att dessa verktyg är mänskliga? Varför?

Dessa tekniker har utvecklats mycket under de senaste åren, till den punkt där de nu äntligen blir användbara. Men de är fortfarande väldigt, väldigt långt ifrån att vara "mänskliga".

De kan ofta låta flytande, och de kan automatisera och anpassa många dagliga uppgifter, men det krävs bara ett par omgångar av interaktion för att inse att dessa verktyg inte har några djupa resonemang för att lösa mer intrikata uppgifter. För tillfället måste du kombinera AI och människor för det.

Du säger att det här forskningsprojektet kommer att fokusera på att sammanföra djup inlärning och strukturerad förutsägelse för att lösa utmanande uppgifter inom naturlig språkbehandling, inklusive maskinöversättning, kvalitetsuppskattning och syntaktisk analys. Kan du förklara vad du menar med detta?

Språket är fullt av struktur: vi bildar ord av morfem som vi sedan kombinerar till fraser som i sin tur bildar meningar osv.

Att förstå denna syntaktiska struktur är nyckeln till att förstå innebörden av en mening, som i När hon åt kom pizzan. Eftersom äter pizza är en så vanlig fras att vi lätt kan fastna i en felaktig tolkning. Trots de senaste framstegen inom djupinlärning för naturlig språkbehandling, saknar de befintliga metoderna fortfarande att hantera och förstå denna typ av struktur.

Till exempel genererar maskinöversättningssystem vanligtvis ord från vänster till höger, girigt, eftersom de är benägna att drabbas av den här typen av "trädgårdsstigar". I det här projektet kommer vi att utveckla en ny generation av metoder för djupinlärning speciellt utformade för att upptäcka och hantera struktur.

Dessutom vill vi att dessa system ska vara begripliga för människor: när de bedömer att en översättning är av låg kvalitet, vill vi att de ska ge en motivering för beslutet och peka ut de ord som är felaktigt översatta. Detta kommer att göra det lättare för människor och AI att samarbeta.

Kan du ge exempel på de mest utmanande uppgifterna inom naturlig språkbehandling?

Varje uppgift som kräver språkförståelse (en starkare term än bearbetning) är extremt utmanande. Dessa dagar kan vi göra allt bättre i taligenkänning. Men hur går man därifrån för att få maskiner att förstå människor och hjälpa dem att lösa problem? För detta behöver vi maskinöversättning (för att eliminera språkbarriärer), svar på frågor (för att hjälpa människor att hitta information) och målorienterade dialogsystem (att arbeta interaktivt med människor för att lösa uppgifter som att boka en flygresa). Det är riktigt svåra uppgifter.

Vad hoppas du uppnå 2023 när denna studie tar slut?

Jag hoppas ha en svit av Deep Learning 2.0-metoder som (i) kan hantera och identifiera struktur i språk, (ii) är tolkbara för människor och (iii) är dataeffektiva, inklusive för språk med låga resurser. Med dessa ingredienser kan vi verkligen ta ett kvantkliv mot att lösa flerspråkig kommunikation!

Projektet kommer att göras i samband med Inbabel, den Instituto de Telecomunicaçõesoch University of Lisbon's Instituto Superior Técnico (IST).

Om du är intresserad av att ansöka om att bli en del av projektet, kolla hela projektbeskrivningen här..

Källa: https://unbabel.com/blog/head-research-won-1-million-machine-translation/