Bu gönderiyi paylaş:

Bu makale tarafından yazılmıştır Mihaela Bornea, Lin Tavası, Sara Rosenthal, Radu Florian, Avirup Sil, IBM Research AI üyeleri.

AAAİBir başka deyişle, bu bir şey değil.

Japonca anlayabiliyor musun? Değilse, yukarıdaki metin satırı bir anlam ifade etmeyecektir. Yalnızca İngilizce veriler üzerinde eğitilmiş bir yapay zeka da genellikle metni anlayamaz.

Yeni bir araştırma makalesinde, Çeviriyi Veri Geliştirme Olarak Kullanarak Kalite Güvencesi için Çok Dilde Aktarım Öğrenimi, AAAI 2021'e kabul edilen ekibimiz, yapay zekanın yalnızca birinde eğitim alırken farklı dilleri anlamasını sağlayan iki yeni teknik sunuyor. üzerine inşa edilen bu teknikler Çok dilli BERT (önceden eğitilmiş çok dilli bir dil modelidir ve metin temsilleri sağlayabilir), farklı dillerin temsillerinin bir soru yanıtlama (QA) sistemine aynı görünmesini sağlamak için makine dili (ML) çevirisini kullanın.

Makine okuduğunu anlama, bir bilgisayarın dili anladığını göstermeyi amaçlayan önemli bir AI sorunudur. Bir sistemin doğal dil metninden soruları otomatik olarak yanıtlamasını sağlamak için bunu QA ile ilgili görevlere uygulamak özellikle zordur.

Yüksek performanslı QA sistemleri oluşturmanın temel zorluklarından biri, veri yoğun eğitim sürecidir. Eğitim verileri, açıklayıcılara doğru cevapla etiketlenmesi gereken sorular ve pasajlar sunarak manuel olarak oluşturulur. Bu zaman alıcı ve pahalı bir süreçtir. Ve diğer diller bunu daha da zorlaştırıyor. Tüm konuşulan dilleri desteklemek istesek de, QA için çoğu etiketli veri şu anda İngilizce'dir ve kullanımda olan diğer binlerce dil için aynı ölçekte etiketli verileri toplamak neredeyse imkansızdır.

Sorunla başa çıkmak için araştırmacılar, diller arası aktarım için teknikler geliştiriyorlar. Bu, sistemi bir dilde etiketlenmiş verilerle eğitmek, ancak soruları başka bir dilde yanıtlamasını sağlamak sürecidir.

Diller arası aktarım için son zamanlarda popüler olan bir çözüm, metin temsilleri veya yüzlerce dilde hizalanmış gömmeler sağlayabilen Çok Dilli BERT gibi önceden eğitilmiş büyük çok dilli dil modellerini kullanmaktır. Yine de, Çok Dilli BERT, diller arası aktarımda etkili olsa da, düşük kaynaklı dillerin performansı genellikle ortalamanın altındadır.

IBM'in en son diller arası araştırması

Ekibimiz, diller arası aktarım zorluğunun üstesinden gelmeye yardımcı olacak iki yöntemi araştırdı.

Bir, Dil Düşmanlığı Eğitimi, çok dilli yerleştirmeleri bir Ayırıcı için ayırt edilemez hale getirmeyi amaçlar - gerçek verileri bir üretici tarafından oluşturulan verilerden ayıran bir sınıflandırıcı. Sistemi eğitmeden önce, her bir örneği Arapça, İspanyolca, Almanca, Hintçe, Vietnamca, Çince ve Japonca dahil olmak üzere çeşitli hedef dillere çevirerek orijinal İngilizce eğitim setini zenginleştiriyoruz. Tahminleri için aynı temel BERT ağını kullanan QA sistemini ve Discriminator'ı eğitmek için artırılmış veri kümesini kullanıyoruz.

İki modelin karşıt hedefleri var. Discriminator'ın rolü, soru temsiline dayalı olarak sorunun dilini belirlemektir ve QA modelinin rolü, doğru cevabı bulmak ve aynı zamanda Discriminator'ı sorunun dili hakkında belirsiz hale getirirken yerleştirmeleri güncellemektir.

Spesifik olarak, her giriş sorusu için Discriminator, tüm eğitim dilleri üzerinde bir olasılık dağılımı üretir. Buna karşılık, QA sistemi bir rakip kayıp fonksiyonu ile eğitilir ve Discriminator tarafından üretilen dil olasılık dağılımı ile tek tip dağılım arasındaki farklılığı en aza indirir. Farklı dillerdeki sorularla eğitim ilerledikçe, çok dilli temsiller anlamsal alanda birbirine yakınlaşır.

QA çapraz dil aktarımı için ikinci yöntemimiz Dil Tahkim Çerçevesi olarak adlandırılır. Dil tahkimi ile, çok dilli yerleştirmeleri eğitim diline yaklaştırmak için çevirilerin özelliklerini kullanırız (bizim durumumuzda İngilizce). Eğitim sırasında KG modeli, orijinal etiketli örneği hedef dillerden birine çevirisiyle birlikte inceler.

Tıpkı bir insan hakemi gibi, dil tahkim çerçevemiz, iki ek çok dilli görev kullanarak İngilizce ile çeviri arasında anlaşma sağlar. İlki, Japonca çevirinin orijinal İngilizce soruyla aynı yanıtı vermesini sağlayan Aynı Yanıtı Üret (PSA) görevidir. Diğeri ise, kosinüs benzerliklerini en aza indirerek çeviri temsilinin orijinal İngilizce soru temsiline yakın olmasını sağlayan Soru Benzerliği (QS) görevidir.

Hem çekişmeli eğitim hem de dil tahkimi, özellikle Hintçe ve Arapça gibi düşük kaynaklı dillerde sıfır atış (önceden eğitim yok) performansını büyük bir farkla geliştiren etkili diller arası KG transfer teknikleridir. Bu çabalarla, modelimiz artık Japon sorununun AAAİBu doğru mu? "AAAI Konferansı ne zaman kuruldu?" anlamına gelir. İngilizcede. Daha sonra doğru cevabı bulabilir: “Organizasyon 1979'da kuruldu".

IBM Research AI, Platin Sponsor olarak AAAI2021'e gururla sponsorluk yapmaktadır. En az 40 atölye çalışması, 7 demo, 10 IAAI makalesi ve bir öğreticiye ek olarak 4 ana çalışma belgesi sunacağız. IBM Research AI ayrıca 3 çalıştayın ortak organizasyonudur. Araştırmamız hakkında daha fazla bilgi edinmek için 2-9 Şubat tarihleri ​​arasında bize katılabileceğinizi umuyoruz. AAAI 2021'deki tam varlığımızı görmek için şu adresi ziyaret edin: okuyun.