(Eingereicht am 30. März 2020)

Abstract: Frühere Arbeiten zur Gebärdensprachübersetzung haben gezeigt, dass man über ein mittleres Niveau verfügt
Zeichenglanzdarstellung (effektives Erkennen der einzelnen Zeichen)
verbessert die Übersetzungsleistung drastisch. Tatsächlich die aktuelle
Der Stand der Technik in der Übersetzung erfordert dazu eine Tokenisierung des Glanzgrades
arbeiten. Wir stellen eine neuartige transformatorbasierte Architektur vor, die gemeinsam lernt
Kontinuierliche Gebärdenspracherkennung und Übersetzung während der Ausbildung
eine End-to-End-Methode. Dies wird durch die Verwendung eines konnektionistischen Temporal erreicht
Klassifizierungsverlust (CTC), um die Erkennungs- und Übersetzungsprobleme einzubinden
eine einzige einheitliche Architektur. Dieses gemeinsame Vorgehen erfordert keine
Ground-Truth-Timing-Informationen, die gleichzeitig zwei voneinander abhängige Lösungen lösen
Es führt zu Lernproblemen von Sequenz zu Sequenz und führt zu erheblicher Leistung
Gewinne.

Wir bewerten die Erkennungs- und Übersetzungsleistungen unserer Ansätze weiter
der anspruchsvolle RWTH-PHOENIX-Weather-2014T (PHOENIX14T) Datensatz. Wir melden
Modernste Gebärdenspracherkennungs- und Übersetzungsergebnisse, die von erzielt werden
unsere Gebärdensprachtransformatoren. Unsere Übersetzungsnetzwerke übertreffen beide Zeichen
Video-zu-gesprochene-Sprache- und Gloss-zu-gesprochene-Sprache-Übersetzungsmodelle, in
In einigen Fällen wurde die Leistung mehr als verdoppelt (9.58 vs. 21.80 BLEU-4-Score). Wir
Teilen Sie auch neue Basisübersetzungsergebnisse mithilfe von Transformatornetzwerken für
mehrere andere Text-zu-Text-Übersetzungsaufgaben in Gebärdensprache.