Analyse der MT-Engine

In diesem Monat möchten wir Ihr Augenmerk auf formelle Aspekte der Sprache und darauf lenken, wie schwierig, aber keineswegs unmöglich es ist, sie bei der maschinellen Übersetzung (Machine Translation, MT) in der richtigen Weise zu handhaben.

MT-Engines können falsche und inkonsistente formelle Ergebnisse hervorbringen. Warum? Weil MT-Modelle in der Regel eine Übersetzung für jedes einzelne Segment liefern. Wenn der Inhalt des Segments aber mehrere Bedeutungen hat, muss das Modell eine Übersetzung aus mehreren gültigen Optionen auswählen, und zwar ohne Berücksichtigung der Zielgruppe. Lässt man das Modell zwischen verschiedenen gültigen Optionen wählen, kann dies zu inkonsistenten Übersetzungen oder Übersetzungen einer unpassenden Formalitätsebene führen.

Korrekte Resultate zu erhalten wird besonders dann schwierig, wenn die Ausgangssprache weniger Formalitätsebenen als die Zielsprache hat. Sprachen wie Französisch haben zum Beispiel klar definierte formale Modi – tu vs. vous –, das Englische hingegen nicht.

Die meisten MT-Systeme unterstützen zwar keine formalen oder Gender-Parameter für Sprachen, doch auch in diesen Bereichen werden Fortschritte erzielt. Gegenwärtig bieten DeepL (API) und Amazon (Konsole und SDK) Funktionen zur Steuerung formaler Aspekte. Smaⁱrt MT™ von Lionbridge, eine maschinelle Übersetzungslösung für Unternehmen, ermöglicht die Anwendung linguistischer Regeln auf den Zieltext, um maschinelle Übersetzungen im gewünschten Stil oder der gewünschten formalen Ebene zu erstellen.

Es ist von entscheidender Bedeutung, den Ausgangstext so zu übersetzen, dass er den Anforderungen des Zielpublikums entspricht, was auch die Berücksichtigung formeller und informeller Sprache in der maschinellen Übersetzung einschließt. Übersetzungen, die unangemessen oder – schlimmer noch – unhöflich wirken, können Ihr Image bei Ihren Zielgruppen nachhaltig beschädigen.

Lesen Sie unseren Blog, um mehr über MT und formelle bzw. informelle Sprache zu erfahren.

— Yolanda Martin, Lionbridge MT Specialist

Der Einsatz maschineller Übersetzungen (Machine Translation, MT) kann von enormen Vorteil sein, ist aber stets mit Vorsicht zu genießen. Herkömmliche MT-Engines können fehlerhafte Übersetzungen und vor allem in bestimmten Fachbereichen aus terminologischer Sicht unerwünschte Ergebnisse liefern. Dies kann sich insbesondere in den Bereichen Medizin und Recht negativ auswirken. Man kann jedoch gewisse Maßnahmen treffen, um solche Fehler bei der MT-Ausgabe zu minimieren.

Durch den Einsatz von Terminologie etwa kann man die Qualität maschineller Übersetzungen verbessern und genaue, konsistente Resultate erzielen.

Entscheidend ist dabei, kundenspezifische MT-Systeme mit domänenspezifischen zweisprachigen Texten zu trainieren, die über die richtige Fachterminologie verfügen. Dennoch können genaue Übersetzungen nicht garantiert werden, wenn die Maschinen mit spezialisierten Texten trainiert werden und die Terminologie nicht einheitlich verwendet wird. Die aktuelle Forschung in diesem Bereich empfiehlt, sprachliche Informationen durch Annotationsmethoden in Systeme für neuronale maschinelle Übersetzungen (Neural Machine Translation, NMT) einzubringen. Die Umsetzung der manuellen oder halbautomatischen Annotation hängt von den verfügbaren Ressourcen (z. B. Glossare) und den Einschränkungen (z. B. Zeit, Kosten und Verfügbarkeit von fachlichen Prüfern) ab.

Smaⁱrt MT™ von Lionbridge ermöglicht die Anwendung von linguistischen Regeln auf den Ausgangs- und Zieltext sowie die Durchsetzung von Terminologie auf der Grundlage von Do Not Translate- (DNT) und Glossarlisten, die einem bestimmten Profil hinzugefügt wurden. Wir unterstützen unsere Kunden bei der Erstellung und Pflege von Glossaren, die regelmäßig überarbeitet werden, um neue, relevante Begriffe aufzunehmen und veraltete Terminologie auszumustern. Einmal in Smaⁱrt MT erstellte Glossare können dann für alle MT-Engines verwendet werden, wodurch Sie Zeit und Geld sparen.

Die Verwendung von Glossaren für MT-Projekte ist nicht so einfach, wie es aussieht. Sie können bei unsachgemäßer Verwendung sogar die Gesamtqualität der maschinellen Übersetzung negativ beeinflussen. Der beste Weg, die Terminologie in der maschinellen Übersetzung zu verfolgen, ist das maschinelle Training. Die Kombination aus geschulten MT-Engines, der Anpassung von Glossaren und der Festlegung von Regeln für die Vor- und Nachbearbeitung stellt sicher, dass die Ausgabe die richtige Terminologie enthält und im Stil der Dokumentation des Kunden entspricht.

Lesen Sie unseren Blog, um mehr über die Verwendung von Terminologie zur Verbesserung der MT-Ausgabe zu erfahren.

— Yolanda Martin, Lionbridge MT Specialist

Da sich Unternehmen zunehmend auf die maschinelle Übersetzung (Machine Translation, MT) als Standardverfahren verlassen, müssen Mitarbeiter proaktiv dabei helfen, die Ausbreitung kritischer Fehler zu verhindern.

Diese sind bedeutend problematischer als gewöhnliche MT-Fehler. Bei letzteren geht es um Fehlerarten, die linguistische Merkmale wie Rechtschreibung, Grammatik oder Zeichensetzung betreffen. Kritische Fehler hingegen reichen über die sprachliche Ebene hinaus und liegen vor, wenn das MT-Ergebnis gefährlich von der beabsichtigten Botschaft abweicht. Daraus resultierende Fehlinformationen oder Missverständnisse können den Ruf eines Unternehmens schädigen, zu finanziellen oder rechtlichen Problemen führen und nachteilige Folgen für die öffentliche Sicherheit oder Gesundheit haben. Es ist wichtig, Wege zu finden, um diese Fehler rechtzeitig zu erkennen und so zu verhindern, dass Ihre Markenbotschaft verfälscht wird.

Lionbridge führt spezifische automatisierte Qualitätsprüfungen in übersetzten Texten durch, um kritische Fehler zu erkennen, wahrt aber gleichzeitig den Geschwindigkeitsvorteil von MT und reduziert die Notwendigkeit menschlicher Eingriffe.

Diese automatischen Prüfungen erkennen:

• Gegenteilige Bedeutungen beim Vergleich zwischen Original und übersetztem Text
• Beleidigende, profane oder sensible Sprache
• Falsche Übersetzungen der Eigennamen von Personen und Organisationen, die zugleich gängige Wörter sind

Unternehmen werden besser vor katastrophalen Fehlern geschützt sein, wenn Informatiker die bestehende MT-Technologie so verbessern, dass diese Übersetzungsfehler vermieden werden. Bis es soweit ist, können wir automatisierte Technologien einsetzen, um potenzielle Probleme zu erkennen, problematische Sätze zu überarbeiten und die präzise Inhaltswiedergabe während des Übersetzungsprozesses zu fördern.

In unserem Blog setzen wir uns ausführlich mit der Frage auseinander, wie man mit kritischen Fehlern bei der maschinellen Übersetzung umgeht und sie am besten vermeidet.

—Luis Javier Santiago, MT Group Leader, und Rafa Moral, Lionbridge Vice President, Innovation

Google NMT, Bing NMT, Amazon, DeepL, Yandex – welche MT-Engine ist die beste? Die Daten des letzten Monats – und der aktuelle allgemeine Trend – zeigen, dass die wichtigsten Engines mit recht ähnlichen Ergebnissen abschneiden. Gerade deshalb lohnt es sich, bei der Entwicklung Ihrer MT-Strategie zusätzliche Faktoren zu berücksichtigen und auf die Details zu achten. Ein gutes Beispiel dafür sind die Ergebnisse der MT-Engines bei spezifischen Sprachpaaren.

Wenn Sie herausfinden, wie schwierig es für Engines ist, bestimmte Sprachpaare zu bearbeiten, können Sie Ihr Budget besser einteilen, wenn Sie die Übersetzungskosten für mehrere Sprachen planen. So erfordern beispielsweise komplexe Sprachpaare mehr Aufwand, um qualitativ hochwertige Übersetzungen zu bekommen. Ein umfassendes Verständnis der Komplexität einer Sprache kann Ihnen also bei Ihren Geschäftsentscheidungen helfen.

Die Einstufung von Sprachen nach ihrer Übersetzbarkeit ist kein einfaches Unterfangen; wir können jedoch verschiedene Metriken für die Bewertung heranziehen. Die Bearbeitungsdistanz, d. h. die Anzahl der Änderungen, die erforderlich sind, damit der endgültige Text eine professionelle Qualität aufweist, kann einen Eindruck von der Komplexität der MT und der Übersetzbarkeit (M-Übersetzbarkeit, m-translatability) eines Sprachpaares vermitteln.

Die meisten romanischen Sprachen, wie z. B. Portugiesisch, Spanisch, Französisch und Italienisch, erfordern weniger Änderungen, um bei der Übersetzung aus dem Englischen ein hohes Qualitätsniveau zu erreichen. Nach unseren Erkenntnissen sind diese Zielsprachen für die Engines am einfachsten zu handhaben. Daher belegen sie auch die ersten vier Plätze in unserer Rangliste der M-Übersetzbarkeit. Im Vergleich dazu sind Ungarisch und Finnisch - zwei uralische Sprachen - ziemlich komplex und sind daher in der Rangliste auf den letzten beiden Plätzen 27 und 28 gelistet. Dasselbe gilt für Estnisch, das auch zur Familie der uralischen Sprachen gehört. Diese Ergebnisse basieren auf Millionen von Sätzen, die von Lionbridge verarbeitet wurden, und unterstreichen die Bedeutung von Sprachfamilien für die MT-Leistung.

Auch wenn der Vergleich innerhalb einer Sprache nur begrenzt möglich ist, können die Ranglisten doch interessante Erkenntnisse für ein besseres Management mehrsprachiger Projekte liefern. In unserem Blog finden Sie unsere vollständige Rangliste der Sprachen.

—Rafa Moral, Lionbridge Vice President, Innovation

Im Juni haben wir minimale Verbesserungen der russischen Übersetzungen durch die Yandex-Engine sowie einen geringen Rückgang der Übersetzungsleistung durch die MT-Engine von Microsoft Bing beobachtet. Handelt es sich dabei um relevante Veränderungen oder um unbedeutende und unberechtigte Schwankungen? Um das herauszufinden, haben wir die Ergebnisse einmal anders analysiert.

Anstatt einen einzigen „Goldstandard” zu verwenden, der den Unterschied zwischen der MT-Übersetzung und einer „perfekten” menschlichen Übersetzung ermittelt, haben wir mehrere Referenzübersetzungen verwendet. So haben wir jede maschinell erstellte Übersetzung mit zehn Übersetzungen von professionellen Experten verglichen. Bei diesem Ansatz waren die Schwankungen in der Übersetzungsqualität von Yandex und Microsoft Bing im Juni nicht mehr festzustellen. Insofern lautet das Fazit, dass sich die Qualität der maschinellen Übersetzungen nicht wirklich verändert hat; also nichts Neues im Juni.

Manchmal können Daten und ihre grafischen Darstellungen irreführend sein. Dies gilt besonders dann, wenn die Abweichungen zwischen den verschiedenen Messungen gering sind. Es ist eine gute Idee, generell mehr als einen Ansatz zur Auswertung der Daten zu verwenden, um die Ergebnisse präziser zu interpretieren.

Wir gehen davon aus, dass sich die Qualität der MT-Engines in den kommenden Monaten kaum verändern wird. Wir werden diesen Abschnitt also nutzen, um Analysen und allgemeine Beobachtungen zu maschinellen Übersetzungen zu präsentieren. In diesem Rahmen werden wir im nächsten Monat Vergleiche zwischen MT-Sprachpaaren anstellen. Wir untersuchen dabei, ob Sprachen und Sprachfamilien anhand von Daten nach MT-Komplexität zu klassifizieren sind und feststellbar ist, ob einige Sprachpaare leichter zu übersetzen sind als andere.

– Rafa Moral, Lionbridge Vice President, Innovation

Auch in diesem Monat hat sich bei den MT-Engines nicht sehr viel getan.

Wir haben festgestellt, dass die Amazon Engine Fortschritte im Hinblick auf das Sprachpaar Englisch-Spanisch erzielt hat. Damit ist sie jetzt die führende Engine für diese Kombination. Auch in den anderen Sprachen hat Amazon gewisse Fortschritte gemacht, die jedoch weniger relevant sind als die gerade erwähnten. Wir vermuten, dass diese Fortschritte auf Änderungen allgemeiner Einstellungen sowie auf einen stärkeren Fokus auf das Sprachpaar Englisch-Spanisch zurückzuführen sind. Dies wirkt sich auch auf die Verarbeitung einiger Sonderzeichen und Zeichenfolgen mit Maßangaben aus.

Yandex hat bereits im zweiten Monat in Folge Fortschritte gemacht, auch wenn diese ebenfalls überschaubar sind. Interessanterweise betreffen diese ebenso das Spanische.

Wie bereits erwähnt, gab es jedoch keine wesentlichen Änderungen. Im Großen und Ganzen schneiden alle Suchmaschinen ähnlich ab. In den kommenden Monaten werden wir einige spezifische MT-Bereiche analysieren und unsere allgemeinen Beobachtungen teilen. Natürlich werden wir aber auch weiterhin die wichtigsten Entwicklungen verfolgen.

– Rafa Moral, Lionbridge Vice President, Innovation

Nachdem die Leistung der MT-Engine mehrere Monate lang stagnierte, hat Yandex einige Fortschritte gemacht, insbesondere für die deutsche Sprache.

In einer detaillierten Analyse sahen wir Fortschritte bei der Behandlung von Sätzen mit Satzzeichen – wie etwa Fragezeichen, Ausrufezeichen, Klammern und Schrägstrichen – sowie Maßeinheiten. Diese Entwicklungen könnten eher auf eine Feinabstimmung der MT-Einstellungen als auf Verbesserungen der Modelle zurückzuführen sein. Allerdings konnten wir auch eine Verbesserung beim Umgang mit seltenen Begriffe feststellen, so dass der Fortschritt von Yandex auch auf eine Verfeinerung der Modelle oder mehr Datentraining zurückzuführen sein könnte.

Letztes Jahr um diese Zeit zeigten mehrere MT-Engines einige Verbesserungen, die uns neugierig gemacht haben. Gibt es etwa ein zeitliches Muster bei diesen Fortschritten? Und werden wir in diesem Jahr etwas Ähnliches wie im Jahr 2021 sehen? Wir verfolgen die Leistung dieser Engines weiter und werden in den nächsten Monaten über unsere Ergebnisse berichten.

Generell besteht ein steigendes Interesse an der Evaluierung von MT-Engines. Man ist sich mittlerweile größtenteils einig, dass die maschinelle Übersetzung eine ausgereifte Technologie ist. Ihr Nutzen ist offensichtlich und eignet sich für nahezu jeden Übersetzungsfall – mit oder ohne menschliches Eingreifen und hybride Ansätze. Aber viele Nutzer kämpfen immer noch damit, den richtigen Weg zur Bewertung, Messung und Verbesserung von MT-Ergebnissen zu finden.

– Rafa Moral, Lionbridge Vice President, Innovation

Wenn Sie diesem Blog schon eine Weile folgen, sind Sie mit unseren generellen MT-Bewertungsvergleichen vertraut. Jeden Monat ermitteln wir, welche MT-Engines für bestimmte Sprachpaare am besten abschneiden, und verfolgen ihre Entwicklung. Im März ist die Leistung der unterschiedlichen Engines weitestgehend gleich geblieben. Diesen Trend beobachten wir schon seit geraumer Zeit. Wie wir letzten Monat angemerkt haben, könnte dies darauf hindeuten, dass ein neues MT-Paradigma erforderlich ist.

Und während wir unsere Ansichten über die allgemeine Entwicklung mitteilen, nehmen Unternehmen auch zunehmend selbst vergleichende Bewertungen der individuellen MT-Engines vor. Im Gegensatz zur allgemeinen Übersicht berücksichtigen diese Auswertungen die spezifischen Bedürfnisse eines Unternehmens, um die am besten geeignete Engine auszuwählen.

Wenn ein Unternehmen mit dem Einsatz von MT beginnen oder die Art der derzeitigen Nutzung von MT optimieren möchte, ist es entscheidend, die am besten arbeitende MT-Engine für den Zweck zu ermitteln. Bei der Durchführung kundenspezifischer Bewertungen gehen wir ähnlich wie auf dieser Seite beschrieben vor. Der Unterschied ist aber: Wir geben unsere Empfehlung basierend auf den spezifischen Inhalten eines Unternehmens und den Anforderungen der betreffenden Sprachpaare.

Auch wenn es individuelle MT-Bewertungsvergleiche schon seit Jahren gibt, wächst die Nachfrage nach ihnen immer weiter. Wir führen diesen Trend auf die wichtige Rolle zurück, die MT für den Erfolg von Unternehmen in einem digitalen Markt spielt.

– Rafa Moral, Lionbridge Vice President, Innovation

Die MT-Engine von Google verzeichnete im Januar und Februar 2022 minimale Verbesserungen, während die anderen von uns beobachteten Engines stagnierten. Diese Beobachtungen werfen einige wichtige Fragen auf. Hat das System der Neuronalen Maschinellen Übersetzung (NMT, Neural Machine Translation) sich eingependelt? Ist ein generelles Umdenken angesichts der Tatsache erforderlich, dass die Engines keine wesentlichen Fortschritte mehr erzielen? Wir haben ähnliche Entwicklungen beobachtet, als NMT die Statistische MT ersetzt hat.

Zum Ende der SMT-Ära hat sich die Qualität der Ergebnisse quasi kaum noch verändert. Darüber hinaus hat sich die Qualität der verschiedenen MT-Engines einander angenähert. Wir sehen dort ähnliche Tendenzen. Auch wenn die NMT nicht in Kürze ersetzt werden wird: Wenn wir an die Theorie des exponentiellen Wachstums und immer höherer Renditen glauben, und wenn wir die 30-jährige Erfolgsgeschichte der regelbasierten MT und die jahrzehntelange Bedeutung der SMT in Betracht ziehen und dabei bedenken, dass sich die NMT jetzt im sechsten Jahr befindet, ist ein neuer Paradigmenwechsel vielleicht gar nicht so weit entfernt.

– Rafa Moral, Lionbridge Vice President, Innovation

Im Januar zeigten die wichtigsten MT-Engines keine signifikanten Veränderungen ihrer Leistungsdaten. 

Google verzeichnete in einigen Sprachen und Domänen kleine, schrittweise Verbesserungen. Die Leistung der meisten anderen Engines ist dagegen gleich geblieben. Bei Microsoft gab es in den letzten Monaten Verbesserungen, doch die Entwicklung stagnierte im Januar. Insgesamt ist die Qualität von Google Translate im Bereich der allgemeinen MT-Technologie weiterhin führend. 

Im Dezember haben wir eine fünfte MT-Engine in unseren Tracker aufgenommen. Durch das Monitoring von Yandex können wir die MT-Qualität der russischen Sprache besser analysieren.

– Rafa Moral, Lionbridge Vice President, Innovation