Lionbridge Machine Translation Tracker

Wären große Sprachmodelle (Large Language Models, LLMs) eine gute Alternative zum Vorbild der neuronalen maschinellen Übersetzung (NMT) im Bereich der maschinellen Übersetzung (MT)? Um das herauszufinden, haben wir die Übersetzungsleistung von ChatGPT, der neuesten Version der GPT-3-Familie von LLMs von OpenAI, mit den fünf wichtigsten MT-Engines verglichen, die wir in unserem MT-Qualitäts-Tracker beobachten.

Wie erwartet ist die Übersetzungsqualität der spezialisierten NMT-Engines der von ChatGPT überlegen. Allerdings macht der ChatGPT-Bot überraschenderweise einen erstaunlich guten Job. Wie in Abbildung 1 zu sehen ist, schneidet er fast genauso gut ab wie die spezialisierten Engines.

Wir haben die Qualität auf der Grundlage der umgekehrten Bearbeitungsdistanz unter Verwendung mehrerer Referenzen für das Sprachpaar Englisch-Spanisch berechnet. Die Bearbeitungsdistanz misst dabei die Anzahl der Bearbeitungen, die an der MT-Ausgabe durch menschlichen Eingriff vorgenommen werden müssten, damit das Niveau der resultierenden Übersetzung dem einer menschlichen Übersetzung entspricht. Für unsere Berechnung haben wir die unbearbeitete MT-Ausgabe mit 10 verschiedenen menschlichen Übersetzungen – also mehreren Referenzen – verglichen, anstatt nur mit einer einzigen. Eine umgekehrte Bearbeitungsdistanz bedeutet, dass die Qualität umso besser ist, je höher die resultierende Zahl ist.

Diese Ergebnisse sind bemerkenswert, da das generische Modell von ChatGPT für Aufgaben der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) und nicht speziell für die Ausführung von Übersetzungen trainiert wurde. Die Leistung von ChatGPT ist vergleichbar mit der Qualität von MT-Maschinen von vor zwei oder drei Jahren.

In Anbetracht der Entwicklung von LLMs – basierend auf der öffentlichen Aufmerksamkeit und den beträchtlichen Investitionen von Unternehmen in diese Technologie – werden wir vielleicht bald sehen, ob ChatGPT die MT-Engines überholt oder ob die MT ein neues LLM-Muster annimmt. Maschinelle Übersetzungen könnten in diesem Fall LLMs als Grundlage verwenden, die Technologie aber dann speziell für die maschinelle Übersetzung feinabstimmen. Das wäre vergleichbar mit dem, was OpenAI und andere LLM-Firmen tun, um ihre generischen Modelle für bestimmte Anwendungsfälle zu verbessern, z. B. um es Maschinen zu ermöglichen, mit Menschen in Dialogform zu kommunizieren. Die Spezialisierung erhöht die Genauigkeit der ausgeführten Aufgaben.

Das Spannende an diesen großen „generischen” Sprachmodellen ist, dass sie so viele verschiedene Dinge tun können und bei den meisten Aufgaben hervorragende Qualität bieten. So wurde beispielsweise GATO von DeepMind, ein weiteres allgemeines Intelligenzmodell, in mehr als 600 Aufgaben getestet und erzielte bei 400 davon Ergebnisse, die auf dem aktuellen Stand der Technik sind.

Zwei Entwicklungslinien wird es auch in Zukunft geben: generische Modelle wie GPT, Megatron und GATO – und spezialisierte Modelle für bestimmte Zwecke, die auf diesen generischen Modellen basieren. Die generischen Modelle sind wichtig, um die künstliche generische Intelligenz (Artificial Generic Intelligence, AGI) voranzutreiben und möglicherweise längerfristig noch beeindruckendere Entwicklungen zu ermöglichen. Spezialisierte Modelle werden auf kurze Sicht für bestimmte Bereiche praktische Verwendung finden. Eines der bemerkenswerten Dinge an LLMs ist, dass beide Linien sich parallel zueinander weiterentwickeln und funktionieren können.

Wir sind gespannt, was die Zukunft bringt. Wir werden LLMs weiterhin evaluieren und die Ergebnisse veröffentlichen, damit Sie über diese interessante Entwicklung auf dem Laufenden bleiben. Lesen Sie unsere Blogs, um einen tieferen Einblick in die Übersetzungsleistung von ChatGPT zu erhalten und mehr über ChatGTP und die Übersetzung im Allgemeinen und über die Gründe zu erfahren, warum es sich wohl um einen Gamechanger für die Branche handelt.