En generativ AI-modell överträffade en neural maskinöversättningsmotor i en maskinöversättningsanalys

För första gången i våra jämförelser av maskinöversättningsmotorer (MT) har en modell för generativ artificiell intelligens (AI) gett bättre översättningsresultat än en neural maskinöversättningsmotor (NMT). Närmare bestämt presterade den stora språkmodellen (LLM) GPT-4 något bättre än Yandex i språkkombinationen engelska till kinesiska.

Effekterna av utvecklingen förtjänar en närmare titt.

MT-leverantörer måste gå i täten för teknikomställningen och fundera över hur detta kan påverka deras befintliga MT-motorer för att kunna ta fram ett erbjudande som drar maximal fördel av framstegen. MT-köpare behöver i sin tur hålla ett vaksamt öga på utvecklingen för att göra kloka investeringar – som förmodligen omfattar LLM-baserad teknik i stället för renodlade neurala MT-lösningar.

LLM överträffar neural MT-motor: Har det någon betydelse?

Även om resultaten av jämförelsen är ett genombrott behöver vi sätta dem i ett större perspektiv. Jämförelsen gäller bara en modell och en enda språkkombination. LLM överträffade en enskild NMT-motor av fem och bara i en form av MT-jämförelse, en utvärdering av flera referensöversättningar. Är den här bedriften ändå något att orda om? Absolut!

Även om resultaten kan tyckas obetydliga i ovanstående sammanhang är de anmärkningsvärda, eftersom det är första gången ett annat slags MT-metod har överträffat en neural MT-motor sedan NMT såg dagens ljus. Dessutom är det en ”icke-MT”-metod som har klått NMT-motorn, närmare bestämt en allmän språkautomation som inte har förberetts speciellt för maskinöversättning. Den sista detaljen innebär att det är imponerande att den stora språkmodellen GPT-4 har överträffat en NMT-motor.

Vad betyder ChatGPT-4:s anmärkningsvärda översättningsresultat för paradigmet neural maskinöversättning?

Sedan februari 2022 har vi öppet ifrågasatt sannolikheten för ett MT-paradigmskifte i en inte alltför avlägsen framtid. Se vår kommentar om bedömningsverktyget för maskinöversättning om du vill läsa mer om vår syn på ämnet just nu. De senaste jämförande resultaten är ytterligare bevis för att en betydande förändring är på gång.

Men dra inga förhastade slutsatser. Det är fortfarande för tidigt att säga att stora språkmodeller (LLM) kommer att ersätta NMT-motorer, för att inte tala om att ändringen är nära förestående. Vi behöver mer tid för att utvärdera fler data. Det finns alldeles för många faktorer att ta hänsyn till och LLM-tekniken behöver bli betydligt bättre för att fungera som gångbar översättningslösning för företag.

Paradigmskiftet kommer förmodligen att inledas med att NMT-motorer tillämpar vissa LLM-metoder, eftersom NMT- och LLM-teknikerna har mycket gemensamt.

Hur står sig LLM-översättningar mot NMT-översättningar i tre språkkombinationer?

Låt oss jämföra översättningsresultaten från de fem främsta neurala maskinöversättningsmotorerna och några GPT-modeller för tre språkkombinationer.

Vi beräknade kvalitetsnivån utifrån omvänt redigeringsavstånd och med hjälp av flera referenser för följande språkkombinationer: engelska till kinesiska (EN-ZH), engelska till spanska (EN-ES) och engelska till tyska (EN-DE).

Redigeringsavståndet mäter antalet redigeringar som en mänsklig redigerare behöver göra i MT-resultatet för att den resulterande översättningen ska bli lika bra som en manuell översättning. I vår beräkning jämförde vi det råa MT-resultatet med tio olika manuella översättningar – flera referenser – i stället för bara en enda manuell översättning. Det omvända redigeringsavståndet innebär att ju högre den resulterande siffran är, desto bättre är kvaliteten.

Bild 1 visar små skillnader i det omvända redigeringsavståndet mellan NMT-motorer och LLM:er, vilket innebär att de presterade ungefär likadant. Lägg dock märke till att den stora språkmodellen GPT-4 producerade något högre översättningskvalitet än Yandex NMT för språkkombinationen engelska till kinesiska.

Översättningsresultaten för språkkombinationerna engelska till spanska och engelska till tyska visas i bild 2 respektive bild 3. I de här två scenarierna överträffade samtliga neurala MT-motorer LLM-modellerna, precis som tidigare har varit fallet.

Som väntat blev MT-resultaten bättre ju bättre GPT-modellen var, så att GPT-4 överträffade ChatGPT och GPT-3.

Kan jag förlita mig på stora språkmodeller när jag översätter något på jobbet?

Generativ AI är fortfarande i sin vagga och har en utveckling framför sig. Det innebär att den fallerar på vissa viktiga områden. I vårt whitepaper om ChatGPT och lokalisering berättar vi om hur tekniken underlåter att säga sanningen, inte har en susning och inte kan räkna. Är du beredd att lita på den? Sakta ner.

Tillkortakommandena bör väcka viss oro hos företagen.

Varierande resultat

Vår utvärdering visar att GPT-resultaten är varierande. Med andra ord kan resultaten skilja sig åt från gång till gång. Det här kan synas i bild 2 och 3, där omgång ett och två ger olika resultat.

Det finns lite utrymme för slumpmässiga resultat när företag översätter innehåll. MT-resultatet måste kunna förutses i högre grad än vad generativ AI erbjuder i dag. Konsekvens är något som förväntas av en professionell maskinöversättning och andra områden där LLM används i tjänsten.

Helt förutsägbara resultat strider mot generativa modellers natur, där en viss – låt oss kalla det kreativitet eller variation – förväntas och antas. Den här situationen är godtagbar och till och med önskvärd i vissa fall, men inte alla. Det är viktigt att det finns en mekanism för att kontrollera variationer (förutom användning av inställningen ”Temperatur”, dvs. inställningen som är tänkt att styra LLM-modellens ”kreativitet”).

Det bästa sättet att styra variationer i generativa modeller har ännu inte framkommit. Det är möjligt att användare kan lösa problemet med ett antal fördefinierade prompter och en kombination av inställningar för specifika uppgifter, men en mer konkret lösning kommer att krävas.

Otillräcklig tillförlitlighet rimmar inte väl med en stor del av alla affärstillämpningar.

API-instabilitet

Ett annat aktuellt problem med LLM-modeller är instabila API:er (Application Programming Interface).

De flesta generativa AI-tillämpningar är fortfarande i sin linda. Enorm efterfrågan leder till intensiv användning av deras API:er. Tillsammans skapar de här faktorerna problem. Situationen blir uppenbar när användare upplever fler problem med de här tillämpningarna än med andra, mognare tekniker.

Fel

Vi har hittat bristfällig korrekthet i MT-resultat från LLM-modeller som antingen inte förekommer i NMT-resultat eller förekommer, men i betydligt mindre omfattning.

Problemen kan till exempel vara hallucinationer, det vill säga påhittade termer eller termer som inte förekommer i källtexten, eller konkordansfel som leder till bristfällig kongruens i texten. (Det kan exempelvis vara adjektiv eller pronomen i femininum som används tillsammans med ett maskulint substantiv eller tvärtom.)

Som du kan se i tabell 1 använde LLM-modellen det sällsynta och eventuellt alltför informella ordet ”marketeros” i den spanska översättningen. En mer korrekt översättning är termen ”responsables del marketing”. LLM-modellen gjorde liknande misstag på målspråken tyska och kinesiska. Det är särskilt viktigt att hålla utkik efter katastrofala MT-fel, eftersom företag kan drabbas av försämrat anseende eller ekonomiska eller juridiska följder.

Som du kan se i tabell 2 producerade LLM-modellen kongruens- eller teckenfel vid översättning till alla tre målspråk. Till exempel valde modellen den feminina formen av ordet ”other” på spanska, när det borde ha varit den maskulina formen. Den här sortens misstag riskerar att minska konsumenternas förtroende för varumärken.

Utslag: Är detta början på slutet för NMT-paradigmet?

Nej, det är inte början på slutet för NMT-paradigmet. Som vi har påpekat finns det sedan en tid tecken på att NMT har mognat och sannolikheten för ett MT-paradigmskifte ökar. Vi befinner oss nu på en väg som leder till denna slutpunkt.

Vi började med att ifrågasätta om NMT-paradigmet i dess nuvarande form var på väg att förlora sin dominanta ställning efter att ha sett hur resultaten från de fem största NMT-motorerna började plana ut, utan att några större förbättringar kunde skönjas (vilket vi visar i bild 4). I jämförelsen mättes resultaten av de fem största NMT-motorerna mellan maj 2018 och december 2022 för tyska, spanska, ryska och kinesiska och utifrån omvänt redigeringsavstånd.

Eftersom få kvalitetsförbättringar uppnåddes under 2022 drog vi slutsatsen att NMT hamnat på en platå, eftersom något liknande skedde i slutet av MT:s föregående, huvudsakliga paradigm – det statistiska paradigmet. Lionbridges bedömningsverktyg för maskinöversättning har använts under lång tid för att mäta resultaten från stora MT-motorer och ger även insikter om resultaten från de fem NMT-motorerna.

Även om de senaste framstegen när det gäller översättningskvalitet från en generativ AI-modell snabbare kan ta oss till slutet av NMT-paradigmet i dess kända form, har tekniken fortfarande en lång väg att vandra.

Det bör också understrykas att generativa AI-tillämpningar precis har börjat distribueras. Problem som dem vi har berättat om ovan behöver lösas – och det görs också i dag. Vi kan redan se att förbättringar uppnås i häpnadsväckande takt. I våra senaste tester av ChatGPT-4 är vissa av problemen redan lösta. LLM-modeller har en förmåga att förbättras i otrolig fart, vilket stöder uppfattningen att LLM:er kan bli nästa paradigm för maskinöversättning.

Vi anser att leverantörer av neural MT med stor sannolikhet kommer att integrera aspekter av LLM-modeller i sin NMT-arkitektur, snarare än att LLM-modeller tar över det nuvarande paradigmet helt och hållet när detta utvecklas. Vi har kunnat se liknande hybridperioder när MT-industrin gick över från regelbaserad MT (RBMT) till statistisk MT (SMT).

Vad tycker översättare om resultaten från generativ AI?

Vad tycker mänskliga översättare om generativ AI? På grund av de nuvarande tillkortakommandena uppgav mänskliga utvärderare som jämförde resultaten från neurala MT-motorer med dem från LLM-modeller att de fortfarande föredrar resultaten från neural MT framför dem från LLM-modeller. Utvärderare har konsekvent uttryckt sådana preferenser, även de som bedömde resultat på kinesiska.

Kontakta oss

Läs vår blogg för att få veta mer om vår syn på ChatGPT:s översättningsresultat och vad de innebär för lokaliseringens framtid.

Om du vill veta mer om hur Lionbridge kan hjälpa dig att effektivt använda maskinöversättning, kontakta oss i dag.