Analys av maskinöversättningsmotorer

Den här månaden vill vi uppmärksamma språkets formalitet och hur svårt – men inte omöjligt – det är att få rätt på det vid användning av maskinöversättning (MT).

Maskinöversättningsmotorer (MT) kan producera innehåll med felaktig och inkonsekvent formalitet. Hur kommer det sig? Vanligtvis levererar MT-modeller en enda översättning för varje källsegment. Om källsegmentet är tvetydigt måste modellen välja en översättning bland flera giltiga alternativ, oberoende av målgrupp. Om modellen själv får välja mellan olika giltiga alternativ kan det leda till inkonsekventa översättningar eller översättningar med felaktig formell nivå.

Det är särskilt svårt att uppnå rätt resultat när källspråket har färre formalitetsnivåer än målspråket. Till exempel har språk som franskan väldefinierade formella former – tu respektive vous – medan engelskan inte har det.

De flesta MT-system stöder visserligen inte språkformalitet eller genusparametrar, men vi ser vissa framsteg. För närvarande erbjuder DeepL (API) och Amazon (konsol och SDK) funktioner som styr formalitet. I Lionbridges Smaⁱrt MT™, en maskinöversättningslösning för företag, kan språkliga regler tillämpas på måltexten för att producera maskinöversättningar med önskad formell nivå.

Det är väldigt viktigt att översätta källtexten på ett effektivt sätt för att tillgodose målgruppernas behov. Då behöver du också hantera formellt och informellt språk i maskinöversättningar. Översättningar som låter ”onaturliga” eller – ännu värre – oförskämda riskerar att skrämma bort dina målgrupper.

I vår blogg kan du läsa mer om maskinöversättning och formellt respektive informellt språkbruk.

    – Yolanda Martin, MT-specialist på Lionbridge

Det kan vara till en fördel att använda maskinöversättning (MT), men det gäller att tänka sig för. Allmänna MT-motorer kan producera felaktiga översättningar och framför allt ge oönskade resultat inom vissa områden ur ett terminologiskt perspektiv. Effekterna kan bli särskilt allvarliga på de medicinska och juridiska områdena. Men det finns saker du kan göra för att förbättra MT-resultaten.

Genom att använda terminologi kan du höja MT-kvaliteten och se till att översättningar blir korrekta och konsekventa.

Det är väldigt viktigt att träna anpassade MT-system med tvåspråkiga texter från det aktuella området som även innehåller specialiserad terminologi. Om terminologin inte används konsekvent går det emellertid inte att garantera att översättningarna blir helt perfekta, även om motorerna tränas med specialiserade texter. Forskare på det här området rekommenderar att språkinformation läggs in i neurala maskinöversättningssystem (NMT). Möjligheten att manuellt eller halvautomatiskt märka upp data beror på tillgängliga resurser, som ordlistor, och begränsningar, som tid, kostnad och tillgång till medarbetare som kan utföra märkningen.

Lionbridges Smaⁱrt MT™ kan användas för att lägga till språkliga regler i käll- och måltexten och för att tillämpa terminologi baserat på ordlistor och listor med ord som inte ska översättas, som läggs till i en viss profil. Vi hjälper våra kunder att skapa och underhålla ordlistor, som regelbundet förfinas genom att lägga till nya, relevanta termer och ta bort föråldrad terminologi. När ordlistor väl har skapats i Smaⁱrt MT kan de sedan användas till alla MT-motorer, vilket sparar både tid och pengar.

Det är dock inte lika enkelt som man kan tro att använda ordlistor till MT-projekt. Om ordlistor används på ett felaktigt sätt kan de ha negativ effekt på maskinöversättningens allmänna kvalitet. Det bästa sättet att följa terminologi i MT är genom MT-träning. Genom att kombinera tränade MT-motorer med anpassade ordlistor och identifiering av regler för för- och efterbehandling kan man se till att maskinöversatta texter innehåller rätt terminologi och har en stil som stämmer överens med kundens övriga dokumentation.

Läs vår blogg för att ta del av fler insikter om hur du kan använda terminologi för att förbättra MT-resultat.

    – Yolanda Martin, MT-specialist på Lionbridge

Det blir allt vanligare att företag förlitar sig på maskinöversättning som standardmetod. Då vill det till att medarbetarna lyckas förhindra spridningen av katastrofala fel.

Katastrofala fel är ett mycket större problem än vanliga maskinöversättningsfel som beror på olika fel kopplade till språkliga aspekter som stavning, grammatik eller skiljetecken. Katastrofala fel handlar om mer än bara språket och uppstår när resultatet från översättningsmotorn avviker från det avsedda budskapet på ett direkt farligt sätt. Den desinformation eller de missförstånd som då uppstår kan skada företags anseende och orsaka ekonomiska eller juridiska problem. De kan även få konsekvenser för den allmänna säkerheten eller folkhälsan. Det är väldigt viktigt att vi kan hitta sätt att identifiera de här felen och undvika att de komprometterar din kommunikation.

Lionbridge genomför anpassade, automatiska kvalitetskontroller av översatt text för att upptäcka kritiska fel och samtidigt bibehålla MT-hastigheten och minska behovet av manuella ingrepp.

Våra automatiska kontroller upptäcker:

• Motsatta betydelser i original och översatta texter
• Stötande, hädiskt eller känsligt språkbruk
• Felaktiga översättningar av namn på personer eller organisationer som även är vanliga ord

Företag kommer att bli bättre skyddade mot katastrofala fel när datavetare lyckas förbättra den befintliga MT-tekniken för att undvika den här sortens översättningsfel. Under tiden kan vi använda automatiserad teknik för att identifiera potentiella problem, skriva om problematiska meningar och främja precision under översättningsprocessen.

I vår blogg tar vi en närmare titt på de katastrofala fel som kan uppstå vid maskinöversättning.

    - Luis Javier Santiago, MT Group Leader,

    och Rafa Moral, Lionbridge Vice President, Innovation 

Google NMT, Bing NMT, Amazon, DeepL, Yandex – vilken motor är egentligen bäst? Den senaste månadens data – och den allmänna trenden just nu – visar att de stora motorerna ger likartade resultat. Därför är det väl värt att ta hänsyn till ytterligare faktorer när du utvecklar din MT-strategi, till exempel hur enkelt det är för olika MT-motorer att översätta specifika språkkombinationer.

Genom att ta reda på hur svårt det är för motorer att hantera vissa språkkombinationer kan du enklare planera din budget när du avsätter översättningskostnader till olika språk. Du kanske till exempel behöver lägga ner mer resurser på kvalitetsöversättningar när du arbetar med komplicerade språkkombinationer. Insikter om språkens komplexitet kan hjälpa dig att fatta bättre affärsbeslut.

Att rangordna språk utifrån hur lätta de är att översatta är inte helt enkelt, men vi kan använda olika mått för att bedöma det. Redigeringsavstånd är ett mått för hur många ändringar en efterredigerare gör för att se till att den färdiga texten håller lika hög kvalitet som efter manuell översättning. Det kan ge dig en uppfattning om hur komplex maskinöversättningen är eller hur översättningsbara texter är mellan olika språk.

De flesta romanska språk, som portugisiska, spanska, franska och italienska, kräver färre ändringar för att uppnå hög kvalitet vid översättning från engelska. Vi har fastställt att de här målspråken är enklast för maskiner att hantera, och de intog de fyra översta platserna i vår lista över språk som är lättast att maskinöversätta till. Ungerska och finska – två uraliska språk – är mer komplicerade. De hamnade sist på vår lista med plats 27 respektive 28. Estniska är ett annat språk i samma familj och räknas också till de mer komplexa språken. De här resultaten bygger på miljontals meningar som behandlats av Lionbridge och understryker hur viktig språkfamiljen är för MT-resultat.

Jämförelser mellan språk har visserligen sina begränsningar, men listan kan ändå ge oss intressanta insikter om hur vi kan bli bättre på att hantera flerspråkiga projekt. I vår blogg hittar du hela Lionbridges rankningstabell för olika språk.

    – Rafa Moral, Lionbridges Vice President för innovation

I juni noterade vi en minimal förbättring av ryska översättningar i Yandex MT-motor och en lätt svacka i översättningsresultaten från Microsoft Bings MT-motor. Är det här anmärkningsvärda förändringar eller obetydliga, enstaka resultat? För att få det på det analyserade vi resultaten på ett annat sätt.

I stället för att använda en enda guldstandard, som mäter avståndet mellan MT-översättningen och en ”perfekt” manuell översättning, använde vi flera referensöversättningar. Vi jämförde varje översättning som utförts av maskiner med tio översättningar utförda av professionella översättare. När vi använde den här metoden försvann de små variationerna i översättningskvalitet som vi sett hos Yandex och Microsoft Bing i juni. Med andra ord kan vi dra slutsatsen att det inte har skett några förändringar i MT-översättningskvaliteten. Resultaten för juni var oförändrade.

Ibland kan data och deras grafiska gestaltning vara missvisande. Det sker ofta när det är små delta bland olika mätningar. Därför är det en god idé att använda flera metoder för att utvärdera data och kunna göra en korrekt tolkning av resultaten.

Vi förutspår små förändringar i MT-motorernas kvalitet de närmsta månaderna. Vi kommer att använda det här avsnittet för att presentera analyser och allmänna MT-observationer. Nästa månad kan du hålla utkik efter jämförelser mellan MT-språkkombinationer. Vi tänkte undersöka om det går att använda data för att klassificera språk och språkfamiljer utifrån MT-komplexitet och fastställa om maskiner enklare kan översätta vissa språkkombinationer än andra.

    – Rafa Moral, Lionbridges Vice President för innovation

I huvudsak har det varit ännu en stillastående månad för MT-motorer.

Vi kunde se att Amazon har åstadkommit viss förbättring när det gäller motorns förmåga att hantera språkkombinationen engelska-spanska. Detta är just nu den ledande motorn i språkkombinationen. Amazon har också gjort en del framsteg i andra språk, men mindre steg än för språkkombinationen engelska-spanska. Vi gissar att framstegen har sin förklaring i vissa allmänna ändringar av inställningarna till följd av arbetet med språkkombinationen engelska-spanska. Förbättringarna tycks påverka behandlingen av vissa specialtecken och strängar med måttuttryck.

För andra månaden i rad har Yandex åstadkommit mindre förbättringar. Det är intressant att notera att även dessa förändringar avser spanska.

Som vi tidigare sett har det inte skett någon betydande utveckling. Samtliga motorer fungerar ungefär som tidigare. Under kommande månader tänker vi analysera vissa enskilda MT-områden och göra allmänna observationer. Naturligtvis kommer vi även att följa stora framsteg.

    – Rafa Moral, Lionbridges Vice President för innovation

MT-motorns prestanda har legat stilla på samma nivå i flera månader, men nu har Yandex gjort vissa framsteg – framför allt med sin tyska motor.

Vid en noggrann analys såg vi förbättringar i Yandex-motorernas hantering av meningar med skiljetecken som frågetecken, utropstecken, parenteser och snedstreck – liksom måttenheter. De här framstegen kan vara en följd av finjusteringar i MT-inställningarna, snarare än förbättringar av själva modellerna. Vi såg dock även bättre resultat vid spårning av sällsynta begrepp, så Yandex framsteg kan också beror på viss finslipning av modellerna eller mer dataträning.

Vid ungefär den här tiden förra året uppvisade flera MT-motorer förbättringar som vi tyckte var intressanta. Går det att skönja ett tidsmönster i de här framstegen? Kommer vi att se något som påminner om det vi noterade 2021 även i år? Vi följer MT-prestandan för de här motorerna och kommer att rapportera om våra resultat under nästa månad eller så.

Rent generellt ökar intresset för att utvärdera MT-motorer. I dag är nästan alla överens om att MT är en mogen teknik. Användare inser hur användbar tekniken är till nästan alla sorters översättning – med eller utan manuella ändringar och hybridmetoder. MT-användare har emellertid fortfarande svårt att hitta rätt sätt att utvärdera, mäta och förbättra MT-resultat.

    – Rafa Moral, Lionbridges Vice President för innovation

Om du har följt de här sidorna känner du till våra allmänna jämförelser av maskinöversättningsmotorer. Varje månad fastställer vi vilka maskinöversättningsmotorer som har presterat bäst i olika språkkombinationer och följer motorernas utveckling. I mars låg utvecklingskurvan för olika maskinöversättningsmotorer platt. Det är en trend som vi har noterat sedan en tid tillbaka och som vi påpekade förra månaden kan detta vara ett tecken på att ett nytt paradigmskifte inom maskinöversättningsmotorer behövs.

Resultaten som vi delar är visserligen allmänna, men företag genomför i allt större omfattning anpassade jämförelser av maskinöversättningsmotorer. Till skillnad från allmänna jämförelser tar de här bedömningarna hänsyn till ett företags specifika behov för att välja ut de mest fördelaktiga maskinöversättningsmotorerna.

När ett företag vill börja använda maskinöversättning eller förbättra sina befintliga metoder för att använda maskinöversättning är det väldigt viktigt att fastställa vilka maskinöversättningsmotorer som kommer att fungera bäst. När vi genomför anpassade bedömningar använder vi en metod som påminner om den som presenteras på den här sidan, men vi ger rekommendationer baserat på företagets behov utifrån innehållstyp och språkkombination.

Anpassade jämförelser av maskinöversättningsmotorer har visserligen varit tillgängliga i flera år, men efterfrågan på dem ökar i dag. Vi anser att den här trenden beror på att maskinöversättning spelar en så viktig roll för att hjälpa företag att lyckas på en digital marknad.

    – Rafa Moral, Lionbridges Vice President för innovation

Googles maskinöversättningsmotor förbättrades något under januari och februari 2022, medan andra motorer som vi följer stod stilla i utvecklingen. De här observationerna kan föranleda vissa brännande frågor. Är paradigmet för neural maskinöversättning (NMT) på väg att nå en platå? Krävs det ett nytt paradigmskifte, med tanke på att motorerna verkar ha svårt att ta betydande steg framåt? Vi noterade liknande trender när NMT ersatte statistisk maskinöversättning.

Under den statistiska maskinöversättningens sista tid skedde praktiskt taget inga förbättringar av kvaliteten hos maskinöversättningarna. Vi kunde också se att kvaliteten på maskinöversättningar från olika motorer blev allt jämnare. I dag noterar vi liknande trender. NMT kommer visserligen inte att ersättas i närtid, men om vi sätter vår tilltro till teorier om exponentiell tillväxt och ökad avkastning är ett nytt paradigmskifte kanske inte så långt borta – särskilt inte om vi ser till den regelbaserade maskinöversättningens 30-åriga historia och den statistiska maskinöversättningens decennielånga dominans, och det faktum att NMT nu är inne på sitt sjätte år.

    – Rafa Moral, Lionbridges Vice President för innovation

Under januari månad har de största maskinöversättningsmotorerna inte gjort några betydande framsteg när det gäller resultat. 

Google har steg för steg visat små förbättringar inom vissa språk och områden. Resultaten för de flesta övriga motorer har legat kvar på samma nivå. Microsoft har uppnått förbättringar de senaste månaderna, men resultaten var oförändrade under januari. På det stora hela är kvaliteten i Google Translate fortfarande ledande när det gäller maskinöversättning av allmänna texter. 

I december lade vi till en femte maskinöversättningsmotor i vårt bedömningsverktyg. Genom att övervaka Yandex kan vi få bättre analyser av maskinöversättningskvaliteten för ryska.

    – Rafa Moral, Lionbridges Vice President för innovation

    —Jordi Macias, Lionbridge Vice President, Language Excellence