Análisis de motores de TA

Este mes, queremos llamar su atención sobre el grado de formalidad que presentan las lenguas y sobre lo difícil, aunque no imposible, que resulta reproducirlo correctamente cuando se utiliza la traducción automática (TA).

Los motores de traducción automática pueden hacer un uso incorrecto e incoherente del grado de formalidad de un texto. Esto se debe a que los modelos de TA, por lo general, devuelven una única traducción para cada segmento de entrada. Cuando el segmento de entrada es ambiguo, el modelo debe elegir una traducción entre varias opciones válidas, sin tener en cuenta el público destinatario. Al dejar que sea el modelo el que elija entre varias opciones posibles, pueden aparecer incoherencias en las traducciones o generarse textos con un nivel de formalidad incorrecto.

Cuando el idioma de origen tiene menos grados de formalidad que el idioma de destino, resulta especialmente complicado obtener el resultado correcto. Por ejemplo, los modos formal e informal de algunas lenguas como el francés están perfectamente definidos («tu» y «vous»), mientras que, en inglés, esto no sucede.

A pesar de que la mayoría de los sistemas de TA no admiten diferentes niveles de formalidad lingüística ni parámetros relacionados con el género, actualmente se están produciendo ciertos avances al respecto. Por ejemplo, en estos momentos, DeepL (API) y Amazon (consola y SDK) ofrecen diversas funciones que permiten controlar el grado de formalidad. Smaⁱrt MT™, la solución de traducción automática diseñada para empresas de Lionbridge, permite aplicar reglas lingüísticas en el texto meta para generar traducciones automáticas con el grado de formalidad o el estilo deseados.

Estos ajustes resultan fundamentales para poder traducir de manera eficaz el texto origen de manera que se ajuste a las necesidades del público destinatario, lo que incluye abordar el uso del lenguaje formal e informal en el resultado de la TA. Las traducciones que parecen raras o, peor aún, ofensivas pueden poner en peligro a su empresa y provocar el distanciamiento de los usuarios.

Lea nuestra entrada del blog para obtener más información sobre la TA y las diferencias entre el lenguaje formal e informal.

    —Yolanda Martin, especialista en traducción automática de Lionbridge

Aunque el uso de la traducción automática (TA) puede resultar beneficioso, hay que ser prudente. Los motores de TA genéricos pueden producir traducciones erróneas y, sobre todo, generar resultados no deseados para ámbitos específicos desde el punto de vista terminológico, lo cual puede repercutir muy negativamente, por ejemplo, en los ámbitos médico y jurídico. Sin embargo, existen ciertas formas de mejorar los resultados de la TA.

La terminología puede ayudarle a mejorar la calidad de la TA y a conseguir traducciones precisas y coherentes.

Es fundamental entrenar sistemas de TA personalizados con textos bilingües específicos de un ámbito en concreto que incluyan terminología especializada. Aun así, si la terminología no se emplea de forma coherente, no se podrá garantizar la precisión de las traducciones cuando se entrenen los motores con textos especializados. Las investigaciones en este ámbito proponen introducir información lingüística en los sistemas de traducción automática neuronal (TAN). La implementación de anotaciones manuales o semiautomáticas dependerá de los recursos disponibles, como los glosarios, y de las limitaciones, como el tiempo, el coste y la disponibilidad de los anotadores humanos.

La herramienta Smaⁱrt MT™ de Lionbridge permite aplicar reglas lingüísticas en el texto de origen y de destino, así como reforzar la terminología a partir de listas de términos no traducibles (DNT) y de glosarios que se añaden a un perfil específico. Ayudamos a nuestros clientes a crear y mantener los glosarios, que se actualizan con frecuencia para incluir nuevos términos que resulten pertinentes y retirar aquellos que estén obsoletos. Los glosarios creados en Smaⁱrt MT pueden utilizarse en todos los motores de TA, lo que supone un ahorro de tiempo y dinero.

El uso de glosarios en proyectos de TA no es tan sencillo como parece, pues, si estos recursos no se utilizan bien, pueden repercutir de manera negativa en la calidad global de la traducción automática. La mejor forma de ceñirse a la terminología en la TA es mediante el entrenamiento de este tipo de sistemas. La combinación de motores de TA entrenados, glosarios personalizados e identificación de reglas de procesamiento anterior y posterior permiten garantizar que los resultados de la TA contendrán la terminología adecuada y que presentarán un estilo similar al de la documentación del cliente.

Consulte nuestro blog para obtener más información sobre el uso de la terminología para mejorar los resultados de la TA.

    —Yolanda Martin, especialista en traducción automática de Lionbridge

A medida que las empresas recurren más y más a la traducción automática (TA) como práctica habitual, los empleados tendrán que evitar que se difundan errores catastróficos.

Los errores catastróficos resultan más problemáticos que los típicos errores de la TA, que se engloban dentro de la tipología de errores vinculada con las características lingüísticas, como la ortografía, la gramática o la puntuación. Los errores catastróficos van más allá de la lingüística y se producen cuando el resultado del motor de TA se desvía considerablemente del mensaje previsto. La información errónea o los malentendidos resultantes pueden llegar a causar a las empresas problemas de reputación, financieros o legales e incluso podrían tener consecuencias negativas para la salud o la seguridad públicas. Por tanto, es fundamental encontrar formas de identificar esos errores y de evitar que pongan en riesgo las comunicaciones.

Lionbridge realiza controles de calidad específicos y automatizados en los textos traducidos para detectar errores fundamentales al tiempo que mantiene la velocidad de la TA y reduce la necesidad de la intervención humana.

Estos métodos automatizados permiten detectar:

• Significados opuestos entre los textos original y traducido
• Palabras ofensivas o soeces, o información confidencial
• Traducciones erróneas de los nombres propios de personas y organizaciones que también son términos comunes

Las empresas estarán mejor protegidas frente a los errores catastróficos cuando los informáticos mejoren la tecnología de TA existente para evitar estos errores de traducción. Hasta ese momento, podemos usar la tecnología automatizada para identificar posibles problemas, revisar oraciones problemáticas y promover la precisión durante el proceso de traducción.

Lea nuestro blog para profundizar en los errores catastróficos de la traducción automática.

    —Luis Javier Santiago, responsable del grupo de TA,

    y Rafa Moral, vicepresidente de Innovación de Lionbridge

Google NMT, Bing NMT, Amazon, DeepL, Yandex... ¿Cuál es el mejor motor? De acuerdo con los datos del mes pasado, y con la actual tendencia general, el rendimiento de los principales motores fue similar. Por ese motivo, merece la pena tener en cuenta otros factores al desarrollar una estrategia de TA, por ejemplo, la facilidad con la que los motores de TA traducen una combinación de idiomas concreta.

Identificar lo complicado que les resulta a los motores trabajar con un par de idiomas en concreto le ayudará a asignar el presupuesto a la hora de planificar los costes de traducción en todos los idiomas. Por ejemplo, tendrá que asignar más recursos a conseguir traducciones con una calidad excelente cuando se trate de combinaciones lingüísticas complejas. Disponer de información sobre la complejidad de un idioma puede ayudarle a respaldar sus decisiones empresariales.

La clasificación de los idiomas en función de su grado de traducibilidad no es un proceso sencillo; sin embargo, se pueden emplear distintos parámetros para evaluarlo. La distancia de edición, que representa el número de cambios que se realizan en una posedición para garantizar que el texto final posee la misma calidad que si hubiera sido realizado por un humano, puede ofrecer una idea de la complejidad y la capacidad de traducción de la TA para cada par de idiomas.

La mayoría de lenguas romances, como el portugués, el español, el francés y el italiano, necesitan menos cambios para alcanzar un nivel de calidad excelente al traducirse desde el inglés. Hemos detectado que estos idiomas de destino son los más fáciles de procesar para las máquinas, por eso ocupan las primeras cuatro posiciones en nuestra clasificación de traducibilidad automática. Por su parte, el húngaro y el finés, dos idiomas urálicos, son lenguas más complejas y se sitúan en las últimas posiciones de la clasificación, en los puestos 27 y 28. El estonio, otro idioma de la misma familia, también se encuentra entre los más complejos. Estos resultados, que se basan en millones de oraciones procesadas por Lionbridge, hacen hincapié en la importancia de las familias lingüísticas en los resultados de la TA.

A pesar de que las comparaciones intralingüísticas tienen sus limitaciones, la clasificación puede ofrecer información interesante para mejorar la gestión de proyectos multilingües. Lea nuestro blog para consultar la tabla con la clasificación de lenguas de Lionbridge al completo.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

En junio, observamos una ligera mejora en las traducciones al ruso con el motor de TA de Yandex, así como un pequeño descenso en los resultados de Microsoft Bing. Para determinar si son cambios dignos de mención o no, hemos analizado los resultados con diferentes métodos.

En lugar de utilizar un único patrón para medir la distancia de la traducción automática con una traducción humana «perfecta», hemos utilizado varias traducciones de referencia. Luego, hemos comparado las traducciones hechas automáticamente con diez traducciones de traductores profesionales. Con este enfoque, desaparecieron las pequeñas fluctuaciones de calidad observadas en el mes de junio con Yandex y Microsoft Bing. Podemos concluir así que no ha habido cambios en la calidad de los motores de traducción y que en junio los resultados han mantenido una trayectoria plana.

A veces los datos y las gráficas pueden llevar a engaño. Sobre todo, cuando hay pequeñas variaciones entre distintas mediciones. Por eso, para interpretar los resultados con precisión es recomendable no utilizar un solo enfoque para evaluar los datos.

Prevemos poco movimiento en la calidad de los motores de TA en los próximos meses. En esta sección ofreceremos análisis y observaciones generales sobre TA. Vuelva a visitarnos el mes que viene para ver comparativas entre combinaciones de idiomas de traducción automática. Veremos si es posible utilizar los datos para clasificar idiomas y familias lingüísticas según la complejidad de la TA y determinar si los motores pueden traducir algunos pares de idiomas con más facilidad que otros.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

Este mes, el rendimiento de los motores de TA ha mantenido una curva bastante plana en términos generales.

El motor de Amazon ha mejorado de forma gradual los resultados en la combinación de idiomas de inglés y español. De hecho, en este momento es el principal motor para esta combinación. Amazon también ha hecho algunos avances con otros idiomas, pero no en la misma medida que con la pareja de inglés y español. Creemos que estas mejoras resultan de cambios generales de la configuración y del trabajo con esa combinación lingüística. Parece que las optimizaciones afectan al tratamiento de algunos caracteres especiales y de segmentos con indicaciones de medidas.

Por segundo mes consecutivo, Yandex ha mostrado mejoras, aunque menores. Curiosamente, en este caso también son para español.

Como hemos dicho, no ha habido grandes cambios y el rendimiento de todos los motores se ha mantenido en un nivel similar. En los próximos meses, nos centraremos en analizar áreas concretas de TA y en hacer observaciones de tono general. Por supuesto, seguiremos monitorizando las grandes tendencias y evoluciones.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

Tras varios meses sin grandes cambios en la curva de rendimiento de su motor de traducción automática, Yandex ha hecho algunos progresos, especialmente con el motor de alemán.

En un análisis pormenorizado, hemos observado avances en los resultados que ofrecen sus motores al trabajar con frases que incluyen unidades de medida y signos de puntuación, como los de interrogación y exclamación, paréntesis o barras. Estos avances podrían ser el resultado de algunos ajustes en la configuración de traducción automática más que de mejoras en los modelos. Sin embargo, también mejoraron los resultados en nuestro seguimiento de términos raros, por lo que el progreso hecho por Yandex podría deberse a optimizaciones de los modelos o a un mayor entrenamiento de los datos.

El año pasado por estas fechas, varios motores de TA mostraron algunas mejoras que nos parecieron interesantes. Cabe preguntarse si estos avances siguen cierto patrón temporal y si este año veremos algo parecido a lo que observamos en 2021. Llevamos un seguimiento del rendimiento de la traducción automática de estos motores, y nuestra intención es presentar las conclusiones de aquí a un mes.

La evaluación de los motores de TA cada vez despierta mayor interés. En términos generales, la TA se considera una tecnología ya madura y se reconoce su utilidad para casi todas las tareas de traducción (con intervención humana, sin ella y también conceptos híbridos). Aun así, los usuarios de esta tecnología siguen teniendo dificultades para encontrar la forma correcta de evaluar, medir y mejorar sus resultados.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

Si ha seguido estas páginas, ya estará familiarizado con nuestras evaluaciones comparativas genéricas de traducción automática (TA). Cada mes, destacamos los motores de TA con mejores resultados en combinaciones de idiomas concretas y señalamos las mejoras. Este marzo, no ha habido una evolución notable en sus resultados. Se trata de una tendencia que venimos observando desde hace tiempo y, como señalamos el mes pasado, puede ser síntoma de la necesidad de un nuevo paradigma de TA.

Aunque aquí presentamos resultados genéricos, cada vez se demandan más comparativas personalizadas de TA. A diferencia de la modalidad genérica, estas evaluaciones tienen en cuenta las necesidades concretas de las empresas para elegir el motor de TA idóneo para su caso.

Si una empresa quiere empezar a utilizar traducción automática o mejorar el uso que hace de ella, es fundamental determinar qué motores le ofrecerían mejores resultados. En nuestras evaluaciones personalizadas, adoptamos un concepto similar al que se muestra en esta página, pero hacemos recomendaciones basadas en el tipo de contenido y las combinaciones de idiomas con las que quiera trabajar cada empresa.

Aunque existen comparativas personalizadas desde hace años, la demanda no para de crecer, y creemos que esta tendencia está relacionada con el importante papel que tiene la traducción automática para el éxito comercial en el mercado digital.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

El motor de traducción automática de Google mostró una débil mejora durante enero y febrero de 2022, mientras que los demás motores analizados se mantuvieron en los mismos niveles. Estas observaciones pueden llevar a preguntarnos si el paradigma de la traducción automática neuronal está llegando a un punto muerto. Además, se observaron tendencias similares cuando la TA neuronal sustituyó a la traducción automática estadística, por lo que cabe también preguntarse si es necesario un nuevo cambio de paradigma.

Al final de la era de la traducción automática estadística, la calidad de los resultados de la TA apenas variaba. Al mismo tiempo, los resultados de calidad de los distintos motores convergieron. En este momento, apreciamos tendencias similares. La traducción automática basada en reglas tiene ya treinta años de historia, la TA estadística tuvo una década de protagonismo y la TA neuronal se encuentra ya en su sexto año. Si creemos en las teorías de rendimientos acelerados y de crecimiento exponencial, todo esto nos haría pensar que, si bien es posible que la TA neuronal no se vea sustituida de forma inminente, tampoco parece lejano un nuevo cambio de paradigma.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

En el mes de enero, los principales motores de traducción automática no han mostrado cambios significativos en materia de rendimiento.

En el caso de Google, se han observado ligeras mejoras incrementales en algunos idiomas y ámbitos. Mientras, el rendimiento de casi todos los demás motores ha seguido una curva de evolución plana. Microsoft experimentó mejoras en los meses anteriores, pero su rendimiento se ha estancado en enero. En términos generales, la calidad de Google Translate sigue siendo líder en tecnología de traducción automática de uso general. 

En diciembre, añadimos un quinto motor de traducción automática a nuestro rastreador. Con la monitorización de Yandex podemos analizar mejor la calidad de la traducción automática de ruso.

    —Rafa Moral, vicepresidente de Innovación de Lionbridge

    —Jordi Macias, vicepresidente de Excelencia Lingüística de Lionbridge