Analyse des moteurs TA

Ce mois-ci, nous souhaitons attirer votre attention sur la formalité linguistique et la difficulté, mais pas l'impossibilité, de la rendre correctement lors de l'utilisation de la traduction automatique (TA).

Les moteurs de traduction automatique (TA) peuvent rendre des degrés de formalité incorrects et incohérents. Pourquoi ? Les modèles de TA émettent généralement une seule traduction pour chaque segment source. Lorsque ledit segment est ambigu, le modèle doit choisir une traduction parmi plusieurs options valides, quel que soit le public cible. Ce choix aléatoire du modèle entre différentes options valides peut entraîner des traductions incohérentes ou des traductions dont le niveau de formalité est incorrect.

Il est particulièrement difficile d'obtenir un résultat correct lorsque la langue source a moins de niveaux de formalité que la langue cible. Par exemple, des langues comme le français ont des modes formels bien définis, avec le tutoiement et le vouvoiement, alors que l'anglais n'en a pas.

Bien que la plupart des systèmes de TA ne prennent pas en charge la formalité linguistique ou les paramètres de genre, nous constatons des progrès. Actuellement, DeepL (API) et Amazon (console et SDK) proposent des fonctionnalités qui contrôlent la formalité. Smaⁱrt MT™ de Lionbridge, une solution de traduction automatique d'entreprise, permet d'appliquer des règles linguistiques au texte cible pour produire des traductions automatiques avec le style ou la formalité souhaités.

Il est essentiel de traduire efficacement votre source pour répondre aux besoins de vos publics cibles, ce qui inclut le traitement du langage formel et informel dans votre résultat de TA. Les traductions imprécises ou, pire encore, grossières vous exposent au risque de perdre votre public.

Lisez notre blog pour en savoir plus sur la TA et le langage formel vs informel.

—Yolanda Martin, spécialiste de traduction automatique chez Lionbridge

Il peut être avantageux d'utiliser la traduction automatique (TA), mais vous devez procéder avec prudence. Les moteurs de TA génériques peuvent produire des traductions erronées et peuvent notamment provoquer des résultats indésirables pour des domaines spécifiques d'un point de vue terminologique. L'impact peut être particulièrement nocif dans les domaines médicaux et juridiques. Mais il y a des choses que vous pouvez faire pour améliorer les résultats de la TA.

L'utilisation de la terminologie peut vous permettre d'améliorer la qualité de la traduction automatique et d'obtenir des traductions précises et cohérentes.

Il est impératif d'entraîner des systèmes de TA personnalisés avec des textes bilingues spécifiques à un domaine qui incluent une terminologie spécialisée. Néanmoins, il est impossible d'obtenir des traductions fiables lorsque les moteurs sont entraînés avec des textes spécialisés où la terminologie n'est pas utilisée de manière cohérente. Les recherches dans ce domaine suggèrent d'injecter des informations linguistiques dans les systèmes de traduction automatique neuronale (NMT). La mise en œuvre de l'annotation manuelle ou semi-automatique dépend des ressources disponibles (glossaires. etc.) ainsi que des contraintes (temps, coût, disponibilité des annotateurs humains, etc.).

Smaⁱrt MT™ de Lionbridge permet d'appliquer des règles linguistiques au texte source et cible, de prendre en compte de la terminologie à ne pas traduire (DNT – Do Not Translate) ainsi que d'ajouter des listes de glossaires à un profil spécifique. Nous aidons nos clients à créer et à maintenir des glossaires, qui sont régulièrement perfectionnés pour inclure de nouveaux termes pertinents et supprimer la terminologie obsolète. Une fois que les glossaires ont été créés dans Smaⁱrt MT, ils peuvent être utilisés pour tous les moteurs TA, ce qui permet d'économiser du temps et de l'argent.

L'utilisation de glossaires pour les projets de TA n'est pas aussi simple qu'il n'y paraît. Les glossaires, s'ils sont utilisés de manière inappropriée, peuvent nuire à la qualité globale de la traduction automatique. La meilleure façon de suivre la terminologie en TA consiste à entraîner la TA. La combinaison de moteurs de TA entraînés, de personnalisation des glossaires et d'identification des règles de prétraitement et de post-traitement garantit que le résultat de la TA contient la terminologie appropriée et se rapproche en termes stylistiques de la documentation du client.

Lisez notre blog pour en savoir plus sur l'utilisation de la terminologie pour améliorer le résultat de la TA.

—Yolanda Martin, spécialiste de traduction automatique chez Lionbridge

Alors que les entreprises recourent de plus en plus à la traduction automatique (TA), les employés doivent redoubler de vigilance vis-à-vis des risques de diffusion d'erreurs catastrophiques.

Les erreurs catastrophiques sont plus problématiques que les erreurs de TA standard, qui se rapportent à la typologie des erreurs liées aux caractéristiques linguistiques, telles que l'orthographe, la grammaire ou la ponctuation. Ces erreurs transcendent la linguistique et se produisent lorsque le résultat du moteur s'écarte dangereusement du message prévu. La désinformation ou les malentendus qui en résultent sont susceptibles de causer des problèmes de réputation, financiers ou juridiques aux entreprises et peuvent avoir des conséquences néfastes sur la sécurité ou la santé publique. Il est essentiel de trouver des moyens de les identifier et de les empêcher de compromettre vos communications.

Lionbridge administre des contrôles de qualité automatisés spécifiques dans les textes traduits pour détecter les erreurs critiques tout en préservant la vitesse de la traduction automatique et en réduisant le besoin d'intervention humaine.

Ces méthodes automatisées détectent :

• Les sens opposés entre les textes originaux et traduits
• Les mots offensants, grossiers ou très sensibles
• Les traductions incorrectes de noms propres d'individus et d'organisations qui sont également des mots courants

Les entreprises seront mieux protégées contre les erreurs catastrophiques à mesure que les informaticiens amélioreront la technologie de traduction automatique existante pour les éviter. En attendant, nous pouvons utiliser une technologie automatisée pour identifier les problèmes potentiels, réviser les phrases problématiques et promouvoir l'exactitude pendant le processus de traduction.

Lisez notre blog pour un examen approfondi des erreurs catastrophiques qui peuvent survenir lors de la traduction automatique.

—Luis Javier Santiago, chef de groupe TA et Rafa Moral, vice-président de Lionbridge, Innovation

Google NMT, Bing NMT, Amazon, DeepL, Yandex – quel est le meilleur moteur ? Les données du mois dernier – et la tendance générale actuelle – montrent que les principaux moteurs fonctionnent au même niveau. C'est la raison pour laquelle il vaut la peine de prendre en compte des facteurs supplémentaires lors de l'élaboration de votre stratégie de traduction automatique, tels que la facilité avec laquelle les moteurs de TA traduisent des paires de langues spécifiques.

Identifier à quel point il est difficile de gérer des paires de langues spécifiques pour certains moteurs vous aidera à budgétiser vos coûts de traduction à allouer aux différentes langues. Par exemple, vous devrez déployer plus d'efforts pour obtenir des traductions de haute qualité relativement à des paires de langues complexes. Avoir une notion de la complexité d'une langue peut vous aider dans vos prises de décisions commerciales.

Classer les langues par traduisibilité n'est pas une tâche aisée, cependant, nous disposons de différentes métriques pour les évaluer. La distance d'édition, c'est à dire les différentes modifications qu'un post-éditeur apporte pour s'assurer que le texte final a une qualité professionnelle, et les métriques d'évaluation de la traduction automatique peuvent donner une idée de la complexité et de la traduisibilité automatique pour chaque paire de langues.

La plupart des langues romanes, telles que le portugais, l'espagnol, le français et l'italien, nécessitent moins de modifications pour atteindre des niveaux de qualité élevés lorsqu'elles sont traduites depuis l'anglais. Nous avons identifié ces langues cibles telles que les plus simples à gérer pour les moteurs, occupant donc les quatre premières places de notre classement de traduisibilité automatique. Le hongrois et le finnois – deux langues ouraliennes – comptent parmi les langues les plus complexes, et sont arrivées aux dernières places de notre classement, soit aux 27ème et 28ème places. L'estonien, autre langue de la même famille, fait également partie des langues les plus complexes. Ces résultats, basés sur des millions de phrases traitées par Lionbridge, soulignent l'importance des familles linguistiques dans les résultats de traduction automatique.

Bien que la comparaison intra-langue ait ses limites, le classement peut fournir des informations intéressantes pour mieux gérer les projets multilingues. Lisez notre blog pour voir le tableau de classement des langues de Lionbridge dans son intégralité.

– Rafa Moral, vice-président de Lionbridge, Innovation

En juin, nous avons observé une petite amélioration des traductions russes par le moteur de TA de Yandex et une petite baisse des résultats de traduction par le moteur de TA de Microsoft Bing. S'agit-il de changements notables ou de résultats insignifiants et fallacieux ? Pour le savoir, nous avons analysé les résultats différemment.

Au lieu d'utiliser un seul étalon-or qui mesure la distance entre une traduction automatique et une traduction humaine « parfaite », nous avons utilisé plusieurs traductions de référence. Nous avons comparé chaque traduction faite par des machines à 10 traductions réalisées par des traducteurs professionnels. Lorsque nous avons adopté cette approche, les petites fluctuations de la qualité des traductions par Yandex et Microsoft Bing en juin ont disparu. Ainsi, nous pouvons conclure qu'il n'y a eu aucun changement dans la qualité de la TA. Les résultats de juin sont stables.

Parfois, les données et leurs représentations graphiques peuvent être trompeuses. Cela se produit souvent lorsqu'il existe de petits deltas entre différentes mesures. C'est une bonne pratique d'utiliser plus d'une approche pour évaluer les données afin d'interpréter les résultats avec précision.

Nous prévoyons peu de mouvement dans la qualité des moteurs de TA dans les mois à venir. Nous utiliserons cette section pour fournir une analyse et des observations générales de TA. Le mois prochain, recherchez des comparaisons entre les paires de langues TA. Nous explorerons s'il est possible d'utiliser des données pour classer les langues et les familles de langues par complexité de la TA et déterminerons si les machines peuvent traduire certaines paires de langues plus facilement que d'autres.

– Rafa Moral, vice-président de Lionbridge, Innovation

Il s'est essentiellement agi d'un autre mois de stagnation pour les moteurs de TA.

Nous avons remarqué qu'Amazon a progressivement amélioré la façon dont son moteur gère la paire anglais-espagnol. C'est maintenant le moteur leader dans cette paire de langues. Amazon a également fait des progrès mineurs dans les autres langues, mais plus petits que ses améliorations dans la paire anglais-espagnol. Nous supposons que ces progrès sont dus à certains changements de paramètres génériques et à la suite de travaux concernant la paire anglais-espagnol. Les améliorations semblent affecter le traitement de certains caractères spéciaux et segments avec des expressions de mesure.

Pour le deuxième mois consécutif, Yandex a apporté des améliorations mineures. Fait intéressant, ces améliorations affectent également l'espagnol.

Comme nous l'avons noté précédemment, il n'y a pas eu de changements significatifs. Tous les moteurs fonctionnent de la même manière. Dans les mois à venir, nous analyserons certains domaines spécifiques de TA et vous ferons part de nos observations générales. Bien sûr, nous suivrons également les développements majeurs.

– Rafa Moral, vice-président de Lionbridge, Innovation

Après plusieurs mois de performances stables de son moteur TA, Yandex a montré quelques progrès, notamment au niveau de son moteur allemand.

Dans une analyse détaillée des moteurs Yandex, nous avons constaté une amélioration de la gestion des phrases comportant des caractères de ponctuation (points d'interrogation, points d'exclamation, parenthèses et barres obliques), ainsi que des unités de mesure. Il se peut que ces développements découlent d'ajustements de paramètres de TA plutôt que de l'amélioration des modèles. D'un autre côté, nous avons également relevé de meilleures performances dans notre suivi de termes rares, ce qui pourrait indiquer un affinement des modèles ou davantage d'entraînement des données de la part de Yandex.

À peu près à la même époque l'année dernière, plusieurs moteurs de TA ont montré des améliorations que nous avons trouvées intéressantes. Cela indique-t-il un schéma temporel ? Verrons-nous en 2022 quelque chose de similaire à ce que nous avons observé l'année dernière ? Nous continuons à suivre les performances de TA de ces moteurs et nous publierons nos résultats prochainement.

D'une manière générale, on constate un intérêt accru envers l'évaluation des moteurs de TA. Aujourd'hui, presque tout le monde convient que la technologie de TA a fait ses preuves. L'utilité de cette technologie est largement reconnue relativement à la quasi totalité des besoins de traduction, avec ou sans intervention humaine et à travers des approches hybrides. Les utilisateurs de la TA ont néanmoins encore du mal à trouver le bon moyen d'évaluer, de mesurer et d'améliorer les résultats de TA.

– Rafa Moral, vice-président de Lionbridge, Innovation

Si vous avez suivi ces pages, vous connaissez nos évaluations comparatives de TA génériques. Chaque mois, nous identifions les moteurs de traduction automatique les plus performants pour des paires de langues données et suivons les améliorations du moteur. En mars, les performances des différents moteurs de TA ont été stables. C'est une tendance que nous observons depuis un certain temps déjà. Comme nous l'avons commenté le mois dernier, cela peut indiquer qu'un nouveau paradigme de TA est nécessaire.

Alors que nous partageons des résultats génériques, les entreprises recherchent de plus en plus des évaluations comparatives de TA personnalisées. Contrairement à la version générique, ces évaluations prennent en considération les besoins spécifiques d'une entreprise lors de la détermination des moteurs de TA les plus avantageux.

Lorsqu'une entreprise souhaite commencer à utiliser la TA ou améliorer la façon dont elle utilise actuellement la TA, il est essentiel d'identifier les moteurs TA qui fonctionneront le mieux. Lorsque nous exécutons des évaluations personnalisées, nous adoptons une approche similaire à celle présentée sur cette page, mais nous formulons des recommandations basées sur le type de contenu et les exigences de la paire de langues d'une entreprise.

Bien que des évaluations comparatives TA personnalisées soient disponibles depuis des années, elles sont de plus en plus demandées. Nous attribuons cette tendance au rôle important que joue la TA pour aider les entreprises à réussir sur un marché numérique.

– Rafa Moral, vice-président de Lionbridge, Innovation

Le moteur TA de Google a montré d'infimes améliorations en janvier et février 2022, tandis que les autres moteurs que nous suivons sont restés stagnants. Ces observations peuvent nous amener à nous poser quelques questions pointues. Le paradigme de la traduction automatique neuronale (NMT) est-il parvenu à un plateau ? Un nouveau changement de paradigme est-il nécessaire compte tenu de l'incapacité des moteurs à faire des progrès significatifs ? Nous avons constaté des tendances similaires lorsque la NMT a remplacé la TA statistique.

À la fin de l'ère de la TA statistique, il n'y avait pratiquement aucun changement dans la qualité des résultats de TA. De plus, la qualité des résultats des différents moteurs TA a convergé. Nous observons des tendances similaires. La NMT ne sera probablement pas remplacée à court terme, mais si l'on considère les théories de la croissance exponentielle et de l'accélération des rendements, ainsi que le parcours de 30 ans de la TA basée sur les règles, l'importance de la décennie de la TA statistique et le fait que la NMT est entrée dans sa sixième année, un nouveau changement de paradigme pourrait ne pas être pas si loin.

– Rafa Moral, vice-président de Lionbridge, Innovation

Au cours du mois de janvier, les principaux moteurs de traduction automatique (TA) n'ont pas montré de changements significatifs dans leurs performances. 

Google a apporté de petites améliorations progressives dans certaines langues et domaines. Les performances de la plupart des autres moteurs ont été stables. Microsoft a connu des améliorations au cours des derniers mois, mais les performances ont plafonné en janvier. Dans l'ensemble, la qualité de Google Traduction continue de dominer la technologie de traduction automatique à usage général. 

En décembre, nous avons ajouté un cinquième moteur TA à notre outil de suivi. En surveillant Yandex, nous pouvons mieux analyser la qualité de la TA en langue russe.

– Rafa Moral, vice-président de Lionbridge, Innovation