Un modèle d'IA générative a surpassé un moteur de traduction automatique neuronale au cours d'une évaluation de traduction automatique

Pour la première fois dans nos évaluations comparatives de traduction automatique (MT), un modèle d'intelligence artificielle (IA) générative a proposé une meilleure traduction qu'un moteur de traduction automatique neuronale (NMT). Plus précisément, le grand modèle de langage (LLM) GPT-4 a légèrement surpassé Yandex pour la paire de langues anglais-chinois.

Penchons-nous sur les implications de cette évolution.

Les fournisseurs de MT doivent se maintenir au premier plan de cette évolution technologique et se demander en quoi elle impactera leur moteur de MT actuel, afin de proposer des solutions exploitant pleinement ces avancées. Les acheteurs de MT doivent se tenir informés des évolutions afin d'orienter leurs investissements de façon avisée. Ces investissements devront probablement inclure des technologies basées sur le LLM et non des solutions uniquement fondées sur la MT neuronale.

Le LLM surpasse la qualité du moteur de MT neuronale : est-ce important ?

Le résultat de cette évaluation marque une avancée, mais prenons un peu de recul. Il concernait un seul modèle pour une seule paire de langues. Le LLM a livré de meilleures performances par rapport à un seul moteur de NMT sur cinq, et dans un seul type d'évaluation de la MT : une évaluation à plusieurs références. Cette avancée est-elle tout de même significative ? Oui, et pas qu'un peu.

Le résultat peut paraître insignifiant dans le contexte ci-dessus, mais il a son importance. En effet, depuis l'avènement de la NMT, c'est la première fois qu'un autre type d'approche de la MT surpasse un moteur de MT neuronale. De plus, une approche « non-MT », c'est-à-dire une automatisation de langage multi-objectifs, non préparée spécifiquement pour la traduction automatique, a battu le moteur de NMT. C'est ce dernier détail qui rend remarquable le fait que le grand modèle de langage GPT-4 ait surpassé un moteur de NMT.

Quelles sont les implications du résultat de traduction notable de ChatGPT-4 pour le paradigme de la traduction automatique neuronale ?

Depuis février 2022, nous évoquons publiquement la possibilité d'un changement de paradigme de MT dans un avenir pas si lointain. Consultez notre commentaire de suivi sur la traduction automatique pour en savoir plus sur nos réflexions à ce sujet. Ces derniers résultats comparatifs fournissent une preuve supplémentaire qu'un changement important va avoir lieu.

Mais ne tirons pas de conclusions trop hâtivement. Il est encore trop tôt pour affirmer que les grands modèles de langage (LLM) vont remplacer les moteurs de NMT et qu'un tel changement est imminent. Nous avons besoin de plus de temps pour évaluer beaucoup plus de données. Il y a bien trop de facteurs à prendre en compte, et la technologie LLM doit fortement s'améliorer pour devenir une solution de traduction viable pour les entreprises.

Il est probable qu'un changement de paradigme s'amorce, les moteurs de NMT adoptant certaines approches LLM, car les technologies NMT et LLM partagent de nombreux points communs.

Quels sont les résultats de la traduction par NMT et par LLM dans trois paires de langues ?

Comparons les résultats de traduction entre les cinq principaux moteurs de traduction automatique neuronale et certains modèles de GPT pour trois paires de langues.

Nous avons calculé le niveau de qualité en fonction de la distance d'édition inverse, à l'aide de plusieurs références pour les paires de langues suivantes : anglais-chinois (EN-ZH), anglais-espagnol (EN-ES) et anglais-allemand (EN-DE).

La distance d'édition mesure le nombre de modifications qu'un humain doit apporter au résultat de MT pour que la traduction générée soit aussi bonne qu'une traduction humaine. Pour notre calcul, nous avons comparé le résultat brut de la MT à 10 traductions humaines différentes (plusieurs références) au lieu d'une seule traduction humaine. La distance d'édition inverse signifie que plus le nombre obtenu est élevé, plus la qualité est grande.

La Figure 1 montre peu de différence dans la distance d'édition inverse entre les moteurs de NMT et les LLM, ce qui signifie qu'ils ont livré des performances similaires. Cependant, fait notoire, le grand modèle de langage GPT-4 a produit une qualité de traduction légèrement supérieure par rapport à la NMT Yandex pour la paire de langues anglais-chinois.

Les résultats de traduction pour les paires de langues anglais-espagnol et anglais-allemand sont affichés respectivement dans les Figures 2 et 3. Dans ces deux scénarios, tous les moteurs de MT neuronale ont livré de meilleures performances par rapport aux LLM, comme c'était le cas jusqu'à présent.

Comme nous nous y attendions, plus le modèle de GPT est performant, plus les résultats de MT le sont également ; GPT-4 a donc dépassé les performances de ChatGPT et GPT-3.

Puis-je faire confiance aux grands modèles de langage dans le cadre d'un usage professionnel de mes traductions ?

L'IA générative n'en est qu'à ses premiers pas et doit encore évoluer. Elle ne répond donc pas aux attentes dans certains domaines clés. Notre livre blanc ChatGPT et la localisation explique que la technologie ne connaît pas la vérité, n'a aucune idée de ce qu'elle traite et ne sait pas compter. Vous êtes prêt à lui faire confiance ? Pas si vite.

Ces défauts devraient inquiéter et freiner les entreprises.

Variabilité

Notre évaluation démontre que les résultats de GPT sont variables. En d'autres termes, ils peuvent changer d'une exécution à l'autre. Vous pouvez observer ce phénomène dans les Figures 2 et 3, où la première et la deuxième exécutions présentent des résultats différents.

Lorsque des sociétés traduisent leur contenu, elles doivent éviter tout caractère aléatoire. Le résultat de la MT doit être plus déterministe que ce que propose actuellement l'IA générative. La MT professionnelle est soumise à une attente de cohérence, de même que les autres utilisations du LLM à des fins professionnelles.

Les résultats déterministes purs vont à l'encontre de la nature des modèles génératifs, dans lesquels on suppose et présume un niveau de créativité, disons, ou de variabilité. Cette situation est acceptable, voire souhaitable dans certains cas, mais pas tous. Il est essentiel de mettre en place un mécanisme pour contrôler la variabilité (au-delà de l'utilisation du paramètre « Température », c'est-à-dire le paramètre censé contrôler la « créativité » du LLM).

La meilleure approche pour contrôler la variabilité dans les modèles génératifs n'est pas encore évidente. Les utilisateurs peuvent peut-être résoudre ce problème grâce à des invites prédéfinies et à une association de paramètres pour des tâches spécifiques, mais une solution plus concrète sera nécessaire.

Le manque de prévisibilité n'est pas compatible avec une majorité des applications professionnelles.

Instabilité de l'API

L'instabilité de l'interface de programmation d'application (API) est un autre problème actuel rencontré avec les LLM.

La plupart des applications d'IA générative en sont encore aux premières phases de leur déploiement, tandis qu'une très forte demande entraîne une utilisation massive de leurs API. L'association de ces facteurs génère certains problèmes. Cette situation apparaît clairement, car les utilisateurs rencontrent davantage de problèmes avec ces applications qu'avec d'autres technologies plus matures.

Erreurs

Nous avons détecté, dans le résultat de la MT LLM, des problèmes d'exactitude qui ne sont pas présents dans le résultat NMT, ou qui y sont présents avec un pourcentage largement inférieur.

Ces problèmes comprennent les hallucinations, des termes inventés ou qui n'apparaissent pas dans le texte source, ou des problèmes de concordance, liés à l'accord au sein du texte. Il peut s'agir de l'association d'un adjectif ou d'un déterminant féminin à un nom masculin, et vice versa.

Comme indiqué dans le Tableau 1, le LLM a utilisé le terme « marketeros », rare et peut-être trop familier, dans la traduction espagnole. Le terme « responsables del marketing » aurait été une traduction correcte. Les LLM ont commis des erreurs semblables dans les langues cibles allemande et chinoise. Il est particulièrement important de surveiller les erreurs de MT catastrophiques. En effet, selon la gravité de l'erreur, les marques sont susceptibles d'en subir certaines répercussions en termes financiers, juridiques ou de réputation.

Comme indiqué dans le Tableau 2, le LLM a commis des erreurs d'accord ou de caractères lors de la traduction dans les trois langues cibles. Par exemple, il a utilisé la version féminine et non masculine pour traduire « other » en espagnol. Ces types d'erreurs risquent d'affecter la confiance des consommateurs envers les marques.

Verdict : est-ce le début de la fin du paradigme de NMT ?

Nous n'assistons pas au début de la fin du paradigme de NMT. Comme indiqué, les signes montrant que la NMT a mûri et qu'un changement de paradigme de MT est probable sont présents depuis quelque temps. Nous suivons désormais un continuum vers cette fin.

Nous avons commencé à nous demander si la prédominance du paradigme sous sa forme actuelle allait toucher à sa fin après avoir remarqué que la qualité des cinq principaux moteurs de NMT commençait à stagner, sans améliorations majeures, comme indiqué dans la Figure 4. Celle-ci mesure la qualité du résultat des cinq principaux moteurs de NMT entre mai 2018 et décembre 2022 pour l'allemand, l'espagnol, le russe et le chinois, avec la distance d'édition inverse.

La faible amélioration de la qualité en 2022 nous a poussés à conclure que la NMT avait atteint un plateau, car une situation similaire s'était présentée à la fin du paradigme central précédent de la MT, le paradigme statistique. Le Machine Translation Tracker de Lionbridge, la mesure la plus ancienne du secteur pour les principaux moteurs de MT, fournit des informations supplémentaires sur les performances des cinq moteurs de NMT.

Les dernières avancées dans la qualité de la traduction par un modèle d'IA générative peuvent accélérer la fin du paradigme NMT tel que nous le connaissons, mais la technologie a encore un long chemin à parcourir.

Soulignons que les applications d'IA générative en sont encore aux prémices de leur déploiement. Certains problèmes, tels que ceux que nous avons exposés ci-dessus, doivent être résolus et sont en passe de l'être. Des améliorations sont déjà apportées à la vitesse de la lumière. Dans nos derniers tests sur ChatGPT-4, certains de ces problèmes avaient été corrigés. La vitesse incroyable à laquelle les LLM peuvent s'améliorer renforce l'idée selon laquelle ils deviendront le nouveau paradigme de la traduction automatique.

Il est très probable que les fournisseurs de MT neuronale intègrent certains aspects des LLM dans leur architecture NMT, plutôt que de voir les LLM s'emparer totalement du paradigme actuel, à mesure que ce dernier évolue. Nous avons connu des périodes hybrides similaires, lorsque le secteur de la MT est passé de la MT basée sur les règles (RBMT) à la MT statistique (SMT).

Les traducteurs sont-ils impressionnés par les performances de traduction de l'IA générative ?

Que pense le traducteur humain de l'IA générative ? En raison de ses défauts actuels, les évaluateurs humains qui ont comparé les performances entre les moteurs de MT neuronale et les LLM ont indiqué qu'ils préféraient tout de même le résultat de la MT neuronale plutôt que celui des LLM. Les évaluateurs ont toujours exprimé cette préférence, y compris ceux qui ont évalué la qualité du chinois.

Contactez-nous

Lisez notre blog pour en savoir plus sur notre avis concernant les performances de traduction de ChatGPT et sur ce qu'elles impliquent pour l'avenir de la localisation.

Si vous souhaitez en savoir plus sur la façon dont Lionbridge peut vous aider à tirer parti efficacement de la traduction automatique, contactez-nous dès aujourd'hui.