Lionbridge Machine Translation Tracker

Les grands modèles de langage (LLM) sont-ils une bonne alternative à un paradigme de traduction automatique neuronale (NMT) pour la traduction automatique (TA) ? Pour le savoir, nous avons comparé les performances de traduction de ChatGPT, le petit dernier de la famille GPT-3 de LLM d'OpenAI, aux cinq principaux moteurs de TA que nous utilisons dans notre suivi de la qualité de la TA.

Comme on pouvait s'y attendre, les moteurs NMT spécialisés traduisent mieux que ChatGPT. Mais étonnamment, ChatGPT fait un travail respectable. Comme le montre la figure 1, ChatGPT a fait preuve de performances presque aussi bonnes que les moteurs spécialisés.

Nous avons calculé le niveau de qualité en fonction de la distance d'édition inverse en utilisant plusieurs références pour la paire de langue anglais-espagnol. La distance d'édition mesure le nombre de modifications qu'un humain doit apporter au résultat de TA pour que la traduction résultante soit aussi bonne qu'une traduction humaine. Pour notre calcul, nous avons comparé le résultat brut de la TA à 10 traductions humaines différentes (plusieurs références) au lieu d'une seule traduction humaine. La distance d'édition inverse signifie que plus le nombre résultant est élevé, meilleure est la qualité.

Ces résultats sont remarquables car le modèle générique a été formé pour effectuer des tâches de traitement du langage naturel (NLP) et n'a pas été spécifiquement formé pour exécuter des traductions. Les performances de ChatGPT sont similaires au niveau de qualité produit par les moteurs de TA qui datent de deux ou trois ans.

Compte tenu de l'évolution des LLM – basée sur l'attention du public et les investissements importants des entreprises technologiques dans cette solution – nous pourrons bientôt voir si ChatGPT dépasse les moteurs de TA ou si la TA commencera à adopter un nouveau paradigme LLM. La TA peut utiliser les LLM comme fondement, puis affiner la technologie spécifiquement pour la traduction automatique. Le processus correspond à ce que font OpenAI et d'autres sociétés LLM pour améliorer leurs modèles génériques en fonction de cas d'utilisation spécifiques, tels que permettre aux machines de communiquer avec les humains de manière conversationnelle. La spécialisation ajoute de la précision aux tâches effectuées.

L'un des avantages de ces modèles linguistiques « génériques » élargis est qu'ils peuvent faire beaucoup de choses différentes et offrent une qualité exceptionnelle dans la plupart de leurs tâches. Par exemple, le GATO de DeepMind, un autre modèle d'intelligence générale, a été testé relativement à plus de 600 tâches, avec des résultats à la pointe de la technologie (SOTA – State-of-the-Art) pour 400 d'entre elles.

Deux lignes de développement continueront d'exister – des modèles génériques, tels que GPT, Megatron et GATO, et des modèles spécialisés à des fins précises basés sur ces modèles génériques. Les modèles génériques sont importants pour faire progresser l'Intelligence générique artificielle (AGI) et éventuellement faire progresser des développements encore plus impressionnants à plus long terme. Les modèles spécialisés auront des utilisations pratiques à court terme pour des domaines spécifiques. L'une des choses remarquables à propos des LLM est que les deux lignes peuvent progresser et fonctionner en parallèle.

Nous sommes intrigués par ce que l'avenir nous réserve. Nous continuerons d'évaluer les LLM et de publier les résultats afin que vous puissiez vous tenir au courant de cette évolution passionnante. Lisez nos blogs pour approfondir les performances de traduction de ChatGPT et en savoir plus sur ChatGTP et la localisation et pourquoi il changera probablement la donne.