MT エンジンの分析

今月取り上げるのはフォーマルな言葉の問題です。機械翻訳 (MT) を使用する際に、この「フォーマルさ」に適切に対応するのが、不可能ではないまでも困難であることについて説明します。

機械翻訳 (MT) エンジンでは、フォーマルさの度合いが不適切な訳文や、フォーマルさに一貫性のない訳文が生成されることがあります。 それは、 MT モデルでは通常、入力セグメントごとに 1 つの翻訳が返されるためです。 入力セグメントに曖昧さがある場合、妥当性のある複数の選択肢の中から 1 つの翻訳を選択する必要がありますが、このとき対象のオーディエンスは考慮されません。 妥当性のある複数の選択肢の中から 1 つをモデルに選択させると、翻訳の一貫性が損なわれる場合や、フォーマルさの度合いが適切でない訳文が生成されることがあります。

ターゲット言語に、ソース言語よりも多様なフォーマルさの段階がある場合は特に、適切な出力を得るのが難しくなります。 たとえば、フランス語では、親密さの度合いによって tu (カジュアルな二人称) と vous (フォーマルな二人称) を使い分けますが、英語にはこのような区別はありません。

ほとんどの MT システムは、フォーマルさの度合いや性別の違いに対応していませんが、進歩は見られています。 現在、DeepL (API) と Amazon (コンソールおよび SDK) には、フォーマルさをコントロールする機能があります。 エンタープライズ向け機械翻訳ソリューションであるライオンブリッジの Smaⁱrt MT™ では、ターゲット テキストに対して言語ルールを適用することができ、スタイルやフォーマルさの度合いを指定して機械翻訳を生成することができます。

MT の出力でフォーマルまたはカジュアルな言葉遣いに対応するなど、対象のオーディエンスのニーズに合うようにソース テキストを効果的に翻訳することが重要です。 翻訳が少し「ずれている」と感じられたり、失礼だと受け取られたりすれば、オーディエンスに敬遠されるおそれがあります。

MT について、またフォーマルな表現と口語体については、当社のブログ記事をご覧ください。

    — ヨランダ マーティン、ライオンブリッジ MT スペシャリスト

機械翻訳 (MT) を使用することでメリットが得られる可能性がありますが、注意して進めていく必要があります。 用語の観点から見た場合に、汎用の MT エンジンは誤った翻訳を出力する場合があり、特に、特定の分野で望ましくない結果につながる可能性があります。 とりわけ医療や法律の分野では、この影響がマイナスに作用するおそれがあります。 しかし、MT の出力を改善するためにできることがあります。

用語集を使用することで、MT の品質を向上させ、正確で一貫性のある翻訳を実現できます。

専門用語を含む、特定の分野に特化したバイリンガル テキストを使用して、カスタマイズされた MT システムをトレーニングすることが不可欠です。 それでもなお、翻訳の正確性を確保することはできません。特定の分野に特化したテキストでエンジンのトレーニングを行ったとしても、用語が一貫性のある形で使用されていない場合があるためです。 この分野の研究では、ニューラル機械翻訳 (NMT) システムに言語情報を組み込むことが提案されています。 手動または半自動のアノテーションの導入は、用語集などのリソースの有無や、時間やコストそしてアノテーションを行う人員の有無などの条件に左右されます。

ライオンブリッジの Smaⁱrt MT™ では、ソース言語とターゲット言語のテキストへの言語ルールの適用、および特定のプロファイルに追加された「翻訳しない語句 (DNT)」と用語集のリストに基づく用語の適用が可能です。 ライオンブリッジではお客様の用語集の作成と維持管理を支援しています。用語集は、新しい重要な用語を追加し、使用すべきでなくなった用語を除外するなど、定期的に手を入れる必要があります。 Smaⁱrt MT で用語集を作成すると、すべての MT エンジンで使用できるようになり、時間とコストの節約になります。

MT プロジェクトで用語集をフル活用するのは、想像するほど簡単ではありません。 用語集が不適切に使用された場合、機械翻訳の全体的な品質にマイナスの影響を及ぼす可能性があります。 MT において用語を順守するのに最適な方法は、MT のトレーニングを行うことです。 トレーニング済みの MT エンジン、用語集のカスタマイズ、前処理と後処理のルールの明確化を組み合わせることで、MT の出力において適切な用語が使用され、元の文書と同じようなスタイルが採用されるようになります。

MT の出力を向上させる用語集の使い方について、詳しくは当社のブログ記事をご覧ください。

    — ヨランダ マーティン、ライオンブリッジ MT スペシャリスト

多くの企業が日常的な業務でますます機械翻訳 (MT) を活用するに伴い、重大なエラーの拡大を防ぐ必要性が高まっています。

MT による標準的なエラーはスペルや文法、句読点などの言語的要素に関連するものである一方で、 こうした重大なエラーは言語の枠を超えるものであり、MT エンジンによる翻訳が元のメッセージの意図と大幅に乖離することで生じます。 その結果、こうして生じた誤情報や誤解は企業のイメージや財政、または法的な面で問題を引き起こしたり、公共の安全や公衆衛生に有害な結果をもたらしたりする可能性があります。 こういったエラーを特定する方法を確立し、自社の情報伝達力に悪影響を及ぼさないようにすることが重要です。

ライオンブリッジでは、MT 処理のスピードを保ちながら人による関与の必要性を抑えつつ、翻訳されたテキストに自動品質チェックを適用することで、こういった重大なエラーを検出しています。

この自動処理では以下が検出されます。

• 原文のテキストと翻訳されたテキストで意味が逆のもの
• 不快な表現、下品な表現、または扱いに注意を要する表現
• 一般的な用語となっている個人や組織の正式名称の誤訳

このような翻訳エラーは MT テクノロジーの改善と進歩を通じて防ぐことができますが、 その域に到達するまでは、当社の自動化テクノロジーを活用することで、翻訳プロセスで生じる問題の特定と修正を行い、高い精度を保つことができます。

機械翻訳で発生する重大な誤りの詳細については、当社のブログをご覧ください。

    — ルイス ハビエル サンティアゴ (MT グルーブ リーダー)、

    ラファ モラル (ライオンブリッジ、イノベーション担当バイス プレジデント) 

Google NMT、Bing NMT、Amazon、DeepL、Yandex — 最も優れたエンジンはどれでしょうか。先月のデータと最新の全般的な動向を見ると、主要エンジンのパフォーマンスは近似しています。そのため、MT に関する戦略を考える上で、MT エンジンによる特定の言語ペアの翻訳のしやすさなど、付加的な要素も考慮に入れることは有意義です。

特定の言語ペアを MT エンジンで処理する上でどれだけの課題があるかを明らかにすることは、複数の言語を対象とした翻訳のコストについて予算を検討する際に大いに役立ちます。たとえば、複雑な言語ペアを扱う場合、高品質な翻訳を実現するにはより多くの労力が必要になります。言語の複雑性について十分に理解しておくことは、ビジネス上の適切な判断につながります。

翻訳しやすさによって言語にランク付けをするのは簡単なことではありませんが、さまざまな指標を用いて評価を行うことができます。編集距離 (機械翻訳によるテキストを人による翻訳の品質まで高めるために、ポストエディット作業を通じて加えられる変更の量) は、それぞれの言語ペアに関する MT の複雑さと翻訳しやすさ (機械翻訳可能性、MTranslatability) を把握するのに役立ちます。

ポルトガル語、スペイン語、フランス語、イタリア語など、ロマンス諸語の多くを英語から翻訳する際は、少ない変更で高い品質レベルを実現することができます。これらのターゲット言語は、機械で処理するのが非常に容易であることが明らかになっており、機械翻訳可能性のランキングで上位 4 位を占めています。ハンガリー語とフィンランド語はどちらもウラル語族の言語ですが、これらの複雑度はより高く、このランキングでは 27 位と 28 位で最下位となっています。同じ語族に属するもう一つの言語であるエストニア語も、複雑度の高い言語の 1 つです。当社が今まで処理してきた数百万に及ぶ文章に基づくこのような結果は、語族の分類が MT の結果に及ぼす重要性を明確に示しています。

言語の比較には限界がありますが、このランキングによって多言語プロジェクトを適切に管理する上で興味深いインサイトが得られます。こちらのブログからライオンブリッジの言語ランキング表全体をご覧いただけます。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

6 月、Yandex の MT エンジンによるロシア語の翻訳がわずかに改善され、Microsoft Bing の MT エンジンの翻訳結果がわずかに低下しました。 これらは注目すべき変化でしょうか。それとも意味のない偽の結果でしょうか。 確認のため、結果をさまざまに分析しました。

MT 翻訳から翻訳者による単一の「完璧な」翻訳までの距離を測定する単一の絶対的な基準を使用する代わりに、今回は複数の参照訳を使用しました。 機械による翻訳の一つ一つをプロの翻訳者による 10 種類の翻訳と比較しました。 このアプローチを取ると、6 月の Yandex と Microsoft Bing の翻訳品質で見られたわずかな変動は消えました。 このため、MT 翻訳品質に変化はなかったと結論付けることができました。 つまり、6 月の結果は変化なしでした。

データとそのグラフィック表示は、ときに誤解を招くことがあります。 これは、さまざまな測定でわずかな差分が出る場合によく起こります。 結果を正確に解釈するために、複数のアプローチを使ってデータを評価するとよいでしょう。

今後数か月間は MT エンジンの品質にほとんど動きがないと予想されるので、 このセクションを使用して、分析と MT の全体的な見解を提供いたします。 来月は MT の言語ペア間の比較をお届けする予定です。 データを使用して、MT の複雑さによって言語と語族を分類できるかどうかを探求します。さらに、機械翻訳には言語ペアによる得意不得意があるのかを判断する予定です。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

何よりもまず、今月も MT エンジンに大きな変化が見られない月となりました。

Amazon のエンジンは、英語とスペイン語のペアを処理する方法において継続的な改善が見られており、 今やこの言語ペアにおける主要なエンジンとなっています。 また、英語とスペイン語のペアほどの改善ではないものの、他の言語ペアでもわずかな進歩が見られました。 この進歩は、一般設定の一部変更と、英語とスペイン語のペアに関わる作業の結果によるものだと考えられます。 こうした機能強化が、一部の特殊文字や、測定単位を含む文字列の処理方法に影響を与えているようです。

Yandex では、2 か月連続で細かい改善が見られました。 興味深いことに、この改善もスペイン語に関わるものです。

先述のとおり、大幅な変化はありませんでしたが、 すべてのエンジンで同様の状況がうかがえます。 今後数か月間は特定の MT 領域の分析を行い、全体的な見解を示す予定です。 もちろん、重要な開発事項も確認していきます。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

Yandex の MT エンジンのパフォーマンスは数か月にわたり横ばいでしたが、特にドイツ語のエンジンについて、ある程度の進展が見られました。

ある詳細な分析では、Yandex エンジンにおいて、疑問符、感嘆符、かっこ、スラッシュなどの句読文字および単位系を含む文の処理で向上が見られました。 このような進歩は、モデルの改善というより、MT の設定の微調整の結果によるものである可能性があります。 ただし、珍しい用語の追跡においても改善が見られたため、Yandex の進歩はモデルの改善またはさらなるデータ トレーニングによるものである可能性もあります。

昨年のこの時期には、いくつかの MT エンジンで興味深い改善が見られました。 このような進歩には、時期的なパターンも関係しているのでしょうか。 2021 年に観察されたようなことが、今年もあるでしょうか。 これらのエンジンの MT 性能を追跡調査していますので、来月以降、確認できた内容についてお知らせします。

全般的に、MT エンジンの評価に対する関心が高まっています。 現在では、MT がテクノロジーとして成熟していることに多くの人が同意するでしょう。 人が介入するかどうかや、ハイブリッドのアプローチを採用するかどうかにかかわらず、ほぼすべての翻訳事例で機械翻訳が有用であることが認識されています。 ただし、MT を使用する場合の MT の結果の評価、測定、改善のための適切な方法については、試行錯誤が続いています。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

これまでこちらのページをご覧いただいていた方は、汎用的な機械翻訳の比較評価についてはご存知でしょう。 毎月、特定の言語ペアについて最も優れた性能を示す機械翻訳エンジンはどれかを確認し、エンジンの改善状況を追跡しています。 3 月は、それぞれの機械翻訳エンジンの性能の変化は見られませんでした。 この傾向はすでにしばらく続いています。 先月コメントしたように、新しい機械翻訳の方法論が求められているということかもしれません。

ここでは、汎用的な機械翻訳の評価結果をお伝えしていますが、カスタムの機械翻訳の比較評価を求める企業が増えています。 このような評価では、汎用的な評価とは異なり、最もメリットの大きな機械翻訳エンジンを判断するにあたり、企業固有のニーズを考慮に入れる必要があります。

これから機械翻訳を使い始める場合でも、現行の機械翻訳の使い方を改善する場合でも、どの機械翻訳エンジンが最適であるかの見極めが重要です。 当社でカスタムの評価を実施する際は、このページでこれまで説明してきたものと同様のアプローチを採用しますが、コンテンツの種類や言語ペアに関する企業ごとの要件に基づいて推奨事項を提示します。

カスタム機械翻訳の比較評価は長年行われてきましたが、その需要が高まっています。 このような傾向が見られるのは、企業がデジタル市場で成果を上げる上で、機械翻訳が重要な役割を果たしているためだと考えられます。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

Google の MT エンジンは 2022 年 1 ～ 2 月の間にわずかに改善されましたが、他社の MT エンジンにはこのところ目立った動きはありません。 このような現状を考えるといくつか疑問が湧いてきます。 ニューラル機械翻訳 (NMT) は停滞期に入っているのか? NMT がさらなる飛躍を遂げるには、新たなパラダイム シフトが必要なのか? これと似た傾向は NMT が統計的 MT に取って代わった際にも見受けられました。

統計的 MT の時代が終わる頃は、MT の品質にどのような変化もなく、 他の MT エンジンの品質も統計的 MT の品質に迫る勢いでした。 今回の傾向もこれとよく似ています。 NMT がすぐに他の技術に取って代わられるような状況ではありませんが、飛躍的な成長と利益の増大のパターンに基づいて、ルールベース MT の 30年にわたる運用実績と統計的 MT の数十年に及ぶ優位性を考慮し、NMT の登場からまだ 6 年しか経過していないことを踏まえると、新たなパラダイム シフトはそう遠くないのかもしれません。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

1 月は、主要機械翻訳 (MT) エンジンの性能に大きな変化はありませんでした。 

Google は、いくつかの言語と分野で小幅ながらも継続的な改善を示しました。 その他のエンジンのほとんどでは性能に変化は見られませんでした。 マイクロソフトは、過去数か月間は改善を示していましたが、1 月は横ばいでした。 総じて、Google Translate が、汎用 MT テクノロジーの品質で継続的にリードしています。 

12 月に、5 つ目の MT エンジンを調査対象に加えました。 Yandex をモニタリングすることで、ロシア語の MT の品質分析を向上できます。

    — ラファ モラル、ライオンブリッジ、イノベーション担当バイス プレジデント  

    — ジョルディ マシアス、ライオンブリッジ言語エクセレンス担当バイス プレジデント