Lionbridge 機器翻譯追蹤工具 (Lionbridge Machine Translation Tracker)

對機器翻譯 (MT) 來說，大型語言模型 (LLM) 會是神經機器翻譯 (NMT) 之外的另一個可能典範嗎？ 為了找出這個問題的答案，我們將 OpenAI 最新的 LLM，也就是 GPT-3 系列的ChatGPT，與我們機器翻譯追蹤工具中使用的五大主流 MT 引擎，就其翻譯表現進行比較。

一如預期，專業化 NMT 引擎的翻譯表現優於 ChatGPT。 但令人驚訝的是，ChatGPT 的表現其實挺不錯的。 如圖 1 所示，ChatGPT 的成果非常接近專業化引擎。

為了評估翻譯的品質層級，我們選用英文譯至西文這個語言組合的多個參考翻譯來計算編輯更動程度，又名反向編輯距離 (inverse edit distance)。 編輯更動程度評量的是編譯人員為了取得與人工翻譯一樣的高品質結果，而對 MT 輸出所做的編輯更動次數。 在計算時，我們會將原始的 MT 輸出，與 10 個 (而非僅只 1 個) 不同的人工翻譯 (也就是多個參考翻譯) 相比較， 所得的反向編輯距離越高，代表品質越好。

這些結果非常值得我們注意，因為這個通用模型是訓練用以執行自然語言處理 (NLP) 任務，並未特地受過執行翻譯的訓練。 而 ChatGPT 的表現，已經接近高品質 MT 引擎在兩、三年前的成績了。

從大眾的關注與科技公司對這個技術的大量投資，都可看出 LLM 有長足的進步，因此我們應該很快就能知道，究竟是 ChatGPT 會超越 MT 引擎，還是 MT 將開始採用新的 LLM 典範。 MT 或許會以 LLM 為基礎，但針對機器翻譯微調這項技術。 這會很像 OpenAI 及其他 LLM 公司目前的作法，也就是針對特定使用案例去改進他們的通用模型，例如讓機器能以對話聊天的方式與人類溝通。 至於專業化則可進一步讓所執行的任務更加準確。

這些大型語言「通用」模型的一個好處，是它們可以執行很多不同的任務，而且多數時候都能提供卓越的品質。 舉例來說，另一個通用智慧模型，DeepMind 的 GATO，便曾做過超過 600 種任務的測試，並在其中 400 種取得最先進 (SOTA) 結果。

這樣看來，將有兩個開發路線會繼續存在，一個是像 GPT、Megatron 和 GATO 這類通用模型，另一個則是以通用模型為基礎再針對特定用途加以專業化的模型。 通用模型對推進「通用人工智慧」(AGI) 非常重要，以長程來看甚至可望催生更令人期待的發展。 專業化模型則能在短期內於特定領域中發揮實際功用。 而 LLM 令人讚嘆的其中一點，就是它可以同時參與這兩個路線的發展。

對於未來，我們非常期待， 也將會繼續評估 LLM 並發表結果，讓各位可以掌握這個令人振奮演進的最新狀況。 歡迎閱讀我們的部落格，深入探究 ChatGPT 的翻譯表現，並進一步了解 ChatGTP 與本地化以及它為何可能徹底改變本地化產業。