機器語音辨識的效能，在最近幾年有著驚人的進步。無論是商用 API、開源模型、多模態 AI 平台還是專用語音系統等，這類產品形成了一個日漸茁壯的生態系統，組織可以從中選擇合適的工具，對數十種語言和環境的對話進行聽寫。研究上的突破，包括以數十萬小時的音訊訓練的大規模語音基礎模型等，亦推動了整個產業加速進步，並拓展了語音應用程式的應用範疇。

儘管有這些進展，不少 AI 語音部署在從先導專案進入生產環境時，仍舊遭遇重重困難。這是因為基準效能往往並不等同於生產效能。

隨著企業開始加快腳步採用技術，組織也發現要獲致長期的成功，靠得並不只是模型的選擇。選擇以資料品質、語言涵蓋範疇、評估架構以及持續進行 AI 評估為優先要務的 AI 語音服務，才是開發能交付可靠業務結果之語音 AI 系統的關鍵所在。

語音 AI 服務的最後一哩路

企業 AI 許多最嚴峻的挑戰，經常是在部署的最後一哩時才浮現出來，因為這時系統會與實際的使用者、實際的環境，以及實際的業務流程互動。一個語音模型或許能在受控的測試中有著極其出色的表現，但實際的生產環境卻會帶來非常不一樣的變數。

以某個在北美地區部署語音 AI 的零售商為例。初期測試顯示模型不但正確率很高，結果也頗令人滿意。然而，一旦完成 AI 語音訓練，系統開始實際與客戶接觸時，新的挑戰也浮現出來：各個地區的正確性不盡相同；門市環境會有背景噪音；顧客會使用訓練資料中不常出現的在地用語跟品牌專屬語言；不同行動裝置間的音訊品質不一致；有些互動會有被打斷、講者同時說話，或是不同語言間語碼轉換 (code-switching) 等情形。說到底，模型本身並沒有變，但是環境改變了。

在很多產業中，例如醫療保健、金融服務、電信業、製造業以及公共部門等，也都會遭遇類似的挑戰。

• 醫師會使用高度專業的術語
• 客服中心的專員同時處理多個工作時語速會變很快
• 現場工作人員得在吵雜的環境中與系統互動
• 全球性組織的客群會使用數十種地區方言及語言變異

近期的學術研究也依然強調語言多元性對模型成效的影響。針對不同方言及語言變異評估語音辨識的研究便發現，即使整體的基準分數表現優異，不同講者群體間還是存在著顯著的成效差距。這些研究成果彰顯一個重要的課題：具代表性的資料，在語音 AI 系統的訓練、評估與改善上扮演了極為關鍵的角色。組織的語音資料收集若能反映真實世界在講者、環境和使用案例上的多元性，那麼他們用這些資料進行訓練與評估時，也將能更清楚了解模型進入生產環境時的成效。

AI 語音服務在服務範疇上必須展現更大的野心

聽寫仍然是非常重要的功能，但企業的期望早已遠不止於此。組織越來越希望能有具備豐富多樣功能的語音系統，例如支援客戶體驗措施、自動化工作流程、摘要總結對話、識別法規遵循方面的風險、轉介要求，以及從大量的語音互動中提供深入洞見。也因此，語音辨識往往是發展更廣泛 AI 功能組合的基石。

許多語音應用現在都需要能進行以下工作：

• 意圖分類
• 情感分析
• 講者辨識
• 實體擷取
• 對話摘要
• 工作流程自動化

這些系統所能產生的價值，往往已不是單靠語音轉文字。這些系統應該要能了解：

• 脈絡
• 商業意圖
• 對話結果

想要支援這些使用案例，就得要使用日益精密的 AI 語音服務。音訊錄音可能會需要有講者標記、時間戳記、意圖註解、領域專有分類、情緒指標、聲學中繼資料，以及結構化品質控管等。隨著組織開始將 AI 措施推展至不同的團隊、地區和業務部門，AI 語音服務在這些不同層面間的一致性也會變得非常重要。畢竟除了模型本身的精密程度，基本資料的品質往往也一樣會影響後續階段的成效表現。

評估對 AI 語音服務的策略能力非常重要

許多組織在部署之前，會投入大量資源來挑選與測試模型。那些表現最好的 AI 方案，也會在部署後套用同樣程度的嚴格做法，因為實際應用時一定會有所變化。如果沒有持續進行評量，一開始難以察覺的成效表現差距便會一直累積，直到最後擴大到影響客戶或業務結果。這些變化包括：

• 持續演變的語言
• 不斷變化的產品
• 客戶行為的轉變
• 新的口音、方言和溝通模式
• 不同裝置、管道和作業環境的音訊來源不盡相同

評估在 AI 語音服務中是個重要的自律能力，因為隨著模型變得越來越強大、越來越多人使用，想要維持長期的成效表現，就會日益需要評量模型的品質、找出失敗的模式，並隨時間過去持續調整系統。

成功的 AI 語音服務，都會維持能反映真實世界使用情況的多種基準資料集。它們會評估模型在不同語言、地區、聲學條件和講者族群上的成效表現，也會分析重複出現的修正模式，並探究成效不如預期的地方。人工審閱團隊則會協助找出自動化指標可能忽略的極端案例。這種做法能建立一個連續不斷的回饋迴圈，除了能改善可靠性，也能在生產環境中使用建立更高的信心。

在 AI 語音服務中，人類專業能力依舊至為關鍵

語音模型的急遽進步，也提高了人類專業能力在開發生命週期中多個領域的重要性。以下列舉一些例子說明：

• 語言專家可協助建立語言資源與品質標準。
• 資料專家可設計收集策略，以取得具代表性的語音模式。
• 註解人員和評估人員能找出弱點、驗證輸出以及找出新的極端案例。
• 領域專家可確保能在整個訓練及評估工作流程中，正確地呈現業界專有術語及業務要求。

合成語音及生成式技術，則讓我們有新的機會進一步拓展資料生成與測試的範疇。這些功能可以加快開發的腳步，協助組織模擬更廣泛多元的情境。於此同時，對訓練、驗證和評估工作而言，真實的人類語音仍舊非常重要，因為真實世界的互動所能提供的語境脈絡、變異性及複雜度，還是難以完全透過合成的方式來重現。因此許多成功的 AI 語音供應商會將合成資料的拓展能力與人類專業能力相結合，打造出既有效率同時又以實際使用為基礎的系統。

新一代的 AI 語音服務

語音 AI 正朝著成熟的新階段邁進。未來的系統不但對話能力會更強大、使用的語言會更多，同時也將能與業務工作流程相整合。語音介面將能跨產業支援決策、工作流程執行、客戶交流互動，以及即時協作等事務。這些能力的持續擴充，將促使組織更加重視資料品質、評估架構、治理以及持續改善。隨著語音系統開始承擔更多深具影響力的責任，是否有能力評量模型在不同族群和作業環境間的成效表現，也將更形重要。所以那些致力為未來做好充分準備的組織，現在也正投入心力在具代表性的資料、嚴謹的評估、人類監督以及持續學習等方面。語音辨識徹底改變了組織取得口語資料的方式，而語音 AI 的下個篇章會有什麼面貌，則取決於系統是否能有效地理解脈絡、根據真實世界的複雜度調適，以及大規模地交付可靠的結果。