.svg){kind=logo}
- 資源
語音 AI 在許多產業巨擘的成功上扮演了關鍵角色，組織也紛紛競相組建能理解人類語音並自然回覆的系統，例如客服中心和即時語音助理等。但值得注意的是，許多團隊經常會在語音資料收集過程中遇到同一個問題，亦即模型在測試時能理解事先寫好的提示並處理清晰的語音，但是應用於實際對話時卻往往無法發揮作用。
造成這個語音資料收集問題的根源幾乎總是一樣：語音資料無法反映人們說話的實際樣貌。歡迎閱讀本部落格文章，深入了解這個問題及其解決辦法。
語音資料收集中「有效」與「拓展能力」間的隱形差距
大多數的語音資料集理論上都很優異，其中的資料清晰、已分段，很方便用來訓練。不過，它們往往也非常狹隘：於受控環境下取得，在講者、口音和對話風格上的變化不大。如果是示範展示用的模型，這些資料集或許足以應付，但對於要應用在實際生產的語音系統來說，就遠遠不夠。
什麼才是紮實的語音資料收集？它得要能反映真實世界凌亂無章的說話模式。以下列舉幾個例子說明。人們說話時會：
- 打斷彼此
- 含糊咕噥
- 停頓
- 語速變快
- 語速變慢
- 有口音
- 利用聲調變化
- 被背景噪音打斷
除了人為因素，也還有技術方面的挑戰，例如：
- 取樣率不一致
- 裝置變異性 (行動裝置、耳機、VoIP)
- 壓縮失真
- 破音和訊號失真
如果語音資料無法擷取和控制這些複雜性，訓練出來的模型自然也不會含有並控制這些複雜性。
削弱語音 AI 成效的語音資料收集取捨
大多數的 AI 資料服務供應商都有個錯誤的妥協，亦即以不完善的資料集建置模型，期盼它們之後能夠泛化 (generalize)。這些供應商可能會收集大量的語音資料，但訊號品質卻變得不一致；或者，他們會招募組成多元的講者，卻無法掌控錄音環境；又或者，他們可能為了能快速行事，而略過對音訊本身進行技術驗證。
可惜的是，大多數的模型並不會泛化，因此也表現不佳。這是因為不完整的局部最佳化，無法打造出高效能的語音 AI。想要建置真正能與客戶或使用者建立關係的 AI 語音模型，就必須在語音資料收集的過程中確保語音多元性、技術品質以及涵蓋規模。
以目前來說，什麼是「優質的」語音資料收集
衡量成功的標準已經變了，不再只是完成音訊 AI 資料收集即可。公司必須要取得能反映真實對話的生產級語音訊號，以便能有效地訓練他們的模型。紮實的音訊 AI 資料解決方案，會同時針對人類與技術這兩個層面來設計資料集。
在人類這方面，訓練需要的事項有：
- 口音和方言變異性
- 不同年齡的口語模式 (兒童、成人、長者等)
- 不同性別的不同聲音
- 自然的對話行為 (停頓、說話重疊、填充詞)
音訊的技術完整性也同樣重要：
- 取樣率要符合使用案例 (例如電話通訊為 8kHz，ASR/語音 AI 則為 16kHz 或更高)
- 位元深度和編碼要一致，避免發生壓縮失真
- 設定適當的訊噪比 (SNR) 閥值以確保理解度
- 背景噪音控管 (不是要完全消除噪音，而是要加以測量、分類和刻意控制)
- 沒有破音和失真的問題，並正確地處理峰值正規化 (peak normalization)
- 聲道一致性 (單聲道或立體聲、雙聲道通話錄音)
- 精準地分段語句，並標記正確的時間戳記
對多模態使用案例來說，就連影格對齊 (FPS 與視訊同步) 及延遲一致性等因素可能都很重要。大多數的資料集都表現不佳，不是因為它們的資料量太少，而是因為它們在技術上的要求不夠嚴謹。
為何大多數供應商難以提供紮實的語音資料收集
真正的挑戰並不是收集語音資料，而是要大規模地收集具代表性、技術上一致的對話語音。這種做法需要擁有遍佈全球的講者網路，而且要能涵蓋豐富多樣的語言、口音、文化和人口組成。想要實行紮實的語音資料收集，除了要能夠招募合適的在地講者，同時也要能為不同裝置和環境提供清楚明確的錄製規範。此外，也必須要採用品管 (QA) 系統，驗證講者所說的內容及其錄製方式。
為了避免資料集品質下降，AI 資料收集服務應該要確認以下事項：
- 音訊清晰度與理解度
- 背景噪音的大小程度與分類
- 訊號完整性 (沒有破音、中斷或失真等問題)
- 語音與聽寫或標記間彼此相符
可惜的是，多數供應商只會針對最容易做到的事進行最佳化，也就是數量、速度或利基資料集。只有極少數的供應商可以提供既能代表真實使用情況，技術上又可供生產用模型使用的語音資料。
Lionbridge AI™ 如何改變語音資料收集的處理方式
語音資料收集的紮實與否，取決於執行時能否區別理論與實際狀況的差異。Lionbridge AI 擁有龐大的全球人才網，含有超過 500,000 名資料提供人員，能處理超過 300 種語言和方言，可提供真正的多地區語音收集服務。我們能針對各個地區和人口組成，擷取人們真實的交談樣貌。
我們會運用自有平台 Lionbridge Aurora AI Studios，透過結構化的工作流程來管理每一份錄音：
- 標準化的裝置與環境錄製指南
- 自動檢查訊號品質、格式和噪音程度
- 即時驗證錄音的完整性
每個語音樣本接著要接受由多個階段組成的 QA。我們會將自動化的音訊驗證與人工審閱相結合，確認發音、清晰度以及是否符合任務設計意旨。我們是採用分散至全球的作業模式來完成這個 QA，這些團隊最了解所屬的在地語音細微差異，但亦能貫徹執行集中化的技術標準。
這種做法使我們能取得來源多元、聲學上一致且經過驗證的語音資料集，可供大規模地部署於現實環境。
紮實語音資料收集的重要性遠勝以往
語音已不再只是種輸入，而是正在成為 AI 系統的主要介面。使用者不必配合機器調整，而是機器必須去適應真實世界中人們說話的方式並配合語音調整。高效能的 AI 模型必須要能因應以下狀況：
- 吵雜的環境
- 低品質的裝置
- 相互重疊的對話
- 口音和語音變異
如果語音資料收集沒有包含這些情況，訓練出來的模型自然也不會有。
語音資料收集的真正標準
能進行優質 AI 語音資料收集的團隊，都將這種能力視為是種策略優勢，而非例行的事項。他們從一開始就以多元性為目標而規劃，並會在每個階段進行品管。更重要的是，他們會選擇與既能向全球拓展範疇、又不必犧牲多元性與品質的 AI 資料收集服務供應商合作。像 Lionbridge AI 這類語言資料收集服務供應商都深知，如果無法大規模提供跨多個地區、多樣且高品質的音訊資料，就無法建置可供生產使用的 AI，充其量只是打造了個模型原型罷了。
與我們聯絡
準備好最佳化您模型的語音功能嗎？想享有更完善的語音資料收集嗎？不妨考慮選用 Lionbridge AI 的各項服務。歡迎與我們聯絡。
