최근 몇 년 사이에 기계의 음성인식 성능이 획기적으로 향상되었습니다. 기업은 상용 API, 오픈소스 모델, 멀티모달 AI 플랫폼, 수십 개의 언어 및 환경에서 대화를 전사할 수 있는 전문 음성 시스템 등 나날이 확대되는 생태계 속에서 원하는 옵션을 선택할 수 있습니다. 수십만 시간 분량의 오디오 데이터로 학습한 대규모 음성 기반 모델 등 획기적인 연구를 통해 업계 전반의 발전이 가속화되고 음성 기반 애플리케이션의 가능성도 넓어졌습니다.

이러한 발전에도 불구하고, 많은 AI 음성 서비스가 파일럿 프로젝트에서 실제 운영 환경으로 넘어갈 때 여전히 어려움을 겪고 있습니다. 그 이유는 벤치마크 성능과 실제 운영 성능이 일치하는 경우가 드물기 때문입니다.

기업 내 도입이 가속화되면서, 조직은 장기적인 성공이 모델 선택 이외에 다른 요인에 달려 있다는 사실을 깨닫고 있습니다. 신뢰할 수 있는 비즈니스 성과를 제공하는 음성 AI 시스템을 구축하기 위해서는 데이터 품질, 언어 지원 범위, 평가 프레임워크 및 지속적인 AI 평가를 우선시하는 AI 음성 서비스가 필수입니다.

음성 AI 서비스의 최종 단계

기업용 AI에서 발생하는 큰 문제 중 상당수는 시스템이 실제 사용자, 실제 환경, 실제 비즈니스 프로세스와 상호작용하는 배포의 최종 단계에서 발생합니다. 통제된 테스트 환경에서는 음성 모델이 뛰어난 성능을 보일 수 있어도 실제 운영 환경에서 다양한 변수들이 개입하면 달라집니다.

한 유통업체가 북미 전역에 음성 AI를 도입한다고 가정해 보겠습니다. 초기 테스트에서는 음성 AI의 정확도가 높고 성공 가능성도 크다는 결과가 나왔습니다. 하지만 AI 음성 학습을 마치고 시스템을 고객에게 제공하면서 새로운 문제가 여기저기서 발생하기 시작합니다. 정확도는 지역별로 다르고 매장 환경에서는 배경 소음이 유발됩니다. 고객들은 학습 데이터에서는 거의 찾아볼 수 없는 현지 용어나 브랜드 고유 용어를 사용합니다. 모바일기기의 오디오 품질은 들쑥날쑥합니다. 일부 상호작용에서는 대화가 끊기거나 화자들의 말이 겹치거나 대화 도중 사용하는 언어가 바뀌기도 합니다. 결국, 모델은 그대로이지만 환경이 변화한 것입니다.

의료, 금융 서비스, 통신, 제조업 및 공공 부문 애플리케이션 전반에서 이와 유사한 문제가 나타납니다.

• 의사들은 전문용어를 사용합니다.
• 고객지원센터 상담원들은 여러 업무를 동시에 처리하면서 빠르게 말합니다.
• 현장 작업자는 소음이 심한 환경에서 시스템과 상호작용합니다.
• 글로벌 조직은 고객 기반 전반에 걸쳐 수십 가지 지역 방언과 변이어를 접하고 있습니다.

최근에 발표된 학술 연구에서는 언어의 다양성이 모델 성능에 미치는 영향을 지속적으로 강조하고 있습니다. 다양한 방언과 변이어 전반에서 음성인식 성능을 평가한 연구에서는 전체 벤치마크 점수가 높게 유지되더라도 화자 집단 간에 유의미한 성능 차이가 존재하는 것으로 나타났습니다. 이러한 결과는 대표성 있는 데이터가 음성 AI 시스템의 학습, 평가, 개선에 매우 중요하다는 점을 다시 한번 부각시킵니다. 기업은 실제 화자, 환경, 사용 사례의 다양성을 반영하는 음성 데이터 수집을 기반으로 AI를 학습하고 평가할 때 실제 운영 성능을 더욱 명확하게 파악할 수 있습니다.

더 큰 목표를 추구해야 하는 AI 음성 서비스

음성 정보를 전사하는 트랜스크립션은 여전히 ​​중요한 기능이지만, 기업은 그보다 훨씬 더 많은 것을 기대합니다. 이제 기업들은 고객 경험 이니셔티브, 워크플로 자동화, 대화 요약, 규정 위반 위험 식별, 요청 처리, 대규모 음성 상호작용을 통한 정보 제공을 지원하는 음성 시스템을 점점 더 원하고 있습니다. 그에 따라 음성인식이 더욱 광범위한 AI 기능의 기반 역할을 하는 경우가 늘고 있습니다.

현재 다수의 음성 기반 애플리케이션에는 다음과 같은 기능이 필요합니다.

• 의도 분류
• 감정 분석
• 화자 식별
• 개체 추출
• 대화 요약
• 워크플로 자동화

이러한 시스템이 창출하는 가치는 단순히 음성을 텍스트로 변환하는 것 이상의 기능에 달려 있는 경우가 많습니다. 시스템은 다음 요소를 파악해야 합니다.

• 문맥
• 비즈니스 의도
• 대화 결과

이러한 사용 사례를 지원하려면 갈수록 정교해지는 AI 음성 서비스가 필요합니다. 오디오 녹음에는 화자 레이블, 타임스탬프, 의도 주석, 도메인별 분류 체계, 감정 지표, 음향 메타데이터를 비롯해 체계적인 품질 관리가 필요할 수 있습니다. 기업이 팀, 지역, 비즈니스 기능 전체로 AI 이니셔티브를 확장하면서 이러한 AI 음성 서비스의 계층 전반에 걸쳐 일관성을 유지하는 것이 매우 중요해졌습니다. 기본 데이터의 품질은 모델 자체의 정교함만큼이나 하위 성능에도 영향을 미칩니다.

AI 음성 서비스의 전략적 역량 확보에 필수인 '평가'

많은 기업이 모델 배포 전에 모델을 선정하고 테스트하는 데 상당한 자원을 투입합니다. 가장 강력한 AI 프로그램은 배포 후에도 동일한 수준의 학습을 지속합니다. 실제 세계는 끊임없이 변화하기 때문입니다. 지속적인 측정이 이루어지지 않으면 성능 격차는 가려져 있다가 고객 또는 비즈니스 결과에 영향을 미칠 때가 되어서야 드러나게 됩니다. 대표적인 변화는 다음과 같습니다.

• 진화하는 언어
• 제품 변경
• 수시로 바뀌는 고객 행동
• 새로운 억양, 방언 및 의사소통 양식
• 기기, 채널 및 운영 환경에 따라 달라지는 오디오 소스

모델의 기능이 강화되고 접근성이 좋아지면서 평가가 AI 음성 서비스의 핵심 부문이 되었습니다. 좋은 성능을 유지하기 위해서는 모델의 품질을 측정하고, 오류 유형을 파악하며, 시간 경과에 따라 시스템을 조정하는 일이 점점 더 중요해지고 있습니다.

성공적인 AI 음성 서비스는 실제 사용 환경을 반영하는 벤치마크 데이터세트를 유지하고 언어, 지역, 음향 조건 및 화자 집단 전반에 걸쳐 성능을 평가합니다. 반복되는 수정 패턴을 분석하고 성능이 기대 수준에 미치지 못하는 영역을 조사합니다. 검토 전문가팀은 자동화된 측정 지표가 놓칠 수 있는 예외 사례를 찾는 데 기여합니다. 이러한 접근방식은 지속적인 피드백 루프를 구축하여 안정성을 향상시키고 실제 운영 환경에 대한 신뢰감을 대폭 높입니다.

AI 음성 서비스에도 여전히 필요한 사람의 전문성

음성 모델의 급속한 발전으로 인해 개발 주기의 여러 영역에서 전문가로서 사람의 역할이 더욱 중요해졌습니다. 몇 가지 예를 들어 보겠습니다.

• 언어전문가는 언어 자원을 확보하고 품질 기준을 수립하는 데 기여합니다.
• 데이터 전문가는 대표성 있는 음성 패턴을 포착하기 위한 데이터 수집 전략을 설계합니다.
• 주석 처리자와 평가자는 취약점을 파악하고, 결과물을 검증하며, 새롭게 등장하는 예외 사례를 밝혀냅니다.
• 분야별 전문가는 학습 및 평가 워크플로 전반에 걸쳐 산업별 용어가 사용되고 비즈니스 요건이 정확하게 반영되도록 합니다.

합성 음성 및 생성형 기술의 등장으로 데이터 생성 및 테스트 규모를 확장할 수 있는 또 다른 기회가 열렸습니다. 이러한 기능은 개발을 가속화하고 기업이 더 다양한 시나리오를 모의 실험하는 데 도움이 될 수 있습니다. 동시에, 사람의 실제 음성은 학습, 검증 및 평가 과정에서 여전히 중요한 역할을 하고 있습니다. 실제 상호작용은 합성으로는 완벽하게 재현하기 어려운 맥락과 다양성, 복잡성을 제공합니다. 성공적인 AI 음성 제공업체 중 상당수가 합성으로 확장한 규모와 사람의 전문성을 결합하여 실제 사용에 기반을 둔 효율적인 시스템을 구축하고 있습니다.

차세대 AI 음성 서비스

음성 AI는 새로운 성숙 단계에 접어들고 있습니다. 미래의 시스템은 대화형 기능이 더욱 강화되고 다국어를 지원하며 비즈니스 워크플로에 보다 원활하게 통합될 전망입니다. 음성 인터페이스는 다양한 산업 분야에서 의사결정, 워크플로 실행, 고객 참여 및 실시간 협업을 지원할 수 있습니다. 이러한 기능이 확장됨에 따라 기업은 데이터 품질, 평가 프레임워크, 거버넌스 및 지속적인 개선에 주력할 수 있게 됩니다. 음성 시스템의 역할이 갈수록 막중해지면서 다양한 인구 집단과 운영 환경에서 성능을 측정하는 역량 또한 점점 더 중요해질 것입니다. 지금 대표성 있는 데이터 확보, 엄격한 평가, 인적 감독 및 지속적인 학습에 투자하는 기업이야말로 이러한 미래에 경쟁 우위를 차지할 수 있습니다. 음성인식은 기업이 음성 정보를 수집하는 방식을 혁신했습니다. 이제 음성 AI의 다음 단계는 시스템이 얼마나 효과적으로 문맥을 이해하고, 복잡한 현실 세계에 적응하며, 신뢰할 수 있는 결과물을 대량으로 제공하는지에 따라 결정될 것입니다.