음성 인식

이해하기 음성 인식

딥러닝 기술의 발전으로 음성 인식(ASR)은 눈부시게 발전했습니다. OpenAI의 Whisper와 같은 최신 ASR 시스템은 다양한 악센트, 언어, 음향 환경에서도 인간 수준의 전사 정확도를 보입니다. 이 정확성 덕분에 음성 입력은 단순 명령을 넘어서 전문적인 업무 환경에서도 활용이 가능해졌습니다. 회의록 작성, 음성 메모 기록, 음성 기반 업무 생성, 음성으로 작동하는 AI 비서 등 신뢰성 높은 STT에 의존하는 사례가 늘고 있습니다. STT와 LLM의 결합으로, 사용자는 자연스럽게 말하고 AI는 사용자의 의도를 이해하는 자연스러운 음성 인터페이스가 실현됩니다.

음성 인식의 작동 원리: 최신 음성 인식은 세 단계로 동작합니다. 먼저 오디오를 짧은 프레임(보통 10~25밀리초)으로 자르고, 순간마다 어떤 주파수가 강한지 보여 주는 스펙트로그램으로 바꿉니다. 다음으로 수십만 시간 분량의 전사된 음성으로 학습한 신경망(주로 트랜스포머나 컨포머)이 프레임을 그럴듯한 소리와 단어에 대응시킵니다. 마지막으로 디코더가 언어 지식을 활용해 가장 그럴듯한 문장을 고르며, 예를 들어 '눈(眼)'과 '눈(雪)'을 문맥으로 구분합니다. 예전 시스템은 음향 모델, 발음 사전, 언어 모델을 따로 두었지만, 지금의 엔드투엔드 모델은 셋을 함께 학습합니다.

음성 인식은 생성형 AI인가요? 보통은 생성이 아니라 인식으로 분류합니다. 하는 일이 새로운 콘텐츠를 만드는 것이 아니라 말한 내용을 그대로 옮기는 것이기 때문입니다. 다만 경계는 흐려졌습니다. Whisper 같은 모델은 생성형 언어 모델과 같은 인코더-디코더 트랜스포머 구조를 쓰고 전사문을 토큰 단위로 써 내려갑니다. 그래서 침묵이나 잡음 구간에서 아무도 하지 않은 말을 '환각'처럼 만들어 내기도 합니다. 반대 방향인 음성 합성(Text-to-Speech)이 음성 시스템의 생성 쪽입니다.

챗봇 속 음성 인식: 음성 챗봇이나 음성 비서에서 STT는 연결 고리 하나입니다. 음성 인식이 말을 텍스트로 바꾸고, 대규모 언어 모델이 그 텍스트를 읽고 무엇을 말하거나 할지 정하며, 음성 합성이 답을 소리 내어 읽습니다. 스트리밍 STT는 말하는 도중에도 중간 전사문을 보내고, 발화 종료 감지가 말이 끝난 시점을 알아차리기 때문에 답이 1초 안팎에 시작될 수 있습니다. 텍스트 단계를 건너뛰는 음성 대 음성 모델도 나오고 있지만, 실제 서비스 중인 비서 대부분은 부품을 바꾸고 점검하기 쉬운 3단 구성을 유지합니다. 전사보다 한 걸음 더 나아간 것이 '의도 인식(speech to intent)'으로, "5시에 알려 줘"가 그냥 문장이 아니라 알림이 됩니다.

활용 사례와 한계: 메시지와 문서 받아쓰기, 영상과 행사 자막, 콜센터 통화 분석, 의료·법률 구술 기록, 음성 검색, 운전하거나 요리할 때의 핸즈프리 조작 등입니다. 정확도는 단어 오류율(WER), 즉 덧붙거나 빠지거나 바뀐 단어의 비율로 잽니다. 입 가까이 둔 마이크로 깨끗하게 받아쓰면 한 자릿수 초반이 나오는 경우가 많지만, 여러 사람이 겹쳐 말하거나 억양이 강하거나 전문 용어가 많거나 전화 음질이면 크게 높아집니다. 화자를 구분한 회의 속기록이 필요하다면 전문 전사 서비스를, 말한 내용에 따라 움직이는 비서가 필요하다면 STT와 LLM의 조합을 고르세요.

관련 개념

자주 묻는 질문

더 탐색