AI 음성 합성과 음성 인식 기술의 역사

최종 업데이트: 2026년 7월 7일 · 읽는 데 약 12분 · 시리즈 "AI 툴의 역사와 종류" 7/15편

2026년 5월, OpenAI는 "GPT-리얼타임-2"를 공개했습니다. 128K 토큰 컨텍스트를 갖춘, 추론까지 가능한 실시간 음성 모델입니다. 여기까지 오는 데는 74년이 걸렸습니다.

1편에서 다룬 텍스트 AI, 5·6편에서 다룬 이미지·영상 AI에 이어, 이번엔 '듣고 말하는' AI의 역사를 살펴봅니다. 음성 인식(사람 말을 알아듣기)과 음성 합성(사람 같은 목소리를 만들기), 이 두 갈래가 어떻게 만나 지금에 이르렀는지 함께 봅니다.

1952년 오드리와 1962년 슈박스, 최초의 음성인식

벨연구소는 1952년 "오드리(Audrey)"를 만들었습니다. 숫자 0부터 9까지를 약 90% 정확도로 알아들었지만, 개발자 본인의 목소리에서만 그 정도 성능이 나왔고 숫자 사이에 350밀리초씩 쉬어야 했습니다.

1962년 시애틀 세계박람회에서는 IBM이 "슈박스(Shoebox)"를 선보였습니다. 숫자 10개와 "더하기·빼기·합계" 같은 명령어 6개, 총 16개 단어를 인식했습니다. 지금 기준으론 장난감 같지만, 기계가 사람 말을 알아듣는다는 발상 자체가 당시엔 놀라운 일이었습니다.

1980년대 스핑크스, 카네기멜론과 다르파의 도전

미국 국방고등연구계획국(DARPA)은 1971년부터 카네기멜론대에 음성인식 연구비를 지원했습니다(카네기멜론대 공식 스핑크스 역사 페이지). 1987년, 라즈 레디 교수 연구실의 카이푸 리(Kai-Fu Lee) 등이 개발한 "스핑크스(Sphinx-I)"는 특정 화자에 맞출 필요 없이, 이어지는 자연스러운 문장을 인식할 수 있는 최초의 시스템이었습니다. 은닉 마르코프 모델과 빔 서치 기법을 결합한 결과였습니다.

2011~2016년, 스마트폰 속으로 들어온 음성비서

2011년 10월 4일 애플은 아이폰4S와 함께 시리를 공개했습니다. 2014년 11월 6일 아마존은 에코·알렉사를 내놨고, 처음엔 사전 신청자에게만 초대장을 보냈습니다. 2016년 5월 18일에는 구글이 I/O 행사에서 구글 어시스턴트를 선보였습니다. 세 회사 모두 음성비서를 스마트폰이나 전용 스피커에 담아 일상 속으로 들여왔습니다.

표: 3대 음성비서 등장 순서 (출처: 각 사 공식 발표, 아래 "출처" 참고)

2016년 웨이브넷, 진짜 같은 목소리의 시작

같은 해인 2016년 9월, 구글 딥마인드는 "웨이브넷(WaveNet)" 논문을 발표했습니다(arXiv:1609.03499). 기존 음성 합성이 미리 녹음된 조각을 이어 붙이거나 규칙에 따라 소리를 만든 반면, 웨이브넷은 원본 파형을 한 샘플씩 직접 생성하는 방식이었습니다. 사람 평가자들은 이전 방식보다 훨씬 자연스럽다고 평가했습니다.

음성비서 3사가 등장한 해와 웨이브넷 논문이 나온 해가 같다는 건 우연이 아닙니다. "듣는 기술"(음성인식)과 "말하는 기술"(음성합성)이 비슷한 시기에 각자 임계점을 넘으며, 비로소 자연스러운 음성 대화 경험이 가능해진 겁니다.

2022년 위스퍼, 오픈소스 음성인식의 전환점

2022년 9월 21일 OpenAI는 음성인식 모델 "위스퍼(Whisper)"를 오픈소스(MIT 라이선스)로 공개했습니다. 68만 시간 분량의 다국어 웹 음성 데이터로 학습했고, 여러 벤치마크에서 특화 음성인식 모델보다 오류가 약 절반 적었습니다. 누구나 무료로 가져다 쓸 수 있다는 점에서, 상업용 API에 의존하던 음성인식 생태계를 한 번에 바꿔놓았습니다.

일레븐랩스, 목소리를 복제하는 AI

런던에서 2022년 피오트르 돔프코프스키와 마티 스타니셰프스키가 창업한 일레븐랩스는, 실제 사람 목소리를 정교하게 복제·합성하는 기술로 오디오북 내레이션·더빙·대화형 에이전트 시장에서 주목받았습니다.

성장 속도도 빨랐습니다. 2025년 1월 30일 시리즈C에서 33억 달러 기업가치로 1억 8,000만 달러를 유치했고, 2026년 2월 4일 시리즈D에서는 세쿼이아 주도로 110억 달러 기업가치에 5억 달러를 추가로 유치했습니다. 2026년 7월 기준 220억 달러 기업가치로 지분 매각을 논의 중이라는 보도도 나왔지만(테크타임스, 2026년 7월 5일), 아직 초기 협의 단계로 확정된 거래는 아니라는 점은 짚어둘 필요가 있습니다.

2024년, 챗GPT와 실시간으로 대화하다

2024년 9월 24일 오픈AI는 챗GPT 플러스 사용자 전체에게 "어드밴스드 보이스 모드"를 열었습니다. 텍스트를 거치지 않고 음성으로 자연스럽게 대화를 주고받는 기능이었습니다. 같은 해 11월 19일에는 웹 버전에도 확대됐습니다(TechCrunch, 2024년 11월 19일).

이 흐름은 2026년 5월 GPT-리얼타임-2로 이어졌습니다. 추론 능력까지 갖춘 실시간 음성 모델로, 70개 이상 언어를 입력받아 13개 언어로 통역하는 기능까지 함께 나왔습니다.

목소리를 복제한 사기, 그리고 정치 딥페이크

음성 AI가 좋아질수록 악용 사례도 늘었습니다. 2024년 1월, 뉴햄프셔주 예비선거 유권자들에게 조 바이든 목소리를 복제한 로봇전화 약 2만 5,000통이 걸려와 투표하지 말라고 유도한 사건이 있었습니다. 연방통신위원회(FCC)는 이후 AI 음성 로봇전화를 전기통신소비자보호법 위반으로 규정했고, 관련 통신사는 100만 달러에 합의했습니다.

FBI 산하 인터넷범죄신고센터(IC3)에 따르면, 2025년 미국에서 AI가 언급된 사기 신고는 2만 2,364건, 조정 피해액은 8억 9,300만 달러에 달했습니다. 이 중 60세 이상 피해자의 신고만 3,143건, 피해액은 3억 5,249만 달러였습니다. 가족을 사칭해 다급한 상황을 연출하는 "손주 사기"류의 음성 복제 사기만으로도 500만 달러 넘는 피해가 보고됐습니다.

음성 AI 시장은 얼마나 큰가

그랜드뷰리서치는 좁은 의미의 "AI 음성 에이전트" 시장을 2025년 25억 4,000만 달러에서 2026년 35억 1,000만 달러로 추정합니다. 반면 프리시던스리서치는 음성·언어 지능 전체를 아우르는 넓은 범위로 2025년 시장을 201억 달러로 잡습니다. 두 수치가 5~10배 차이 나는 건 집계 범위가 다르기 때문이며, 어느 쪽이 "틀렸다"는 뜻은 아닙니다.

1952년 숫자 10개를 겨우 알아듣던 오드리에서, 2026년 추론까지 하는 실시간 통역 AI까지. 음성 AI 툴은 74년 만에 완전히 다른 존재가 됐습니다. 다음 편에서는 언어의 경계를 넘는 AI 번역 도구를 살펴보겠습니다.

자주 묻는 질문

Q. 음성 인식 기술은 언제부터 있었나요?

1952년 벨연구소의 "오드리"까지 거슬러 올라갑니다. 숫자 10개를 약 90% 정확도로 인식했지만, 특정인의 목소리에서만 잘 작동했습니다.

Q. 시리, 알렉사, 구글 어시스턴트 중 누가 먼저였나요?

시리가 2011년 10월로 가장 빨랐고, 알렉사가 2014년 11월, 구글 어시스턴트가 2016년 5월 순으로 뒤를 이었습니다.

Q. 일레븐랩스는 무엇으로 유명한가요?

2022년 설립된 회사로, 실제 사람 목소리를 정교하게 복제·합성하는 기술로 유명합니다. 2026년 2월 기준 기업가치 110억 달러를 인정받았습니다.

Q. 음성 복제 사기 피해가 실제로 큰가요?

FBI에 따르면 2025년 미국에서 AI 관련 사기 신고 피해액이 8억 9,300만 달러에 달했습니다. 목소리를 복제해 가족을 사칭하는 사기도 다수 보고됐습니다.

Q. 챗GPT와 실시간 음성 대화가 가능한가요?

가능합니다. 2024년 9월 어드밴스드 보이스 모드가 출시됐고, 2026년 5월에는 추론 능력까지 갖춘 GPT-리얼타임-2로 발전했습니다.