Drama 3 정리: Fish Audio 감정 연기 TTS의 성능, 가격, 한국어 실행 결과
Fish Audio가 10월 13일 공개한 음성 합성 모델 Drama 3는 대본에 적은 연기 지시대로 울고 웃으며 읽고, 가중치도 공개됐습니다. 공식 성능 수치와 API 가격, 라이선스 조건, DGX 스파크에서 직접 실행한 한국어 결과를 정리합니다.
세 줄로 먼저 읽기
이번 방문에서 한 편은 바로 볼 수 있습니다.
AI 음성 합성(TTS, 글을 음성으로 읽어 주는 기술)으로 동화나 드라마 대사를 만들면 문장은 또박또박 읽어도 울먹이거나 화를 참거나 웃음을 터뜨리는 장면은 밋밋해지기 쉽습니다. 음성 합성 서비스 fish.audio를 운영하는 Fish Audio가 10월 13일 공개한 Drama 3는 이 연기를 겨냥한 모델입니다. 대본의 대괄호 안에 배우에게 하듯 연기 지시를 적으면 그대로 읽고, 한숨이나 웃음 같은 소리도 태그를 넣은 위치에서 냅니다. Fish Audio는 Drama 3를 이렇게 소개했습니다.
"Drama 3 is Fish Audio's most emotive text-to-speech model: far more feeling than S2.1 Pro, and No. 1 on Artificial Analysis' Pronunciation Robustness benchmark."
S2.1 Pro는 Fish Audio의 이전 최상위 모델입니다. Drama 3는 fish.audio 웹과 앱, API로 바로 쓸 수 있고, 모델 가중치도 Hugging Face에 공개돼 내 컴퓨터에서 직접 실행할 수 있습니다. 저는 10월 21일 DGX 스파크에서 Drama 3를 띄워 한국어 목소리 복제와 인물 7명이 나오는 흥부와 놀부 낭독을 만들어 봤습니다.
이 글은 10월 23일 기준 Fish Audio 공식 발표문과 Hugging Face 모델 카드, 기술 보고서, 라이선스 원문, 그리고 10월 21일 직접 실행한 결과를 바탕으로 합니다. 성능 수치는 Fish Audio가 발표한 값이고, 한국어 결과는 제 환경에서 만든 기록입니다.
Drama 3가 하는 일
사용 방법은 대본에 지시를 함께 적는 것이 전부입니다. 발표문에 실린 예시는 이렇습니다.
[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me."겨우 버티며 억지로 웃는" 말투로 시작해, 떨리는 숨, 작은 웃음, 속삭임이 적힌 순서대로 들어갑니다. 지시를 넣는 방법은 세 가지입니다.
- 줄 앞의 연기 지시:
[choked up, crying quietly]처럼 줄 앞에 적으면 그 줄 전체의 말투가 정해집니다. 중간에 새 지시를 넣으면 그 지점부터 말투가 바뀝니다. - 소리 태그:
[sighs](한숨),[laughs](웃음),[gasps](헉 하는 소리)처럼 소리가 날 위치에 넣습니다. - 짝 태그:
<whisper>,<emphasis>처럼 여는 태그와 닫는 태그 사이의 낱말에만 효과를 줍니다.
지시는 대사와 다른 언어로 적어도 됩니다. Fish Audio는 대사가 영어여도 지시를 중국어, 스페인어, 일본어로 쓴 예시를 보여 줬습니다. 지원 언어는 83개이고 한국어가 들어 있습니다.
참조 음성으로 목소리를 복제하는 기능, 한 대본에 화자 태그로 16명까지 넣는 여러 인물 기능도 있습니다. 앞서 만든 음성을 넘기고 "더 부드럽게"처럼 고쳐 달라고 하는 대화형 수정과, 낱말 하나만 바꿔 다시 만드는 음성 부분 수정은 fish.audio에서 발표 시점에 초대받은 사용자만 시험하고 있습니다.
발음 정확도와 모델 구조
연기가 풍부해지면 발음이 흐트러지기 쉽습니다. Fish Audio는 이 부분을 독립 평가 기관 Artificial Analysis의 발음 정확도(Pronunciation Robustness) 벤치마크로 보여 줬습니다. 이 벤치마크는 숫자, 코드, 브랜드명처럼 읽기 어려운 낱말을 영어 문장에 넣고 사람이 하나씩 들어 맞게 읽었는지 확인합니다. Drama 3는 93.2%로 순위표 1위였습니다.
| 읽은 낱말 종류 | Drama 3 | S2.1 Pro |
|---|---|---|
| 브랜드, 지명, 기술 용어 | 95.9% | 87.3% |
| 문맥에 따라 읽는 법이 바뀌는 낱말 | 95.3% | 86.1% |
| 숫자, 날짜, 단위, 기호 | 93.6% | 92.7% |
| 코드, 경로, 이메일 같은 정확한 문자열 | 86.3% | 79.4% |
| 전체 | 93.2% | 88.1% |
브랜드와 기술 용어에서 차이가 가장 큽니다. 다만 이 평가는 영어 문장 기준이라 한국어 발음은 따로 확인해야 하고, 뒤의 직접 실행 결과에서 다룹니다.
모델은 전체 350억(35B) 파라미터 가운데 토큰 하나를 처리할 때 약 30억(3B)만 계산하는 MoE(전문가 혼합) 구조입니다. MoE는 모델 안에 작은 신경망(전문가) 여러 개를 두고 입력마다 일부만 골라 쓰는 방식이라, 파일은 크지만 한 번에 계산하는 양은 작은 모델에 가깝습니다. 알리바바의 Qwen3.5-35B-A3B 언어 모델에서 출발했고, 기술 보고서는 Drama 3를 전체 파라미터 기준으로 지금까지 공개된 음성 생성 전용 모델 가운데 가장 크다고 소개합니다.
학습 방식에도 차이가 있습니다. 보통 음성 모델은 받아쓰기 쉬운지, 참조 목소리와 닮았는지로 점수를 받으며 학습하는데, 이 기준에서는 웃음이나 속삭임이 감점 요인이 됩니다. Drama 3는 사람들이 어느 쪽 음성을 더 좋아했는지를 학습한 평가 모델 하나로만 보상을 줘서, 요청한 웃음이 감점되지 않게 했다고 설명합니다.
이용 방법과 가격
| 방법 | 내용 |
|---|---|
| fish.audio 웹과 앱 | Text to Speech 메뉴에서 바로 사용, 아이폰과 안드로이드 앱 제공 |
| API | 기존 https://api.fish.audio/v1/tts 주소에 model: drama-3 헤더만 바꿔 호출 |
| API 가격 | 100만 글자당 50달러, 11월 12일까지 출시 할인으로 10달러 |
| 크리에이터 요금제 | 11월 12일까지 새로 가입하면 50% 할인 |
| 직접 실행 | Hugging Face에서 가중치를 받아 SGLang-Omni나 vLLM-Omni로 실행 |
직접 실행할 때 공식 FP8판은 메모리 48GB 이상인 엔비디아 GPU가 필요합니다. Fish Audio 문서는 모델의 큰 부분을 4비트로 줄인 int4판(fishaudio/drama-3-int4)도 함께 안내하는데, 가중치가 GPU 메모리에서 차지하는 크기가 37.0GB에서 20.8GB로 줄어듭니다. 공식 측정에서 int4판은 요청당 약 8% 느리고 영어 받아쓰기 오류율은 FP8판과 같은 수준이었습니다.
DGX 스파크에서 실행한 한국어 결과
통합 메모리 128GB인 DGX 스파크 계열 기기에 int4판을 받아 SGLang-Omni로 띄웠습니다. SGLang-Omni는 음성과 이미지를 다루는 AI 모델을 API 서버로 띄우는 오픈소스 프로그램입니다. 설치 중 Drama 3와 관계없는 패키지 두 개(nemo_text_processing, dots.tts)가 빌드에 실패해 설치 목록에서 뺐고, 서버가 실행 중 커널을 컴파일하는 데 필요한 ninja를 추가로 설치했습니다. 같은 기기에서 이미지 생성 모델이 함께 돌고 있어서 메모리 비율을 엔진 30%, 보코더 6%로 낮춰 띄웠습니다.
한국어 목소리 복제
실제 영상 대본에서 가져온 15초 분량 세 문장을 목소리 조건 세 가지로 세 번씩, 모두 9건 만들었습니다. 문장은 "구글이 시월 십사 일 제미나이포, 아르곤을 일반에 공개했어요. 한국에서도 에이아이 프로와 울트라 구독으로 쓸 수 있게 됐어요. 같은 주에 다른 회사들도 가격과 속도, 업무 기능을 새로 내놨어요."입니다. 아래는 교육 현장에서 녹음한 제 목소리 16.4초를 참조로 준 결과와 참조 없이 만든 결과입니다.
참조로 준 교육 현장 녹음 (16.4초)
녹음을 복제한 결과 (13.6초)
참조 없이 만든 기본 목소리 (14.9초)
9건을 받아쓰기 모델(whisper large-v3 turbo)로 다시 받아 적어 원래 문장과 비교했습니다.
| 목소리 조건 | 대본대로 읽은 건수 | 틀린 부분 |
|---|---|---|
| 채널 더빙 기준 음성 9.8초 복제 | 3건 중 3건 | 없음 |
| 교육 현장 녹음 16.4초 복제 | 3건 중 3건 | 없음 |
| 참조 없음 | 3건 중 1건 | "구글이"를 "고그의", "제미나이포, 아르곤"을 "재미나이퍼, 아르건"으로 읽음 |
참조 음성을 준 6건은 모두 대본대로 읽었고, 녹음 품질이 16kHz로 낮은 교육 현장 녹음도 결과는 같았습니다. 참조 없이 만든 3건 가운데 2건은 첫 문장의 고유명사를 틀리게 읽었습니다. 15초 음성 한 건을 만드는 데는 14~23초가 걸렸습니다.
인물 7명이 나오는 흥부와 놀부
해설 1명과 인물 6명(놀부, 흥부, 흥부 아내, 놀부 아내, 아이, 도깨비)이 나오는 46줄 대본으로 만든 6분 10초 낭독입니다. 사람 목소리는 녹음하지 않았고, 일곱 목소리 모두 Drama 3가 목소리 설명을 보고 만들었습니다.
흥부와 놀부 (6분 10초)
대본은 한 줄에 인물, 영어 연기 지시, 한국어 대사를 탭으로 나눠 적었습니다.
nolbu cold, sneering, contemptuous 너희 식구는 오늘부터 이 집에서 나가거라! [scoffs] 밥 한 톨도 나눠 줄 수 없다!
heungbu desperate, voice trembling, on the verge of tears 형님, 아이들이 아직 어립니다. 겨울만이라도 지내게 해 주십시오.
heungbu_wife anxious, quiet, worried [sighs] 여보, 오늘은 보리쌀 한 줌도 없어요. 아이들 저녁을 어떻게 하지요?만든 순서는 네 단계입니다.
- 인물 목소리를 정합니다.
[deep, gruff, greedy middle-aged man]처럼 목소리를 묘사하고 그 인물다운 대사를 붙여 인물마다 서너 개씩 만들었습니다. 대괄호 안의 설명은 음성으로 나오지 않고 목소리에만 반영됩니다. 같은 설명으로 만든 후보끼리도 목소리가 서로 달라서, 가장 어울리는 하나를 골랐습니다. - 고른 목소리를 참조로 줄마다 생성합니다. 1단계에서 고른 파일을 참조 음성으로 넘기고 줄마다 후보를 3개 이상, 46줄에 모두 148개 만들었습니다. 같은 지시라도 생성할 때마다 연기가 달라지기 때문입니다.
- 받아쓰기와 화자 유사도로 고릅니다. 후보마다 받아쓰기 글자 오류율과, 화자 인식 모델 WavLM으로 계산한 참조 목소리와의 유사도를 냈습니다. 148개 후보의 평균 글자 오류율은 11.5%였고 대본과 완전히 같게 받아 적힌 후보는 55개였습니다. 오류율이 가장 낮은 후보를 고르고, 한 줄은 직접 들어 보고 바꿨습니다.
- 음량과 쉼을 맞춰 이어 붙입니다. 인물마다 평균 음량을 맞추고, 같은 인물이 이어 말할 때 0.45초, 인물이 바뀔 때 0.6초, 장면이 바뀔 때 1.1초를 띄웠습니다.
화자 태그로 여러 인물을 한 요청에 넣는 방식을 쓰지 않은 것은, 제가 띄운 서버가 <|speaker:0|>만 받았기 때문입니다. 완성본 전체를 다시 받아 적은 글자 오류율은 2.5%였고, 틀린 곳은 "초가집"을 "초과집"으로 적은 것처럼 발음이 비슷한 낱말이었습니다. 흥부의 [sighs deeply] 하는 수 없구려.는 "하... 하는 수 없구려."로 받아 적혀, 한숨이 대사 앞에 들어간 것을 받아쓰기에서도 확인할 수 있었습니다.
Built with Fish Audio. 이 글의 음성은 Fish Audio Drama 3(int4판)로 생성했습니다.
라이선스 조건
Drama 3는 소스 코드까지 공개한 오픈소스가 아니라 가중치를 공개한 모델이고, 새로 만든 Fish Audio 커뮤니티 라이선스 1.0을 따릅니다. int4판처럼 원본을 양자화한 모델에도 같은 조건이 적용됩니다.
| 조건 | 내용 |
|---|---|
| 연구와 비상업 사용 | 무료 |
| 상업 사용 | 본인과 계열사의 연매출이 50만 달러 미만이면 무료, 그 이상은 Fish Audio와 별도 계약 |
| 서비스 제공 | 다른 사람에게 음성 합성, 목소리 복제, 추론 서비스나 API로 제공하려면 매출과 관계없이 별도 라이선스 |
| 목소리 복제 | 실제 사람의 목소리는 본인 동의가 있어야 복제 가능 |
| 학습 사용 | 생성한 음성으로 다른 음성 생성 모델이나 기반 모델을 학습시키지 않음 |
| 표기 | 사용한 제품이나 서비스의 웹사이트, 블로그 글 등에 "Built with Fish Audio" 표시 |
고객에게 납품할 완성 음성을 만드는 것은 허용된다고 Fish Audio가 발표문에서 밝혔습니다. 이전 모델 S2는 기존 Fish Audio 연구용 라이선스를 그대로 따릅니다.
Drama 3를 써 볼 만한 경우
Fish Audio는 Drama 3가 한 번 만들어 두고 쓰는 대본, 곧 오디오북, 오디오 드라마, 게임과 애니메이션 대사, 짧은 영상에 맞는다고 설명합니다. 직접 써 본 결과를 더하면 다음 순서로 판단할 수 있습니다.
- 감정 연기가 필요한 작업인지 봅니다. 동화 낭독이나 짧은 드라마처럼 울고 웃는 장면이 있다면 시험할 가치가 큽니다. 차분한 설명 내레이션이라면 지금 쓰는 TTS로도 충분할 수 있습니다. 저도 채널 더빙은 Qwen3-TTS로 만든 기존 목소리를 그대로 씁니다.
- 한국어는 참조 음성과 함께 시험합니다. 본인 목소리나 동의받은 목소리 10~20초와 그 대본을 준비해 짧은 문장 세 개를 세 번씩 만들고, 고유명사와 숫자를 어떻게 읽는지 받아쓰기로 확인합니다.
- 실행 방법을 고릅니다. GPU가 없다면 fish.audio 웹이나 API로 시작하고, 출시 할인이 11월 12일에 끝나니 정가 기준으로도 비용을 계산합니다. 대량으로 만들거나 음성을 외부에 보내고 싶지 않다면 직접 실행을 검토하는데, int4판 가중치만 20.8GB라 메모리 여유가 큰 장비가 필요합니다.
- 후보를 고르는 시간을 계획에 넣습니다. 같은 지시도 생성할 때마다 연기가 달라서, 흥부와 놀부 46줄에 후보 148개를 만들었습니다. Fish Audio도 여러 번 만들어 가장 나은 것을 고르라고 안내합니다.
참고 자료
제대로 이해했는지 한 문제로 확인해 볼까요?
답을 고르면 바로 풀이가 나와요.
Drama 3로 인물 여러 명이 나오는 한국어 낭독을 만들 때, 이 글의 방식에서 인물마다 같은 목소리를 유지한 방법은 무엇인가요?
이 글이 도움이 되었나요?
메일, 회의록, 리포트처럼 반복되는 일을 AI로 자동화하는 순서와 안전장치를 다룹니다
코스 전체 보기 →
새 글과 AI 소식을 메일로 받아 보세요
AI가 바꾸는 일과 도구, 측정 실무 이야기를 매주 한 번 보내 드려요.