做口播的用 Drama 3 这克隆效果完全没毛病吧?
《如果说和我聊天送Claude账号你还会不理我吗》
同一台机器,同一段参考音频和评测文案:
Drama 3 int4 量化版:4.6s生成 15.8s音频
IndexTTS 19.5s生成 19.2s音频
跳17s直接听IndexTTS效果,感觉在这个方向上Drama 3完胜!
上个月刚把知名的开源 TTS 引擎试了个遍
这个月 Fish Audio 就开源了新一代的 Drama 3
主打多角色配音和长文本
用来做个读剧本的工具应该很不错,主要他有这三点优势:
第一,一段文本里用 标签就能分出最多 16 个角色,广播剧、有声书一次就能生成。
第二,可以在台词里直接插 [sighs]、[laughs]、[whisper] 这类标签,叹气、笑声、耳语会落在你标的位置。
第三,它把编辑当成续写:一句话里只改一个词,比如“周三”改成“周四”,把之前的生成结果一起传回去,就能只改这个词,其余部分的声音和语气保持不变,不用整句重来。
另外它支持用几秒参考音频加文字稿克隆声音,号称支持 83 种语言,输出 44.1kHz。
模型是 35B 参数的 MoE,每个 token 只激活 3B,推理走 SGLang-Omni 或 vLLM-Omni
官方在 H200 上测的单路首包约 89ms,实时率 0.13,也就是生成 1 秒音频约 0.13 秒
完整版要 48GB 以上显存,另外有 int4 量化版,权重约 21GB
huggingface.co/fishaudio/dra…
Link
fishaudio/drama-3 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
ClaudeUdio有图有视频