上个月刚把知名的开源 TTS 引擎试了个遍
这个月 Fish Audio 就开源了新一代的 Drama 3
主打多角色配音和长文本
用来做个读剧本的工具应该很不错,主要他有这三点优势:
第一,一段文本里用 标签就能分出最多 16 个角色,广播剧、有声书一次就能生成。
第二,可以在台词里直接插 [sighs]、[laughs]、[whisper] 这类标签,叹气、笑声、耳语会落在你标的位置。
第三,它把编辑当成续写:一句话里只改一个词,比如“周三”改成“周四”,把之前的生成结果一起传回去,就能只改这个词,其余部分的声音和语气保持不变,不用整句重来。
另外它支持用几秒参考音频加文字稿克隆声音,号称支持 83 种语言,输出 44.1kHz。
模型是 35B 参数的 MoE,每个 token 只激活 3B,推理走 SGLang-Omni 或 vLLM-Omni
官方在 H200 上测的单路首包约 89ms,实时率 0.13,也就是生成 1 秒音频约 0.13 秒
完整版要 48GB 以上显存,另外有 int4 量化版,权重约 21GB
huggingface.co/fishaudio/dra…
Link
fishaudio/drama-3 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Udio有图