【免费下载链接】fish-audio-drama-3-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/fish-audio-drama-3-bf16点击查看免费下载想在自己的 Mac 上跑一个本地 TTSfish-audio-drama-3-bf16 是一个值得关注的选择它是 Fish Audio Drama 3 语音合成模型面向 Apple Silicon 的 MLX 社区转换版支持多说话人语音克隆、流式输出和 90 种语言全程本地推理无需联网。本文带你了解它的定位、硬件门槛、上手方式和多说话人玩法。为什么需要 Mac 本地 TTS云语音合成方便但有三个绕不开的痛点隐私顾虑文本要上传到第三方服务器涉及敏感内容内部文档、私人录音脚本时不太合适网络依赖断网或高延迟环境下无法使用成本累积按字符计费大量合成时费用可观本地 TTS 方案把这些都解决了——数据不出机器合成速度取决于你自己的硬件。而 Apple Silicon 的 MLX 框架正是目前 Mac 上做这类推理的优选路径。什么是 fish-audio-drama-3-bf16一句话概括Drama 3 的满血本地版。它的来历可以在 README.md 中找到说明基于 Fish Audio 官方 Drama 3 模型fishaudio/drama-3转换而来由社区贡献者使用 mlx-audio 的转换器完成官方未发布或背书此版本转换时未做任何量化原 block-FP8 的 routed experts 被反量化为 bfloat16其余权重保持发布时的 bfloat16 精度因此音质上限就是原始模型的完整水平对新手来说bf16 可以简单理解为高精度格式——相比 4bit/8bit 量化版文件更大但还原度最高。NOTICE 文件详细列出了转换过程中对原始权重的每一处改动方便你核对。从 config.json 可以看到它的内部结构40 层 MoE 文本主干每层 256 个专家、每 token 激活 8 个、25 万级词表以及独立的音频解码器——这是它能输出自然语音的底层保障。硬件要求先看内存再下载⚠️ 这是全文最重要的一节。指标数值磁盘占用约 67 GB生成时峰值内存约 74 GB建议 Mac 统一内存≥ 96 GB也就是说只有高端 M 系列 Mac96 GB 及以上统一内存才能流畅运行这个 bf16 完整版。如果你的 Mac 内存更小可以考虑同系列的 4bit 量化版本mlx-community/fish-audio-drama-3-4bit磁盘占用约 26 GBREADME.md 中给出了这个提示。模型文件都包含什么这个仓库是一个标准的大模型权重包文件清单如下模型权重model-00001.safetensors 至model-00016.safetensors共 16 个分片合计约 67 GB加载时会被合并使用语音编解码器codec.safetensors负责把语义 token 还原成 44.1 kHz 波形模型配置config.json描述网络结构与精度bfloat16分词器tokenizer.json 与 tokenizer_config.json其中内置了|speaker:0|到|speaker:15|共 16 个说话人标记这是多说话人能力的关键模板与许可chat_template.jinja、LICENSE、NOTICE下载时建议用git clone或模型下载工具拉取仓库地址https://gitcode.com/hf_mirrors/mlx-community/fish-audio-drama-3-bf16三步上手本地语音合成最快方法由于 Drama 3 的支持还在 mlx-audio 的 PR 分支中安装时需要指定分支版本pip install mlx-audio githttps://github.com/stickerdaniel/mlx-audiofish-drama3然后用 Python 几行代码就能跑通第一条语音from mlx_audio.tts.utils import load_model model load_model(mlx-community/fish-audio-drama-3-bf16) for result in model.generate( text[sighs] Fine. If we miss it, its on you., ref_audioreference.wav, ref_textTranscript of the reference clip., streamTrue, ): print(result.audio.shape) # 44.1 kHz chunks不想写代码直接命令行也行python -m mlx_audio.tts.generate --model mlx-community/fish-audio-drama-3-bf16 \ --text [sighs] Fine. If we miss it, its on you. \ --ref_audio reference.wav --ref_text Transcript of the reference clip. \ --temperature 0.7 --top_p 0.7 --top_k 30两个参数值得说明ref_audio/ref_text参考音频及其文本内容用于指定用谁的声音说是语音克隆的入口streamTrue流式生成边合成边出音频首块延迟更低多说话人玩法一次合成整段对白这是 Drama 3 区别于普通 TTS 的核心能力。tokenizer_config.json 中定义了|speaker:0|~|speaker:15|共16 个说话人槽位可以在同一段生成里切换不同声音适合️ 有声书/播客多角色对白一次生成 教材与字幕配音固定角色音色保持一致 短视频配音不同角色用不同参考音频用法上配合多个参考音频即可让每个 speaker 槽位对应不同音色具体的多参考音频与流式参数细节README 指向了 mlx-audio 仓库内的模型文档可按需查阅。另外文本中的舞台指示如[sighs]也会被模型理解用来表现叹息、停顿等语气细节——这也是戏剧级drama命名的由来。性能实测本地 TTS 有多快README 给出了 M3 Max128 GB上的参考数据生成速度约1.4 倍实时合成 1 分钟音频约需 40 多秒音色缓存后首个流式音频块270~300 ms即可到达接近即说即出模型加载约 12 秒热缓存首次调用额外约 3 秒对于离线批处理和日常配音场景这个速度完全够用。许可条款商用前必看模型遵循Fish Audio Community License见 LICENSE。它包含对使用方式的限制条款以及对商用和托管服务的专门约定。如果你的用途涉及商业产品或对外提供服务务必先逐条阅读许可条款确认授权范围再使用——这一点比任何技术细节都重要。总结谁适合 fish-audio-drama-3-bf16适合你如果✅ 拥有 96 GB 及以上统一内存的 Apple Silicon Mac✅ 有多角色对白、语音克隆或离线合成的需求✅ 对音质要求高能接受 67 GB 的磁盘占用不适合你如果❌ Mac 内存低于 96 GB → 改用 4bit 版本❌ 只需要简单朗读、无克隆需求 → 轻量模型就足够了本地 TTS 的大门已经打开而 fish-audio-drama-3-bf16 正是 Mac 上满血多说话人语音克隆的完整答案——隐私、速度、音质一次到位。赞分享【免费下载链接】fish-audio-drama-3-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/fish-audio-drama-3-bf16点击查看免费下载相关推荐Fish Audio Drama 3 语音克隆实战一段3.9秒音频还原说话人音色Fish Audio Drama 3 语音克隆实战一段3.9秒音频还原说话人音色 想体验 零样本语音克隆 Fish Audio Drama 3 只需一段 3声音克隆入门fish-audio-drama-3-bf16用ref_audio复刻指定音色完整指南声音克隆入门fish audio drama 3 bf16用ref_audio复刻指定音色完整指南 本文带你从零上手 fish audio drama 3 b16个角色同场开麦fish-audio-drama-3-bf16多说话人标签speaker 0-15使用技巧16个角色同场开麦fish audio drama 3 bf16多说话人标签speaker 0 15使用技巧 fish audio drama 3 bf1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考