【免费下载链接】Audio8-TTS-Preview-0.1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16点击查看免费下载Audio8-TTS-Preview-0.1b-bf16是 Audio8 开源语音合成TTS模型的 Apple Silicon 版MLX 转换约 1.7 亿参数支持中英语言与零样本声音克隆。这篇文章带你深入它的arktts 架构看看它如何用Mamba-2 混合栈实现快速语音推理——为什么一个 1.7 GB 的小模型也能以约 3.5 倍实时速度跑通完整的语音合成流水线。️模型概览1.7 GB 的多语言 TTS 是什么配置在深入架构之前先用一张表快速了解这个模型的基本盘数据来自 README.md 与 config.json项目规格参数量约 170M语言模型bf16总下载体积约 1.7 GB架构arkttsslow_backbone: falcon_h1见 config.json采样率44.1 kHzCD 级音质代码本10 个 codebook × 4096config.json主要语言中文、英文实验性语言德、西、法、意、日、韩特色功能零样本声音克隆zero-shot voice cloning与 0.6b 大版本相比0.1b 用3.5 倍小的语言模型换来了更快的推理速度代价是说话人相似度speaker similarity略低——后面选型指南会细讲。arktts 架构拆解慢速 AR 与快速 AR 的双层流水线arkttsAR AR TTS的核心设计是把语音生成拆成两级自回归AR流水线慢速 ARSlow一个 24 层的大模型负责思考——理解文本语义、决定说什么、怎么说快速 ARFast一个仅 4 层的小模型负责发声——每帧快速吐出 10 个代码本的 token神经 codec把代码本解码成 44.1 kHz 波形。这种分工让理解与生成各用最合适的算力是它快速推理的架构基础。慢速主干24 层 Falcon-H1 混合栈Mamba-2 注意力 MLP这是 0.1b 模型最特别的地方。README.md 明确指出每一层慢速层都同时携带三种组件Mamba-2 mixer、attention注意力和 MLP。也就是说它不是纯 Mamba 模型也不是纯 Transformer而是逐层混合Mamba-2 mixer状态空间模型序列长度上线性复杂度长文本不掉速关键参数见 config.json——mamba_d_ssm: 768、mamba_d_state: 64、mamba_chunk_size: 128注意力8 头、2 个 KV 头GQA 分组查询注意力省显存rope_theta高达 1e11超长上下文外推MLPintermediate_size: 768Silu 激活。三种组件取长补短Mamba-2 管长程依赖的效率注意力管精确的局部关联MLP 管非线性特征加工。快速编码器4 层 AR 一次预测 10 个代码本慢速 AR 每确定一帧语义就交给 4 层的快速 AR 展开成 10 个 codebook token每个 codebook 有 4096 个候选。快速栈参数见 config.jsonn_fast_layer: 4、fast_dim: 512、8 头 / 2 个局部头。层数少、宽度适中意味着每帧的合成开销极低——这正是快的直接来源。一个易踩的坑embedding_multiplier 作用在哪如果你打算复现或魔改这套架构README.md 特别提醒embedding_multiplier值为 0.10888671875见 config.json作用于复合输入——即文本 embedding 10 个 codebook embedding 之和而不是单独作用在文本查表上。README 实测如果把系数错误地折进embed_tokens表embedding 会有 77% 的相对误差但音频听起来仍然像模像样、长度也正确靠听根本发现不了。这是个隐蔽的精度陷阱值得警惕。⚠️为什么快Mamba-2 混合栈让推理提速的秘密把架构拆完速度账其实很好算模型足够小语言模型仅 1.7 GB对比 0.6b 的 2.6 GBApple Silicon 统一内存里加载无压力Mamba-2 的线性复杂度自回归逐 token 生成时每步都要重算历史上下文。Mamba-2 用固定大小的状态矩阵压缩历史信息单步成本不随序列线性膨胀长句合成时优势明显快速栈只干粗活4 层小网络批量产出 codebook token慢速大模型不直接参与逐帧解码。实测效果README.md相同文本与参考音频、确定性解码指标0.6b0.1bRTF实时因子0.330.28峰值内存8.17 GB7.59 GBRTF 0.28 意味着合成 1 秒语音只需约 0.28 秒约 3.5 倍实时速度。注意一个细节两者峰值内存差距只有 7%因为 1.35 GB 的 fp32 codec 权重被共享它是内存占用大头——所以 0.1b 省内存的意义主要在下载体积而非运行内存。44.1 kHz 神经声码器好声音的另一半arktts 输出的不是波形而是 10 个 codebook 的离散 token最终波形由捆绑的神经 codec 解码权重就在 codec.safetensors。codec 相关配置见 config.json采样率 44100 HzCD 音质、每帧 2048 个采样点、8 层 / 16 头 / 8 局部头的 transformer 后处理网络。MLX 版本还做了两个工程优化weight-norm 折叠、卷积权重改为 channels-last 布局以贴合 MLX 计算图。转换正确性经过严格校验README.mdgreedy 生成在 107 帧语料上100% token 级一致codec 编码 100% 码字一致解码波形最大偏差仅 1.2e-5。三步上手Apple Silicon 上最快运行方法第一步安装支持 falcon_h1 的 mlx-audio⚠️ 重点本模型配置了slow_backbone: falcon_h1已发布的 mlx-audio≥0.4.7尚不认识它需要按 README.md 的说明从源码安装最新版。用旧版加载会直接报错权重 key 布局不同不会静默产出坏音频。第二步加载模型from mlx_audio.tts.utils import load model load(mlx-community/Audio8-TTS-Preview-0.1b-bf16)第三步生成语音import soundfile as sf for result in model.generate( text你好欢迎体验 Audio8 TTS。, ref_audioreference.wav, # 参考音频可选 ref_text参考音频的文本转录, # 必须与参考音频内容一致 temperature0.7, top_p0.9, top_k50, ): sf.write(output.wav, result.audio, result.sample_rate)提供ref_audioref_text就是零样本声音克隆只需一段参考音频和它的逐字文本无需任何训练。不传参考音频时模型使用默认音色。默认采样参数temperature 0.7、top_p 0.9见 generation_config.json。选型指南0.1b 与 0.6b 怎么选对比项0.6b0.1b下载体积2.6 GB1.7 GBRTF0.330.28峰值内存8.17 GB7.59 GB说话人相似度 SIMEN / ZH63.2 / 73.156.7 / 68.2一句话结论声音克隆相似度是零样本场景最核心的指标追求质量选 0.6b在意下载体积、追求更快推理选 0.1b。另外上游模型卡说明0.1b 的中英文之外的实验性语言比 0.6b 更弱、波动更大。许可协议与仓库文件清单许可注意语言模型遵循 LICENSEAudio8 Community License v1.0是一种收入上限型自定义许可——非商业使用免费年营收低于 200 万美元的实体可免费商用达到或超过该门槛需向 Audio8 另行获取书面商业许可。部署前请务必通读。捆绑的codec 权重为 Apache-2.0。仓库核心文件一览文件说明model.safetensors170M 参数语言模型权重bf16codec.safetensors44.1 kHz 神经 codec 权重fp32Apache-2.0config.json架构与超参数arktts / falcon_h1 / Mamba-2generation_config.json生成默认采样参数tokenizer.json / tokenizer_config.json多语言分词器special_tokens_map.json特殊 token 映射README.md模型卡转换校验、实测数据与选型建议小结Audio8-TTS-Preview-0.1b-bf16 展示了小模型架构设计的典型思路——用Mamba-2 混合慢栈保证长程理解效率用轻量快速 AR压低逐帧开销再配一个高分辨率 codec 补齐音质。理解这套 arktts 双层流水线对把握当前多模态 TTS 的技术走向也很有参考价值。赞分享【免费下载链接】Audio8-TTS-Preview-0.1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16点击查看免费下载相关推荐如何克隆任意声音Audio8-TTS-0.1B-ONNX-INT8零样本语音克隆入门指南如何克隆任意声音Audio8 TTS 0.1B ONNX INT8零样本语音克隆入门指南 想只用 5 秒录音就克隆出任意人的声音Audio8 TTS 0.1克隆效果不理想的10个实用调参技巧Audio8-TTS-Preview-0.1b-bf16温度与采样参数详解克隆效果不理想的10个实用调参技巧Audio8 TTS Preview 0.1b bf16温度与采样参数详解 如果你在使用 Audio8 TTS Previe终极指南如何快速配置tts-server-android实现高效语音合成终极指南如何快速配置tts server android实现高效语音合成 tts server android是一款强大的Android系统TTS应用它内置语音后端移动开发创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考