数据集语音【免费下载链接】IndicVoices项目地址https://ai.gitcode.com/hf_mirrors/ai4bharat/IndicVoices点击查看免费下载IndicVoices是目前覆盖印度 22 种语言、23.7K 小时自然语音的开源多语言语音数据集。对做 ASR自动语音识别和数据集构建的新手来说最常被问到的一个问题是同一条样本为什么会同时带有verbatim、normalized和unsanitized三类文本字段它们有什么区别该选哪个做训练标签本文带你一次性读懂 IndicVoices 的文本规范化设计。1 分钟认识 IndicVoices关键指标数据覆盖语言22 种印度宪法第八案历语言Hindi、Tamil、Bengali、Urdu 等语音总量23.7K 小时朗读 8% 即兴 76% 对话 15%说话人约 51K 人覆盖 400 个印度区已转写字数11.2K 小时已完成转录许可证CC BY 4.0数据集以「语言目录 Parquet 分片」的形式组织例如 Hindi 语料存放在 hindi/ 目录下训练集包含 hindi/train-00000-of-00082.parquet 等 82 个分片。完整字段定义可查阅 README.md 中的dataset_info元数据块以及自动生成的 dataset_infos.json。一条样本四份文本字段全景图打开任意语言目录如 assamese/中的 Parquet 分片你会发现同一条音频记录同时携带了 4 个文本类字段字段名一句话含义处理阶段unsanitized_verbatim清洗前的逐字转写原始阶段unsanitized_normalized清洗前的规范化转写原始阶段verbatim清洗后的逐字转写人说了什么精修阶段normalized清洗后的规范化转写音频听起来像什么训练阶段此外还有text训练用主文本、duration、lang、speaker_id、scenario、task_name、gender、age_group以及verification_report质检报告等字段完整字段清单见 dataset_infos.json。逐字转写verbatim忠实还原人说了什么verbatim记录的是一字不差的口语内容保留说话人的口头禅、重复、自我修正比如说到一半换了一个词保留语言混用code-switching如印地语句子中夹杂英语词保留方言表达和口语语法不做书面化改写。它是研究口语现象、语言多样性分析、构建口语语料库的首选字段因为任何美化都会丢失真实的语言使用信息。规范化文本normalized让标签对齐耳朵听到的normalized字段则做了系统性的书写规范化核心原则是文本要与音频的发音一一对应常见做法包括数字展开3G→three G这类缩写还原让字符数与读音匹配统一标点与大小写去掉对发音无贡献的符号对专有名词、缩写做一致的展开规则。 训练 ASR 模型时IndicVoices 官方训练的首个覆盖 22 种语言的 IndicASR 模型即基于此类标签normalized是更合适的目标文本因为它消除了写法多样、读法相同带来的标注噪声。unsanitized 双字段可追溯的底稿前缀unsanitized表示清洗流程介入之前的原始状态unsanitized_verbatim标注员最初提交的逐字转写底稿unsanitized_normalized最初提交的规范化底稿。保留底稿的价值在于质量审计可与清洗后版本逐条 diff评估清洗规则改了什么、改得对不对质检闭环配合verification_report字段能回溯每条样本的审核记录研究价值清洗规则的副作用误删、误改分析必须依赖原始底稿。这种原始 精修双轨设计是高质量开源语音数据集的通行规范。选型速查表我该用哪个字段你的目标推荐字段训练 ASR / TTS 等发音相关模型normalized或主字段text口语现象、方言、code-switching 研究verbatim数据清洗规则审计与质量回溯unsanitized_*verification_report发布/引用数据集的示例展示verbatim最贴近真实语料一句话总结研究语言用 verbatim训练模型用 normalized审计质量看 unsanitized。如何快速查看这些字段使用 Pythondatasets库即可按语言加载并抽查以下为官方推荐的加载方式config替换为目标语言名from datasets import load_dataset dataset load_dataset(ai4bharat/IndicVoices, hindi, splitvalid) print(dataset[0]) # 查看 verbatim / normalized / unsanitized_* 等全部字段也支持streamingTrue流式读取内存开销更小。如果你直接使用本仓库的 Parquet 分片如 tamil/train-00000-of-00118.parquet用 pandas 的read_parquet打开后字段名与上面表格完全一致。各语言数据规模一览节选语言训练集样本数验证集样本数训练分片数Hindi445,1605,53082Tamil422,9635,276118Odia394,2635,24580Punjabi387,5024,03697Malayalam339,5084,52478Bengali335,3674,00996Assamese469,1875,062112完整 22 种语言的样本数与字节数均可在 README.md 的splits配置中查到每种语言均提供train与valid两个 split目录命名遵循train-XXXXX-of-NNNNN.parquet规则。常见问题 FAQQ1text字段和normalized是什么关系text是数据集对外暴露的主转写文本直接用于训练管线normalized是其规范化过程的显式字段二者口径一致便于你单独引用规范版文本。Q2为什么样本里同时保留 4 份文本不嫌浪费吗文本字段占空间极小音频才是大头。冗余换来的是全流程可追溯——这也是 IndicVoices 能被用于训练 IndicASR 这样的旗舰模型的关键质量保障。Q3完整录音文件在哪里数据集分片内为切片后的音频完整时长录音由官方以v1–v5增量压缩包形式单独提供获取方式见 README.md 的 Accessing Full-Length Audio Files 一节。结语IndicVoices 的文本字段设计看似重复实则是一条清晰的流水线unsanitized原始底稿→ verbatim忠实精修→ normalized发音对齐。理解这三层差异不仅帮你正确选择训练标签也为自建多语言语音数据集提供了一套可直接复用的规范化范式。参考资料README.md、dataset_infos.json、各语言数据目录hindi/、tamil/、bengali/ 等 22 个。赞分享数据集语音【免费下载链接】IndicVoices项目地址https://ai.gitcode.com/hf_mirrors/ai4bharat/IndicVoices点击查看免费下载相关推荐Kita Html 异步组件深度解析Suspense 和错误边界实战Kita Html 异步组件深度解析Suspense 和错误边界实战 Kita Html 是一个超级快速的 JSX 运行时用于生成可在任何地方工作的 HTMurql Graphcache 规范化缓存Normalized Caching深入指南urql Graphcache 规范化缓存Normalized Caching深入指南 GraphQL 查询天然以去规范化的树形 JSON 返回数据而前端终极指南Notepad--文本对比算法揭秘与高效差异检测实现终极指南Notepad 文本对比算法揭秘与高效差异检测实现 在当今软件开发与文本编辑的日常工作中文件内容对比已成为程序员不可或缺的核心功能。作为一款来自中国桌面应用上一篇Flexprice 租户自定义货币Tenant Custom Currency设计全解记账本位币与法币投影的分离架构下一篇空间数据分析终极指南R的sp包与Python的scipy-spatial对比详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考