千万条中文语料从哪里来nlp_chinese_corpus 大规模中文NLP语料库完整上手指南【免费下载链接】nlp_chinese_corpus大规模中文自然语言处理语料 Large Scale Chinese Corpus for NLP项目地址: https://gitcode.com/gh_mirrors/nl/nlp_chinese_corpus做中文 NLP 时调参往往是后面的事拿什么数据练才是第一道坎。开源项目nlp_chinese_corpus大规模中文自然语言处理语料就是专门解决这个问题的它把维基百科词条、新闻、百科问答、社区问答和中英文翻译五类数据整理成百万级到千万级、结构清晰的中文语料库每个语料都附带字段说明和数据划分拿到手就能做预训练、词向量、翻译或问答实验。下面按它是什么、里面有什么、怎么拿到、能干什么、怎么参与的顺序把这个中文语料库讲清楚。为什么大规模中文语料不好找英文语料遍地都是中文却不然搜到的数据要么量级太小几千几万条做不了像样的预训练要么年份太旧要么还是原始爬虫结果清洗起来比训练模型还累。nlp_chinese_corpus 的思路是把这些脏活提前做完——去重、过滤、标注字段、划分训练/验证集把成品交给使用者。nlp_chinese_corpus 的五大语料全盘点先给一张速览表五套语料的代码名后面下载和引用都会用到在这里一次说清语料代码名规模压缩后大小维基百科词条wiki2019zh104 万条519M新闻文章news2016zh250 万篇3.6G百科问答baike2018qa150 万条663M社区问答webtext2019zh410 万条1.7G翻译句对translation2019zh520 万对596Mwiki2019zh104 万个维基百科词条最干净的通用中文语料共 1,043,224 个结构良好的中文词条原始文件 1.6G、压缩后 519M数据更新至 2019 年 2 月 7 日。每行一条 JSON字段为id、url、title词条标题、text正文段落用\n\n分隔比如经济学词条从定义讲到微观/宏观分支内容完整、层次清楚。维基百科中文语料库词条样例wiki2019zh中文NLP语料数据结构展示适合当通用中文语料预训练、构建词向量或者反过来拿它做知识问答的数据源。news2016zh250 万篇带标题、关键词、描述的新闻覆盖 2014–2016 年、来自 6.3 万个媒体的 250 万篇新闻原始 9G、压缩后 3.6G。字段齐全news_id、title、content、source来源媒体、time、keywords、desc。数据已去重并划分训练集 243 万、验证集 7.7 万测试集不提供。除了当通用语料它还天然带监督信号——用title字段练标题生成用keywords字段练关键词抽取用source区分新闻类型都很顺手。baike2018qa150 万个带类别的百科问答150 万个已过滤的高质量问答对2018 年数据原始 1G 多、压缩后 663M。每个问题带一个类别标签共 492 个类别出现 10 次以上的有 434 个字段为qid、category、title、desc、answer。划分方式训练集 142.5 万、验证集 4.5 万。类别字段的价值在于可以做监督训百科问答系统或者拿它做句子类别预测、学更好的句子表示和句子相似度模型。项目方还基于验证集开放了类别预测公开评测有兴趣可以报成绩。webtext2019zh410 万个被点赞过的高质量社区问答这是五套里规模最大、最面向大模型的一套从 1400 万条原始问答中只保留点赞数 ≥ 3 的回答筛出 410 万条2015–2016 年数据过滤后 3.7G、压缩 1.7G。每条带qid、title、desc、topic所属话题共 2.8 万个、star点赞数、content回答正文、answer_id、answerer_tags回答者标签。划分训练集 412 万、验证集 6.8 万、测试集 a 6.8 万。README 里为它列了多个公开任务话题预测、社区问答cQA按 MAP 评价排序效果、以及参考 GPT-2 训中文文本生成模型后做 zero-shot 测评——一套数据可以同时覆盖问答、分类和生成三类实验。translation2019zh520 万对中英平行句对520 万对中英文平行语料原始 1.1G、压缩后 596M字段只有english和chinese两个一一对应。中文平均 36 字、英文平均 19 词大多是带标点的完整句子。划分训练集 516 万、验证集 3.9 万。最直接的用法是训中英双向翻译模型如果不需要翻译只抽中文那一列就是一批几十万到上百万量级的干净中文句子可以当通用语料训词向量或做预训练。三步下载从克隆仓库到跑通数据第一步克隆项目仓库git clone https://gitcode.com/gh_mirrors/nl/nlp_chinese_corpus cd nlp_chinese_corpus第二步按代码名下载对应数据语料本身体积较大不直接放在仓库里。每套语料的下载链接Google Drive 和百度云盘两种渠道都写在 README.md 对应小节中按上面的代码名对号入座即可建议先只下自己要用的那一份省磁盘空间。第三步把 JSON 转成训练用的文本五套语料都是一行一条 JSON字段含义见 README.md。如果目标是词向量或大模型预训练通常需要先把纯文本抽出来。以 wiki2019zh 为例import json with open(wiki2019zh.json, encodingutf-8) as f, \ open(wiki2019zh.txt, w, encodingutf-8) as out: for line in f: out.write(json.loads(line)[text].replace(\n\n, \n) \n)其余语料同理只是取的字段不同新闻取content社区问答取titlecontent翻译语料取chinese列。转完之后就是普通文本文件直接喂给训练框架即可。拿到语料之后能做的五件事词向量与预训练wiki2019zh、news2016zh 都是现成的通用中文语料拼起来就是 300 多万篇的语料池。标题/关键词生成news2016zh 自带title、keywords标签是少见的带标准答案的生成任务数据。机器翻译translation2019zh 的 520 万对句对足够从零训一个可用的中英翻译模型。问答系统baike2018qa 适合一问一答的百科问答webtext2019zh 则是一问多答的社区问答场景star字段还能用来训答案质量评分。句子表示与相似度百科问答的category、社区问答的topic都是现成的监督信号可以做对比学习或相似度任务。项目走到哪一步了接下来还做什么项目给自己定过两期目标一期2019 年 5 月完成10 个百万级 3 个千万级中文语料现已达成二期2019 年 12 月目标是30 个百万级 10 个千万级 1 个亿级。仓库里也明确写着语料库将会不断扩充新语料会陆续按同样的格式JSON 字段说明 数据划分追加进来。怎么参与贡献语料与规范引用贡献语料有高质量的中文语料想分享可以发邮件到 nlp_chinese_corpus163.com被采纳后会按语料质量和量级致谢。引用项目如果在工作或论文中使用了这些中文语料请引用misc{bright_xu_2019_3402023, author {Bright Xu}, title {NLP Chinese Corpus: Large Scale Chinese Corpus for NLP }, month sep, year 2019, doi {10.5281/zenodo.3402023}, version {1.0}, publisher {Zenodo} }一句话总结当你需要一份量大、干净、字段清楚、划分现成的中文语料库时不必再自己找数据、洗数据——nlp_chinese_corpus 的五套语料覆盖了从预训练到翻译、问答的主流需求克隆仓库、按代码名下载、抽出文本三步就能把数据送进训练流程。【免费下载链接】nlp_chinese_corpus大规模中文自然语言处理语料 Large Scale Chinese Corpus for NLP项目地址: https://gitcode.com/gh_mirrors/nl/nlp_chinese_corpus创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考