简介面向自然语言处理初学者与文本生成实践者的代码包演示了如何用循环神经网络RNN训练语言模型并自动生成歌词风格文本。项目以周杰伦歌词为训练语料涵盖数据清洗、词汇表构建、序列填充、嵌入层与RNN层搭建、交叉熵损失训练及采样生成等完整流程也提及可替换诗歌等语料拓展应用。压缩包内含3个文件包括2个Python脚本辅助函数模块与主训练生成程序和1个原始文本数据集整体仅72KB轻量易读适合快速理解RNN文本生成的核心代码结构。目前已有1933人浏览学习对于希望通过实际代码掌握RNN语言建模、LSTM/GRU门控机制及生成采样方法的读者是一份不错的入门参考。通过阅读代码和运行示例可以学习到数据预处理的常见细节、模型训练的超参数调整思路以及如何利用训练好的模型生成新文本便于在此基础上迁移到其他风格文本生成任务。1. 文本生成到底难在哪先看懂 RNN 为什么是这一题的标准解文本生成不是“根据上一句接下一句”那么简单。你把一句话拆成字符或词它天然是变长的序列前后有依赖关系而且同一个词在不同上下文里语义完全不同。用普通前馈网络做输入长度一固定短句子补 padding 补到浪费长句子截断又丢信息更别提“刚才提到的主语在隔了 20 个词之后决定了现在这个动词的形态”这种长距离依赖前馈网络根本接不住。RNN 就是为这种序列建模设计的它把上一个时间步的隐状态和当前输入一起送进循环单元理论上每个时间步都能携带历史信息所以“用 RNN 实现文本生成”才成了这一类任务最经典、最容易上手、也是最值得先跑通的方向。它解决的问题很具体给定一段前缀文本让模型逐个预测下一个字符或下一个词再把预测结果当作输入继续往后滚从而生成一段全新但风格相近的内容。适合谁刚接触 NLP 生成任务、想亲手跑通一个最小闭环的开发者以及需要在对话、文案、诗歌等场景里做原型验证的工程师。这一篇就按我自己实践时的顺序讲先说清楚数据怎么处理再搭一个能跑的字符级 RNN接着把训练坑和采样技巧讲透最后给一个能直接复用的进阶方案。2. 一分为二看 RNN模型结构选型与数据处理里的三个决定要动手之前先把两件事定下来一是选哪种 RNN 变体二是把原始文本切成什么样的训练样本。这两件事决定后面所有代码长什么样也决定生成效果的上限。2.1 为什么默认选 LSTM 而不是原生 RNN梯度问题的本质原生 RNN 的循环公式是 h_t tanh(W·[h_{t-1}, x_t] b)结构简单但反向传播时梯度要沿着时间步连乘。如果隐状态维度过大、序列过长连乘的结果要么指数爆炸要么指数衰减前者让 loss 剧烈震荡后者让模型完全学不到长距离依赖——这就是常说的梯度消失/爆炸。LSTM 引入门控机制用遗忘门、输入门、输出门来控制信息流动梯度可以通过细胞状态这条“高速公路”传得更远。我一般不会纠结选型除非做实验对比否则直接上 LSTM。GRU 参数更少、训练更快效果通常和 LSTM 接近但 LSTM 的可控性更好。如果是新手我建议直接用 LSTM理由很实际教程多、调试经验多、踩坑时能找到的参考最多。实际代码里PyTorch 的nn.LSTM一行就能拿到输出和最终隐状态import torch.nn as nn lstm nn.LSTM( input_size64, # 每个时间步输入的特征维度 hidden_size128, # 隐状态维度控制模型容量 num_layers2, # 层数2 层能建模更复杂的变换 batch_firstTrue # 输入 shape 为 (batch, seq_len, input_size) ) # output: (batch, seq_len, hidden_size)每个时间步的隐状态 # (h_n, c_n): 最后一层在最后时间步的隐状态和细胞状态逻辑说明output是每个时间步的隐状态序列生成时每一步都要用到它来预测下一个字符h_n和c_n是最后一步的状态做句向量或启动生成时用。参数说明input_size要和词嵌入维度一致hidden_size是模型容量关键参数太大会过拟合、太小学不动num_layers一般 1~3再深对小数据集没收益。2.2 字符级还是词级生成质量、训练速度和参数量的一次权衡这是最容易被忽略的决策。字符级 RNN 把每个字符当作一个时间步词表大小通常只有几十到几百模型轻、训练快而且不会遇到未登录词问题什么稀奇古怪的输入都能硬生成缺点是序列长度暴增一个 100 字的句子就是 100 个时间步长距离依赖更难学。词级 RNN 用分词后的 token 作为时间步序列短语义单元更完整但词表动辄上万嵌入层参数量占了大头还需要一个稳定的分词器遇到生僻词或新词直接崩。我的习惯是原型验证、诗歌/短文案、中文生成一律走字符级先看模型能不能“说人话”如果要做长文本生成或对话系统才转向词级或子词级。字符级数据准备是最容易跑通的起点。2.3 把文本切成训练样本滑动窗口、映射表与批处理字符级模型的做法是把所有文本拼成一个超长字符串按固定窗口长度切样本。比如窗口长度是 100那么text[i:i100]作为输入text[i1:i101]作为标签相当于每个位置都在“预测下一个字符”。窗口要覆盖足够上下文太短学不到风格太长训练慢。数据清洗也很关键我一般会统一换行、过滤掉非目标语言字符、把连续空格压成一个避免模型学到“输出一堆空白”这种无聊模式。import torch import pickle # 假设 text 是清洗后的完整文本比如几万行的源码/歌词/小说 chars sorted(set(text)) char2idx {ch: i for i, ch in enumerate(chars)} idx2char {i: ch for ch, i in char2idx.items()} SEQ_LEN 100 # 滑动窗口长度 STEP 1 # 滑动步长越小样本越多训练越慢 sequences, targets [], [] for i in range(0, len(text) - SEQ_LEN, STEP): seq text[i:i SEQ_LEN] tgt text[i 1:i SEQ_LEN 1] sequences.append([char2idx[ch] for ch in seq]) targets.append([char2idx[ch] for ch in tgt]) # 转成张量 X torch.tensor(sequences, dtypetorch.long) y torch.tensor(targets, dtypetorch.long) print(X.shape, y.shape) # 例如 torch.Size([19901, 100]) torch.Size([19901, 100])逻辑说明STEP1会让相邻样本高度重叠模型收敛快但训练集很大STEP调大可以降冗余。参数说明SEQ_LEN100是经验值中文文本 50~150 都合理字符集chars要先用sorted(set(text))固定顺序否则每次运行映射表不同保存模型后推理对不上。注意建好映射表后一定pickle.dump保存下来否则训练完再推理时字符顺序一变生成结果就全乱了。3. 最小可跑的字符级 RNN模型定义、训练循环与损失计算的完整代码数据准备好了接下来用一个能真正跑起来的代码把训练闭环打通。这里我用两层的 LSTM 加一个输出全连接层损失函数用交叉熵。代码不长但每一段都有讲究。3.1 定义模型嵌入层、LSTM 与输出层的连接方式输入是字符索引先经过嵌入层变成稠密向量再进入 LSTM。LSTM 的输出是(batch, seq_len, hidden_size)而我们要预测的是每个位置的“下一个字符”等价于对每个时间步做一次分类。所以把输出 reshape 成(batch * seq_len, hidden_size)再接一个线性层映射到词表大小。import torch.nn as nn import torch.nn.functional as F class CharRNN(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim256, num_layers2, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layers, dropoutdropout, batch_firstTrue) self.fc nn.Linear(hidden_dim, vocab_size) def forward(self, x, hiddenNone): emb self.embedding(x) # (batch, seq_len, embed_dim) out, hidden self.lstm(emb, hidden) # out: (batch, seq_len, hidden_dim) out out.reshape(-1, out.shape[-1]) # (batch*seq_len, hidden_dim) logits self.fc(out) # (batch*seq_len, vocab_size) return logits, hidden逻辑说明reshape(-1, hidden_dim)把 batch 和序列长度合并原因在于交叉熵损失函数在 PyTorch 里要求(N, C)和(N,)的输入N 是样本点数C 是类别数。这样每个时间步都是一个独立的“预测下一个字符”任务。参数说明dropout0.3只对多层 LSTM 的层间连接生效num_layers1时 dropout 不生效embed_dim和hidden_dim是容量核心数据量小就各减半避免过拟合。3.2 训练循环把标签对齐、loss 计算和隐状态重置一次说清训练里最容易被新手绕晕的是标签对齐。数据准备时输入是text[i:iSEQ_LEN]标签是text[i1:iSEQ_LEN1]所以在计算 loss 前要把标签 reshape 成(batch * seq_len)和模型输出一一对应。def train(model, X, y, epochs30, batch_size128, lr1e-3): optimizer torch.optim.Adam(model.parameters(), lrlr) criterion nn.CrossEntropyLoss() dataset torch.utils.data.TensorDataset(X, y) loader torch.utils.data.DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for epoch in range(epochs): total_loss 0 for xb, yb in loader: optimizer.zero_grad() logits, _ model(xb) loss criterion(logits, yb.reshape(-1)) loss.backward() # 梯度裁剪防止 LSTM 长序列训练时梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() * xb.size(0) print(fepoch {epoch1}/{epochs}, loss{total_loss / len(X):.4f})逻辑说明yb.reshape(-1)是关键输入xb的 shape 是(batch, SEQ_LEN)对应的标签 shape 也是(batch, SEQ_LEN)reshape 后变成(batch * SEQ_LEN,)的一维向量正好和logits的每一行对应。参数说明batch_size128是默认值小数据集可以降到 32lr1e-3对 Adam 是安全的起始值但训练后期 loss 震荡时可以降到5e-4。clip_grad_norm_是 RNN 训练里几乎必须的一步不裁剪的话长序列反向传播很容易在某一步梯度爆炸loss 直接变 NaN。3.3 保存检查点而不是只存最终模型训练时间越长检查点越重要。我的习惯是每个 epoch 存一次只保留 loss 最低的那份。恢复训练也要把优化器状态一起存否则 lr 调度和动量信息全丢。checkpoint { model_state: model.state_dict(), optimizer_state: optimizer.state_dict(), char2idx: char2idx, idx2char: idx2char, hidden_dim: 256, num_layers: 2, embed_dim: 128 } torch.save(checkpoint, best_model.pt)参数说明把char2idx和idx2char存进 checkpoint 是我踩过坑后加上的。只存模型权重推理时如果字符映射表对不上生成的文字大概率是乱码。恢复时用torch.load读取再按model.load_state_dict加载。4. 训练收敛与生成效果优化温度采样、Top-k 与手动调参清单模型训练出来了不代表生成效果好。直接取每个位置的 argmax概率最大的字符会让输出变成无限重复的“死循环”因为模型一旦进入高置信度的重复模式就没法自己跳出。这一步需要用采样策略来“加点随机性”。4.1 温度参数temperature怎么调从确定到胡言乱语的刻度温度的核心思想是把 logits 除以一个大于 0 的数再经过 softmax。温度越低概率分布越尖锐输出越保守温度越高分布越平滑输出越随机。def sample_from_logits(logits, temperature1.0, top_kNone): logits logits / temperature if top_k is not None: # 只保留概率最高的 k 个候选其余设为负无穷 v, _ torch.topk(logits, top_k) logits[logits v[-1]] float(-inf) probs F.softmax(logits, dim-1) return torch.multinomial(probs, num_samples1).item()逻辑说明temperature 1时 logits 被放大softmax 后概率集中的 token 更占优势temperature 1时 logits 缩小概率分布趋于均匀输出更“放飞”。top_k是另一道保险只在前 k 个候选中采样去掉长尾噪声。参数说明中文短文案我一般用temperature0.8, top_k50歌词或创意文本用temperature1.2, top_k100需要稳定输出时用temperature0.4, top_k20但基本等于近似贪心。经验是温度极低时模型会把高频字“的”“了”无限重复温度极高时会生成完全不像训练文本的乱码。4.2 完整生成循环把每一步输出作为下一步输入生成是一个循环初始给一段种子文本模型预测下一个字符把这个字符拼接回去再取最后SEQ_LEN个字符作为下一轮输入。注意输入必须保持在SEQ_LEN长度内否则模型会越推越偏。def generate(model, seed_text, length200, temperature0.8, top_k50): model.eval() # 把种子文本转成索引不足 SEQ_LEN 时用空格补位 chars seed_text[-SEQ_LEN:] idx [char2idx.get(c, char2idx.get( , 0)) for c in chars] x torch.tensor(idx, dtypetorch.long).unsqueeze(0) # (1, seq_len) hidden None with torch.no_grad(): for _ in range(length): logits, hidden model(x, hidden) # 取最后一个时间步的 logits next_char sample_from_logits(logits[0, -1, :], temperature, top_k) seed_text idx2char[next_char] # 更新输入把新字符追加到末尾丢掉最前面的字符 x torch.cat([x[:, 1:], torch.tensor([[next_char]])], dim1) return seed_text逻辑说明logits[0, -1, :]取的是当前输入序列最后一个字符对应的输出也就是“根据当前全部上下文预测出的下一字符分布”。hidden在循环中持续向后传这是 RNN 生成和普通分类预测最不一样的地方。参数说明种子文本长度不必等于SEQ_LEN短于它时直接全部送入如果字符没在词表里我用空格兜底不直接报错。注意推理时一定要model.eval()并把生成代码包在torch.no_grad()里否则启用了 dropout 会让生成结果随机漂移而且显存会被梯度计算无意义地占满。4.3 手动调参清单从 loss 曲线到文本效果的一次完整检查Loss 曲线正常下降但生成文本乱大概率是采样参数问题Loss 不降或者降得很慢优先检查数据。我这里给一份按优先级排序的检查清单现象优先检查项常用解法Loss 一直不降字符映射表错乱、标签没对齐打印一批X[0]和y[0]对照原文Loss 降到 0.5 以下但生成重复采样温度过低或 top_k 过小调高 temperature 到 0.9top_k 到 100生成的全是常见停用词嵌入维度和隐层维度过大导致过拟合减小 hidden_dim增加 dropout训练后期 loss 震荡学习率太高把 lr 降到 5e-4 或加余弦退火生成的文本风格不像训练集窗口长度太短把 SEQ_LEN 从 50 提到 150 再训练5. 训练与生成避坑指南五个典型翻车现场及修复方法5.1 现象一训练 loss 一直不下降还经常出现 NaN原因最常见的是梯度爆炸尤其序列长、层数多、lr 偏高时。LSTM 虽然有门控但输出层的梯度仍可能爆炸。解决加梯度裁剪我通常把max_norm设在1.0~5.0之间同时把学习率降到5e-4或1e-4再试。如果还是 NaN检查输入里有没有 NaN 或 Inf文本处理时可能混入了损坏字符。5.2 现象二生成的文本大量重复同一个字或短语原因模型陷入局部最优概率最高的字符是“的”“了”这类高频字加上采样时温度过低模型就绕不出这个循环。解决把temperature提高到0.9~1.2并用 top-k 把长尾噪声截掉。还有一个隐藏坑重复也可能是因为SEQ_LEN太短模型根本没有足够的上下文来“记住”刚生成过什么试试把窗口从 50 提到 150。5.3 现象三加载保存的模型后生成乱码或报 key 不匹配原因训练完保存模型时用了model.state_dict()但推理时重新定义了新的CharRNN(vocab_size, ...)vocab_size 和 checkpoint 里的嵌入层/输出层维度对不上。解决建立模型前先读 checkpoint 里的embed_dim、hidden_dim、num_layers用这些参数重建模型再load_state_dict。还要确认char2idx用的是 checkpoint 里那份而不是重新对输入文本set生成的。5.4 现象四生成速度越来越慢批量生成时卡顿明显原因生成过程是一个字符一个字符推的无法并行序列越长推理越慢。如果没开torch.no_grad()还会叠加显存分配开销。解决推理时固定用no_grad()如果一次要生成很多条可以把种子文本拼成一个 batch 同时推只在最后采样时逐条处理。批量生成时输入 shape 变为(batch, seq_len)hidden 也要保持 batch 维一致。5.5 现象五训练时模型很快过拟合训练 loss 低但生成质量反而更差原因模型把训练文本的细节“背”下来了而不是学到语言规律。这在小数据集上特别明显。解决增大 dropoutLSTM 内部dropout0.5也可以减小hidden_dim或者增加数据量。生成时用更高的温度可以掩盖一部分过拟合劣化但治标不治本最有效的是把训练文本量做到至少 1MB 以上。6. 进阶用两层 LSTM 加注意力生成中文诗词或代码风格文本的实践方案前面讲的字符级模型已经能跑通但如果你想让生成结果更有“结构感”——比如生成七言诗、四行歌词或带有缩进和关键字的伪代码需要给模型一点外部约束。常见做法是“约束解码 结构提示”。以诗词生成为例我会在种子文本里带上[七绝]这样的标记让模型学到标记和格式的对应关系同时在采样阶段强行控制每一句的长度和韵脚。def generate_poem(model, prefix[七绝], lines4, chars_per_line7): out generate(model, seed_textprefix, lengthlines * chars_per_line, temperature0.75, top_k30) # 按每行长度切分硬性保证七言格式 poem out.replace([七绝], ).strip() lines_split [poem[i:ichars_per_line] for i in range(0, len(poem), chars_per_line)] return \n.join(lines_split[:lines])逻辑说明先用通用生成函数按总长度生成再按固定行宽切分是“事后纠正”的做法。更强的做法是在每生成一个字符时判断当前行是否已满强行采样换行符。实践里事后切分更稳强行控制容易让模型生成不自然的截断。除了诗词这段思路直接平移到代码生成训练语料用缩进敏感的 Python/C 风格文本生成时限制 tab 和换行符的概率就能得到结构基本正确的伪代码。最后的验证习惯我建议保留一个每次训练完不要只看 loss真正要“验收”的是让模型生成 10 组不同温度的输出人眼扫一遍重复率、语法错误和风格相似度。我吃过的亏是 loss 降到 0.3生成结果却是一堆高频词无意义堆叠原因是数据本身噪音太大——清洗语料这一步花的功夫比调模型参数更值钱。后面再做类似任务时我都会先把训练文本的字符分布打印出来看一眼高频字符占比是否过高再决定优先洗数据还是调模型。文本生成没有银弹但“先跑通、再调采样、最后回头查数据”这条路径基本不会走偏。希望帮到你。本文还有配套的精品资源点击获取