【免费下载链接】brain2qwertyNon-invasive decoding of typed sentences from MEG and EEG brain recordings using a convolutional encoder, transformer, and character-level language model.项目地址https://gitcode.com/gh_mirrors/bra/brain2qwerty点击查看免费下载brain2qwerty 是 Meta AI 开源的无创大脑解码项目不植入任何电极仅凭 MEG/EEG 脑信号就能把一个人正在打字的完整句子读出来。其第一代模型发表于 Nature Neuroscience《Non-invasive decoding of typed sentences from human brain activity》第二代预印本则将平均词错误率WER推低至 39%开始逼近需要开颅植入的侵入式脑机接口。本文精读论文与官方代码带你从实验设计、模型架构到性能数据完整看懂这项读心术。 为什么读出脑中的话这么难侵入式脑机接口在运动皮层埋电极已能把打字 WER 压到 2% 以下但开颅手术的风险和长期维护难题让它难以大规模临床推广。非侵入式路线则各有硬伤EEG信噪比低很难支撑复杂语言任务fMRI时间分辨率差无法跟上逐字打字的节奏MEG脑磁图毫秒级时间分辨率 无创是最佳折中但此前性能一直落后。第一代 brain2qwertyv1虽然实现了 MEG 解码却有三大痛点① 需要同步方法必须先知道每次击键的时刻② 逐字符分类的错误会累积成读不懂的句子③ 数据量小每人仅录制 1 小时。 实验设计在 MEG 扫描仪里听句—等待—打字两代模型共用同一个行为范式受试者戴 MEG 兼容耳机听一句英文/西班牙文句子→ 注视屏保 1.5 秒 → 在一台定制的 MR 兼容 QWERTY 键盘上凭记忆默打且不能按退格。屏幕只显示一个每击键旋转 10° 的小方块避免眼动泄漏语言内容。v1SpanishBCBL 数据集19 名受试者每 session 128 句、每句 5–8 词约 262 GB 的 MEG/EEG/行为日志数据由 studies/spanishbcbl.py 中注册的Pinet2024Meg研究定义加载v2EnglishBCBL 数据集9 名健康志愿者每人 10 个 session约 10 小时共录制 22,000 句、2,724 个唯一句子数据量是 v1 的 10 倍MEG 采集为 306 通道、1 kHz预处理后降采样到 100 Hz数据按句子文本哈希做 80/10/10 划分保证同一句话不会同时出现在训练集和测试集零文本泄漏。论文先用 dSPM 源重建验证了神经基础击键时刻初级运动皮层M1和辅助运动区SMA双侧激活右手打字者右半球激活更广泛语言网络也有残留激活——说明 MEG 抓到的确实是语言生产信号。⌨️ V1卷积编码器 Transformer N-gram 语言模型V1 是发表在 Nature Neuroscience 的同步解码方案核心思路是一个击键一个窗口卷积编码器为每个击键取 500 ms MEG 窗口经卷积网络输出一个击键嵌入。实现见 brain2qwerty_v1/pl_module.py 的BrainModule架构超参在 brain2qwerty_v1/config/model_config.pySimpleConvTimeAgg隐藏维 2048、深度 8通道合并器把可变传感器映射到 270 个虚拟通道使用 2D Fourier 位置编码句子级 Transformer按句子把击键嵌入分组深度 4、2 头、ALiBi 位置偏置逐击键做字符分类的交叉熵损失N-gram 后处理用 KenLM 字符级 6-gram 语言模型做束搜索重打分brain2qwerty_v1/scripts/ngram_decoding.py 的BeamDecoder显著降低 CER。最终 MEG 编码器 CER ≈ 0.38加 N-gram 后进一步下降——但逐字符错误的句子级不可读问题始终存在。 V2异步解码 大语言模型真正的转折点V2 改用CTCConnectionist Temporal Classification做异步解码直接输入一整句对应的连续 MEG 窗口10 秒不依赖任何击键时刻天然适配实时场景。整个流水线由三个联合训练的模块组成Encoder字符级ConvNet Conformer训练 CTC 损失输出约 40 ms/帧的字符序列28 类词表blank 26 字母 空格并带一个辅助 CTC 头权重 α0.7加速早期训练。模型定义见 brain2qwerty_v2/models.py 的ConvConformerModelAligner词级CTC 贪心路径中的空格位置把连续 MEG 嵌入切分成伪词经 MLP 均值池化后用 SigLIP 对比损失 动态时间规整DTW对齐到 LLM 的词嵌入空间。实现见 brain2qwerty_v2/losses.py 的WordContrastiveLoss与 brain2qwerty_v2/ctc_segmenter.py 的CTCSpaceSegmenterLLM句级Qwen3-4B 经 LoRA 微调输入形如CTC: the u robo... MEG: 神经词嵌入 Output:自回归生成完整句子。三段式模块的完整训练逻辑在 brain2qwerty_v2/pl_module.py 的NeuroLLMModule中一次编码器前向同时喂给三个损失按阶段调度epoch 0–149 仅 CTC150–224 加入对比损失 α0.1225–274 加入 LLM 交叉熵 β0.01全程 275 个 epoch 在 8×A100 上约 19.5 小时。两个巧妙的工程设计值得注意Model Soup为每个受试者各训一个 LoRA 适配器再把权重均匀平均成一个通用模型——既避免单一大适配器在小数据上过拟合又能随 LLM 规模放大0.6B→1.7B→4B 持续收益。论文中该策略最优 WER 达 0.40仓库代码为简化默认使用 rank2 的单适配器CTC Tokenizer用预测空格切词86% 的句子词数在真值 ±1 以内9 个单词中 8 个能在余弦相似度排名第 1 被找回。 性能平均 WER 39%且遵循缩放定律三种方案在 9 名受试者上的对比跨受试者均值方案CER字符错误率WER词错误率SemER语义错误率Encoder 单独0.280.550.096Encoder N-gramv1 路线0.260.430.085brain2qwerty v20.310.390.059SemER 用冻结 RoBERTa-large 的句嵌入 l2 距离衡量语义接近度见 brain2qwerty_v2/metrics.py。几个关键结论最好受试者 WER 仅 22%28% 的句子零词错、47% 的句子词错 ≤1——而 v1 最好受试者 WER 还是 52%性能整整翻了一倍与侵入式系统的差距大幅缩小数据缩放定律异步编码器 CER 随录制时长呈对数线性下降Pearson r −0.99在 90 小时处没有饱和迹象——多录数据就有提升句子多样性同样重要相同总量下256 句不重复的句子优于 128 句重复两遍的句子CER 0.45 vs 0.65LLM 真的在读脑做消融去掉 MEG 神经词嵌入后WER 从 0.39 恶化到 0.4916%说明模型并非只靠 CTC 文本 语言先验而是真正把神经信号整合进了预测。一个有趣的副作用LLM 生成流畅但可能全错的句子如把cars are not allowed on this road解成had she not fallen down the stairs导致 v2 的 CER 反而略高于 N-gram 基线——但沟通靠的是意义而非逐字符匹配所以 WER/SemER 才是更重要的指标。 连调参都是 AI Agent 干的AutoResearch论文还做了一项少见的实验让 3 个自主 AI 编码 AgentCursor Claude Opus在固定预算下迭代修改训练代码、探索新技巧与经典贝叶斯调参 Optuna 对决验证 WER默认配置 0.45 → Optuna 卡在 0.41 →三个 Agent 分别做到 0.38 / 0.36 / 0.37迁移到全部 9 人测试Agent 配置保持 0.42–0.45 的显著优势而 Optuna 的增益完全消失0.493Agent 们独立发明的技巧包括label smoothing、模态 dropout随机丢弃 CTC/MEG token 逼模型利用神经信号、束搜索解码、句级对比损失、极简 prompt但若给开放任务从 v1 代码库出发自由重构到 v2 水平Agent全部失败——说明 AI 目前是放大器而非替代研究者。 如何本地运行代码仓库为只读镜像两代模型是并行结构、约定一致读懂一个即会另一个git clone https://gitcode.com/gh_mirrors/bra/brain2qwerty cd brain2qwerty pip install -r requirements.lock pip install -e . --no-deps # v1 冒烟测试 → 正式训练 → 评估 python -m brain2qwerty_v1.main debug python -m brain2qwerty_v1.main train python -m brain2qwerty_v1.main eval --ckpt $BRAIN2QWERTY_RESULTS/best.ckpt # v2 同理三损失阶段式训练 python -m brain2qwerty_v2.main train pytest tests -q完整配置分别位于 brain2qwerty_v1/config/xp_config.py 与 brain2qwerty_v2/config/xp_config.py。v1 数据 SpanishBCBL 已在 Hugging Face 开放约 262 GBv2 的 EnglishBCBL 待论文接受后发布。代码采用 CC BY-NC 4.0 许可LICENSE依赖版本在 pyproject.toml 中精确锁定以保证可复现。 局限与展望延迟v2 不是因果架构要等整句打完才出结果尚不能边打边显个体差异大N-gram 路线的 CER 在受试者间为 17%–41%跨受试者迁移是自监督预训练的重点方向硬件目前依赖 306 通道低温 MEG但分析显示砍掉 25%/50% 传感器解码依然稳健结合室温光泵 MEG可穿戴设备实验室原型向临床安全设备迈进的路径已经可见缩放定律给出的最激动人心的一句话是如果非侵入 MEG 靠堆数据就能逐步抹平与开颅方案的差距这将是患者沟通方式的一次范式转变。 论文与资源清单v1 论文Non-invasive decoding of typed sentences from human brain activityNature Neuroscience2026引用见 brain2qwerty_v1/README.mdv2 预印本 PDFdocs/assets/brain2qwerty_v2.pdf代码brain2qwerty_v1/击键级解码、brain2qwerty_v2/句子级端到端解码最佳受试者完整预测样例真实/解码句子对照docs/assets/best_complete_predictions.csv。从逐字符分类到字符—词—句子三级联动的 LLM 解码brain2qwerty 证明了非侵入脑解码正从能读走向读得准。对关注脑机接口、神经科学或大模型应用的新手来说这个仓库结构清晰、注释充分是难得的论文级学习范本。赞分享【免费下载链接】brain2qwertyNon-invasive decoding of typed sentences from MEG and EEG brain recordings using a convolutional encoder, transformer, and character-level language model.项目地址https://gitcode.com/gh_mirrors/bra/brain2qwerty点击查看免费下载相关推荐brain2qwerty代码深读三LoRA微调大语言模型如何从脑嵌入生成整句brain2qwerty代码深读三LoRA微调大语言模型如何从脑嵌入生成整句 brain2qwerty 是一个非侵入式 脑解码 项目它从 MEG/EEGRLM论文精读Recursive Language ModelsarXiv 2512.24601完整解读RLM论文精读Recursive Language ModelsarXiv 2512.24601完整解读 本文带你精读 MIT 团队的 Recursive如何让论文自己读自己zotero-AI-ButlerAI管家自动论文精读插件完全指南如何让论文自己读自己zotero AI ButlerAI管家自动论文精读插件完全指南 zotero AI ButlerAI 管家 是一款 Zotero人工智能大模型AI 应用科研创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考