?EasyWAM-MoT-Cosmos25教你不用生成视频也能精准预测机器人动作)
【免费下载链接】EasyWAM-MoT-Cosmos25项目地址https://ai.gitcode.com/OpenMOSS/EasyWAM-MoT-Cosmos25点击查看免费下载世界动作模型World Action Model简称 WAM是机器人学习领域的热点方向它既要理解世界如何变化又要输出机器人该怎么做。开源项目EasyWAM-MoT-Cosmos25发布了一个基于 Cosmos-Predict2.5-2B 底座的 WAM 检查点推理时不生成任何未来视频就能直接、精准地预测机器人动作在 LIBERO 基准上取得了 97.6% 的平均成功率。本文用通俗语言带你搞懂 WAM 是什么、MoT 架构妙在哪里以及如何快速跑通这个检查点。一、先搞懂什么是世界动作模型WAM可以把机器人决策拆成两个问题世界模型回答接下来会发生什么——预测未来的状态或画面动作模型回答我现在该做什么——输出机械臂的动作指令世界动作模型WAM把这两件事合二为一模型内部同时学习世界演化规律和动作策略。训练时预测未来这个过程就像一道阅读理解题逼迫模型真正理解任务场景物体位置、抓取条件、任务目标从而带动动作决策变得更聪明。但传统 WAM 有个痛点很多方案推理时必须先生成一段想象中的未来视频再从中反推动作。这带来三个问题慢视频生成是重计算任务实时控制场景难以接受贵显存和算力开销大幅上升绕视频只是中间产物误差还会传导到最终动作二、EasyWAM-MoT-Cosmos25跳过视频生成的世界动作模型这个项目给出的答案就是名字里的MoTMixture of Tokens架构核心设计非常巧妙独立的 Video DiT 专家负责视频相关的表征学习独立的 Action DiT 专家负责动作预测混合自注意力Mixed Self-Attention两类专家的 token 在注意力层中互相交流关键优势在于训练阶段 Video DiT 依然帮助模型理解世界、提升动作质量但推理阶段 Action DiT 直接输出动作完全不需要生成未来视频。相当于平时做阅读理解练思维考试时直接答题。模型底座是 NVIDIA 的 Cosmos-Predict2.5-2B检查点使用 EasyWAM 代码库训练并发布格式为 EasyWAM PyTorch checkpoint.pt状态 token 采用sequence排布方式。三、成绩说话LIBERO 基准测试实测结果WAM 靠不靠谱数据说了算。以下是项目 README.md 中报告的 LIBERO 评测结果每任务 50 次试验分数越高越好全参数Full-Parameter模型对比模型SpatialObjectGoalLIBERO-10平均分EasyWAM-Unified97.899.497.093.096.8 EasyWAM-MoT本仓库98.098.498.495.697.6EasyWAM-MoT-Joint98.699.898.496.098.2EasyWAM-MoT-IDM99.499.499.898.499.3EasyWAM-Hidden97.298.896.095.096.8本仓库发布的EasyWAM-MoT平均分达到97.6%不仅超过单一 Unified 架构也证明了MoT 双专家 免视频推理路线的可靠性。此外LIBERO-Plus 还考察了背景、光照、噪声等 8 类干扰下的泛化能力EasyWAM-MoT 平均 77.7%与同类模型基本持平说明它不是温室花朵。四、仓库文件速览拿到手有哪些东西仓库结构非常精简只有 3 个文件各司其职文件说明README.md项目说明评测结果、下载与评估方法libero_mot_cosmos25.ptLIBERO 全参数检查点约 5.5GBEasyWAM PyTorch 格式libero_dataset_stats.json数据集归一化统计信息看一眼 libero_dataset_stats.json 的末尾就能感受到数据的分量共1712 条示范轨迹episodes、277713 个状态-动作转移transitions覆盖 8 维机器人状态量和 7 维动作向量典型为 6 维末端位姿 1 维夹爪并提供了分位数、均值、标准差等归一化参数——这是推理时把模型输出还原成真实动作的关键。五、快速上手三步跑通 LIBERO 评估不需要从零训练直接复用检查点即可体验第 1 步下载检查点hf download OpenMOSS-Team/EasyWAM-MoT-Cosmos25 \ libero_mot_cosmos25.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints第 2 步准备环境按 EasyWAM 官方文档依次完成安装 EasyWAM 代码库 → 按 Cosmos-Predict2.5-2B 底座指南配置依赖 → 搭建 LIBERO 模拟器。第 3 步运行评估# 使用本仓库全参数检查点 python experiments/libero/run_libero_manager.py \ tasklibero_easywam_mot_cosmos25 \ ckpt./checkpoints/libero_mot_cosmos25.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.json默认协议会评测全部 4 个 LIBERO 套件、每任务 50 次试验多卡环境可追加MULTIRUN.num_gpusgpu-count参数做分布式评测。六、常见问题 FAQQ1MoT 和 MoE混合专家是一回事吗不完全是。MoE 是按输入动态路由到不同专家而 MoT 的 Video DiT 与 Action DiT 是固定分工的两个专家通过混合自注意力交换信息——视频专家陪练世界理解动作专家负责输出。Q2不生成视频模型怎么懂世界的世界理解发生在训练阶段视频预测目标让模型学会场景因果规律推理时这套理解内化在 Action DiT 的权重里直接转化为更精准的动作预测。Q3这个检查点能直接用到真机上吗该检查点在 LIBERO 仿真基准上训练和评测适合用于算法研究、复现与对比实验迁移到真实机器人需要对应场景的数据训练。Q4使用有什么授权限制代码基于 MIT 协议本仓库发布的检查点采用CC BY-NC 4.0非商业使用并受其底座模型与训练数据的条款约束。七、写在最后EasyWAM-MoT-Cosmos25 展示了世界动作模型的一条务实路线训练时向世界学习推理时直奔动作本身省掉视频生成环节后既提速又保持高精度LIBERO 平均 97.6%。如果你正在研究机器人模仿学习或世界模型不妨从 README.md 中的评测命令开始亲手跑一次这个免视频生成的 WAM感受只答对题、不写过程的效果。赞分享【免费下载链接】EasyWAM-MoT-Cosmos25项目地址https://ai.gitcode.com/OpenMOSS/EasyWAM-MoT-Cosmos25点击查看免费下载相关推荐Proxmark3 闪存用法实战用满 256KB 并验真 RDV4Proxmark3 闪存用法实战用满 256KB 并验真 RDV4 Iceman Fork Proxmark3 的 RDV4 版本板载一颗 256KB SPI人工智能具身智能机器人如何训练出自己的世界动作模型EasyWAM框架与EasyWAM-MoT-Wan22-LoRA-128自训完全指南如何训练出自己的世界动作模型EasyWAM框架与EasyWAM MoT Wan22 LoRA 128自训完全指南 世界动作模型 World Action M从零读懂世界动作模型FastWAM给机器人操作与视频生成融合的新答案从零读懂世界动作模型FastWAM给机器人操作与视频生成融合的新答案 FastWAM 是论文《Fast WAM: Do World Action Models上一篇Phoenix LDAP 用户标识策略从邮箱主键到不可变 UUID 的完整演进指南下一篇Routing Harness 深度剖析NeoHorse-1-4B 任务路由与能力反馈如何塑造训练混合创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考