【免费下载链接】TTT3R[ICLR 2026] A simple state update rule to enhance length generalization for CUT3R项目地址https://gitcode.com/gh_mirrors/ttt/TTT3R点击查看免费下载TTT3R 是一款把「3D 重建当作测试时训练」的长序列重建模型ICLR 2026通过一个简单的状态更新规则显著增强了 CUT3R 的长度泛化能力。想复现它的评测关键在于把ScanNet、TUM-dynamics、Sintel、Bonn、KITTI五个数据集整理成 TTT3R 评测脚本能识别的长序列目录结构。本指南带你从零完成 TTT3R 数据集准备并跑通相机位姿、视频深度与 3D 重建三类评测。为什么需要长序列数据集准备TTT3R 的核心卖点是length generalization长度泛化模型用 4~64 帧训练却能评测 500 甚至 1000 帧的长视频。为了公平对比官方把每个数据集按不同帧数50/100/…/1000切成多套序列命名规则统一为数据集命名格式含义ScanNetscannet_s3_{N}采样间隔 3 帧取前 N 帧TUMtum_s1_{N}采样间隔 1 帧取前 N 帧Bonnbonn_s1_{N}间隔 1从第 30 帧起取 N 帧KITTIkitti_s1_{N}间隔 1取前 N 帧Sintelsintel固定 14 条训练序列无需切分准备脚本集中在 datasets_preprocess/ 目录评测说明见 eval/eval.md。先下载仓库与模型权重git clone https://gitcode.com/gh_mirrors/ttt/TTT3R cd TTT3R按 README.md 的 Installation 一节创建 conda 环境、编译 RoPE 的 CUDA kernel然后用gdown下载 CUT3R 权重cut3r_512_dpt_4_64.pth放到src/下——所有评测脚本默认从这里加载权重。TTT3R 沿用了 CroCo 风格的编码器-解码器结构双视图输入经过 Encoder 提取特征再由共享的 Decoder 恢复几何信息TTT3R 在此基础上用状态更新规则处理超长序列。ScanNet 长序列准备按 3 帧间隔采样 1000 帧ScanNet 的原始数据包含color/RGB、depth/深度、pose/位姿三个子目录。准备脚本 long_prepare_scannet.py 会遍历所有场景按SAMPLE_INTERVAL 3采样并为 50~1000 帧各生成一份python datasets_preprocess/long_prepare_scannet.py脚本会输出类似data/long_scannet_s3/{seq}/color_{N}、depth_{N}、pose_{N}.txt的结构位姿被展平合并成单个 txt 文件。注意脚本中的数据集根路径第 11~16 行硬编码在/home/share/Dataset/3D_scene/ScanNet/scans_test/需改成你本机的实际路径。TUM-dynamics 准备时间戳对齐后切帧long_prepare_tum.py 的做法稍有不同它先读取rgb.txt与groundtruth.txt两个时间戳文件用associate()函数在 ±0.02s 窗口内做帧级对齐再按SAMPLE_INTERVAL 1取前 N 帧。python datasets_preprocess/long_prepare_tum.py产出为data/long_tum_s1/{seq}/rgb_{N}/与groundtruth_{N}.txt。TUM 的原始目录结构含rgb.txt/groundtruth.txt索引文件建议参照 MonST3R 与 Spann3R 的数据说明组织。Bonn 准备从第 30 帧截取固定区间long_prepare_bonn.py 从START_FRAME 30开始对每条序列截取 N 帧50~500同时保证 RGB、深度、真值位姿三者的帧数一致取三者可用帧数的最小值见第 40~45 行python datasets_preprocess/long_prepare_bonn.py输出目录为data/long_bonn_s1/rgbd_bonn_dataset/{seq}/包含rgb_{N}/、depth_{N}/和groundtruth_{N}.txt。Bonn 深度评测只使用 5 条固定序列balloon2、crowd2、crowd3、person_tracking2、synchronous。KITTI 准备只收集深度与对应裁剪图像long_prepare_kitti.py 面向 KITTI 的 depth_selection 验证集把proj_depth/groundtruth/image_02下的真值深度 png 按 N 帧拷贝到data/long_kitti_s1/depth_selection/val_selection_cropped/groundtruth_depth_gathered_{N}/并按路径规则同步收集裁剪后的 RGB 图像到image_gathered_{N}/python datasets_preprocess/long_prepare_kitti.py脚本内置了depth_read()辅助函数深度 png 需除以 256 还原也提示了 16bit 深度图的判断逻辑。同样记得修改第 24 行的原始数据路径。Sintel 准备无需脚本按规范摆放即可Sintel 是合成数据集序列本身较短TTT3R 直接评测完整的 14 条训练序列没有对应的准备脚本。你只需按 eval/relpose/metadata.py 中的路径约定组织数据图像data/sintel/training/final/{seq}/*.png相机参数data/sintel/training/camdata_left/{seq}/固定序列清单alley_2、ambush_4、market_2、temple_2 等已硬编码在 metadata 中无需额外配置。跑通三类评测位姿、深度与重建数据准备完毕后结果统一保存在eval_results/*。三类评测各有一组 shell 脚本1. 相机位姿估计Ate/Rpe 指标基于 evoCUDA_VISIBLE_DEVICES6,7 bash eval/relpose/run_scannet.sh CUDA_VISIBLE_DEVICES6,7 bash eval/relpose/run_tum.sh CUDA_VISIBLE_DEVICES6,7 bash eval/relpose/run_sintel.sh脚本中datasets(scannet_s3_1000)可按需换成 50~1000 的任意长度--num_processes匹配你的 GPU 数量即可。2. 视频深度估计metric / scale / scaleshift 三种对齐方式CUDA_VISIBLE_DEVICES5 bash eval/video_depth/run_kitti.sh CUDA_VISIBLE_DEVICES5 bash eval/video_depth/run_bonn.sh CUDA_VISIBLE_DEVICES5 bash eval/video_depth/run_sintel.sh3. 多视图 3D 重建7scenes控制max_frames检验长序列重建质量CUDA_VISIBLE_DEVICES5 bash eval/mv_recon/run.sh常见坑与排查清单路径不匹配准备脚本里的原始数据路径是硬编码的且评测脚本默认数据在./data下运行前先核对 datasets_preprocess/ 各脚本的 glob 路径。帧数不足ScanNet 脚本会自动将目标帧数下调为序列实际可采样长度Bonn 脚本会打印final unified frame count看到帧数偏少属正常现象。命名不一致评测时的--eval_dataset必须与metadata.py中注册的名称完全一致如tum_s1_500目录名rgb_{N}、color_{N}中的 N 也要对应。依赖环境位姿评测需要evo点云重建需要open3d两者均在 README 的安装步骤中给出。完成以上步骤你就拥有了完整的 TTT3R 长序列评测流水线——从 50 帧到 1000 帧可以直观观察 TTT3R 相比 CUT3R 在长视频 3D 重建上的长度泛化优势。赞分享【免费下载链接】TTT3R[ICLR 2026] A simple state update rule to enhance length generalization for CUT3R项目地址https://gitcode.com/gh_mirrors/ttt/TTT3R点击查看免费下载相关推荐SGS-SLAM数据集准备指南Replica、ScanNet、ScanNet的RGB-D语义数据一键预处理SGS SLAM数据集准备指南Replica、ScanNet、ScanNet的RGB D语义数据一键预处理 SGS SLAMECCV 2024是 首个MMDetection3D 中 KITTI 数据集的完整使用指南数据准备、训练 Pipeline 与评测提交MMDetection3D 中 KITTI 数据集的完整使用指南数据准备、训练 Pipeline 与评测提交 KITTI 是自动驾驶领域最经典的 3D 目标检人工智能计算机视觉深度学习自动驾驶Monst3r项目在Sintel数据集上的评估结果分析Monst3r项目在Sintel数据集上的评估结果分析 概述 本文主要探讨了Monst3r项目在Sintel数据集上的评估结果特别是关于相机位姿估计和深度预测创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考