【免费下载链接】foundationpose项目地址https://ai.gitcode.com/hf_mirrors/nvidia/foundationpose点击查看免费下载FoundationPose 是 NVIDIA 推出的统一 6-DoF 物体位姿估计与追踪基础模型。本教程带你从克隆仓库、下载 ONNX 模型文件开始一步步完成首次物体位姿估计6D pose estimation无需微调即可对全新物体进行零样本推理。一、FoundationPose 是什么为什么值得关注 FoundationPose 是一个基于 Transformer 的视觉基础模型foundation model核心能力是6-DoF 位姿估计输出物体的 3D 平移位置与旋转朝向零样本泛化给定目标物体的 CAD 模型测试时直接应用无需针对新物体微调支持追踪可在 RGBD 视频序列上持续估计物体位姿商用许可基于 NVIDIA Open Model License可商用模型由两个网络组成这也是仓库中两个 ONNX 文件的由来网络文件作用Refine Network精化网络refiner_net.onnx基于 CNN 残差块 Transformer预测平移和旋转更新Score Network评分网络score_net.onnx对 252 个候选位姿进行打分排序选出最优位姿 更多架构细节可查看模型卡片README.md二、准备工作你需要准备哪些输入材料 在跑通推理之前先确认 5 项输入是否齐全格式要求详见 README.mdRGB 图像任意分辨率无需预处理深度图Depth image与 RGB 对齐的深度数据2D 边界框目标物体在第一帧的坐标xyxy格式CAD 模型OBJ格式文件 同目录下的PNG贴图相机内参包含主点与焦距的txt文件 提示相机标定必须准确内参错误会直接影响位姿结果。三、克隆仓库并获取 ONNX 模型文件 ⬇️仓库中已包含两个模型文件refiner_net.onnx约 65 MB与 score_net.onnx。由于模型文件通过 Git LFS 存储需要确保本机安装git-lfs后才能拉到真实的模型权重。执行以下命令克隆仓库并下载大文件git clone https://gitcode.com/hf_mirrors/nvidia/foundationpose cd foundationpose git lfs pull验证文件是否为真实模型而非 133 字节的 LFS 指针ls -lh *.onnx正常应看到refiner_net.onnx约为 68 MB。如果只有 133 B说明 LFS 文件未拉取重新执行git lfs pull即可。四、推理引擎如何用 ONNX 模型完成位姿估计 FoundationPose 模型专为NVIDIA TensorRT设计推荐的完整推理链路是TAO Triton Apps构建端到端图像分析流水线负责采集、解码、前后处理Triton Inference Server直接加载 ONNX 模型提供服务TensorRT在 GPU 上执行 FP16 推理官方推荐流程详见 README.md# 1. 启动 Triton 推理服务器加载 refiner_net.onnx 与 score_net.onnx # 2. 通过 TAO Triton apps 的客户端脚本输入 RGBD 图像 CAD 内参 # 3. 获得 6-DoF 位姿与 3D 边界框标注结果推理流程可概括为渲染 CAD 模型得到多个候选位姿 → 用 Refine Network 精化位姿 → 用 Score Network 打分选出最优最终输出标注了 3D 边界框的测试图像。输出结果形状参考 README.mdpred_trans252 × 3候选位姿数 × 平移pred_rot252 × 3候选位姿数 × 旋转pred_score252 × 1每个候选位姿的得分五、性能参考不同硬件上的推理速度 ⚡官方使用trtexec以 FP16 精度、160×160 输入分辨率测试了多块 NVIDIA 设备完整数据见 README.md设备Refine 网络延迟 (BS1)Refine 网络 FPS (BS1)Orin AGX 64GB1.10 ms908.91A1001.57 ms638.29H1001.16 ms878.56L401.05 ms978.63Tesla T45.62 ms182.74Score Network 在 H100 上BS252可达2301 FPS说明该模型在 Jetson 边缘设备与数据中心 GPU 上都有不错的部署空间。六、使用限制与注意事项 ⚠️开始实际项目前建议了解这些已知边界反光表面物体在不同光照下的反光物体可能难以检测与追踪遮挡物体部分或完全遮挡的物体可能无法给出准确位姿硬件依赖模型面向 NVIDIA GPU含 Jetson 系列 TensorRT 软件栈设计仅支持 Linux 系统精度说明表格数据仅针对模型推理本身接入真实视频流后前后处理可能引入额外开销七、文件资料速查 文件说明README.md模型卡片架构、输入输出、性能数据、部署说明refiner_net.onnx位姿精化网络ONNXLFS 存储score_net.onnx位姿评分网络ONNXLFS 存储总结整个上手路径就是 —— 准备好 RGBD 图像、2D 边界框、OBJ 格式 CAD 模型和相机内参 → 克隆仓库并用git lfs pull拉取两个 ONNX 模型 → 通过 TAO Triton Apps Triton Inference Server 加载模型 → 即可获得无需微调的 6-DoF 物体位姿估计与追踪结果。赞分享【免费下载链接】foundationpose项目地址https://ai.gitcode.com/hf_mirrors/nvidia/foundationpose点击查看免费下载相关推荐如何快速上手Qwen3-32B-W4A4从下载到首次推理的完整新手教程如何快速上手Qwen3 32B W4A4从下载到首次推理的完整新手教程 Qwen3 32B W4A4 是面向昇腾AscendNPU 优化的 W4A4 量化如何快速上手 Qwen3-8B-W4A8从 ModelScope 下载到首次推理的完整新手教程如何快速上手 Qwen3 8B W4A8从 ModelScope 下载到首次推理的完整新手教程 想在本地快速跑起 Qwen3 8B 大模型推理又不想被十几如何快速上手TachiyomiJ2K从安装到首次阅读的完整教程如何快速上手TachiyomiJ2K从安装到首次阅读的完整教程 TachiyomiJ2K是一款完全免费开源的安卓漫画阅读器让你轻松享受海量漫画资源。这款应用移动开发创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考