【免费下载链接】map-anything-apache-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16点击查看免费下载map-anything-apache-fp16 是 MapAnythingMeta 与 CMU 的度量级前馈式 3D 重建模型的 float16 MLX 移植版专为 Apple Silicon 优化。它最灵活的地方在于每一张输入图像都可以自由搭配相机内参、深度图与相机位姿中的任意组合——只给照片、部分标定还是全部提供模型一次前向推理就能输出度量点云、深度图、相机位姿、内参、置信度与有效像素掩码让你用已有的 SfM / 深度估计 / 标定结果大幅增强 3D 重建质量。 这个模型能做什么项目说明输入1 张或多张图片加任意可选的内参、深度图、相机位姿每个视图可独立组合输出每张视图的度量点图、深度、光线方向、相机位姿、内参、置信度、有效掩码体积权重仅约 2.65 GB是 float32 原版的一半见 model.safetensors许可Apache License 2.0LICENSE运行环境本仓库只含权重与元数据推理代码在mlx-vlm中需包含mapanything模型、0.7.4 之后新增的版本 三种可选输入逐项详解1️⃣ 相机内参intrinsics一个 3×3 的标定矩阵K。如果你手头有现成的标定结果OpenCV 标定、相机厂商参数等直接传入即可模型会利用它约束光线方向而不是靠网络猜测。2️⃣ 深度图depth_z逐像素的度量深度图与输入图像分辨率一致。来源可以是单目深度估计模型、LiDAR 或深度相机。给模型一个粗略答案它能在此基础上精修显著提升遮挡与弱纹理区域的深度质量。3️⃣ 相机位姿camera_poses位姿用四元数 平移向量表示即(quats_xyzw, trans)元组旋转 4 维、平移 3 维对应 config.json 中cam_rot_quats_encoder的in_chans: 4与cam_trans_encoder的in_chans: 3。关键参数is_metric_scale如果你的位姿来自 COLMAP 等 SfM 流程只能确定到比例尺、没有真实米制单位传入时加上is_metric_scale: False模型会通过内置的scale_encoder自动恢复度量尺度。深度输入则是 1 通道的稠密编码器depth_encoderpatch_size: 14与上述编码器一起构成模型的几何输入通道。 任意组合每个视图自由搭配这正是 map-anything-apache-fp16 的精髓——不同视图之间互不干扰同一视图内三种输入也可任意取子集。下面 3 个视图分别演示了全量提供、仅内参、仅位姿非度量尺度三种典型搭配views processor.preprocess([ {img: image0, intrinsics: K0, depth_z: depth0, camera_poses: pose0}, {img: image1, intrinsics: K1}, {img: image2, camera_poses: (quats_xyzw, trans), is_metric_scale: False}, ]) predictions model.infer(views)典型使用场景对照组合方式适用场景仅img纯照片重建完全无标定信息imgintrinsics有相机参数但无位姿的固定场景imgcamera_posesCOLMAP/SfM 结果增强注意is_metric_scaleimgdepth_z 全量深度相机 / 激光雷达采集的高精度场景 预测输出字段说明调用model.infer(views)后每个视图返回一个字典惰性求值用mx.eval触发计算字段形状含义pts3d(1, H, W, 3)度量世界坐标点以第一张视图的相机坐标系为基准depth_z(1, H, W, 1)度量深度camera_poses(1, 4, 4)OpenCV 约定的 cam2world 位姿intrinsics(1, 3, 3)预测内参conf(1, H, W)逐像素置信度mask(1, H, W, 1)有效像素无歧义掩码⚡ 命令行一键推理不想写代码时可直接用命令行所有输出会写入predictions.npz并额外导出一份彩色点云points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-apache-fp16 --images path/to/images --output out️ 进阶小贴士记得设置MLX_ENABLE_TF320在 M5 及更新 GPU 上MLX 默认以 TF32 精度执行 float32 矩阵乘会让 float32 的预测头成为最大误差来源。在首次矩阵乘之前设置该变量可避免问题只多花几毫秒。分辨率预处理模型采用固定映射到 518 的分辨率集preprocessor_config.json 中resize_mode: fixed_mapping、resolution_set: 518输入图会被自动规整。精度实测在 518×294 的 4 帧室外视频上与 float32 PyTorch 参考实现相比深度尺度归一化后中位相对误差约 6.0e-4度量尺度误差在 1.1e-4 以内与参考实现在 MPS 上的混合精度表现持平。速度参考Apple M5 Max518×294 视图MLX 本模型 vs PyTorch MPS 混合精度视图数1481632MLX 本模型0.06 s0.23 s0.48 s1.10 s2.89 sPyTorch MPS0.13 s0.47 s1.73 s5.27 s11.3 s 仓库文件资料速查文件作用README.md完整用法、精度与速度实测数据config.json模型结构配置含几何输入编码器定义geometric_input_configpreprocessor_config.json图像预处理配置固定映射到 518 分辨率model.safetensorsfloat16 权重约 2.65 GB1.13B float16 95M float32 参数LICENSEApache License 2.0 许可✅ 一句话总结把你能拿到的内参、深度图、相机位姿有多少给多少map-anything-apache-fp16 就能在 Apple Silicon 上以毫秒级推理给你一套度量级的 3D 重建结果。赞分享【免费下载链接】map-anything-apache-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16点击查看免费下载相关推荐内参、深度、位姿想加就加map-anything-fp16任意输入组合指南解锁最强重建精度内参、深度、位姿想加就加map anything fp16任意输入组合指南解锁最强重建精度 map anything fp16 是运行在 Apple Silpts3d、深度、置信度怎么用map-anything-fp16的6大预测输出一篇讲透pts3d、深度、置信度怎么用map anything fp16的6大预测输出一篇讲透 map anything fp16 是 Meta MapAnythinDepth Anything 3重磅模型DA3-LARGE-1.10.35B参数如何同时搞定多视角深度估计与相机位姿Depth Anything 3重磅模型DA3 LARGE 1.10.35B参数如何同时搞定多视角深度估计与相机位姿 DA3 LARGE 1.1 是 Dep上一篇vmPing 多主机ping监控指南下一篇DDrawCompat 使用指南1 个 DLL 修复 DirectX 1-7 老游戏的兼容性问题创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考