【免费下载链接】sapiens2-pointmap-1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/sapiens2-pointmap-1b-bf16点击查看免费下载你想知道一张照片里的人站在哪里吗sapiens2-pointmap-1b-bf16是 Meta Sapiens2 模型的 MLX bf16 转换版能从单张照片中逐像素重建出人体 Pointmap3D 坐标点图实现人体3D重建。本文将带你从零看懂 Pointmap 是什么、这个模型如何工作以及怎样在 Apple Silicon 上快速跑起来。 一句话定位输入一张普通照片 → 输出每个像素对应的 3D 空间坐标 (X, Y, Z)相当于给 2D 照片加上深度和位置让人体从平面走进三维空间。1️⃣ Pointmap 是什么给每个像素配一张3D 坐标表在理解模型之前先搞懂核心概念——Pointmap点图。传统**深度图Depth Map**每个像素只输出一个数值这个像素离相机有多远。而Pointmap更进一步每个像素输出3 个数值 (X, Y, Z)直接表示这个点在三维空间中的绝对位置。对比项深度图 Depth Map点图 Pointmap每像素输出1 个数值距离3 个数值X/Y/Z 坐标输出形状(H, W)(H, W, 3)直观理解有多远在空间中的哪里能否还原 3D 形状有限可直接生成 3D 点云可以把 Pointmap 想象成给照片的每个像素都钉上一根针针尖的位置就是三维坐标。把所有像素的坐标连起来就得到一张稠密的人体 3D 点云——这正是人体3D重建的基础。这也是为什么该模型卡把任务标签标为depth-estimation深度估计Pointmap 是深度估计的加强版。2️⃣ 项目速览sapiens2-pointmap-1b-bf16 里有什么Sapiens2是 Meta 推出的以人体为中心human-centric的视觉基础模型原模型facebook/sapiens2-pointmap-1b拥有约 1B 参数。当前仓库sapiens2-pointmap-1b-bf16是它的MLX 转换版专为 Apple SiliconM 系列芯片优化可用 [mlx-vlm](https://mlx-vlm 项目) 直接加载推理。关键信息来自 README.mdbf16 量化全部参数以 bfloat16 存储体积约为原始 float32 版本的一半3.26 GBwqkv 融合每层注意力的 Q/K/V 投影合并为一个张量匹配 mlx-vlm 的 Sapiens2 实现⚡ 参考实现本身就以 bf16 混合精度推理精度损失极小仓库文件一览文件作用README.md模型说明与 mlx-vlm 使用方法config.json模型架构配置层数、注意力头、解码头等preprocessor_config.json图像预处理配置尺寸、归一化model.safetensorsbf16 权重文件3.26 GBmodel.safetensors.index.json556 个张量的索引清单3️⃣ 原理拆解人体3D重建的三个阶段整个推理过程可以拆成预处理 → 特征提取 → 解码三步下面对照配置文件逐一看。阶段一图像预处理 输入照片会被Sapiens2ImageProcessor统一处理见 preprocessor_config.json缩放到1024 × 768size字段按 ImageNet 均值/标准差归一化image_mean/image_std再按16×16的 patch 切块送入 ViT 主干这一步保证任何比例的照片都能被模型读懂。阶段二ViT 主干提取全局特征 config.json 揭示了主干backbone的规模40 层Transformer 块num_hidden_layers: 40对应 stage1~stage40隐藏维度153624 个注意力头中层采用 GQAQuery 24 头 / KV 12 头在速度和质量间取得平衡RoPE 旋转位置编码rope_theta: 100让模型感知 patch 的相对位置额外的storage_tokens寄存器 token吸收冗余信息、稳定训练主干输出的特征图理解了图像内容这是一个人姿态如何、各部位在画面中的位置——为下一步说出三维坐标打下基础。阶段三解码头还原 XYZ 坐标 最有趣的部分在decode_head配置见 config.json。它做两件事上采样4 个upsample_blocks配合pixel shuffle把特征图逐级放大回原始分辨率确保每个像素都有输出双分支输出主分支经conv_layers通道 64→32→16conv_pointmap输出3 通道的 XYZ 点图副分支scale_conv_layersscale_final_layer输出一个scale尺度值用于把相对坐标还原到真实物理尺度最终得到两个 numpy 数组见 README.mdpointmaps形状(H, W, 3)每个像素的 3D 坐标scales形状(1,)全局尺度因子4️⃣ 快速上手一行代码重建人体点云在安装了 MLX 环境的 Mac 上完整示例见 README.mdpip install -U mlx-vlmfrom mlx_vlm import load from mlx_vlm.models.sapiens2.generate import Sapiens2Predictor, read_image model, _ load(mlx-community/sapiens2-pointmap-1b-bf16) predictor Sapiens2Predictor(model) output predictor.infer(read_image(image.jpg)) pointmaps, scale output[pointmaps], output[scales] # (H, W, 3), (1,)如果需要在本地查看仓库文件可执行git clone https://gitcode.com/hf_mirrors/mlx-community/sapiens2-pointmap-1b-bf16得到的pointmaps直接喂给任何点云渲染器如 Open3D、three.js就能看到你照片里的人体 3D 形态。5️⃣ 看懂权重文件556 个张量在哪里打开 model.safetensors.index.json 可以看到总大小约3.26 GB共 556 个张量按结构分为三大块张量前缀数量对应作用backbone.blocks.0~3940 组ViT 主干的每一层wqkv 注意力 ffn 门控 MLPbackbone.patch_embed/rope_embed/storage_tokens少量图像切块、位置编码、寄存器 tokendecode_head.*20 余个上采样、XYZ 卷积、scale 分支索引 L532-L561想验证某个层是否存在直接搜索引文件即可例如backbone.blocks.0.attn.wqkv.weightL12-L16就是第一层融合后的注意力投影矩阵。6️⃣ 常见问题 FAQQ1Pointmap 和深度图到底差在哪深度图只回答距离Pointmap 回答位置。有了 XYZ 就能直接生成 3D 点云、做相机重定位表达能力更强。Q2为什么用 bf16 而不是 float32bfloat16 动态范围与 float32 接近但只有半个字节体积从约 6.5 GB 降到 3.26 GB而 MLX 在 Apple Silicon 上原生高效支持 bf16精度几乎无损。Q3什么硬件能跑本仓库是 MLX 格式面向Apple SiliconM 系列芯片Mac。在 Intel Mac 或普通 PC 上应使用原始 float32 版本配合 PyTorch 生态。Q4输出的 scale 是干什么的Pointmap 本身是相对坐标scale 提供全局比例因子两者结合才能确定人体在真实世界中的尺寸与距离。7️⃣ 总结Pointmap 每像素 3D 坐标是比深度图更强的稠密 3D 表示输出形状 (H, W, 3)sapiens2-pointmap-1b-bf16 Meta Sapiens21B 参数ICLR 2026的 MLX bf16 版体积减半专为 Apple Silicon 优化 原理三步走预处理1024×768→ 40 层 ViT 主干 → 解码头上采样还原 XYZ scale 只需安装mlx-vlm并加载模型名几行代码即可从单张照片重建人体 3D 点云无论你是想做 VR 资产、人体动画驱动还是只是好奇照片如何变 3D这个项目都提供了一个轻量、高效的起点。赞分享【免费下载链接】sapiens2-pointmap-1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/sapiens2-pointmap-1b-bf16点击查看免费下载相关推荐Sapiens2是什么一文读懂sapiens2-matting-1b-bf16背后的Meta人物抠图AI原理与应用Sapiens2是什么一文读懂sapiens2 matting 1b bf16背后的Meta人物抠图AI原理与应用 Sapiens2 是 Meta 推出的人物为什么选bf16sapiens2-pointmap-0.4b-bf16体积减半背后的精度、大小与性能权衡为什么选bf16sapiens2 pointmap 0.4b bf16体积减半背后的精度、大小与性能权衡 sapiens2 pointmap 0.4b bf1sapiens2-pointmap-0.4b-bf16实战指南6个人本3D重建、姿态理解与AR落地应用场景清单sapiens2 pointmap 0.4b bf16实战指南6个人本3D重建、姿态理解与AR落地应用场景清单 sapiens2 pointmap 0.4b上一篇解决WebP兼容性问题Photoshop插件安装与实战指南下一篇Cesium CESIUM_primitive_outline 轮廓扩展测试模型解析BoxWithPrimitiveOutlineSharedVertices 的结构、生成脚本与运行时验证创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考