【免费下载链接】embeddinggemma-2-5bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/embeddinggemma-2-5bit点击查看免费下载多模态嵌入模型embeddinggemma-2-5bitMLX 社区 5-bit 量化版是 Google EmbeddingGemma 2 的 Apple Silicon 加速转换版。它能将文本、图像、音频、视频统一编码为归一化的 768 维向量让用文字搜图片、用语音搜视频这类跨模态语义检索在本地设备上成为可能。本文用大白话完整解析它的架构、量化方式与使用要点。一、它到底是什么为什么值得关注一句话概括把不同模态的东西翻译成同一个空间里的向量相似度即语义距离。维度说明基座模型Google EmbeddingGemma 2Apache-2.0 许可量化格式5-bit affinegroup size 64体积约1.13 GB输出维度768 维归一化向量支持 Matryoshka 截断至 128 / 256 / 512 维运行框架MLX MLX-VLM专为 Apple M 系列芯片优化支持模态文本、图像、音频、视频、文本图像混合输入相比原版模型5-bit 量化版最大的价值是体积小、跑得快同时通过校验数据证明精度损失极小后文详述非常适合本地部署与端侧应用。二、核心原理四种输入如何汇流到 768 维2.1 三个独立塔 一个公共空间打开 config.json 可以看到模型由三个专职编码器组成文本编码器embedding_gemma2_text24 层 Transformerembedding_dim为 768词表 262144采用滑窗注意力sliding window 512混合全注意力结构长上下文最高支持 262144 token视觉塔gemma4_vision16 层 ViTpatch_size16每张图像被切块编码后压缩为280 个 soft tokenvision_soft_tokens_per_image: 280音频塔gemma4_audio12 层隐藏维度 1024输出投影到 1536 维。各塔先把原始数据变成token 序列再送入共享的嵌入空间。图像与视频通过特殊占位符如|image|、|video|见 tokenizer_config.json插入文本序列与文字 token 一起被编码从而实现图文同空间。2.2 音频预处理16kHz 采样、128 维 mel 特征preprocessor_config.json 中定义了音频入口采样率16000 Hz最高频率 8000 Hz电话语音带宽feature_size: 128128 维 mel 谱FFT 长度 512、帧移 160约 10ms 帧长也就是说一段语音先被切成 128 维的频谱帧再交给音频塔处理。2.3 向量怎么定型Pooling Normalize模型遵循 Sentence-Transformers 的三段式流水线见 modules.jsonTransformer主模型输出各 token 的last_hidden_state模态路由见 sentence_bert_config.jsonMean Pooling对 768 维 token 向量取平均得到一个句子级向量1_Pooling/config.jsonpooling_mode: mean且include_prompt: true表示任务前缀也参与池化L2 归一化向量缩放到单位球面2_Normalize/config.json此后余弦相似度 内积可直接用 config_sentence_transformers.json 中声明的similarity_fn_name: cosine比较。 这就是同一个 768 维空间的最终形态无论输入是文字、图片还是视频出口都是单位长度 768 维向量点积即可比相似。2.4 任务前缀同一模型不同人格config_sentence_transformers.json 内置了约 20 种任务提示词prompts例如任务类型前缀模板检索查询Retrieval-querytask: search result \| query:文档Documenttitle: none \| text:句子相似度STStask: sentence similarity \| query:代码检索CodeRetrievaltask: code retrieval \| query:关键规则查询侧和文档侧必须使用各自对应的前缀且两侧向量维度必须一致——这是保证检索质量的前提。三、5-bit 量化省了空间精度损失多大量化策略见 config.json 中quantization字段并非一刀切组件精度原因文本编码器 音频投影5-bit affinegroup 64参数占比大量化收益最高视觉塔、音频塔、视觉投影BF16参数量小保精度优先激活值保持 BF16 计算⚠️ 官方明确提示不要 cast 到 float16。官方在 M3 Ultra 上对 6 类输入做了对比校验结果记录在 validation.json输入与 FP32 基准最小余弦最大绝对误差文本0.992760.01339图像0.997330.00786音频0.992490.01226视频0.996730.00926文本图像0.996330.00901余弦相似度普遍 0.992且文本检索冒烟测试中火星段落正确排在金星段落之前——5-bit 量化换来的体积缩减几乎没付出检索质量代价。四、上手使用两步跑通4.1 环境准备依赖包含支持 EmbeddingGemma 2 的 MLX-VLM 实现与较新的 MLX、Transformerspip install githttps://github.com/Blaizzy/mlx-vlm.git3d87e88402f307efbf68e568971aa887ee7d9ed0 pip install -U mlx0.32.3 transformers5.18.0模型权重文件为 model.safetensors张量索引见 model.safetensors.index.json共 1816 个张量总计约 1.13 GB。4.2 文本嵌入示例完整代码见 README.mdpath get_model_path(mlx-community/embeddinggemma-2-5bit) model load_embedding_model(path) tokenizer AutoTokenizer.from_pretrained(path) inputs tokenizer([ task: search result | query: Which planet is known as the Red Planet?, title: none | text: Mars is known as the Red Planet., title: none | text: Venus is often called Earths twin., ], paddingTrue, return_tensorsnp) embeddings model(**{k: mx.array(v) for k, v in inputs.items()}).text_embeds print(embeddings[:1] embeddings[1:].T) # 余弦相似度需要跨模态时用mlx_vlm.load加载模型与EmbeddingGemma2Processor注意需使用暴露该 processor 的 Transformers 构建标准 PyPI 5.18.0 尚不支持把 PIL 图片传入processor(images[image])即可。4.3 按需降维Matryoshka向量可截取前128 / 256 / 512 / 768维使用截断后重新 L2 归一化即可。存储紧张或超大规模检索时128 维往往已是性价比最优解。五、仓库文件速查表文件作用README.md使用说明、安装命令、量化与校验说明config.json主模型配置三塔结构、量化参数、特殊 token idconfig_sentence_transformers.json任务前缀模板、相似度函数sentence_bert_config.json各模态前向路由text/image/audio/videomodules.json三段式流水线Transformer → Pooling → Normalize1_Pooling/config.jsonMean Pooling 配置2_Normalize/config.json归一化配置preprocessor_config.json音频 mel 特征提取参数tokenizer_config.json分词器与多模态特殊 tokenchat_template.jinja对话模板结构化多模态输入validation.json全部量化精度校验数据六、常见问题FAQQ1能在 Mac 之外的机器上跑吗该版本基于 MLX 框架主要面向 Apple Silicon。NVIDIA 平台请使用原版的 PyTorch 检查点。Q2768 维一定比 128 维好吗维度越高信息保留越多但存储和检索成本线性上升。Matryoshka 设计允许按场景权衡小规模精细检索用 768 维海量召回阶段用 128~256 维。Q3校验数据能当作基准成绩吗不能。validation.json 记录的是与 FP32 原版的数值一致性冒烟测试不是 MTEB 等检索质量榜单用于判断量化是否破坏了模型而非模型排名如何。Q4多模态预处理版本要求文本推理用AutoTokenizer即可图像/音频/视频需要能导出EmbeddingGemma2Processor的 Transformers 构建见 README.md 说明。Q5为什么音频塔不量化视觉塔、音频塔参数占比小BF16 存储成本可忽略保留高精度可最大化跨模态对齐质量这是典型的混合精度工程取舍。七、总结embeddinggemma-2-5bit 展示了开源社区量化转换的完整范式5-bit affine 量化压掉大头参数、关键塔保留 BF16、用严格数值校验兜底精度。对想在本地搭建跨模态语义检索图搜文、文搜图、音搜视频的朋友它是一个开箱即用、体积仅 1.13 GB 的 768 维统一嵌入方案。赞分享【免费下载链接】embeddinggemma-2-5bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/embeddinggemma-2-5bit点击查看免费下载相关推荐多模态嵌入元年EmbeddingGemma 2 把文本/代码/图像/视频/音频塞进同一个向量空间多模态嵌入元年EmbeddingGemma 2 把文本/代码/图像/视频/音频塞进同一个向量空间 2026 年 10 月 6 日Google DeepMin人工智能大模型基础模型Embedding多模态模型量化本地部署embeddinggemma-2-mxfp8完全解析Google多模态嵌入模型如何以1.2GB统一文本、图像、音频与视频embeddinggemma 2 mxfp8完全解析Google多模态嵌入模型如何以1.2GB统一文本、图像、音频与视频 embeddinggemma 2 membeddinggemma-2-nvfp4 图像嵌入教程如何用统一 768 维空间实现文本与图片的跨模态检索embeddinggemma 2 nvfp4 图像嵌入教程如何用统一 768 维空间实现文本与图片的跨模态检索 一、快速认识 embeddinggemma 2上一篇TwitchDropsMiner 完整指南3 步让 Twitch 掉宝挖矿全自动挂机下一篇5 分钟把所有网盘接入一个 WebDAV 地址AList 新手完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考