EmbeddingGemma 2 本地部署教程:无独显 5 步跑通封面图
AI 编程约 9 分钟

EmbeddingGemma 2 本地部署教程:无独显 5 步跑通

AI 指南··◉ 0 浏览

谷歌 EmbeddingGemma 2 于 2026 年 10 月 6 日开源,是谷歌首个原生多模态开源嵌入模型,Apache 2.0 许可,本地部署免费且可商用。完整流程 5 步:下载权重、装依赖、跑通一个 Python 脚本、按需加载视觉与音频模块、用 MRL 截断省存储。CPU 就能跑,无独显 MacBook 也有实测先例,纯文本量化版只占约 191MB 内存。

这个模型能干什么:先把嵌入模型说清楚

嵌入模型是把内容变成一串数字(向量)的模型,相当于在一张地图上给每段内容标一个坐标,语义相近的坐标挨得近,不相干的离得远。AI 搜索、推荐、知识库(RAG)背后都靠它。

EmbeddingGemma 2 的特别之处,是第一次把文字、代码、图片、视频、音频全部标进同一个 768 维空间。以前搜图片要先配文字说明,搜录音要先转成文字;现在一张火烈鸟的照片、一段火烈鸟的视频、一段解释火烈鸟为什么是粉红色的文字,坐标都邻近,搜其中一个,另外两个也会被带出来。

模型按模块拆分,用不上的部分可以不加载:

模块 参数量 干什么用
文本 2.7 亿 文字、代码检索
视觉 1.7 亿 图片、视频检索
音频 3 亿 声音、语音检索
全模态合计 7.4 亿 全部加载,量化后约 567MB 内存

其他几个关键数字:上下文窗口 8K token,是上一代的 4 倍,能直接处理约 5.5 分钟音频、29 张图片或 58 帧视频;代码检索在 MTEB Code 上从 68.76 分涨到 78.68 分,超过阿里 Qwen3-Embedding-0.6B 的 75.41;纯文字综合跑分 61.36,和上一代基本持平。

时效信息:为什么现在补这篇教程

信息发布时间:谷歌 2026 年 10 月 6 日开源(华尔街见闻 10 月 7 日报道、IT之家 10 月 7 日报道、新浪科技 10 月 12 日中文实测),同日发布的还有 Nano Banana 2.1。

截至本文写作,中文网络上的相关内容以新闻和实测分享为主,还没有一篇逐步的本地部署教程,这篇补上这个空缺。

想先体验再动手部署,有三条路径:手机装谷歌官方 App Google AI Edge Gallery,用「即时媒体搜索」和「视频时刻查找」直接搜本地相册;浏览器打开 Hugging Face 官方网页演示搜中文;开发者按下面的步骤在本机部署。谷歌全家桶的更多用法可以看《Gemini Studio 使用指南》。

部署前准备:CPU 可跑,建议满足这几项

  1. 硬件:CPU 就能跑。新浪科技的实测就是在无独显 MacBook Pro 上完成的,24 张照片用中文描述搜索,23 次首个结果正确。建议内存 8GB 以上,量化权重纯文本约 191MB、全模态约 567MB。

  2. 软件:Python 3.10 以上,pip 可用。不想写代码的用 Ollama 或 LM Studio。

  3. 网络:权重在 Hugging Face 与 Kaggle 发布,国内直连 Hugging Face 不稳定时,可改用社区镜像站(如 hf-mirror.com,非官方,注意甄别)或从 Kaggle 下载。

  4. 费用:模型 Apache 2.0 许可,本地推理零 API 费用。对比之下,同源技术的 Gemini Embedding 云 API 是按量付费的,免费与付费额度的盘点见《Gemini CLI 免费额度与定价》。

第一步:下载模型权重,三选一

  1. Hugging Face:打开官方模型卡页面,选量化(quantized)版下载,仓库 ID 以模型卡标注为准。
  2. Kaggle:谷歌同步在 Kaggle 发布权重,适合 Kaggle 用户直接拉取。
  3. Ollama:一行命令拉取 ollama pull embeddinggemma-2(新浪实测文章推荐的方式),之后本地即可直接跑检索。

谷歌 EmbeddingGemma 2 模型卡与权重下载入口

第二步:安装 Python 依赖

最小方案装 sentence-transformers,多模态方案再装最新版 transformers:

pip install sentence-transformers

多模态(图片/音频)加载需要的配套依赖,以 Hugging Face 模型卡上的说明为准,不同版本对 transformers 的版本要求不同。

第三步:最小 Python 示例,先跑通文本嵌入

from sentence_transformers import SentenceTransformer

# 仓库 ID 以 Hugging Face 模型卡为准
model = SentenceTransformer('google/embeddinggemma-2')

texts = [
    '一只趴在键盘上睡觉的猫',
    '早高峰挤满人的地铁车厢',
    '今天天气不错',
]
embeddings = model.encode(texts)
print(embeddings.shape)  # (3, 768)

# 用余弦相似度做最简单的语义检索
query = '我家主子在电脑上睡着了'
q_vec = model.encode([query])
sims = [
    (t, float(q_vec @ e / (q_vec[0].norm() * e.norm())))
    for t, e in zip(texts, embeddings)
]
print(sorted(sims, key=lambda x: -x[1])[0])

预期结果:embeddings.shape 打印 (3, 768),排序第一的是和「我家主子在电脑上睡着了」语义最近的文本。向量维度 768 是 EmbeddingGemma 2 的输出维度。

第四步:三种按需加载策略,内存从 191MB 到 567MB

这是 EmbeddingGemma 2 省内存的核心设计,按使用场景决定加载哪些模块:

  1. 只做文字/代码检索:只加载 2.7 亿参数的文本部分,量化后约 191MB 内存,笔记本、手机都能轻松带起来。
  2. 加视觉检索:加载 1.7 亿参数视觉编码器,用于图片和视频检索,截图找字这类场景表现尤其好。
  3. 全模态:再加载 3 亿参数音频编码器,文字、图片、视频、音频全支持,量化后约 567MB 内存。
场景 加载策略 内存参考
本地文件/代码库索引 纯文本 量化后约 191MB
相册图片/视频检索 文本 + 视觉 官方未单独公布(介于 191MB 与 567MB 之间)
音视频+文字全量检索 全模态 量化后约 567MB

多模态场景官方提供了 MediaPipe、LiteRT 移动端方案,浏览器可用 transformers.js 和 WebGPU 跑,服务端用 transformers 或 Ollama。速度参考(谷歌官方数据):M5 Pro 芯片 MacBook Pro 纯 CPU 处理一张图约 0.15 秒,Pixel 11 Pro XL 用 NPU 约 0.05 秒。

EmbeddingGemma 2 三种加载策略内存占用对比

第五步:MRL 维度截断,向量库存储最高省 6 倍

EmbeddingGemma 2 支持 Matryoshka 表示学习(MRL):输出向量默认 768 维,可以截断到 512、256 甚至 128 维,语义信息损失不大,但向量数据库的存储和内存最多能省到原来的六分之一。

emb = model.encode(['一段待入库的文本'])[0]
emb_128 = emb[:128]  # 截断到 128 维
# 检索时所有入库向量和查询向量必须用同一个截断维度

截断维度越低,向量库越小、检索越快,但极端情况下召回精度会下降。建议先在 256 维上试跑,批量索引大时再往下降。

怎么确认部署成功

  1. 脚本正常打印 (3, 768),说明模型加载成功、输出 768 维向量。
  2. 中文语义检索 top1 符合直觉。参考实测:中文描述搜照片 24 次 23 次首个正确,截图检索 16 次 15 次首个正确(新浪科技实测数据)。
  3. 换一张真实图片或一段录音跑一次跨模态检索,能返回语义相近的另一模态内容,全模态就打通了。

EmbeddingGemma 2 模型卡规格表:8K 上下文与 MRL 截断维度

常见坑与报错速查

现象 原因 解法
中文语音检索经常找错 中文音频模态目前偏弱,实测中文语音找图 6 次只对 1 次,环境声中文描述 15 段对 4 段 语音检索场景先用英文查询,或暂时只用文本/图片检索
音频检索召回一般 音频维度表现输给 jina-embeddings-v5-omni-nano 需要商用许可的选 EmbeddingGemma 2(jina 该模型为非商用许可)
权重下载慢/失败 Hugging Face 直连不稳 用社区镜像(hf-mirror.com)或 Kaggle 下载
加载报 OOM 全模态权重超内存 只加载纯文本部分,或用量化版
模型 ID 加载报错 仓库 ID 或依赖版本不匹配 以模型卡标注的 ID 与依赖要求为准

部署好之后,可以把嵌入模型和生成模型组合成端侧 RAG:谷歌同源的 Gemma 4 与 EmbeddingGemma 2 共享分词器和音频编码器,能在同一流水线里跑,数据不出本地。谷歌多模态模型的更多实测可以看《Gemini Omni 1.1 Flash 实测》和《Gemini Skills 与 Claude Skills 对比》。

常见问题

EmbeddingGemma 2 本地部署需要显卡吗?

不需要。CPU 就能跑,新浪科技用无独显 MacBook Pro 实测通过,M5 Pro 芯片纯 CPU 处理一张图约 0.15 秒。纯文本量化版内存仅约 191MB,8GB 内存的机器完全够用。

EmbeddingGemma 2 免费吗?可以商用吗?

免费且可商用。模型采用 Apache 2.0 许可开源,本地推理不产生 API 费用。对比之下,同源技术的 Gemini Embedding 只能调用云端 API,用量大了要按量付费。

EmbeddingGemma 2 中文搜图片效果怎么样?

中文图片检索表现好。新浪科技实测:24 张照片用中文描述搜索,23 次首个结果正确;截图检索 16 次 15 次首个正确,搜「胆固醇偏高」能直接找到体检报告截图。

EmbeddingGemma 2 中文语音检索靠谱吗?

目前不推荐。实测中文语音找图 6 次只对 1 次,中文环境声描述 15 段只对 4 段,明显弱于英文。语音场景建议先用英文查询,或等后续版本优化。

EmbeddingGemma 2 和 Gemini Embedding 是什么关系?

同一套底层技术。谷歌官方称 EmbeddingGemma 2 与 Gemini Embedding 同源,但前者开源可本地部署、完全免费,后者是云端按量付费 API,可以理解成免费开源的青春版。

手机和浏览器能跑 EmbeddingGemma 2 吗?

能。手机可用谷歌官方 App Google AI Edge Gallery(含「即时媒体搜索」「视频时刻查找」),开发可用 MediaPipe 和 LiteRT;浏览器有 Hugging Face 网页演示,也支持 transformers.js 与 WebGPU 方案。

评论 (0)

?
0/1

还没有评论,来发第一条吧

网站上的服务均为第三方提供,
请用户注意自行甄别。

北京酷讯互动科技有限公司

备案京ICP备2024094994号-29

© 2026 AI345 · All Rights Reserved

用户服务协议·隐私政策