产品Google AI官方博客·原文 2026年10月7日

Google发布EmbeddingGemma 2:7.4 亿参数、Apache 2.0的多模态嵌入模型

Google DeepMind称这是其面向端侧多模态嵌入的新模型,原生把文本、图像、音频、视频映射到同一嵌入空间,文本部分最低 2.7 亿参数即可运行。

AI解读:模型原生把文本、图像、音频、视频映射到统一嵌入空间,支持跨模态检索,例如用文字查询定位音频或视频片段。

模块化设计:纯文本工作负载最低需 2.7 亿参数,视觉编码器 170M、音频编码器 300M为可选组件。

Google称在子 10 亿参数多模态嵌入模型中取得领先成绩,代码任务MTEB Code分数从 68.76 提升至 78.68。

使用MRL可将输出向量从 768 维截断至 512、256 或 128 维,Google称最多带来 6 倍存储节省。

Google公布Pixel 11 Pro上的量化运行数据:纯文本权重活跃内存约 191MB,完整多模态模型约 567MB;上下文窗口 8K token,可处理约 5.5 分钟音频、29 张图像或 58 帧视频。

Google于 2026 年 10 月 6 日发布EmbeddingGemma 2,这是一个面向端侧推理的开源多模态嵌入模型,基于Gemma 4架构,采用Apache 2.0许可,参数量 740M。

Google DeepMind研究工程师Sahil Dua和Henrique Schechter Vera在官方博客中称,该模型原生将文本、图像、音频、视频的组合映射到统一嵌入空间,可用于在本地硬件上完成跨模态搜索与检索。

模型规格与运行条件

EmbeddingGemma 2采用模块化设计:Google称文本专用工作负载最低只需 270M参数;视觉编码器 170M、音频编码器 300M为可选组件,用于启用完整多模态能力。

模型支持 8K token上下文窗口,Google称这是EmbeddingGemma 1的 4 倍,可直接在本地硬件上处理约 5.5 分钟音频、29 张图像、58 帧视频或它们的交错组合。

存储方面,模型使用Matryoshka Representation Learning(MRL),开发者可将输出向量从 768 维动态截断至 512、256 或 128 维。Google称这最多可将本地向量数据库的存储和内存占用降低为原来的六分之一。

Google公布了一组端侧运行数据:在量化条件下,于Google Pixel 11 Pro上,纯文本权重需约 191MB活跃内存,完整多模态模型约 567MB。

性能与基准

Google称EmbeddingGemma 2在子 10 亿参数多模态嵌入模型中取得领先成绩,涉及MTEB Code和MAEB(Massive Audio Embedding Benchmark)等基准,并在文本、视觉、音频任务上匹配或超过许多更大的模型。

公司公布的具体数字是:MTEB Code分数从EmbeddingGemma 1的 68.76 提升至 78.68,提高 9.92 分,Google称其适合本地代码库索引、语义代码搜索和编码智能体检索。

Google还称该模型在图像、视频、文档和音频任务上,质量与参数比优于部分参数量超过其两倍的专用模型。这些均为Google自行公布的评测结果。

获取方式与生态支持

Google称EmbeddingGemma 2基于Gemma 4构建,与其共享文本tokenizer和音频编码器,因此开发者可以把两个模型放在同一管线中运行,降低合计内存占用。

模型权重已发布在Hugging Face和Kaggle上;Google表示Gemini Enterprise Agent Platform Model Garden的支持即将推出。

端侧部署方面,Google列出Google AI Edge MediaPipe用于嵌入、检索和决策任务,LiteRT用于自定义模型集成,浏览器端可借助transformers.js或WebGPU。

模型服务与工具链方面,Google称可与transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama和LMStudio配合使用,嵌入向量可用Qdrant存储;微调指南由Unsloth提供。

信息来源

更多

新闻专题
外观