EmbeddingGemma 2:把文字、圖片、聲音和影片對進同一個向量空間
EmbeddingGemma 2 能做本機檢索、分類與 RAG。看官方公布的記憶體數字、現成應用,以及你可以微調、但沒有從零訓練配方的界線。
作者
Seer
日期
2026-10-10
EmbeddingGemma 2 的重點,是把文字、程式碼、圖片、影片和聲音對進同一個 768 維向量空間。查詢可以是一句話、一段程式碼、一張圖,或一段語音。被搜的對象也可以是文件、截圖、影片片段或錄音。這些輸入最後都變成可以互相比對的向量。[1][2][4]
它建立在 Gemma 4 架構上,總參數 740M。文字本體是 270M,視覺編碼器另加 170M,聲音編碼器另加 300M。官方文件把它寫成可在消費級 GPU 或 CPU 上離線跑的開源模型。[2][3]
授權標為 Apache 2.0。部署時還要一併核對 Gemma 禁止用途政策。[8][9]
這篇整理它能做什麼、官方公布的記憶體數字、那些現成應用,以及能不能自己訓練。查證日期是 2026 年 10 月 8 日。固定版本是 Hugging Face google/embeddinggemma-2 當時的 commit 914f7f89142e33e77833254d9c9b90c3cef7303b。本輪只讀官方頁與模型卡,沒有下載權重,也沒有在本機跑推論。
快速閱讀:能做什麼與現成應用 · 記憶體與載入 · 能不能自己訓練
先看它能做什麼
嵌入模型產出的是向量,後面還要接檢索、分類、分群或 RAG。官方模型卡把用途寫成五類。[2]
| 使用場景 | 模型負責什麼 | 後續還需要什麼 |
|---|---|---|
| 檢索 | 把查詢與文件、程式碼、圖片、影片、聲音轉成同一空間的向量 | 切塊、向量庫、排序與人工核對 |
| 分類 | 依預設標籤幫輸入分組,例如內容審核、聲音事件、圖片類別 | 標籤定義、閾值與抽樣檢查 |
| 分群 | 依語意把相近內容聚在一起,找主題或跨模態近重複 | 群數、抽樣與人工命名 |
| 語意相似度 | 量兩筆輸入有多像,做推薦、重複偵測、跨語言對齊 | 配對規則與閾值 |
| 事實查核 | 依主張找出證據文件 | 來源庫、引用檢查與人工判斷 |
官方示範把這五類落到幾個現成應用。[1][13]
| 應用 | 做什麼 | 入口 |
|---|---|---|
| Instant Media Search | 用文字或參考圖,在本機相簿裡找圖與影片 | Google AI Edge Gallery |
| Video Moments Finder | 用語音或文字,在本機影片裡標出對應時間點 | Google AI Edge Gallery |
| Google AI Edge Foresight | 本機檔案與會議內容檢索,再交給 Gemma 4 做推論 | Mac 實驗應用 |
| MediaPipe Decision Task | 用多模態上下文做分類、路由與即時決策 | MediaPipe |
| ML Kit(規劃中) | Android 上的平台整合路徑,含 NPU 加速 | 官方寫「未來數週」提供 |
這些是產品示範與規劃入口,本輪沒有重跑。[1][13]
適合先試的任務很具體:用自然語言搜本機程式庫、用一句話找相簿裡的照片、用語音備忘錄對到一段會議錄音。任務描述愈清楚,任務前綴愈容易選對。
怎麼開始:先裝文字推論
官方文字推論指南用 sentence-transformers。多模態輸入還要再加圖片、聲音與影片處理套件。[5][6][7]
pip install -U sentence-transformers transformers \
pillow soundfile torchcodec
開發者指南寫的是 sentence-transformers v6.1.0 或更新。只做文字時,官方模型卡的最小安裝是 sentence-transformers 與 transformers。[2][5]
from sentence_transformers import SentenceTransformer
model = SentenceTransformer(
"google/embeddinggemma-2"
)
query = "What causes the northern lights?"
document = (
"The northern lights are caused "
"by charged particles from the sun."
)
query_emb = model.encode(query, prompt_name="SearchQuery")
doc_emb = model.encode(document, prompt_name="Document")
print(model.similarity(query_emb, doc_emb))
這段只示範文字檢索。預設會載入完整多模態模型。若只要文字與程式碼,官方建議在載入時關掉視覺與聲音編碼器,有效大小會回到 270M。[2][5]
model = SentenceTransformer(
"google/embeddinggemma-2",
config_kwargs={
"vision_config": None,
"audio_config": None,
},
)
官方原生版在 Hugging Face。Kaggle 也有權重頁。社群 GGUF 量化版在 ggml-org/embeddinggemma-2-GGUF,頁面標明由轉換流程自動產生,不能直接當成官方原生權重。[4][10]
四種載入方式,對的是同一個空間
EmbeddingGemma 2 的編碼器可以分開載入。開發者指南寫明:同一個 checkpoint 切出的四種組合,共用一個向量空間。文字-only 產出的查詢,可以直接拿去比對完整模型產出的文件向量。之後若要補圖片或聲音,不必重算已經做好的文字索引。[2][5]
| 載入內容 | 有效參數 | 適合什麼 |
|---|---|---|
| 只開文字 | 270M | 文件、網頁、程式碼搜尋 |
| 文字加視覺 | 440M | 截圖、投影片、PDF 頁、影片幀 |
| 文字加聲音 | 570M | 語音備忘錄、會議錄音、聲音事件 |
| 完整多模態 | 740M | 文字、圖片、影片、聲音交錯輸入 |
Keyword 發布文另給了一組裝置數字:量化後,在 Google Pixel 11 Pro 上,文字權重最少約 191MB 作用中 RAM,完整多模態約 567MB。Google AI Edge 應用文重複同一組數字。這是官方在指定裝置與量化條件下的數字。其他手機、筆電或伺服器要另外量。[1][13]
權重本身還有另一層:關掉用不到的編碼器,載入的參數就會變少。官方文字微調範例關掉視覺與聲音後,印出 271,002,624 個參數,對應約 270M 文字本體。[2][11]
向量儲存是第三層。開發者指南寫:bfloat16 下,一百萬筆 768 維向量大約 1.5 GB。收到 128 維大約 250 MB。這是容量估算,用來說明 6 倍壓縮,未對應某台機器的實測佔用。[5]
數值精度也有硬限制。模型卡要求用 bfloat16 或 float32,不要用 float16。啟動範圍超出 float16 能表示的區間時,結果可能是 NaN,或看起來正常但其實已壞掉的向量。[2]
文字要加任務前綴,媒體不要加
文字輸入會吃短任務指令。官方說省略仍可運作,品質會下降。圖片、影片、聲音不要加前綴。[2]
檢索是非對稱任務:查詢用查詢前綴,文件用文件前綴。分類、分群、相似度則兩邊用同一種前綴。
| 工作 | prompt_name | 查詢怎麼寫 |
|---|---|---|
| 網頁/文件搜尋 | SearchQuery | `task: search result \ |
| 問答 | QuestionAnswering | `task: question answering \ |
| 事實查核 | FactChecking | `task: fact checking \ |
| 程式碼搜尋 | CodeRetrieval | `task: code retrieval \ |
| 分類 | Classification | `task: classification \ |
| 分群 | Clustering | `task: clustering \ |
| 句子相似度 | SentenceSimilarity | `task: sentence similarity \ |
文件若有標題,格式是 title: {title} | text: {content}。沒有標題就寫 title: none。prompt_name="Document" 會套用 title: none。真的有標題時,要自己把字串組好再送進 encode()。[2]
多模態輸入可以交錯。文字裡用 <|image|>、<|video|>、<|audio|> 標出媒體位置,模型會依序填入對應檔案,最後產出單一向量。這個向量可以直接跟純文字查詢比對。[2][7]
所有模態共用 8,192 token 的上下文。模型卡給的單一模態上限是:文字 8,192 token、預設約 29 張圖、約 58 個影片幀、約 327 秒聲音。Keyword 發布文把聲音寫成最多約 5.5 分鐘,並標為相對 EmbeddingGemma 1 的 4 倍上下文。混用會互相佔預算。影片預設每秒抽 1 幀。聲音應提供 16 kHz 單聲道。[1][2]
官方成績怎麼讀
模型卡上的成績全部使用完整精度 checkpoint,輸出維度是 768d。這些是作者公布的評測,本輪沒有重跑。[2]
| 模態 | 評測 | EmbeddingGemma 2 | EmbeddingGemma 1 |
|---|---|---|---|
| 文字 | MTEB multilingual v2 Mean(Task) | 61.36 | 61.15 |
| 程式碼 | MTEB code v1 NDCG@10 | 78.68 | 68.76 |
| 圖片 | MIEB lite Mean(TaskType) | 64.64 | — |
| 圖片 | MMEB v2 Image Hit@1 | 57.28 | — |
| 視覺文件 | MMEB v2 VisDoc NDCG@5 | 67.84 | — |
| 影片 | MMEB v2 Video Hit@1 | 50.67 | — |
| 聲音 | MSEB Retrieval MRR@10 | 69.54 | — |
| 聲音 | MAEB Mean(Task) | 49.39 | — |
Keyword 發布文把程式碼進步寫成 9.92 分,對應 68.76 到 78.68。多語文字幾乎持平。圖片、影片、聲音是這一版新加的能力,沒有 EmbeddingGemma 1 對照。[1][2]
向量還能截斷。支援 768、512、256、128 維。截斷後必須重新 L2 正規化。查詢與文件必須用同一維度。[2]
| 維度 | 壓縮比 | 多語文字 | 程式碼 | MMEB v2 Overall |
|---|---|---|---|---|
| 768d | 1:1 | 61.36 | 78.68 | 59.01 |
| 512d | 1:1.5 | 61.17 | 77.24 | 58.38 |
| 256d | 1:3 | 60.41 | 76.18 | 56.24 |
| 128d | 1:6 | 57.89 | 71.41 | 45.65 |
模型卡的判斷是:收到 256d,品質接近完整向量。128d 對多模態傷害明顯,比較適合文字工作,採用前要用自己的資料驗證。開發者指南另寫:256d 在圖片、影片、語音檢索大約保留完整品質的 95%。128d 文字與程式碼大約 90%,圖片、影片、語音大約 75%。這兩段都是官方描述,本輪沒有重跑。[2][5]
能不能自己訓練
官方開放的是微調已釋出權重,沒有公開從零預訓練 EmbeddingGemma 2 的配方。模型卡把預訓練資料寫成截止於 2025 年 1 月的網頁、程式碼、圖片、影片、聲音與跨模態配對。那一輪訓練由 Google DeepMind 完成,權重以 Apache 2.0 釋出。[2][8]
自己能做的,是拿 google/embeddinggemma-2 當底座,用自己的資料繼續訓練。官方文字微調指南用 Sentence Transformers 的 SentenceTransformerTrainer 與 MultipleNegativesRankingLoss,資料形狀是 (anchor, positive, negative) 三元組。範例是金融知識庫:微調前,「稅務優惠投資帳戶」和「一般存款帳戶」分不開。指南用 3 筆三元組、5 個 epoch、15 步示範,正確文件與困難負例的分數差從 0.0091 拉到 0.0352。這是官方示範數字,資料量很小,不能直接當成生產效果。[11]
多模態也能微調。官方第二篇指南用 (文字查詢, 正例圖片, 負例圖片) 三元組,示範文字找畫作。同一個 Sentence Transformers 訓練流程,目標改成跨模態檢索。[12]
實務上有幾條界線要先看清楚。[2][11][12]
- 微調的是已公開權重。官方沒有公開從零重做 740M 預訓練的配方。
- 只做文字時,載入可關掉視覺與聲音編碼器,減少 GPU 記憶體。官方範例印出約 270M 參數。
- 訓練時要用推論時同一套任務前綴。指南把
prompts=model.prompts[task_name]寫進訓練參數。 - 官方沒有公布微調所需的最低 VRAM。Pixel 11 Pro 的 191MB/567MB 是量化推論的作用中 RAM,不能拿來估訓練。
- 微調後的模型仍受 Apache 2.0 與 Gemma 禁止用途政策約束。
Unsloth 另有文字、圖文、聲音微調筆記本,以及自家 GGUF。那些是第三方流程,檔名與官方 740M 完整模型要分開核對。
採用前要先看的邊界
權重頁與模型卡都標 Apache 2.0。這份授權允許使用、修改與散布,條件包含保留聲明,以及專利訴訟時授權可能終止。[2][4][8]
官方文件同時要求部署遵守 Gemma Prohibited Use Policy。採用前要把授權本文與禁止用途一起看完。[9]
模型卡還有幾條實務限制。[2]
- 訓練資料截止於 2025 年 1 月。支援 100 種以上語言,各語言表現不會一樣。
- 它是預訓練嵌入模型,沒有生成模型那種後訓練對齊或輸出審查。安全風險出現在後續怎麼用這些向量。
- 文字任務省略前綴,嵌入品質會下降。
- 開放式、高度複雜、或依賴語氣與諷刺的任務,可能不穩。
Pixel 11 Pro 的 RAM 數字、MTEB 分數、256d/128d 品質描述,都是官方自報。本輪沒有重跑,這些數字只說明官方測試條件,不能直接當成你機器上的延遲或召回。社群 GGUF 是轉換產物。檔案頁顯示的參數量,與官方 740M 完整模型分屬不同層級,使用前要核對自己載入的是文字還是完整多模態。[1][2][10]
如果目標是本機搜尋文件、程式碼、截圖或錄音,EmbeddingGemma 2 提供一條清楚的路:同一個模型、同一個向量空間、可依需求關掉用不到的編碼器。先用文字 270M 把索引跑通,確認任務前綴與切塊沒問題,再決定要不要打開視覺或聲音。
先決定要搜什麼
選這顆模型,先問自己搜的對象是什麼。只有文字與程式碼,載入 270M 就夠。要看圖或投影片,再打開視覺編碼器。要對錄音或影片,再打開聲音與抽幀。
維度也一樣。召回優先用 768 或 512。儲存吃緊再試 256。128 先拿自己的資料驗證,尤其是圖片、影片和聲音。
向量對好之後,真正要交付的還是檢索結果能不能被核對。嵌入模型把資料變成可搜的形狀。找得準不準,仍要看切塊、前綴、維度,以及你有沒有把結果對回原始檔案。
Sources
功能、參數與成績以 2026 年 10 月 8 日查閱的官方公開版本為準。Hugging Face 權重固定在 commit 914f7f89142e33e77833254d9c9b90c3cef7303b。
先決定要搜什麼,再決定載入哪些編碼器。
Signals
Visits
--
Waiting for Cloudflare metrics.