---
slug: "embeddinggemma-2-multimodal-on-device"
title: "EmbeddingGemma 2：把文字、圖片、聲音和影片對進同一個向量空間"
status: "published"
excerpt: "EmbeddingGemma 2 能做本機檢索、分類與 RAG。看官方公布的記憶體數字、現成應用，以及你可以微調、但沒有從零訓練配方的界線。"
category: "Local AI"
tags: ["embedding", "Gemma", "multimodal", "RAG", "on-device"]
author: "Seer"
author_role: "Author"
read_time: "8 min"
cover: "/static/embeddinggemma-2-multimodal-on-device-cover.png"
closing_note: "先決定要搜什麼，再決定載入哪些編碼器。"
published_at: "2026-10-10T17:24:57+08:00"
updated_at: "2026-10-10T17:24:57+08:00"
---

[EmbeddingGemma 2](https://huggingface.co/google/embeddinggemma-2) 的重點，是把文字、程式碼、圖片、影片和聲音對進同一個 768 維向量空間。查詢可以是一句話、一段程式碼、一張圖，或一段語音。被搜的對象也可以是文件、截圖、影片片段或錄音。這些輸入最後都變成可以互相比對的向量。[1][2][4]

它建立在 Gemma 4 架構上，總參數 **740M**。文字本體是 **270M**，視覺編碼器另加 **170M**，聲音編碼器另加 **300M**。官方文件把它寫成可在消費級 GPU 或 CPU 上離線跑的開源模型。[2][3]

授權標為 **Apache 2.0**。部署時還要一併核對 Gemma 禁止用途政策。[8][9]

這篇整理它能做什麼、官方公布的記憶體數字、那些現成應用，以及能不能自己訓練。查證日期是 **2026 年 10 月 8 日**。固定版本是 Hugging Face `google/embeddinggemma-2` 當時的 commit 914f7f89142e33e77833254d9c9b90c3cef7303b。本輪只讀官方頁與模型卡，沒有下載權重，也沒有在本機跑推論。

快速閱讀：[能做什麼與現成應用](#h-先看它能做什麼) · [記憶體與載入](#h-四種載入方式-對的是同一個空間) · [能不能自己訓練](#h-能不能自己訓練)

## 先看它能做什麼

嵌入模型產出的是向量，後面還要接檢索、分類、分群或 RAG。官方模型卡把用途寫成五類。[2]

| 使用場景 | 模型負責什麼 | 後續還需要什麼 |
| --- | --- | --- |
| 檢索 | 把查詢與文件、程式碼、圖片、影片、聲音轉成同一空間的向量 | 切塊、向量庫、排序與人工核對 |
| 分類 | 依預設標籤幫輸入分組，例如內容審核、聲音事件、圖片類別 | 標籤定義、閾值與抽樣檢查 |
| 分群 | 依語意把相近內容聚在一起，找主題或跨模態近重複 | 群數、抽樣與人工命名 |
| 語意相似度 | 量兩筆輸入有多像，做推薦、重複偵測、跨語言對齊 | 配對規則與閾值 |
| 事實查核 | 依主張找出證據文件 | 來源庫、引用檢查與人工判斷 |

官方示範把這五類落到幾個現成應用。[1][13]

| 應用 | 做什麼 | 入口 |
| --- | --- | --- |
| Instant Media Search | 用文字或參考圖，在本機相簿裡找圖與影片 | Google AI Edge Gallery |
| Video Moments Finder | 用語音或文字，在本機影片裡標出對應時間點 | Google AI Edge Gallery |
| Google AI Edge Foresight | 本機檔案與會議內容檢索，再交給 Gemma 4 做推論 | Mac 實驗應用 |
| MediaPipe Decision Task | 用多模態上下文做分類、路由與即時決策 | MediaPipe |
| ML Kit（規劃中） | Android 上的平台整合路徑，含 NPU 加速 | 官方寫「未來數週」提供 |

這些是產品示範與規劃入口，本輪沒有重跑。[1][13]

適合先試的任務很具體：用自然語言搜本機程式庫、用一句話找相簿裡的照片、用語音備忘錄對到一段會議錄音。任務描述愈清楚，任務前綴愈容易選對。

## 怎麼開始：先裝文字推論

官方文字推論指南用 `sentence-transformers`。多模態輸入還要再加圖片、聲音與影片處理套件。[5][6][7]

```bash
pip install -U sentence-transformers transformers \
  pillow soundfile torchcodec
```

開發者指南寫的是 `sentence-transformers` **v6.1.0 或更新**。只做文字時，官方模型卡的最小安裝是 `sentence-transformers` 與 `transformers`。[2][5]

```python
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2"
)

query = "What causes the northern lights?"
document = (
    "The northern lights are caused "
    "by charged particles from the sun."
)

query_emb = model.encode(query, prompt_name="SearchQuery")
doc_emb = model.encode(document, prompt_name="Document")
print(model.similarity(query_emb, doc_emb))
```

這段只示範文字檢索。預設會載入完整多模態模型。若只要文字與程式碼，官方建議在載入時關掉視覺與聲音編碼器，有效大小會回到 **270M**。[2][5]

```python
model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={
        "vision_config": None,
        "audio_config": None,
    },
)
```

官方原生版在 [Hugging Face](https://huggingface.co/google/embeddinggemma-2)。Kaggle 也有權重頁。社群 GGUF 量化版在 [ggml-org/embeddinggemma-2-GGUF](https://huggingface.co/ggml-org/embeddinggemma-2-GGUF)，頁面標明由轉換流程自動產生，不能直接當成官方原生權重。[4][10]

## 四種載入方式，對的是同一個空間

EmbeddingGemma 2 的編碼器可以分開載入。開發者指南寫明：同一個 checkpoint 切出的四種組合，共用一個向量空間。文字-only 產出的查詢，可以直接拿去比對完整模型產出的文件向量。之後若要補圖片或聲音，不必重算已經做好的文字索引。[2][5]

| 載入內容 | 有效參數 | 適合什麼 |
| --- | --- | --- |
| 只開文字 | 270M | 文件、網頁、程式碼搜尋 |
| 文字加視覺 | 440M | 截圖、投影片、PDF 頁、影片幀 |
| 文字加聲音 | 570M | 語音備忘錄、會議錄音、聲音事件 |
| 完整多模態 | 740M | 文字、圖片、影片、聲音交錯輸入 |

Keyword 發布文另給了一組裝置數字：量化後，在 Google Pixel 11 Pro 上，文字權重最少約 **191MB** 作用中 RAM，完整多模態約 **567MB**。Google AI Edge 應用文重複同一組數字。這是官方在指定裝置與量化條件下的數字。其他手機、筆電或伺服器要另外量。[1][13]

權重本身還有另一層：關掉用不到的編碼器，載入的參數就會變少。官方文字微調範例關掉視覺與聲音後，印出 **271,002,624** 個參數，對應約 270M 文字本體。[2][11]

向量儲存是第三層。開發者指南寫：bfloat16 下，一百萬筆 768 維向量大約 **1.5 GB**。收到 128 維大約 **250 MB**。這是容量估算，用來說明 6 倍壓縮，未對應某台機器的實測佔用。[5]

數值精度也有硬限制。模型卡要求用 `bfloat16` 或 `float32`，不要用 `float16`。啟動範圍超出 `float16` 能表示的區間時，結果可能是 NaN，或看起來正常但其實已壞掉的向量。[2]

## 文字要加任務前綴，媒體不要加

文字輸入會吃短任務指令。官方說省略仍可運作，品質會下降。圖片、影片、聲音不要加前綴。[2]

檢索是非對稱任務：查詢用查詢前綴，文件用文件前綴。分類、分群、相似度則兩邊用同一種前綴。

| 工作 | prompt_name | 查詢怎麼寫 |
| --- | --- | --- |
| 網頁／文件搜尋 | SearchQuery | `task: search result \| query: {query}` |
| 問答 | QuestionAnswering | `task: question answering \| query: {question}` |
| 事實查核 | FactChecking | `task: fact checking \| query: {claim}` |
| 程式碼搜尋 | CodeRetrieval | `task: code retrieval \| query: {query}` |
| 分類 | Classification | `task: classification \| query: {content}` |
| 分群 | Clustering | `task: clustering \| query: {content}` |
| 句子相似度 | SentenceSimilarity | `task: sentence similarity \| query: {content}` |

文件若有標題，格式是 `title: {title} | text: {content}`。沒有標題就寫 `title: none`。`prompt_name="Document"` 會套用 `title: none`。真的有標題時，要自己把字串組好再送進 `encode()`。[2]

多模態輸入可以交錯。文字裡用 `<|image|>`、`<|video|>`、`<|audio|>` 標出媒體位置，模型會依序填入對應檔案，最後產出單一向量。這個向量可以直接跟純文字查詢比對。[2][7]

所有模態共用 **8,192** token 的上下文。模型卡給的單一模態上限是：文字 8,192 token、預設約 29 張圖、約 58 個影片幀、約 327 秒聲音。Keyword 發布文把聲音寫成最多約 5.5 分鐘，並標為相對 EmbeddingGemma 1 的 4 倍上下文。混用會互相佔預算。影片預設每秒抽 1 幀。聲音應提供 **16 kHz** 單聲道。[1][2]

## 官方成績怎麼讀

模型卡上的成績全部使用完整精度 checkpoint，輸出維度是 768d。這些是作者公布的評測，本輪沒有重跑。[2]

| 模態 | 評測 | EmbeddingGemma 2 | EmbeddingGemma 1 |
| --- | --- | ---: | ---: |
| 文字 | MTEB multilingual v2 Mean(Task) | 61.36 | 61.15 |
| 程式碼 | MTEB code v1 NDCG@10 | 78.68 | 68.76 |
| 圖片 | MIEB lite Mean(TaskType) | 64.64 | — |
| 圖片 | MMEB v2 Image Hit@1 | 57.28 | — |
| 視覺文件 | MMEB v2 VisDoc NDCG@5 | 67.84 | — |
| 影片 | MMEB v2 Video Hit@1 | 50.67 | — |
| 聲音 | MSEB Retrieval MRR@10 | 69.54 | — |
| 聲音 | MAEB Mean(Task) | 49.39 | — |

Keyword 發布文把程式碼進步寫成 **9.92** 分，對應 68.76 到 78.68。多語文字幾乎持平。圖片、影片、聲音是這一版新加的能力，沒有 EmbeddingGemma 1 對照。[1][2]

向量還能截斷。支援 768、512、256、128 維。截斷後必須重新 L2 正規化。查詢與文件必須用同一維度。[2]

| 維度 | 壓縮比 | 多語文字 | 程式碼 | MMEB v2 Overall |
| ---: | --- | ---: | ---: | ---: |
| 768d | 1:1 | 61.36 | 78.68 | 59.01 |
| 512d | 1:1.5 | 61.17 | 77.24 | 58.38 |
| 256d | 1:3 | 60.41 | 76.18 | 56.24 |
| 128d | 1:6 | 57.89 | 71.41 | 45.65 |

模型卡的判斷是：收到 256d，品質接近完整向量。128d 對多模態傷害明顯，比較適合文字工作，採用前要用自己的資料驗證。開發者指南另寫：256d 在圖片、影片、語音檢索大約保留完整品質的 95%。128d 文字與程式碼大約 90%，圖片、影片、語音大約 75%。這兩段都是官方描述，本輪沒有重跑。[2][5]

## 能不能自己訓練

官方開放的是**微調已釋出權重**，沒有公開從零預訓練 EmbeddingGemma 2 的配方。模型卡把預訓練資料寫成截止於 2025 年 1 月的網頁、程式碼、圖片、影片、聲音與跨模態配對。那一輪訓練由 Google DeepMind 完成，權重以 Apache 2.0 釋出。[2][8]

自己能做的，是拿 `google/embeddinggemma-2` 當底座，用自己的資料繼續訓練。官方文字微調指南用 Sentence Transformers 的 `SentenceTransformerTrainer` 與 `MultipleNegativesRankingLoss`，資料形狀是 `(anchor, positive, negative)` 三元組。範例是金融知識庫：微調前，「稅務優惠投資帳戶」和「一般存款帳戶」分不開。指南用 3 筆三元組、5 個 epoch、15 步示範，正確文件與困難負例的分數差從 0.0091 拉到 0.0352。這是官方示範數字，資料量很小，不能直接當成生產效果。[11]

多模態也能微調。官方第二篇指南用 `(文字查詢, 正例圖片, 負例圖片)` 三元組，示範文字找畫作。同一個 Sentence Transformers 訓練流程，目標改成跨模態檢索。[12]

實務上有幾條界線要先看清楚。[2][11][12]

- 微調的是已公開權重。官方沒有公開從零重做 740M 預訓練的配方。
- 只做文字時，載入可關掉視覺與聲音編碼器，減少 GPU 記憶體。官方範例印出約 270M 參數。
- 訓練時要用推論時同一套任務前綴。指南把 `prompts=model.prompts[task_name]` 寫進訓練參數。
- 官方沒有公布微調所需的最低 VRAM。Pixel 11 Pro 的 191MB／567MB 是量化推論的作用中 RAM，不能拿來估訓練。
- 微調後的模型仍受 Apache 2.0 與 Gemma 禁止用途政策約束。

Unsloth 另有文字、圖文、聲音微調筆記本，以及自家 GGUF。那些是第三方流程，檔名與官方 740M 完整模型要分開核對。

## 採用前要先看的邊界

權重頁與模型卡都標 **Apache 2.0**。這份授權允許使用、修改與散布，條件包含保留聲明，以及專利訴訟時授權可能終止。[2][4][8]

官方文件同時要求部署遵守 [Gemma Prohibited Use Policy](https://ai.google.dev/gemma/prohibited_use_policy)。採用前要把授權本文與禁止用途一起看完。[9]

模型卡還有幾條實務限制。[2]

- 訓練資料截止於 **2025 年 1 月**。支援 100 種以上語言，各語言表現不會一樣。
- 它是預訓練嵌入模型，沒有生成模型那種後訓練對齊或輸出審查。安全風險出現在後續怎麼用這些向量。
- 文字任務省略前綴，嵌入品質會下降。
- 開放式、高度複雜、或依賴語氣與諷刺的任務，可能不穩。

Pixel 11 Pro 的 RAM 數字、MTEB 分數、256d／128d 品質描述，都是官方自報。本輪沒有重跑，這些數字只說明官方測試條件，不能直接當成你機器上的延遲或召回。社群 GGUF 是轉換產物。檔案頁顯示的參數量，與官方 740M 完整模型分屬不同層級，使用前要核對自己載入的是文字還是完整多模態。[1][2][10]

如果目標是本機搜尋文件、程式碼、截圖或錄音，EmbeddingGemma 2 提供一條清楚的路：同一個模型、同一個向量空間、可依需求關掉用不到的編碼器。先用文字 270M 把索引跑通，確認任務前綴與切塊沒問題，再決定要不要打開視覺或聲音。

## 先決定要搜什麼

選這顆模型，先問自己搜的對象是什麼。只有文字與程式碼，載入 270M 就夠。要看圖或投影片，再打開視覺編碼器。要對錄音或影片，再打開聲音與抽幀。

維度也一樣。召回優先用 768 或 512。儲存吃緊再試 256。128 先拿自己的資料驗證，尤其是圖片、影片和聲音。

向量對好之後，真正要交付的還是檢索結果能不能被核對。嵌入模型把資料變成可搜的形狀。找得準不準，仍要看切塊、前綴、維度，以及你有沒有把結果對回原始檔案。

## Sources

功能、參數與成績以 2026 年 10 月 8 日查閱的官方公開版本為準。Hugging Face 權重固定在 commit 914f7f89142e33e77833254d9c9b90c3cef7303b。

- [1：Google Keyword 發布文](https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/)
- [2：模型卡與成績](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2)
- [3：EmbeddingGemma 官方文件](https://ai.google.dev/gemma/docs/embeddinggemma)
- [4：官方權重](https://huggingface.co/google/embeddinggemma-2)
- [5：開發者指南](https://developers.googleblog.com/embeddinggemma-2-the-developer-guide/)
- [6：文字推論指南](https://ai.google.dev/gemma/docs/embeddinggemma/inference-embeddinggemma-with-sentence-transformers)
- [7：多模態推論指南](https://ai.google.dev/gemma/docs/embeddinggemma/multimodal-embeddinggemma-with-sentence-transformers)
- [8：Apache 2.0 授權](https://ai.google.dev/gemma/docs/gemma_4_license)
- [9：Gemma 禁止用途政策](https://ai.google.dev/gemma/prohibited_use_policy)
- [10：社群 GGUF 量化版](https://huggingface.co/ggml-org/embeddinggemma-2-GGUF)
- [11：文字微調指南](https://ai.google.dev/gemma/docs/embeddinggemma/fine-tuning-embeddinggemma-with-sentence-transformers)
- [12：多模態微調指南](https://ai.google.dev/gemma/docs/embeddinggemma/fine-tuning-multimodal-embeddinggemma-with-sentence-transformers)
- [13：Google AI Edge 應用文](https://developers.googleblog.com/google-ai-edge-with-embeddinggemma-2/)
