093

EmbeddingGemma 2:把文字、圖片、聲音和影片對進同一個向量空間

EmbeddingGemma 2:把文字、圖片、聲音和影片對進同一個向量空間 封面圖

EmbeddingGemma 2 能做本機檢索、分類與 RAG。看官方公布的記憶體數字、現成應用,以及你可以微調、但沒有從零訓練配方的界線。

Seer

2026-10-10

EmbeddingGemma 2 的重點,是把文字、程式碼、圖片、影片和聲音對進同一個 768 維向量空間。查詢可以是一句話、一段程式碼、一張圖,或一段語音。被搜的對象也可以是文件、截圖、影片片段或錄音。這些輸入最後都變成可以互相比對的向量。[1][2][4]

它建立在 Gemma 4 架構上,總參數 740M。文字本體是 270M,視覺編碼器另加 170M,聲音編碼器另加 300M。官方文件把它寫成可在消費級 GPU 或 CPU 上離線跑的開源模型。[2][3]

授權標為 Apache 2.0。部署時還要一併核對 Gemma 禁止用途政策。[8][9]

這篇整理它能做什麼、官方公布的記憶體數字、那些現成應用,以及能不能自己訓練。查證日期是 2026 年 10 月 8 日。固定版本是 Hugging Face google/embeddinggemma-2 當時的 commit 914f7f89142e33e77833254d9c9b90c3cef7303b。本輪只讀官方頁與模型卡,沒有下載權重,也沒有在本機跑推論。

快速閱讀:能做什麼與現成應用 · 記憶體與載入 · 能不能自己訓練

先看它能做什麼

嵌入模型產出的是向量,後面還要接檢索、分類、分群或 RAG。官方模型卡把用途寫成五類。[2]

使用場景模型負責什麼後續還需要什麼
檢索把查詢與文件、程式碼、圖片、影片、聲音轉成同一空間的向量切塊、向量庫、排序與人工核對
分類依預設標籤幫輸入分組,例如內容審核、聲音事件、圖片類別標籤定義、閾值與抽樣檢查
分群依語意把相近內容聚在一起,找主題或跨模態近重複群數、抽樣與人工命名
語意相似度量兩筆輸入有多像,做推薦、重複偵測、跨語言對齊配對規則與閾值
事實查核依主張找出證據文件來源庫、引用檢查與人工判斷

官方示範把這五類落到幾個現成應用。[1][13]

應用做什麼入口
Instant Media Search用文字或參考圖,在本機相簿裡找圖與影片Google AI Edge Gallery
Video Moments Finder用語音或文字,在本機影片裡標出對應時間點Google AI Edge Gallery
Google AI Edge Foresight本機檔案與會議內容檢索,再交給 Gemma 4 做推論Mac 實驗應用
MediaPipe Decision Task用多模態上下文做分類、路由與即時決策MediaPipe
ML Kit(規劃中)Android 上的平台整合路徑,含 NPU 加速官方寫「未來數週」提供

這些是產品示範與規劃入口,本輪沒有重跑。[1][13]

適合先試的任務很具體:用自然語言搜本機程式庫、用一句話找相簿裡的照片、用語音備忘錄對到一段會議錄音。任務描述愈清楚,任務前綴愈容易選對。

怎麼開始:先裝文字推論

官方文字推論指南用 sentence-transformers。多模態輸入還要再加圖片、聲音與影片處理套件。[5][6][7]

pip install -U sentence-transformers transformers \
  pillow soundfile torchcodec

開發者指南寫的是 sentence-transformers v6.1.0 或更新。只做文字時,官方模型卡的最小安裝是 sentence-transformers 與 transformers。[2][5]

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2"
)

query = "What causes the northern lights?"
document = (
    "The northern lights are caused "
    "by charged particles from the sun."
)

query_emb = model.encode(query, prompt_name="SearchQuery")
doc_emb = model.encode(document, prompt_name="Document")
print(model.similarity(query_emb, doc_emb))

這段只示範文字檢索。預設會載入完整多模態模型。若只要文字與程式碼,官方建議在載入時關掉視覺與聲音編碼器,有效大小會回到 270M。[2][5]

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={
        "vision_config": None,
        "audio_config": None,
    },
)

官方原生版在 Hugging Face。Kaggle 也有權重頁。社群 GGUF 量化版在 ggml-org/embeddinggemma-2-GGUF,頁面標明由轉換流程自動產生,不能直接當成官方原生權重。[4][10]

四種載入方式,對的是同一個空間

EmbeddingGemma 2 的編碼器可以分開載入。開發者指南寫明:同一個 checkpoint 切出的四種組合,共用一個向量空間。文字-only 產出的查詢,可以直接拿去比對完整模型產出的文件向量。之後若要補圖片或聲音,不必重算已經做好的文字索引。[2][5]

載入內容有效參數適合什麼
只開文字270M文件、網頁、程式碼搜尋
文字加視覺440M截圖、投影片、PDF 頁、影片幀
文字加聲音570M語音備忘錄、會議錄音、聲音事件
完整多模態740M文字、圖片、影片、聲音交錯輸入

Keyword 發布文另給了一組裝置數字:量化後,在 Google Pixel 11 Pro 上,文字權重最少約 191MB 作用中 RAM,完整多模態約 567MB。Google AI Edge 應用文重複同一組數字。這是官方在指定裝置與量化條件下的數字。其他手機、筆電或伺服器要另外量。[1][13]

權重本身還有另一層:關掉用不到的編碼器,載入的參數就會變少。官方文字微調範例關掉視覺與聲音後,印出 271,002,624 個參數,對應約 270M 文字本體。[2][11]

向量儲存是第三層。開發者指南寫:bfloat16 下,一百萬筆 768 維向量大約 1.5 GB。收到 128 維大約 250 MB。這是容量估算,用來說明 6 倍壓縮,未對應某台機器的實測佔用。[5]

數值精度也有硬限制。模型卡要求用 bfloat16 或 float32,不要用 float16。啟動範圍超出 float16 能表示的區間時,結果可能是 NaN,或看起來正常但其實已壞掉的向量。[2]

文字要加任務前綴,媒體不要加

文字輸入會吃短任務指令。官方說省略仍可運作,品質會下降。圖片、影片、聲音不要加前綴。[2]

檢索是非對稱任務:查詢用查詢前綴,文件用文件前綴。分類、分群、相似度則兩邊用同一種前綴。

工作prompt_name查詢怎麼寫
網頁/文件搜尋SearchQuery`task: search result \
問答QuestionAnswering`task: question answering \
事實查核FactChecking`task: fact checking \
程式碼搜尋CodeRetrieval`task: code retrieval \
分類Classification`task: classification \
分群Clustering`task: clustering \
句子相似度SentenceSimilarity`task: sentence similarity \

文件若有標題,格式是 title: {title} | text: {content}。沒有標題就寫 title: none。prompt_name="Document" 會套用 title: none。真的有標題時,要自己把字串組好再送進 encode()。[2]

多模態輸入可以交錯。文字裡用 <|image|>、<|video|>、<|audio|> 標出媒體位置,模型會依序填入對應檔案,最後產出單一向量。這個向量可以直接跟純文字查詢比對。[2][7]

所有模態共用 8,192 token 的上下文。模型卡給的單一模態上限是:文字 8,192 token、預設約 29 張圖、約 58 個影片幀、約 327 秒聲音。Keyword 發布文把聲音寫成最多約 5.5 分鐘,並標為相對 EmbeddingGemma 1 的 4 倍上下文。混用會互相佔預算。影片預設每秒抽 1 幀。聲音應提供 16 kHz 單聲道。[1][2]

官方成績怎麼讀

模型卡上的成績全部使用完整精度 checkpoint,輸出維度是 768d。這些是作者公布的評測,本輪沒有重跑。[2]

模態評測EmbeddingGemma 2EmbeddingGemma 1
文字MTEB multilingual v2 Mean(Task)61.3661.15
程式碼MTEB code v1 NDCG@1078.6868.76
圖片MIEB lite Mean(TaskType)64.64—
圖片MMEB v2 Image Hit@157.28—
視覺文件MMEB v2 VisDoc NDCG@567.84—
影片MMEB v2 Video Hit@150.67—
聲音MSEB Retrieval MRR@1069.54—
聲音MAEB Mean(Task)49.39—

Keyword 發布文把程式碼進步寫成 9.92 分,對應 68.76 到 78.68。多語文字幾乎持平。圖片、影片、聲音是這一版新加的能力,沒有 EmbeddingGemma 1 對照。[1][2]

向量還能截斷。支援 768、512、256、128 維。截斷後必須重新 L2 正規化。查詢與文件必須用同一維度。[2]

維度壓縮比多語文字程式碼MMEB v2 Overall
768d1:161.3678.6859.01
512d1:1.561.1777.2458.38
256d1:360.4176.1856.24
128d1:657.8971.4145.65

模型卡的判斷是:收到 256d,品質接近完整向量。128d 對多模態傷害明顯,比較適合文字工作,採用前要用自己的資料驗證。開發者指南另寫:256d 在圖片、影片、語音檢索大約保留完整品質的 95%。128d 文字與程式碼大約 90%,圖片、影片、語音大約 75%。這兩段都是官方描述,本輪沒有重跑。[2][5]

能不能自己訓練

官方開放的是微調已釋出權重,沒有公開從零預訓練 EmbeddingGemma 2 的配方。模型卡把預訓練資料寫成截止於 2025 年 1 月的網頁、程式碼、圖片、影片、聲音與跨模態配對。那一輪訓練由 Google DeepMind 完成,權重以 Apache 2.0 釋出。[2][8]

自己能做的,是拿 google/embeddinggemma-2 當底座,用自己的資料繼續訓練。官方文字微調指南用 Sentence Transformers 的 SentenceTransformerTrainer 與 MultipleNegativesRankingLoss,資料形狀是 (anchor, positive, negative) 三元組。範例是金融知識庫:微調前,「稅務優惠投資帳戶」和「一般存款帳戶」分不開。指南用 3 筆三元組、5 個 epoch、15 步示範,正確文件與困難負例的分數差從 0.0091 拉到 0.0352。這是官方示範數字,資料量很小,不能直接當成生產效果。[11]

多模態也能微調。官方第二篇指南用 (文字查詢, 正例圖片, 負例圖片) 三元組,示範文字找畫作。同一個 Sentence Transformers 訓練流程,目標改成跨模態檢索。[12]

實務上有幾條界線要先看清楚。[2][11][12]

  • 微調的是已公開權重。官方沒有公開從零重做 740M 預訓練的配方。
  • 只做文字時,載入可關掉視覺與聲音編碼器,減少 GPU 記憶體。官方範例印出約 270M 參數。
  • 訓練時要用推論時同一套任務前綴。指南把 prompts=model.prompts[task_name] 寫進訓練參數。
  • 官方沒有公布微調所需的最低 VRAM。Pixel 11 Pro 的 191MB/567MB 是量化推論的作用中 RAM,不能拿來估訓練。
  • 微調後的模型仍受 Apache 2.0 與 Gemma 禁止用途政策約束。

Unsloth 另有文字、圖文、聲音微調筆記本,以及自家 GGUF。那些是第三方流程,檔名與官方 740M 完整模型要分開核對。

採用前要先看的邊界

權重頁與模型卡都標 Apache 2.0。這份授權允許使用、修改與散布,條件包含保留聲明,以及專利訴訟時授權可能終止。[2][4][8]

官方文件同時要求部署遵守 Gemma Prohibited Use Policy。採用前要把授權本文與禁止用途一起看完。[9]

模型卡還有幾條實務限制。[2]

  • 訓練資料截止於 2025 年 1 月。支援 100 種以上語言,各語言表現不會一樣。
  • 它是預訓練嵌入模型,沒有生成模型那種後訓練對齊或輸出審查。安全風險出現在後續怎麼用這些向量。
  • 文字任務省略前綴,嵌入品質會下降。
  • 開放式、高度複雜、或依賴語氣與諷刺的任務,可能不穩。

Pixel 11 Pro 的 RAM 數字、MTEB 分數、256d/128d 品質描述,都是官方自報。本輪沒有重跑,這些數字只說明官方測試條件,不能直接當成你機器上的延遲或召回。社群 GGUF 是轉換產物。檔案頁顯示的參數量,與官方 740M 完整模型分屬不同層級,使用前要核對自己載入的是文字還是完整多模態。[1][2][10]

如果目標是本機搜尋文件、程式碼、截圖或錄音,EmbeddingGemma 2 提供一條清楚的路:同一個模型、同一個向量空間、可依需求關掉用不到的編碼器。先用文字 270M 把索引跑通,確認任務前綴與切塊沒問題,再決定要不要打開視覺或聲音。

先決定要搜什麼

選這顆模型,先問自己搜的對象是什麼。只有文字與程式碼,載入 270M 就夠。要看圖或投影片,再打開視覺編碼器。要對錄音或影片,再打開聲音與抽幀。

維度也一樣。召回優先用 768 或 512。儲存吃緊再試 256。128 先拿自己的資料驗證,尤其是圖片、影片和聲音。

向量對好之後,真正要交付的還是檢索結果能不能被核對。嵌入模型把資料變成可搜的形狀。找得準不準,仍要看切塊、前綴、維度,以及你有沒有把結果對回原始檔案。

Sources

功能、參數與成績以 2026 年 10 月 8 日查閱的官方公開版本為準。Hugging Face 權重固定在 commit 914f7f89142e33e77833254d9c9b90c3cef7303b。

先決定要搜什麼,再決定載入哪些編碼器。

Visits

--

Waiting for Cloudflare metrics.