---
slug: "strata-local-moe-inference"
title: "Strata：把 Qwen3.8-Flash-Next 放進遊戲電腦的本機推論引擎"
status: "published"
excerpt: "Strata 用 GPU、CPU、RAM 與 SSD 分工，讓一般 PC 執行 Qwen3.8-Flash-Next。整理硬體需求、安裝與 API 接入、作者測速條件及模型商用授權。"
category: "Local AI"
tags: ["ai", "local-ai", "moe", "Qwen", "self-hosted", "inference"]
author: "Seer"
author_role: "Author"
read_time: "7 min"
cover: "/static/strata-local-moe-inference-cover.png"
closing_note: "先跑自己的任務，再決定要不要長期接入代理。"
published_at: "2026-10-02T01:21:43Z"
updated_at: "2026-10-02T01:21:43Z"
---

[Strata](https://github.com/Niko1221/Strata) 的用途，是讓 Windows 或 Linux 電腦執行 Qwen3.8-Flash-Next 的受支援壓縮版本，再透過本機聊天介面、OpenAI 相容 API 或 Anthropic 相容 API 使用。它主打的配置是一張 12–24GB NVIDIA 顯示卡，搭配 64GB RAM，把大型模型接到自己手上的開發工作流。[1]

這篇關注的是：顯示記憶體容納不下整個模型時，Strata 如何安排 GPU、CPU、RAM 與 SSD 的工作，以及這種安排會把代價轉移到哪裡。看完應該能判斷，現有電腦是否適合拿它做單人聊天、程式碼問答或代理的本機推論後端。

先講採用判斷：如果已有合適的顯示卡、大容量 RAM 和 NVMe SSD，Strata 提供了一條針對這個模型家族的部署路線。如果目標是多人同時使用、隨意更換各種模型，或直接販售模型 API，併發架構與模型授權都要先查清楚。內容以 2026 年 10 月 2 日的 v0.1.32 原始碼與文件為準。速度數字來自專案作者的公開測量。[1][2]


快速跳轉：[推論分工](#h-12gb-顯示卡怎麼承接這個模型) · [硬體與模型](#h-小顯示卡的代價-轉到了-ram-與-ssd) · [安裝與 API](#h-安裝後-先得到一個本機模型服務) · [作者測速](#h-速度表要分成-讀提示-與-寫答案) · [代理與安全](#h-接上代理後-還有併發與工具邊界) · [模型授權](#h-程式碼-mit-模型商用要另外看)

## 12GB 顯示卡怎麼承接這個模型？

理解 Strata，要先看 Qwen3.8-Flash-Next 的結構。官方模型卡把主模型列為 125B 參數、每次啟用約 6B，另外還有 51B 的 n-gram embedding 與 4B 的 MTP 預測層。因此，README 的「125B 模型」是主模型的規模標籤，規劃儲存與記憶體時，還得把其他資料一起算進去。[3]

其中的 MoE，也就是混合專家架構，在每一層準備 512 個 routed experts，由路由器為每個 token 選出 10 個，另外還有一個 shared expert。一次只使用部分專家，讓引擎有機會把常用與較少用的權重放在不同位置。[3]

Strata 的一般模式採用這樣的分工：[2]

| 位置 | 放什麼、做什麼 |
| --- | --- |
| GPU／顯示記憶體 | 執行注意力、路由器、共享專家等工作，保存生成需要的快取，並把剩餘空間用來放常用專家 |
| RAM／CPU | 將完整專家權重保存在 RAM，CPU 計算部分未命中 GPU 快取的專家，與 GPU 的工作並行 |
| SSD | 保存約 28.8GB 的 n-gram 查表資料，經作業系統快取讀取每個 token 需要的少量資料列 |

這裡有兩個會影響判斷的細節。

第一，**RAM 同時是模型權重的儲存位置，CPU 也是推論工作的參與者。** 未命中 GPU 快取的專家，可依設定分配給 CPU，或經 PCIe 交給 GPU 計算。最後的速度會一起受到 CPU、顯示記憶體容量與 PCIe 傳輸影響。[2]

第二，一般模式下，SSD 主要負責那張查表資料。當 RAM 不夠而啟用低記憶體模式時，專家權重才可能改由檔案映射與作業系統快取供應。部分模式會先把 GPU 沒有的專家留在 RAM，另一種則只保存指定 RAM 預算內的熱門專家。這些模式的磁碟讀取負擔差很多。[2]

Strata 還使用模型自己的 MTP 層先提出候選 token，再由主模型驗證，保留通過的前綴，以減少生成時反覆走完整模型的次數。這能解釋部分加速來源。量化版本、CPU／GPU 浮點運算與快取設定仍會影響結果，不能把它寫成所有設定都保證相同輸出。[2]

## 小顯示卡的代價，轉到了 RAM 與 SSD

對準備安裝的人，第一個問題應該是整台電腦的配置。官方主線列出的條件如下：[2]

- **作業系統：**Windows 10／11，或 Linux。Ubuntu 22.04／24.04 有自動安裝路線。
- **顯示卡：**NVIDIA RTX 20、30、40、50 系列，建議至少 12GB 顯示記憶體。文件也列出 8GB 可執行但較慢。
- **RAM：**一般建議 64GB，實際需求取決於模型版本、上下文長度與低記憶體模式。
- **CPU：**支援 AVX2 的 x86-64 處理器。部分路徑也使用 AVX-512。
- **儲存：**建議 NVMe SSD。除了模型，還要預留 MTP、準備後的模型資料與可能產生的額外權重副本。
- **NVIDIA 驅動：**詳細安裝文件要求 580 或更新版本。

原版壓縮模型的完整下載，依大小約為 66.4–83.6GB，其中包含那張 28.8GB 查表資料。Strata 文件另外列出 MTP 約 6GB。某些模型搭配 AVX-512 CPU，準備時還會建立約 40GB 的專家副本。**下載大小、RAM 用量與總磁碟用量，要分開看。**[6][2]

目前也有 Linux 的 AMD HIP 實驗後端，涵蓋部分 Radeon 顯示卡，安裝、影像支援與效能條件需要按該後端文件確認。macOS／Apple Silicon 不在這套官方安裝主線內。[8][2]

硬體確認後，再選模型版本：

- **[原版壓縮模型](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF)：**適合一般聊天與程式碼工作。README 提供不同大小的選項，安裝器會依 RAM 建議版本。[1][6]
- **[Coder](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF)：**面向程式碼與工具使用，將每層 routed experts 從 512 個減為 256 個。完整下載約 58.4GB，Strata 文件把它列為 32GB RAM 電腦可考慮的版本。上下文和其他程式仍需要空間。[7][2]
- **[Swift 1.5](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF)：**另一個微調版本，主要訴求是縮短回答前的思考過程。這是模型行為的改變，應用自己的任務確認品質，並另外檢查 Swift 的授權。[10]

Coder 的縮小涉及刪除專家。模型作者明確指出，保留的能力偏向程式碼、代理工具使用、影像與空間推理，其他領域的退化是這項取捨的一部分。若工作包含大量通用知識與跨領域分析，原版與 Coder 應該分開比較。[7]

## 安裝後，先得到一個本機模型服務

Strata 的推論核心是原生 C++ 引擎，NVIDIA 主線使用 CUDA，外層以 Python 處理安裝與 HTTP API。部分量化與 CPU 運算元件沿用 llama.cpp／ggml。[2]

Windows 的官方起手方式，是下載並解壓專案，雙擊 `START-HERE.bat`，選擇模型、大小、上下文與影像設定。Linux 可以從 GitHub 取得專案後啟動：[1]

```bash
git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.sh
```

第一次啟動會建立 Python 虛擬環境，下載引擎、模型與 MTP 資料。如果沒有適合硬體的預編譯引擎，安裝器會提供編譯路線。Linux 在補齊部分系統套件時可能需要 `sudo`，因此應把它當成會安裝依賴的腳本來審視。[2]

安裝完成後，瀏覽器會開啟：

```text
http://127.0.0.1:8080
```

內建頁面包含聊天、模型與硬體監看，以及目前設定資訊。對開發者，更重要的是兩個 API 入口：[2]

| 用途 | 入口 |
| --- | --- |
| OpenAI Chat Completions 相容請求 | `POST /v1/chat/completions` |
| Anthropic Messages 相容請求 | `POST /v1/messages` |

例如，先用一個短請求確認端點回應：

```bash
curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "strata",
    "messages": [
      {
        "role": "user",
        "content": "用三點說明如何為 HTTP API 設計測試。"
      }
    ],
    "max_tokens": 256
  }'
```

目前的 OpenAI 相容路線是 Chat Completions。這個版本的服務路由未實作 `/v1/responses`。若客戶端使用 Responses API，需要改用支援 Chat Completions 的接法，或另外處理轉接。接入特定代理時，也仍需確認模型名稱、思考內容、工具呼叫與輸出長度的要求。[2][13]

我會建議先採安裝器推薦的上下文設定，保持實驗性速度投影關閉，用自己的短任務確認結果，再逐步加入長文件、工具與影像。這樣比較容易分辨，問題來自模型回答、客戶端格式，還是硬體負擔。

## 速度表要分成「讀提示」與「寫答案」

Strata 的速度值得看，但要保留測試條件。

下面三個例子來自專案的 **引擎 0.1.26** 測量，使用 RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200、Windows 10。每個測試格只跑一次，以程式代理提示生成 256 個 token，使用貪婪解碼、MTP，關閉影像。這張表並非 v0.1.32 的重新測量。[12]

| 作者測量的版本 | 4K 提示處理速度 | 4K 情境的輸出速度 |
| --- | ---: | ---: |
| 原版省空間版本 `Q2_0` | 1,299 tokens/s | 93.0 tokens/s |
| 原版較高精度版本 `IQ3_S` | 913 tokens/s | 53.3 tokens/s |
| Coder | 1,583 tokens/s | 55.1 tokens/s |

「提示處理速度」影響模型讀完文件與聊天歷史要等多久。「輸出速度」則是開始生成之後，答案出現的速率。使用代理時，還要算入模型載入、排隊、思考內容與工具往返，才能得到真正的任務完成時間。

作者也指出，候選 token 的接受率會隨回答內容改變，單次測量可能波動數個百分點。這些數字適合用來規劃測試，不能直接推算成所有電腦、所有任務的固定表現。[12]

另一個能看出取捨的例子，是實驗性的 [Unsloth 模型路線](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/docs/UNSLOTH_Q4.md)。它的專家權重更大，作者在 64GB RAM、12GB RTX 5070 上回報約 7–8.5 tokens/s，專家資料更依賴 SSD 與檔案快取。顯示記憶體相同，換了模型版本與記憶體安排，使用體驗就可能差很多。[9]

## 接上代理後，還有併發與工具邊界

Strata 的相容 API，讓現有客戶端有一條接入本機推論的路線。真正部署時，有三件事要另外處理。

### 多個代理會共用同一條推論路徑

目前服務一次執行一個生成請求。可選的多對話快取，能用額外 RAM 保存不同對話的狀態，減少切換時重讀提示的工作。請求仍需串行執行。[2]

所以，單人聊天或單一程式代理比較符合這套服務的現有形狀。若安排多個代理同時工作，應量測排隊等待、上下文切換與整批任務耗時，不能只看單一請求的 tokens/s。

### 工具由誰執行，要先分清楚

一般 API 客戶端保有自己的工具執行流程：模型回傳工具呼叫，由代理或應用程式執行。Strata 的聊天頁則可接上 MCP 伺服器，讓模型使用檔案、搜尋等工具。API 請求也有明確選用這條服務端工具路徑的方式。[2]

MCP 程式會以本機使用者權限執行，而且模型可能因讀到的網頁或檔案內容而呼叫工具。檔案工具應限制到必要目錄，優先採唯讀權限，並審查每個 MCP 伺服器會連到哪裡。[2]

### 開放網路存取前，補上驗證與來源限制

預設服務只監聽 `127.0.0.1`。如果改成區域網路存取，或加上 tunnel、反向代理，應先設定 API key，並依需要設定可信來源與 CORS 白名單。CORS 預設關閉，管理與工具入口另有來源限制。推論在本機，也仍要考慮遠端存取與工具權限。[2]

## 程式碼 MIT，模型商用要另外看

Strata 本身採 MIT 授權。模型權重不包含在這項授權裡，而 Qwen3.8-Flash-Next 的官方授權是 **Qwen Community License 1.0**。[4][5]

這份條款對商業用途有具體限制。從事 **Model as a Service** 或 **AI Work Assistant** 業務的使用者及關係企業，在商用模型或其衍生作品前，需要向 Qwen 取得另行授權。條款也列出內部使用、且不把模型能力或輸出提供給第三方的例外。因此，自用程式代理、公司內部工具與對外販售服務，應分別檢查。[5]

來源還有一個容易看錯的地方：GSQ-RCO 與 Coder 模型卡的頁首標示 Apache-2.0，正文授權段卻寫明權重繼承原模型授權。要做商業產品時，應確認這個差異，按原模型 LICENSE 與權重提供者的說明核對，避免只看頁首標籤就判斷可用範圍。[6][7][5]

Swift 1.5 另有 **Swift Open License 1.0**，其中還有以使用者及關係企業最近會計年度總營收計算的 100 萬美元商用門檻。原始 Qwen 元件的條款也保留。這些都是模型選型條件，具體適用仍應按授權原文確認。[10][11]

## 是否採用，回到自己的工作量

Strata 提供的路線很明確：針對 Qwen3.8-Flash-Next 家族，把常用專家放進 GPU，讓 CPU 與 RAM 承接其他工作，再用 SSD 保存大型查表資料。外層提供聊天頁與相容 API。[1][2]

如果已有這類 PC，想建立單人使用的本機程式代理後端，可以從原版推薦版本或 Coder 開始，量測三件事：**第一次回應要等多久、工具呼叫是否正確、完整任務需要多久。**

若需求是多人服務、廣泛模型切換，或對外銷售 AI 產品，先處理併發設計、模型適配與授權，再決定是否把 Strata 放進架構。它降低了顯示記憶體的門檻，選型時仍要看整台電腦與實際任務。

## 來源

- [1：Strata README](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/README.md)
- [2：Strata 技術、安裝與測速文件](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/docs/DETAILS.md)
- [3：Qwen3.8-Flash-Next 官方模型卡](https://huggingface.co/Qwen/Qwen3.8-Flash-Next/blob/de4b8e4d43b917e7706784d8bb445c9af86a3540/README.md)
- [4：Strata MIT 授權](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/LICENSE)
- [5：Qwen Community License 1.0](https://huggingface.co/Qwen/Qwen3.8-Flash-Next/blob/de4b8e4d43b917e7706784d8bb445c9af86a3540/LICENSE)
- [6：GSQ-RCO 模型版本與授權說明](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/blob/ed59f92082b1e93c0e96d60a8b11aab089b52f09/README.md)
- [7：Coder 剪枝版模型卡](https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF/blob/5348543e0147355ac9cbcb031184a3546350988e/README.md)
- [8：AMD HIP 實驗後端](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/docs/AMD_HIP.md)
- [9：Unsloth 實驗支援](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/docs/UNSLOTH_Q4.md)
- [10：Swift 1.5 模型卡](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF/blob/b22d729eae29b5796f76fb70f91aef549b9fc52c/README.md)
- [11：Swift Open License 1.0](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF/blob/b22d729eae29b5796f76fb70f91aef549b9fc52c/LICENSE)
- [12：Strata 0.1.26 測試條件與速度表](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/bench/results/2026-09-29-speed-0126/README.md)
- [13：Strata API 路由與相容範圍](https://github.com/Niko1221/Strata/blob/c499bd102e7a4135c0de389dcfe38c399759ccc8/serve/server.py)
