090

Strata:把 Qwen3.8-Flash-Next 放進遊戲電腦的本機推論引擎

Strata:把 Qwen3.8-Flash-Next 放進遊戲電腦的本機推論引擎 封面圖

Strata 用 GPU、CPU、RAM 與 SSD 分工,讓一般 PC 執行 Qwen3.8-Flash-Next。整理硬體需求、安裝與 API 接入、作者測速條件及模型商用授權。

Seer

2026-10-02

Strata 的用途,是讓 Windows 或 Linux 電腦執行 Qwen3.8-Flash-Next 的受支援壓縮版本,再透過本機聊天介面、OpenAI 相容 API 或 Anthropic 相容 API 使用。它主打的配置是一張 12–24GB NVIDIA 顯示卡,搭配 64GB RAM,把大型模型接到自己手上的開發工作流。[1]

這篇關注的是:顯示記憶體容納不下整個模型時,Strata 如何安排 GPU、CPU、RAM 與 SSD 的工作,以及這種安排會把代價轉移到哪裡。看完應該能判斷,現有電腦是否適合拿它做單人聊天、程式碼問答或代理的本機推論後端。

先講採用判斷:如果已有合適的顯示卡、大容量 RAM 和 NVMe SSD,Strata 提供了一條針對這個模型家族的部署路線。如果目標是多人同時使用、隨意更換各種模型,或直接販售模型 API,併發架構與模型授權都要先查清楚。內容以 2026 年 10 月 2 日的 v0.1.32 原始碼與文件為準。速度數字來自專案作者的公開測量。[1][2]

快速跳轉:推論分工 · 硬體與模型 · 安裝與 API · 作者測速 · 代理與安全 · 模型授權

12GB 顯示卡怎麼承接這個模型?

理解 Strata,要先看 Qwen3.8-Flash-Next 的結構。官方模型卡把主模型列為 125B 參數、每次啟用約 6B,另外還有 51B 的 n-gram embedding 與 4B 的 MTP 預測層。因此,README 的「125B 模型」是主模型的規模標籤,規劃儲存與記憶體時,還得把其他資料一起算進去。[3]

其中的 MoE,也就是混合專家架構,在每一層準備 512 個 routed experts,由路由器為每個 token 選出 10 個,另外還有一個 shared expert。一次只使用部分專家,讓引擎有機會把常用與較少用的權重放在不同位置。[3]

Strata 的一般模式採用這樣的分工:[2]

位置放什麼、做什麼
GPU/顯示記憶體執行注意力、路由器、共享專家等工作,保存生成需要的快取,並把剩餘空間用來放常用專家
RAM/CPU將完整專家權重保存在 RAM,CPU 計算部分未命中 GPU 快取的專家,與 GPU 的工作並行
SSD保存約 28.8GB 的 n-gram 查表資料,經作業系統快取讀取每個 token 需要的少量資料列

這裡有兩個會影響判斷的細節。

第一,RAM 同時是模型權重的儲存位置,CPU 也是推論工作的參與者。 未命中 GPU 快取的專家,可依設定分配給 CPU,或經 PCIe 交給 GPU 計算。最後的速度會一起受到 CPU、顯示記憶體容量與 PCIe 傳輸影響。[2]

第二,一般模式下,SSD 主要負責那張查表資料。當 RAM 不夠而啟用低記憶體模式時,專家權重才可能改由檔案映射與作業系統快取供應。部分模式會先把 GPU 沒有的專家留在 RAM,另一種則只保存指定 RAM 預算內的熱門專家。這些模式的磁碟讀取負擔差很多。[2]

Strata 還使用模型自己的 MTP 層先提出候選 token,再由主模型驗證,保留通過的前綴,以減少生成時反覆走完整模型的次數。這能解釋部分加速來源。量化版本、CPU/GPU 浮點運算與快取設定仍會影響結果,不能把它寫成所有設定都保證相同輸出。[2]

小顯示卡的代價,轉到了 RAM 與 SSD

對準備安裝的人,第一個問題應該是整台電腦的配置。官方主線列出的條件如下:[2]

  • 作業系統:Windows 10/11,或 Linux。Ubuntu 22.04/24.04 有自動安裝路線。
  • 顯示卡:NVIDIA RTX 20、30、40、50 系列,建議至少 12GB 顯示記憶體。文件也列出 8GB 可執行但較慢。
  • RAM:一般建議 64GB,實際需求取決於模型版本、上下文長度與低記憶體模式。
  • CPU:支援 AVX2 的 x86-64 處理器。部分路徑也使用 AVX-512。
  • 儲存:建議 NVMe SSD。除了模型,還要預留 MTP、準備後的模型資料與可能產生的額外權重副本。
  • NVIDIA 驅動:詳細安裝文件要求 580 或更新版本。

原版壓縮模型的完整下載,依大小約為 66.4–83.6GB,其中包含那張 28.8GB 查表資料。Strata 文件另外列出 MTP 約 6GB。某些模型搭配 AVX-512 CPU,準備時還會建立約 40GB 的專家副本。下載大小、RAM 用量與總磁碟用量,要分開看。[6][2]

目前也有 Linux 的 AMD HIP 實驗後端,涵蓋部分 Radeon 顯示卡,安裝、影像支援與效能條件需要按該後端文件確認。macOS/Apple Silicon 不在這套官方安裝主線內。[8][2]

硬體確認後,再選模型版本:

  • 原版壓縮模型:適合一般聊天與程式碼工作。README 提供不同大小的選項,安裝器會依 RAM 建議版本。[1][6]
  • Coder:面向程式碼與工具使用,將每層 routed experts 從 512 個減為 256 個。完整下載約 58.4GB,Strata 文件把它列為 32GB RAM 電腦可考慮的版本。上下文和其他程式仍需要空間。[7][2]
  • Swift 1.5:另一個微調版本,主要訴求是縮短回答前的思考過程。這是模型行為的改變,應用自己的任務確認品質,並另外檢查 Swift 的授權。[10]

Coder 的縮小涉及刪除專家。模型作者明確指出,保留的能力偏向程式碼、代理工具使用、影像與空間推理,其他領域的退化是這項取捨的一部分。若工作包含大量通用知識與跨領域分析,原版與 Coder 應該分開比較。[7]

安裝後,先得到一個本機模型服務

Strata 的推論核心是原生 C++ 引擎,NVIDIA 主線使用 CUDA,外層以 Python 處理安裝與 HTTP API。部分量化與 CPU 運算元件沿用 llama.cpp/ggml。[2]

Windows 的官方起手方式,是下載並解壓專案,雙擊 START-HERE.bat,選擇模型、大小、上下文與影像設定。Linux 可以從 GitHub 取得專案後啟動:[1]

git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.sh

第一次啟動會建立 Python 虛擬環境,下載引擎、模型與 MTP 資料。如果沒有適合硬體的預編譯引擎,安裝器會提供編譯路線。Linux 在補齊部分系統套件時可能需要 sudo,因此應把它當成會安裝依賴的腳本來審視。[2]

安裝完成後,瀏覽器會開啟:

http://127.0.0.1:8080

內建頁面包含聊天、模型與硬體監看,以及目前設定資訊。對開發者,更重要的是兩個 API 入口:[2]

用途入口
OpenAI Chat Completions 相容請求POST /v1/chat/completions
Anthropic Messages 相容請求POST /v1/messages

例如,先用一個短請求確認端點回應:

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "strata",
    "messages": [
      {
        "role": "user",
        "content": "用三點說明如何為 HTTP API 設計測試。"
      }
    ],
    "max_tokens": 256
  }'

目前的 OpenAI 相容路線是 Chat Completions。這個版本的服務路由未實作 /v1/responses。若客戶端使用 Responses API,需要改用支援 Chat Completions 的接法,或另外處理轉接。接入特定代理時,也仍需確認模型名稱、思考內容、工具呼叫與輸出長度的要求。[2][13]

我會建議先採安裝器推薦的上下文設定,保持實驗性速度投影關閉,用自己的短任務確認結果,再逐步加入長文件、工具與影像。這樣比較容易分辨,問題來自模型回答、客戶端格式,還是硬體負擔。

速度表要分成「讀提示」與「寫答案」

Strata 的速度值得看,但要保留測試條件。

下面三個例子來自專案的 引擎 0.1.26 測量,使用 RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200、Windows 10。每個測試格只跑一次,以程式代理提示生成 256 個 token,使用貪婪解碼、MTP,關閉影像。這張表並非 v0.1.32 的重新測量。[12]

作者測量的版本4K 提示處理速度4K 情境的輸出速度
原版省空間版本 Q2_01,299 tokens/s93.0 tokens/s
原版較高精度版本 IQ3_S913 tokens/s53.3 tokens/s
Coder1,583 tokens/s55.1 tokens/s

「提示處理速度」影響模型讀完文件與聊天歷史要等多久。「輸出速度」則是開始生成之後,答案出現的速率。使用代理時,還要算入模型載入、排隊、思考內容與工具往返,才能得到真正的任務完成時間。

作者也指出,候選 token 的接受率會隨回答內容改變,單次測量可能波動數個百分點。這些數字適合用來規劃測試,不能直接推算成所有電腦、所有任務的固定表現。[12]

另一個能看出取捨的例子,是實驗性的 Unsloth 模型路線。它的專家權重更大,作者在 64GB RAM、12GB RTX 5070 上回報約 7–8.5 tokens/s,專家資料更依賴 SSD 與檔案快取。顯示記憶體相同,換了模型版本與記憶體安排,使用體驗就可能差很多。[9]

接上代理後,還有併發與工具邊界

Strata 的相容 API,讓現有客戶端有一條接入本機推論的路線。真正部署時,有三件事要另外處理。

多個代理會共用同一條推論路徑

目前服務一次執行一個生成請求。可選的多對話快取,能用額外 RAM 保存不同對話的狀態,減少切換時重讀提示的工作。請求仍需串行執行。[2]

所以,單人聊天或單一程式代理比較符合這套服務的現有形狀。若安排多個代理同時工作,應量測排隊等待、上下文切換與整批任務耗時,不能只看單一請求的 tokens/s。

工具由誰執行,要先分清楚

一般 API 客戶端保有自己的工具執行流程:模型回傳工具呼叫,由代理或應用程式執行。Strata 的聊天頁則可接上 MCP 伺服器,讓模型使用檔案、搜尋等工具。API 請求也有明確選用這條服務端工具路徑的方式。[2]

MCP 程式會以本機使用者權限執行,而且模型可能因讀到的網頁或檔案內容而呼叫工具。檔案工具應限制到必要目錄,優先採唯讀權限,並審查每個 MCP 伺服器會連到哪裡。[2]

開放網路存取前,補上驗證與來源限制

預設服務只監聽 127.0.0.1。如果改成區域網路存取,或加上 tunnel、反向代理,應先設定 API key,並依需要設定可信來源與 CORS 白名單。CORS 預設關閉,管理與工具入口另有來源限制。推論在本機,也仍要考慮遠端存取與工具權限。[2]

程式碼 MIT,模型商用要另外看

Strata 本身採 MIT 授權。模型權重不包含在這項授權裡,而 Qwen3.8-Flash-Next 的官方授權是 Qwen Community License 1.0。[4][5]

這份條款對商業用途有具體限制。從事 Model as a Service 或 AI Work Assistant 業務的使用者及關係企業,在商用模型或其衍生作品前,需要向 Qwen 取得另行授權。條款也列出內部使用、且不把模型能力或輸出提供給第三方的例外。因此,自用程式代理、公司內部工具與對外販售服務,應分別檢查。[5]

來源還有一個容易看錯的地方:GSQ-RCO 與 Coder 模型卡的頁首標示 Apache-2.0,正文授權段卻寫明權重繼承原模型授權。要做商業產品時,應確認這個差異,按原模型 LICENSE 與權重提供者的說明核對,避免只看頁首標籤就判斷可用範圍。[6][7][5]

Swift 1.5 另有 Swift Open License 1.0,其中還有以使用者及關係企業最近會計年度總營收計算的 100 萬美元商用門檻。原始 Qwen 元件的條款也保留。這些都是模型選型條件,具體適用仍應按授權原文確認。[10][11]

是否採用,回到自己的工作量

Strata 提供的路線很明確:針對 Qwen3.8-Flash-Next 家族,把常用專家放進 GPU,讓 CPU 與 RAM 承接其他工作,再用 SSD 保存大型查表資料。外層提供聊天頁與相容 API。[1][2]

如果已有這類 PC,想建立單人使用的本機程式代理後端,可以從原版推薦版本或 Coder 開始,量測三件事:第一次回應要等多久、工具呼叫是否正確、完整任務需要多久。

若需求是多人服務、廣泛模型切換,或對外銷售 AI 產品,先處理併發設計、模型適配與授權,再決定是否把 Strata 放進架構。它降低了顯示記憶體的門檻,選型時仍要看整台電腦與實際任務。

來源

先跑自己的任務,再決定要不要長期接入代理。

Visits

--

Waiting for Cloudflare metrics.