TL;DR
- GLM-5.2 (744B) ➔ 73.33% Agentic Coding 平均，超越 GPT 5.5（70.00）。SWE-Bench Pro 62.1%，超越 GPT 5.5（58.6%）。MIT 授權
- GLM-5.2 70B ➔ 可在 128GB 統一記憶體（Mac M4 Max / Strix Halo）上運行。Agentic Coding 平均 68.0%
- Ornith-1.0 9B ➔ SWE-Bench Verified 69.4%，可在 6GB VRAM 的 900 美元 GPU 上運行。MIT 授權
- Ornith-1.0 397B MoE ➔ SWE-Bench Verified 82.4%，超越 Claude Opus 4.7
- 自我支架（Self-Scaffolding） ➔ Ornith 學會自行撰寫任務編排，而非硬編碼規則
- 最佳入門硬體：RX 7900 XTX 24GB ➔ 900 美元，2 個月即可回本（相較於雲端）
- 最佳專業硬體：Mac M3 Ultra 192GB 統一記憶體 ➔ 5,500 美元，可在 Q8 精度下運行 GLM-5.2 70B
- 本地 AI = 沒有突然下架、沒有速率限制、沒有政府審查。你的程式碼永遠不會離開你的設備
第一部分：每月 500 美元的問題，一夜之間消失
我每個月花 500 美元在 AI 工具上
我決定計算一下成本...
- 500 美元/月 × 24 個月 = 12,000 美元
- 一台二手 RX 7900 XTX 24GB VRAM 只要 900 美元
- 即使加上每月 30 美元的電費，24 個月的總成本也只有 1,620 美元
這相當於節省了 93% 的成本。至於我運行的是哪個模型？下面告訴你 :)
這是一份完整的指南，告訴你我是怎麼做到的、該買什麼硬體，以及為什麼本地 AI 是理性的選擇
第二部分：GLM-5.2——真正擊敗 GPT 5.5 的開源模型（+ 與 Claude Fable 5 匹敵）
模型
Agentic Coding 平均
Terminal-Bench 2.1
SWE-Bench Pro
SWE-Bench Verified
授權
GLM-5.2 744B
73.33
81.0
62.1
77.8%
MIT
GLM-5.2 70B
68.0
72.0
55.0
—
MIT
Claude Opus 4.8
72.0
85.0
69.2
87.6%
專有（出口管制）
GPT 5.5
70.00
83.4
58.6
—
專有
Claude Opus 4.7
68.0
70.3
64.3
80.8%
專有
Ornith-1.0 397B
65.0
77.5
62.2
82.4%
MIT
DeepSeek V4-Pro
—
67.9
55.4
80.6%
開放
Ornith-1.0 9B
42.0
43.1
42.9
69.4%
MIT
GLM-5.2 的特別之處
功能
GLM-5.2
典型前沿模型
架構
744B 總參數 / 40B 活躍參數（MoE）
密集或專有
上下文視窗
100 萬 tokens
100 萬 - 200 萬
多模態
文字、圖片、影片、音訊
各有不同
授權
MIT
專有
可自行部署
是
否
可微調
是
否
政府審查
無
有（日益增加）
GLM-5.2 採用 混合專家（MoE） 架構：總參數 744B，但每次 token 只啟動約 40B。這使其既強大又（相對）高效。100 萬 token 的上下文視窗意味著你可以餵入整個程式碼庫、文件和對話歷史，而不會被截斷
第三部分：Ornith-1.0
ORNITH-1.0
什麼是自我支架（Self-Scaffolding）？
傳統 Agent：
1人類編寫支架 → LLM 解決任務 → 輸出2 （固定） （學習）
Ornith 自我支架：
1LLM 自行生成支架 → LLM 用該支架解決任務 → 獎勵 → 同時更新支架和解決方案2 （學習） （學習） （強化學習循環）
關鍵差異： 在 Ornith-1.0 中，模型不僅學會解決任務，還學會撰寫解決任務的策略
三層獎勵駭客防護：
- 固定環境 => 模型無法偽造測試檔案
- 確定性監控器 => 即時追蹤規則違規
- 凍結 LLM 裁判 => 獨立裁判，可否決可疑的解決方案
Ornith-1.0：以小博大的小型模型
模型
參數
SWE-Bench Verified
Terminal-Bench 2.1
VRAM（Q4）
最適合
Ornith-1.0 9B
9B 密集
69.4%
43.1
~6GB
消費級 GPU，日常編碼
Ornith-1.0 35B MoE
35B（~3B 活躍）
75.6%
64.2
~22GB
發燒友 GPU
Ornith-1.0 397B MoE
397B MoE
82.4%
77.5
~220GB
企業級叢集
第五部分：完整硬體指南。從 900 美元到 5,500 美元
規則 #1：記憶體決定一切
計算很簡單：
- 每 1B 參數約需 0.5 GB VRAM（Q4 量化）
- 32B 模型 = 僅權重就需要約 20 GB VRAM
- 上下文視窗會從同一個記憶體池中佔用空間——長上下文可能吃掉 10 GB
實際工作的最低門檻：
- 24 GB VRAM — 入門級（Ornith 9B、Llama 8B、Qwen 32B Q4、GLM-5.2 70B 部分）
- 32+ GB VRAM — 舒適級（Ornith 35B、Llama 70B Q4）
- 128+ GB 統一記憶體 — 發燒友級（GLM-5.2 70B 完整版，任何你想要的）
硬體比較：價格 vs 性能
硬體
VRAM
價格（2026 年 7 月）
tok/s（Llama 3.1 8B Q4）
最適合
注意事項
RTX 3090 二手
24GB
約 800 美元
~110
預算入門
二手，無 FP8，舊架構
RX 7900 XTX
24GB
約 900 美元
~119
最佳性價比
ROCm 生態系，無 FP8，比 CUDA 慢約 30%
RTX 4090
24GB
約 1,800 美元
~158
24GB 上的最高速度
昂貴，已停產
RTX 5090
32GB
約 3,000 美元
~220
未來保障
非常昂貴
Mac M4 Max
128GB 統一記憶體
約 3,500 美元
~85
靜音運行，可攜帶
比 GPU 慢，MLX 生態系
Strix Halo（Ryzen AI Max+ 395）
128GB 統一記憶體
約 4,000 美元
~95
開放平台，ROCm
新品，評測較少
Mac M3 Ultra
192GB 統一記憶體
約 5,500 美元
~140
最大統一記憶體
最昂貴
預算建議
預算 800-1,000 美元。入門組合：
1RX 7900 XTX 24GB — 900 美元2+ Ornith-1.0 9B（Q4）
- 可運行：Ornith 9B、Llama 3.1 8B、Qwen 3 32B Q4
- 回本時間（相較於雲端）：適度使用約 2 個月
- 目前本地 AI 的最佳價值
預算 1,500-2,000 美元。進階用戶：
1RTX 4090 24GB — 1,800 美元2+ Ornith-1.0 35B MoE（Q4）
- 可運行：以上全部 + Ornith 35B MoE、Llama 70B Q4
- 回本時間：約 3.5 個月
預算 3,500-5,500 美元。企業 / GLM-5.2 組合：
1Mac M4 Max 128GB — 3,500 美元2或 Strix Halo 128GB — 4,000 美元3或 Mac M3 Ultra 192GB — 5,500 美元4+ GLM-5.2 70B（Q4 或 Q8）
- 可運行：GLM-5.2 70B 完整版，以及所有其他模型
- 這套組合在 Agentic 編碼上擊敗 GPT 5.5
成本比較：雲端 vs 本地（24 個月）
情境
雲端（24 個月）
本地（24 個月）
節省
輕度使用（每月 50 美元）
1,200 美元
RX 7900 XTX：1,620 美元
-420 美元
中度使用（每月 200 美元）
4,800 美元
RX 7900 XTX：1,620 美元
+3,180 美元
重度使用（每月 500 美元）
12,000 美元
RTX 4090：2,520 美元
+9,480 美元
企業級（每月 1,000 美元）
24,000 美元
Mac M3 Ultra：5,780 美元
+18,220 美元
結論： 中度使用下，本地硬體在 2-3 個月內即可回本。重度使用下，差距更是驚人。我節省 93% 的成本是真實的
第六部分：什麼模型跑在什麼硬體上？完整相容性矩陣
模型
Q4 VRAM
Q8 VRAM
24GB GPU
32GB GPU
128GB 統一記憶體
192GB 統一記憶體
Ornith-1.0 9B
~6GB
~11GB
可運行
可運行
可運行
可運行
Ornith-1.0 35B MoE
~22GB
~40GB
可運行
可運行
可運行
可運行
GLM-5.2 70B
~42GB
~80GB
否
~ 部分
可運行
可運行
GLM-5.2 744B
~450GB
~800GB
否
否
否
否
Llama 3.1 8B
~5GB
~9GB
可運行
可運行
可運行
可運行
Llama 3.3 70B
~42GB
~80GB
否
~ 部分
可運行
可運行
Qwen 3 32B
~20GB
~38GB
可運行
可運行
可運行
可運行
DeepSeek V4
~35GB
~65GB
~ 部分
~ 部分
可運行
可運行
📝
規則：
寧可運行一個較小但高品質的模型，也不要運行一個
更大
但
低品質
的模型。Q8 精度的 27B 模型勝過 Q4 精度的 70B 模型
第七部分：實際推論速度
模型
RTX 4090
RX 7900 XTX
Mac M4 Max
Strix Halo
舒適度
Ornith 9B Q4
180
145
95
105
極佳
Ornith 35B Q4
65
52
35
38
良好
GLM-5.2 70B Q4
28
22
15
18
偏慢但可用
GLM-5.2 744B Q4
8
6
4
5
僅限企業
Llama 3.1 8B Q4
158
119
85
95
極佳
Qwen 3 32B Q4
42
33
22
28
可接受
舒適門檻： 30 tok/s - 流暢工作的最低要求。100+ tok/s - 理想。GLM-5.2 70B 在 RTX 4090 上為 28 tok/s，偏慢但對於嚴肅任務仍可使用。對於日常編碼，Ornith 9B 的 180 tok/s 流暢無比
第八部分：如何設定。完整技術棧
三個元件
1┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐2│ 1. 引擎 │────→│ 2. 框架 │────→│ 3. 編輯器 │3│ （運行模型） │ │ （賦予模型 │ │ （VS Code、 │4│ │ │ 行動能力） │ │ Cursor 等） │5│ Ollama、 │ │ Aider、 │ │ │6│ llama.cpp、 │ │ OpenCode、 │ │ 連接到 │7│ vLLM │ │ OpenHands │ │ localhost │8└─────────────────┘ └─────────────────┘ └─────────────────┘
選項 A：快速入門。在 Ollama 上運行 Ornith-1.0 9B（5 分鐘）
步驟 1：安裝 Ollama
1# Linux/macOS2curl -fsSL https://ollama.com/install.sh | sh34# Windows — 從 ollama.com 下載
步驟 2：運行 Ornith-1.0
1# 下載並運行 9B 模型2ollama run ornith:9b34# 或 35B MoE（需要 24GB+ VRAM）5ollama run ornith:35b
步驟 3：確認 GPU 使用情況
1# Linux（AMD）2rocm-smi34# Linux（NVIDIA）5nvidia-smi67# macOS8ollama ps
步驟 4：連接你的編輯器
- VS Code： 安裝 "Continue" → http://localhost:11434
- Cursor： 設定 → AI Provider → Ollama → http://localhost:11434
- Aider： aider --model ollama/ornith:9b
選項 B：進階。使用 llama.cpp 運行 GLM-5.2
NVIDIA（CUDA）：
1git clone https://github.com/ggerganov/llama.cpp2cd llama.cpp3cmake -B build -DGGML_CUDA=ON4cmake --build build -j56# 運行 GLM-5.2 70B Q47./build/bin/llama-server \8 -m glm-5.2-70b-q4.gguf \9 -ngl 999 \10 -c 32768 \11 --host 0.0.0.0 \12 --port 8080
AMD（ROCm 7.x）：
1# 安裝 ROCm2wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_latest_all.deb3sudo apt install ./amdgpu-install_latest_all.deb4sudo amdgpu-install --usecase=rocm,hiplibsdk -y5sudo usermod -aG render,video $USER6sudo reboot78# 使用 HIP 編譯 llama.cpp9git clone https://github.com/ggerganov/llama.cpp10cd llama.cpp11HIPCXX="$(hipconfig -l)/clang" \12HIP_PATH="$(hipconfig -R)" \13cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx110014cmake --build build -j1516# 運行17./build/bin/llama-server -m glm-5.2-70b-q4.gguf -ngl 999 -fa
Apple Silicon（MLX）：
1pip install mlx-lm23# 運行 GLM-5.24python -m mlx_lm.server --model glm/glm-5.2-70b
選項 C：生產環境。vLLM
1# NVIDIA2docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \3 --model glm/glm-5.2-70b --quantization awq45# AMD6docker run --device /dev/kfd --device /dev/dri \7 --group-add video --group-add render \8 --security-opt seccomp=unconfined \9 -p 8000:8000 rocm/vllm:latest \10 vllm serve glm/glm-5.2-70b --quantization awq
第九部分：混合策略。兩全其美
1┌─────────────────────────────────────────────────────────────┐2│ 混合策略 │3├─────────────────────────────────────────────────────────────┤4│ 前沿模型（雲端） │ 本地 AI │5│ ───────────────── │ ─────────────────── │6│ • Claude Opus 4.8 用於 │ • GLM-5.2 70B 用於 Agentic │7│ 最困難的任務 │ 編碼（擊敗 GPT 5.5） │8│ • GPT 5.5 用於長 │ • Ornith 9B 用於日常 │9│ 上下文（>100 萬） │ 自動補全和編輯 │10│ • 未知任務 │ • 重構、測試、 │11│ │ 例行工作 │12│ 每月 200-500 美元 │ 購買硬體後每月 0 美元 │13└─────────────────────────────────────────────────────────────┘
80/20 法則：
- 80% 的任務 - 使用本地模型（GLM-5.2 70B 或 Ornith 9B）
- 20% 最困難的任務 - 升級到雲端（Claude Opus 4.8、GPT 5.5）
- 節省： 相較於純雲端方案，可節省 60-80%
第十部分：最終決策表
你的角色
建議
硬體
預算
模型
學生 / 初階開發者
在現有硬體上使用 Ollama 開始
你現有的設備
0 美元
Ornith 9B
獨立開發者
RX 7900 XTX + Ornith 9B/35B
24GB GPU
900 美元
Ornith 9B/35B
新創公司（2-5 人）
2x RTX 3090 NVLink 或 RTX 4090
總計 48GB
1,600-1,800 美元
Ornith 35B、GLM-5.2 70B
企業 / 需簽 NDA
Mac M3 Ultra 192GB 或 Strix Halo 128GB
統一記憶體
4,000-5,500 美元
GLM-5.2 70B
AI 研究員
RTX 5090 32GB + 雲端前沿模型
32GB + 雲端
3,000 美元 + 訂閱費
混合策略
注重隱私者
Strix Halo 128GB + Linux
完全控制
4,000 美元
GLM-5.2 70B
結論
放在你桌下盒子裡的模型，不會突然被下架、不會被重新定價、不會在你不知情的情況下被淘汰。它比較慢，也不如絕對前沿的模型聰明 ➔ 但它是你的。對於越來越多的開發者來說，最後這點才是最終讓天平傾斜的關鍵
追蹤 @beamnxw 獲取更多關於前沿模型、本地 AI 以及真正重要的事物的深度資訊
資源與連結
資源
連結
GLM-5.2 Hugging Face
GLM-5.2 基準測試
Ornith-1.0 Hugging Face
Ornith-1.0 基準測試
https://ornith.site/benchmarks/
DeepReinforce 部落格
https://deep-reinforce.com/ornith_1_0.html
Ollama
llama.cpp
https://github.com/ggerganov/llama.cpp
vLLM
https://github.com/vllm-project/vllm
AMD ROCm 指南
https://localaimaster.com/blog/radeon-7900-xtx-local-ai
Aider（編碼 Agent）
OpenCode（編碼 Agent）
