TL;DR
- GLM-5.2 (744B) ➔ 73.33% Agentic Coding Avg, vượt GPT 5.5 (70.00). 62.1% SWE-Bench Pro, vượt GPT 5.5 (58.6%). Giấy phép MIT
- GLM-5.2 70B ➔ chạy được trên bộ nhớ hợp nhất 128GB (Mac M4 Max / Strix Halo). 68.0% Agentic Coding Avg
- Ornith-1.0 9B ➔ 69.4% SWE-Bench Verified, chạy trên GPU $900 với 6GB VRAM. Giấy phép MIT
- Ornith-1.0 397B MoE ➔ 82.4% SWE-Bench Verified, vượt Claude Opus 4.7
- Self-Scaffolding ➔ Ornith tự học cách viết hệ thống điều phối tác vụ của riêng mình, không phải quy tắc cứng
- Phần cứng khởi đầu tốt nhất: RX 7900 XTX 24GB ➔ $900, hoàn vốn sau 2 tháng so với đám mây
- Phần cứng chuyên nghiệp tốt nhất: Mac M3 Ultra 192GB hợp nhất ➔ $5,500, chạy GLM-5.2 70B ở Q8
- AI cục bộ = không bị rút thảm, không giới hạn tốc độ, không cổng kiểm soát chính phủ. Mã của bạn không bao giờ rời khỏi máy
Phần 1: Vấn Đề $500/Tháng Biến Mất Trong Một Đêm
Tôi đã trả $500 mỗi tháng cho các công cụ AI
Tôi quyết định tính toán chi phí...
- $500/tháng × 24 tháng = $12,000
- Một chiếc RX 7900 XTX đã qua sử dụng với 24GB VRAM có giá $900
- Ngay cả với $30/tháng tiền điện, tổng chi phí trong 24 tháng là $1,620
Đó là mức giảm 93% chi phí. Còn model tôi chạy? Tôi sẽ nói bên dưới :)
Đây là hướng dẫn toàn diện về cách tôi đã làm, nên mua phần cứng nào, và tại sao AI cục bộ là lựa chọn hợp lý
Phần 2: GLM-5.2 - Model Mã Nguồn Mở Thực Sự Đánh Bại GPT 5.5 (+Sánh Ngang Claude Fable 5)
Model
Agentic Coding Avg
Terminal-Bench 2.1
SWE-Bench Pro
SWE-Bench Verified
Giấy phép
GLM-5.2 744B
73.33
81.0
62.1
77.8%
MIT
GLM-5.2 70B
68.0
72.0
55.0
—
MIT
Claude Opus 4.8
72.0
85.0
69.2
87.6%
Độc quyền (kiểm soát xuất khẩu)
GPT 5.5
70.00
83.4
58.6
—
Độc quyền
Claude Opus 4.7
68.0
70.3
64.3
80.8%
Độc quyền
Ornith-1.0 397B
65.0
77.5
62.2
82.4%
MIT
DeepSeek V4-Pro
—
67.9
55.4
80.6%
Mở
Ornith-1.0 9B
42.0
43.1
42.9
69.4%
MIT
Điều Gì Làm GLM-5.2 Đặc Biệt
Tính năng
GLM-5.2
Frontier điển hình
Kiến trúc
744B tổng / 40B hoạt động (MoE)
Dense hoặc độc quyền
Cửa sổ ngữ cảnh
1 triệu token
1M-2M
Đa phương thức
Văn bản, hình ảnh, video, âm thanh
Khác nhau
Giấy phép
MIT
Độc quyền
Tự lưu trữ
Có
Không
Tinh chỉnh được
Có
Không
Cổng chính phủ
Không
Có (ngày càng tăng)
GLM-5.2 sử dụng kiến trúc Mixture-of-Experts (MoE) : 744B tham số tổng, nhưng chỉ ~40B kích hoạt mỗi token. Điều này giúp nó vừa mạnh mẽ vừa (tương đối) hiệu quả. Cửa sổ ngữ cảnh 1 triệu token cho phép bạn đưa vào toàn bộ mã nguồn, tài liệu và lịch sử hội thoại mà không bị cắt bớt
Phần 3: Ornith-1.0
ORNITH-1.0
Self-Scaffolding Là Gì?
Agent truyền thống:
1Con người viết khung → LLM giải quyết tác vụ → Đầu ra2 (cố định) (học hỏi)
Ornith Self-Scaffolding:
1LLM tự tạo khung riêng → LLM giải quyết tác vụ với khung đó → Phần thưởng → Cập nhật CẢ khung VÀ giải pháp2 (học hỏi) (học hỏi) (vòng lặp RL)
Sự khác biệt chính: Trong Ornith-1.0, model học không chỉ giải quyết tác vụ mà còn viết chiến lược để giải quyết chúng
Ba lớp bảo vệ chống lại hành vi hack phần thưởng:
- Môi trường cố định => model không thể giả mạo file kiểm thử
- Bộ giám sát xác định => theo dõi vi phạm quy tắc theo thời gian thực
- LLM thẩm phán đóng băng => thẩm phán độc lập phủ quyết các giải pháp đáng ngờ
Ornith-1.0: Model Nhỏ Nhưng Vượt Trội Hơn Cả Kích Thước
Model
Tham số
SWE-Bench Verified
Terminal-Bench 2.1
VRAM (Q4)
Phù hợp nhất
Ornith-1.0 9B
9B Dense
69.4%
43.1
~6GB
GPU tiêu dùng, lập trình hàng ngày
Ornith-1.0 35B MoE
35B (~3B hoạt động)
75.6%
64.2
~22GB
GPU đam mê
Ornith-1.0 397B MoE
397B MoE
82.4%
77.5
~220GB
Cụm doanh nghiệp
Phần 5: Hướng Dẫn Phần Cứng Toàn Diện. Từ $900 Đến $5,500
Quy tắc #1: Bộ nhớ quyết định mọi thứ
Phép tính đơn giản:
- ~0.5 GB VRAM cho mỗi 1B tham số (ở lượng tử hóa Q4)
- Model 32B = ~20 GB VRAM chỉ cho trọng số
- Cửa sổ ngữ cảnh lấy không gian từ cùng một pool — một cửa sổ dài có thể ngốn 10 GB
Ngưỡng tối thiểu cho công việc thực tế:
- 24 GB VRAM — cấp nhập môn (Ornith 9B, Llama 8B, Qwen 32B Q4, GLM-5.2 70B một phần)
- 32+ GB VRAM — cấp thoải mái (Ornith 35B, Llama 70B Q4)
- 128+ GB bộ nhớ hợp nhất — cấp đam mê (GLM-5.2 70B đầy đủ, bất cứ thứ gì bạn muốn)
So Sánh Phần Cứng: Giá vs Hiệu Năng
Phần cứng
VRAM
Giá (Tháng 7/2026)
tok/s (Llama 3.1 8B Q4)
Phù hợp nhất
Lưu ý
RTX 3090 đã qua sử dụng
24GB
~
$
800
~110
Khởi đầu ngân sách
Đã qua sử dụng, không FP8, kiến trúc cũ
RX 7900 XTX
24GB
~
$
900
~119
Giá/hiệu năng tốt nhất
Hệ sinh thái ROCm, không FP8, chậm hơn ~30% so với CUDA
RTX 4090
24GB
~
$
1,800
~158
Tốc độ tối đa trên 24GB
Đắt, ngừng sản xuất
RTX 5090
32GB
~
$
3,000
~220
Chống tương lai
Rất đắt
Mac M4 Max
128GB hợp nhất
~
$
3,500
~85
Vận hành im lặng, di động
Chậm hơn GPU, hệ sinh thái MLX
Strix Halo (Ryzen AI Max+ 395)
128GB hợp nhất
~
$
4,000
~95
Nền tảng mở, ROCm
Mới, ít đánh giá
Mac M3 Ultra
192GB hợp nhất
~
$
5,500
~140
Bộ nhớ hợp nhất tối đa
Đắt nhất
KHUYẾN NGHỊ NGÂN SÁCH
Ngân sách $800-1,000. Bộ Khởi Đầu:
1RX 7900 XTX 24GB — $9002+ Ornith-1.0 9B (Q4)
- Chạy được: Ornith 9B, Llama 3.1 8B, Qwen 3 32B Q4
- Hoàn vốn so với đám mây: ~2 tháng ở mức sử dụng vừa phải
- Giá trị tốt nhất trong AI cục bộ hiện tại
Ngân sách $1,500-2,000. Người Dùng Cao Cấp:
1RTX 4090 24GB — $1,8002+ Ornith-1.0 35B MoE (Q4)
- Chạy được: tất cả ở trên + Ornith 35B MoE, Llama 70B Q4
- Hoàn vốn: ~3.5 tháng
Ngân sách $3,500-5,500. Bộ Doanh Nghiệp / GLM-5.2:
1Mac M4 Max 128GB — $3,5002HOẶC Strix Halo 128GB — $4,0003HOẶC Mac M3 Ultra 192GB — $5,5004+ GLM-5.2 70B (Q4 hoặc Q8)
- Chạy được: GLM-5.2 70B đầy đủ, mọi thứ khác
- Đây là bộ phần cứng đánh bại GPT 5.5 trong lập trình agentic
So Sánh Chi Phí: Đám Mây vs Cục Bộ (24 tháng)
Kịch bản
Đám mây (24 tháng)
Cục bộ (24 tháng)
Tiết kiệm
Sử dụng nhẹ ($50/tháng)
$1,200
RX 7900 XTX: $1,620
- $420
Sử dụng vừa ($200/tháng)
$4,800
RX 7900 XTX: $1,620
+$3,180
Sử dụng nặng ($500/tháng)
$12,000
RTX 4090: $2,520
+$9,480
Doanh nghiệp ($1,000/tháng)
$24,000
Mac M3 Ultra: $5,780
+$18,220
KẾT LUẬN: Ở mức sử dụng vừa phải, phần cứng cục bộ tự hoàn vốn sau 2-3 tháng. Ở mức sử dụng nặng, sự khác biệt là rất lớn. Mức giảm 93% chi phí của tôi là có thật
Phần 6: Cái Gì Chạy Trên Cái Gì? Ma Trận Tương Thích Đầy Đủ
Model
Q4 VRAM
Q8 VRAM
GPU 24GB
GPU 32GB
128GB hợp nhất
192GB hợp nhất
Ornith-1.0 9B
~6GB
~11GB
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
Ornith-1.0 35B MoE
~22GB
~40GB
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
GLM-5.2 70B
~42GB
~80GB
KHÔNG
~ MỘT PHẦN
PHÙ HỢP
PHÙ HỢP
GLM-5.2 744B
~450GB
~800GB
KHÔNG
KHÔNG
KHÔNG
KHÔNG
Llama 3.1 8B
~5GB
~9GB
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
Llama 3.3 70B
~42GB
~80GB
KHÔNG
~ MỘT PHẦN
PHÙ HỢP
PHÙ HỢP
Qwen 3 32B
~20GB
~38GB
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
PHÙ HỢP
DeepSeek V4
~35GB
~65GB
~ MỘT PHẦN
~ MỘT PHẦN
PHÙ HỢP
PHÙ HỢP
📝
QUY TẮC:
Chạy model NHỎ hơn ở chất lượng CAO, không phải model
LỚN HƠN
ở chất lượng
THẤP
. Một model 27B sắc nét ở Q8 tốt hơn model 70B bị cắt xén ở Q4
Phần 7: Tốc Độ Suy Luận Thực Tế
Model
RTX 4090
RX 7900 XTX
Mac M4 Max
Strix Halo
Thoải mái
Ornith 9B Q4
180
145
95
105
Xuất sắc
Ornith 35B Q4
65
52
35
38
Tốt
GLM-5.2 70B Q4
28
22
15
18
Chậm nhưng dùng được
GLM-5.2 744B Q4
8
6
4
5
Chỉ dành cho doanh nghiệp
Llama 3.1 8B Q4
158
119
85
95
Xuất sắc
Qwen 3 32B Q4
42
33
22
28
Chấp nhận được
NGƯỠNG THOẢI MÁI: 30 tok/s - tối thiểu cho công việc mượt mà. 100+ tok/s - lý tưởng. GLM-5.2 70B ở 28 tok/s trên RTX 4090 chậm nhưng dùng được cho các tác vụ nghiêm túc. Đối với lập trình hàng ngày, Ornith 9B ở 180 tok/s rất mượt mà
Phần 8: Cách Thiết Lập. Bộ Công Cụ Hoàn Chỉnh
Ba Thành Phần
1┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐2│ 1. ENGINE │────→│ 2. HARNESS │────→│ 3. EDITOR │3│ (chạy model) │ │ (cho model │ │ (VS Code, │4│ │ │ một cơ thể) │ │ Cursor, v.v) │5│ Ollama, │ │ Aider, │ │ │6│ llama.cpp, │ │ OpenCode, │ │ Kết nối đến │7│ vLLM │ │ OpenHands │ │ localhost │8└─────────────────┘ └─────────────────┘ └─────────────────┘
Tùy chọn A: Khởi động nhanh. Ornith-1.0 9B trên Ollama (5 phút)
Bước 1: Cài đặt Ollama
1# Linux/macOS2curl -fsSL https://ollama.com/install.sh | sh34# Windows — tải từ ollama.com
Bước 2: Chạy Ornith-1.0
1# Tải và chạy model 9B2ollama run ornith:9b34# Hoặc 35B MoE (yêu cầu 24GB+ VRAM)5ollama run ornith:35b
Bước 3: Xác minh sử dụng GPU
1# Linux (AMD)2rocm-smi34# Linux (NVIDIA)5nvidia-smi67# macOS8ollama ps
Bước 4: Kết nối trình soạn thảo của bạn
- VS Code: cài "Continue" → http://localhost:11434
- Cursor: Settings → AI Provider → Ollama → http://localhost:11434
- Aider: aider --model ollama/ornith:9b
Tùy chọn B: Nâng cao. GLM-5.2 với llama.cpp
Đối với NVIDIA (CUDA):
1git clone https://github.com/ggerganov/llama.cpp2cd llama.cpp3cmake -B build -DGGML_CUDA=ON4cmake --build build -j56# Chạy GLM-5.2 70B Q47./build/bin/llama-server \8 -m glm-5.2-70b-q4.gguf \9 -ngl 999 \10 -c 32768 \11 --host 0.0.0.0 \12 --port 8080
Đối với AMD (ROCm 7.x):
1# Cài đặt ROCm2wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_latest_all.deb3sudo apt install ./amdgpu-install_latest_all.deb4sudo amdgpu-install --usecase=rocm,hiplibsdk -y5sudo usermod -aG render,video $USER6sudo reboot78# llama.cpp với HIP9git clone https://github.com/ggerganov/llama.cpp10cd llama.cpp11HIPCXX="$(hipconfig -l)/clang" \12HIP_PATH="$(hipconfig -R)" \13cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx110014cmake --build build -j1516# Chạy17./build/bin/llama-server -m glm-5.2-70b-q4.gguf -ngl 999 -fa
Đối với Apple Silicon (MLX):
1pip install mlx-lm23# Chạy GLM-5.24python -m mlx_lm.server --model glm/glm-5.2-70b
Tùy chọn C: Sản xuất. vLLM
1# NVIDIA2docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \3 --model glm/glm-5.2-70b --quantization awq45# AMD6docker run --device /dev/kfd --device /dev/dri \7 --group-add video --group-add render \8 --security-opt seccomp=unconfined \9 -p 8000:8000 rocm/vllm:latest \10 vllm serve glm/glm-5.2-70b --quantization awq
Phần 9: Chiến Lược Kết Hợp. Tinh Hoa Của Cả Hai Thế Giới
1┌─────────────────────────────────────────────────────────────┐2│ CHIẾN LƯỢC KẾT HỢP │3├─────────────────────────────────────────────────────────────┤4│ FRONTIER (đám mây) │ AI CỤC BỘ │5│ ───────────────── │ ─────────────────── │6│ • Claude Opus 4.8 cho │ • GLM-5.2 70B cho lập │7│ tác vụ khó nhất │ trình agentic (vượt GPT │8│ • GPT 5.5 cho ngữ cảnh │ 5.5) │9│ dài (>1M) │ • Ornith 9B cho tự động │10│ • Tác vụ chưa biết │ hoàn thành & chỉnh sửa │11│ │ hàng ngày │12│ $200-500/tháng │ • Tái cấu trúc, kiểm thử, │13│ │ công việc thường xuyên │14│ │ $0 sau khi mua phần cứng │15└─────────────────────────────────────────────────────────────┘
Quy tắc 80/20:
- 80% tác vụ của bạn - model cục bộ (GLM-5.2 70B hoặc Ornith 9B)
- 20% khó nhất - chuyển lên đám mây (Claude Opus 4.8, GPT 5.5)
- Tiết kiệm: 60-80% so với cách tiếp cận thuần đám mây
Phần 10: Bảng Quyết Định Cuối Cùng
Bạn
Khuyến nghị
Phần cứng
Ngân sách
Model
Sinh viên / Junior
Bắt đầu với Ollama trên phần cứng hiện có
Phần cứng bạn có
$0
Ornith 9B
Lập trình viên độc lập
RX 7900 XTX + Ornith 9B/35B
GPU 24GB
$900
Ornith 9B/35B
Startup (2-5 người)
2x RTX 3090 NVLink hoặc RTX 4090
48GB tổng
$1,600-1,800
Ornith 35B, GLM-5.2 70B
Doanh nghiệp / NDA
Mac M3 Ultra 192GB hoặc Strix Halo 128GB
Bộ nhớ hợp nhất
$4,000-5,500
GLM-5.2 70B
Nhà nghiên cứu AI
RTX 5090 32GB + đám mây cho frontier
32GB + đám mây
$3,000 + phí
Kết hợp
Ám ảnh quyền riêng tư
Strix Halo 128GB + Linux
Kiểm soát hoàn toàn
$4,000
GLM-5.2 70B
Kết Luận
Model trong chiếc hộp dưới bàn làm việc của bạn không thể bị rút thảm, không thể bị định giá lại, không thể bị ngừng hỗ trợ. Nó chậm hơn, kém thông minh hơn so với frontier tuyệt đối ➔ nhưng nó là của bạn. Đối với ngày càng nhiều lập trình viên, từ cuối cùng đó chính là điều cuối cùng làm nghiêng cán cân
Theo dõi @beamnxw để biết thêm thông tin về các model frontier, AI cục bộ và những gì thực sự quan trọng
Tài Nguyên và Liên Kết
Tài nguyên
Liên kết
GLM-5.2 Hugging Face
GLM-5.2 Benchmarks
Ornith-1.0 Hugging Face
Ornith-1.0 Benchmarks
https://ornith.site/benchmarks/
DeepReinforce Blog
https://deep-reinforce.com/ornith_1_0.html
Ollama
llama.cpp
https://github.com/ggerganov/llama.cpp
vLLM
https://github.com/vllm-project/vllm
AMD ROCm Guide
https://localaimaster.com/blog/radeon-7900-xtx-local-ai
Aider (coding agent)
OpenCode (coding agent)
