Tuần này tôi đã chạy một mô hình AI hoàn toàn cục bộ trên MacBook của mình. Không phải vì tò mò. Cũng không phải một màn demo kiểu "xem thử cái này có gì". Tôi thực sự đã cố gắng sử dụng nó trong quy trình làm việc thực tế của mình, với hệ thống agent thực tế, cho những tác vụ thực sự tôi cần làm.
Mô hình đó là Qwen 3.6 với 9 tỷ tham số. Máy của tôi là M1 Pro với 16 GB RAM. Không phải Mac Studio. Không phải máy trạm. Chỉ là một laptop thông thường. Qwen 3.6 là bản phát hành gần đây và các biến thể nhỏ hơn chính là thứ khiến thí nghiệm này đáng thử vào lúc này, chứ không phải sáu tháng trước.
Nó đã hoạt động.
Không phải "hoạt động" theo nghĩa là nó khởi chạy mà không có lỗi. Mà là tôi đã ngồi đó làm việc với nó và không cảm thấy mình đang phải vật lộn với phần cứng. Nó chậm hơn Claude. Rõ ràng là vậy. Nhưng sự chậm chạp đó nằm trong mức có thể chấp nhận được. Kiểu chậm mà bạn biết là nó tồn tại, nhưng bạn không cảm thấy bị nó "trừng phạt".
Điều đó làm tôi ngạc nhiên hơn tôi nghĩ.
Hai Câu Chuyện "AI Cục Bộ" Khác Nhau
Trước khi đi vào thí nghiệm, có một sự khác biệt cần làm rõ vì nó thường xuyên bị gộp chung thành một thứ.
Phiên bản đầu tiên của "AI cục bộ" là một agent cục bộ với mô hình đám mây. Toàn bộ mã nguồn nằm trên thiết bị của bạn. Hệ thống ghi nhớ của bạn, kịch bản tự động hóa, tích hợp công cụ của bạn. Nhưng bản thân mô hình là ở xa. Bạn đang gọi Claude hoặc OpenAI từ laptop của mình, nhưng kiến trúc vận hành là của bạn, trên phần cứng của bạn.
Và đó cũng là lý do tại sao mọi người bắt đầu mua Mac Mini trong năm nay để chạy các framework agent cục bộ. Tôi đã viết về điều này khi OpenClaw lan truyền: thiết bị là phần rẻ. Một Mac Mini cơ bản có giá khoảng $599. Mô hình đám mây mới là thứ thực hiện các suy luận nặng. Bạn giữ việc điều phối ở cục bộ, riêng tư và luôn hoạt động mà không cần một gói đăng ký luôn bật hoặc phụ thuộc vào cơ sở hạ tầng của người khác cho việc tự động hóa của mình.
Phiên bản thứ hai là một LLM hoàn toàn cục bộ. Bản thân mô hình sống trên thiết bị của bạn. Không có lời gọi API. Không phụ thuộc vào đám mây. Không có dữ liệu rời khỏi máy của bạn. Trong một thời gian dài, con đường thứ hai này đòi hỏi phần cứng nghiêm túc, bởi vì các mô hình đáng chạy thì lớn, và lớn đồng nghĩa với đắt đỏ. Bạn sẽ phải tìm đến một Mac Studio rất mạnh mẽ hoặc hơn để có được thứ gì đó thực sự có khả năng.
Phép tính đó đang bắt đầu thay đổi.
Thí Nghiệm MacBook
Qwen 3.6 với 9 tỷ tham số chạy chấp nhận được trên 16 GB RAM. Đó là phát hiện chính, và nó quan trọng hơn vẻ bề ngoài.
Tôi đã sử dụng Ollama, về cơ bản là một lệnh cài đặt duy nhất để xử lý tất cả việc quản lý mô hình và cung cấp cho bạn một API tương thích OpenAI cục bộ tại localhost:11434. Bất kỳ công cụ nào hỗ trợ định dạng OpenAI đều có thể trỏ đến nó. Bao gồm cả Claude Code, đó là giao diện tôi dùng cho Wiz.
Nếu bạn muốn tái tạo điều này, chỉ cần ba lệnh:
<code-segment id="0" lang="text">
ollama pull qwen3.6:9b
ollama run qwen3.6:9b
</code-segment>
Vậy thôi. Ollama khởi động một máy chủ cục bộ tại localhost:11434 với một API tương thích OpenAI. Nếu bạn dùng Claude Code, bạn có thể trỏ nó đến Ollama bằng cách đặt base URL. Bất kỳ công cụ nào được xây dựng cho định dạng API OpenAI đều hoạt động được. Giờ bạn đã ngoại tuyến, không cần khóa API, không tốn phí mỗi token.
Đây là những gì thực sự đã xảy ra:
Khả năng nhớ lại bộ nhớ hoạt động đáng ngạc nhiên. Tôi yêu cầu nó lấy ngữ cảnh từ các tệp ghi nhớ của tôi. Nó đã đọc chúng và đưa ra thông tin liên quan với độ chính xác hợp lý. Việc tổng hợp không bằng cấp độ Claude, nhưng thông tin đã được truy xuất và sử dụng đúng cách. Đối với một tác vụ về cơ bản là "đọc một tệp, tìm phần liên quan, báo cáo nó", một mô hình 9B xử lý khá ổn.
Gọi công cụ khá thú vị. Qwen có thể gọi các công cụ trong hệ thống agent của tôi với độ chính xác hợp lý cho các yêu cầu đơn giản. Điều này quan trọng hơn chất lượng văn bản thuần túy đối với công việc agent. Khi bạn nghĩ về việc tối ưu hóa chi phí AI, mô hình có thể gọi đúng công cụ vào đúng thời điểm thường có giá trị hơn mô hình viết ra những câu văn hay nhất.
Các tác vụ sáng tạo và suy luận phức tạp? Không giống nhau. Khi tôi yêu cầu trợ giúp viết lách, phân tích hoặc bất cứ thứ gì cần tổng hợp thực sự, khoảng cách về chất lượng là rõ rệt. Đây không phải là lời chỉ trích. Nó chỉ là một quan sát trung thực về mô hình 9B là gì và không phải là gì. Tôi cũng đã thử biến thể 4B, và như bạn mong đợi, sự sụt giảm khả năng là đáng kể. Mô hình 9B là nơi tôi sẽ vạch ranh giới khả dụng cho loại công việc của mình.
Cách nhìn quan trọng ở đây: đây không phải là so sánh Qwen với Claude Opus. Chúng không nằm cùng một hạng mục. Vấn đề là liệu một mô hình cục bộ có thể xử lý một tập con thực sự trong công việc của tôi hay không, và câu trả lời là có. Một tập con thực sự, không hề nhỏ nhặt.
Cũng có một hướng đi mà tôi chưa khám phá nhưng khá quan tâm: tinh chỉnh (fine-tuning). Bạn có thể tinh chỉnh một mô hình 4B hoặc 9B trên chính phần cứng của mình. Nạp vào đó văn phong viết lách, sở thích, thuật ngữ, phong cách của bạn. Có được một thứ phù hợp hơn bất kỳ mô hình có sẵn nào. Điều này khả thi trên MacBook. Nó mất thời gian, nhưng không phải là một bài tập lý thuyết. Đối với các tác vụ cá nhân, cụ thể mà bạn biết chính xác mình muốn mô hình làm gì, một mô hình nhỏ được tinh chỉnh có thể vượt trội hơn một mô hình lớn có mục đích chung.
Thí Nghiệm iPhone
Thí nghiệm iPhone thiên về sự tò mò hơn là tiện ích tức thì. Nhưng cuối cùng nó lại là phần làm tôi ngạc nhiên nhất.
Ứng dụng tôi đã dùng có tên là PocketPal AI (miễn phí trên App Store). Đây là một ứng dụng mã nguồn mở cho phép bạn tải xuống và chạy các mô hình ngôn ngữ trực tiếp trên iPhone, hoàn toàn cục bộ. Bạn duyệt mô hình từ Hugging Face, tải xuống qua Wi-Fi một lần, sau đó chạy chúng mà không cần internet. Cách đơn giản nhất để xác minh điều này đang hoạt động: bật chế độ máy bay, sau đó hỏi mô hình điều gì đó. Nó sẽ trả lời. Không có gì rời khỏi điện thoại của bạn.
Tôi đã chạy Qwen ở 0.8 tỷ và 2 tỷ tham số trên iPhone 17 Pro của mình. Thiết lập rất đơn giản:
- Cài đặt PocketPal AI từ App Store
- Mở ứng dụng, vào trình duyệt mô hình
- Tìm kiếm Qwen và tải xuống một biến thể nhỏ (0.5B hoặc 1.5B cho điện thoại cũ, 2B cho các dòng mới hơn như 17 Pro)
- Bắt đầu trò chuyện, sau đó bật chế độ máy bay để xác nhận nó hoàn toàn cục bộ
Câu hỏi hiển nhiên không phải là "cái này có tốt bằng Claude không" mà đơn giản là "liệu bạn có thể nhét một thứ gì đó hữu ích cục bộ vào một chiếc điện thoại hay không?" Câu trả lời là có, nhưng với những giới hạn rõ ràng. Đây là những mô hình rất nhỏ. Chúng xử lý các tác vụ văn bản cơ bản và trả lời câu hỏi ngắn với chất lượng hợp lý. Chúng sẽ không giúp bạn xây dựng một ứng dụng chỉ trong một đêm. Nhưng chúng chạy được. Hoàn toàn trên thiết bị. Cục bộ hoàn toàn.
Hàm ý thú vị nhất ở đây không phải là khả năng của mô hình. Mà là tín hiệu từ phần cứng. Một chiếc iPhone chạy LLM cục bộ trong năm 2026 có nghĩa là điện thoại thông minh giờ đã đủ mạnh để làm điều này. Điều đó có ý nghĩa. Không phải vì mô hình 0.8B ấn tượng, mà vì phần cứng đã có sẵn trong túi của bạn đã vượt qua một ngưỡng.
Khía cạnh quyền riêng tư cũng rất thực tế. Khi không có gì rời khỏi thiết bị của bạn, bạn không phải nghĩ về việc mình đang gửi gì đi đâu. Không có điều khoản dịch vụ chi phối các truy vấn của bạn. Không có nhật ký API. Chỉ có bạn và các trọng số chạy trên silicon của bạn. Tôi đã suy nghĩ về điều này kể từ khi mất quyền truy cập vào sáu tháng dữ liệu giọng nói khi một dịch vụ AI đám mây bị cấm ở EU. Cục bộ là một kiểu khả năng phục hồi khác.
Khía Cạnh Chi Phí
Đây là lý do thực tế tại sao điều này quan trọng ngoài sự quan tâm về mặt kỹ thuật: đăng ký AI cộng dồn rất nhanh khi bạn chạy nhiều tác vụ agent. Đây không phải giả định. Tôi theo dõi việc sử dụng của mình rất sát sao.
<code-segment id="1" lang="text">
haiku calls in march: 11,411
opus calls in march: 1,941
total agent operations: +13,000 calls
</code-segment>
Không phải tác vụ nào cũng cần Opus. Rất nhiều công việc agent thực sự đơn giản: đọc một tệp, định dạng thứ gì đó, tóm tắt một ghi chú ngắn, trả lời một câu hỏi thực tế từ ngữ cảnh. Chuyển hướng các tác vụ đó đến một mô hình cục bộ thay vì mô hình tiên tiến sẽ thay đổi đáng kể bài toán chi phí.
Phiên bản tiếp theo của Haiku là thứ tôi đang theo dõi chặt chẽ. Nó ngày càng tốt hơn và chi phí ngày càng giảm. Các mô hình cục bộ cũng đang đi theo cùng một quỹ đạo, chỉ ở một lớp khác.
Hướng Đi Này Sẽ Dẫn Đến Đâu
Tôi nghĩ tương lai của AI sẽ liên quan đến nhiều sức mạnh tính toán cục bộ hơn nhiều so với những gì các cuộc thảo luận hiện tại gợi ý.
Hình dung của tôi: các mô hình đám mây cho những việc khó. Suy luận phức tạp, công việc sáng tạo, các quyết định kiến trúc, những thứ đòi hỏi định hướng và tầm nhìn thực sự. Nhưng đối với hàng trăm tác vụ nhận thức nhỏ xảy ra trong một hệ thống agent mỗi ngày, các mô hình cục bộ sẽ đủ tốt để việc định tuyến trở nên hợp lý.
Lập luận về phần cứng cũng quan trọng ở đây. Hãy nhìn vào bốn năm qua của silicon tiêu dùng. M1, M2, M3, M4, M5. Mỗi thế hệ nhanh hơn đáng kể và tiết kiệm bộ nhớ hơn thế hệ trước. Quỹ đạo từ cả hai phía, mô hình tốt hơn và phần cứng tốt hơn, đều đang hướng đến cùng một điểm. Vài năm nữa, những chiếc laptop mà mọi người đã sở hữu sẽ chạy được các mô hình có cảm giác mạnh mẽ hơn đáng kể so với những gì tôi đã chạy trong tuần này.
Dự đoán sơ bộ của tôi: trong ba năm nữa, sẽ có các mô hình cục bộ được tinh chỉnh cho các trường hợp sử dụng cụ thể, thực sự cạnh tranh với các mô hình tiên tiến ngày nay trong các tác vụ cụ thể đó. Không phải về suy luận tổng quát. Không phải về tổng hợp sáng tạo. Nhưng về "làm cái việc cụ thể này mà tôi quan tâm, nhanh chóng, riêng tư, mà không cần kết nối Internet." Đó là một hạng mục rất thực tế và hữu ích.
Cũng có một khía cạnh môi trường chưa được thảo luận đủ. Chi phí năng lượng và cơ sở hạ tầng cho một truy vấn đến trung tâm dữ liệu cao hơn nhiều bậc so với suy luận tương tự chạy trên silicon cục bộ. Nếu hầu hết các tác vụ AI thông thường chuyển sang cục bộ, phương trình tài nguyên sẽ thay đổi. Không phải được giải quyết, nhưng khác biệt một cách đáng kể.
Ngay bây giờ, những sự đánh đổi đã rõ ràng: các mô hình cục bộ bị hạn chế, tinh chỉnh đòi hỏi nỗ lực, và khoảng cách về khả năng với các mô hình tiên tiến là thực tế. Nhưng hướng đi không hề mơ hồ. Khoảng cách đang thu hẹp. Tôi đã kiểm tra nó trong tuần này trên phần cứng tôi đã dùng nhiều năm, và nó hoạt động đủ tốt để khiến tôi suy nghĩ về việc nên định tuyến các tác vụ ở đâu.
Nếu bạn tò mò: hãy cài đặt Ollama, kéo Qwen 3.6 bản 9B và thử một thứ đơn giản trong quy trình làm việc của bạn. Trải nghiệm này khác với việc chạy một điểm chuẩn. Nó thực sự bất ngờ đến khó tin.
Nếu bài viết này hữu ích - hãy theo dõi kênh telegram của tôi:
