GPT không phải là vạn năng. Khi nó thất bại ở một tác vụ, bạn có tiếp tục cố gắng trong Codex hay chuyển sang một mô hình khác không? Khi một mô hình không đủ, bạn cần cân nhắc việc chuyển đổi mô hình, bổ sung dữ liệu hoặc để nó sử dụng các công cụ.
Trước khi Codex ra mắt, tôi đã sử dụng Cherry Studio, và nhiều người bạn của tôi, những người đam mê AI, cũng sử dụng nó. Hôm nay, hãy cùng nói về những gì nó có thể làm và cách làm cho công cụ làm việc này hoạt động trơn tru cho bạn.
1. Cherry Studio Có Thể Làm Gì
Cherry Studio là một phần mềm AI máy tính để bàn mã nguồn mở. GPT, Claude, DeepSeek, Kimi và các mô hình chạy trên máy tính của riêng bạn đều có thể được kết nối thông qua các giao diện tương ứng và sử dụng trong cùng một phần mềm.
Điểm hấp dẫn nhất đối với tôi là trong khi các mô hình có thể được hoán đổi, các tài liệu thường dùng, yêu cầu viết lách và công cụ vẫn nằm trong công cụ làm việc này.
Ví dụ, khi viết một bài báo và phần giới thiệu không làm bạn hài lòng, bạn có thể đưa cùng một tài liệu cho nhiều mô hình cùng lúc, để mỗi mô hình viết một phiên bản và so sánh chúng cạnh nhau. Sau khi chọn được một hướng tốt, hãy tiếp tục chỉnh sửa ở đó mà không cần dán đi dán lại giữa các trang web trò chuyện khác nhau.
Nếu bạn muốn giữ lại hai phiên bản, hãy mở một "Nhánh" và chỉnh sửa chúng riêng biệt. Nếu sau vài vòng bạn thấy bản gốc tốt hơn, bạn có thể quay lại nhánh trước đó. Các yêu cầu về giọng văn và định dạng có thể được lưu dưới dạng "Trợ lý" để bạn không phải giải thích lại mỗi lần.
Các bài viết, sách hướng dẫn sản phẩm và tài liệu dự án của riêng bạn có thể được đưa vào Cơ sở Kiến thức. Khi cần, hãy để AI tìm kiếm văn bản gốc và trả lời dựa trên dữ liệu; nếu bạn chuyển đổi mô hình, dữ liệu này vẫn có sẵn.
Để tạo tài liệu Word từ mẫu, sắp xếp thư mục hoặc tạo một trang web chức năng, bạn có thể giao việc đó cho một Agent. Sau khi mô hình và công cụ được cấu hình, nó có thể đọc tài liệu và thao tác với tệp tin. Sau khi hoàn thành, hãy mở nó ra để kiểm tra, và nếu có gì sai, hãy yêu cầu nó thay đổi.
Phần mềm cũng có các mục cho dịch thuật, vẽ tranh, v.v. Nếu bạn muốn thử các mô hình mã nguồn mở hoặc mô hình cục bộ với ít hạn chế hơn, bạn có thể kết nối chúng qua Ollama hoặc LM Studio, tôi sẽ giải thích riêng sau.
Các chức năng phổ biến này có sẵn các mục nhập; chỉ cần cấu hình mô hình và các dịch vụ cần thiết để sử dụng mà không cần viết mã từ đầu.
2. Cài Đặt Cherry Studio
Mở Trang Tải Xuống Chính Thức của Cherry Studio.
Đối với Mac, chọn ARM64 cho chip Apple Silicon hoặc x64 cho chip Intel. Sau khi mở trình cài đặt, kéo nó vào "Applications." Đối với Windows, thường chọn trình cài đặt x64; đối với thiết bị ARM, chọn ARM64.
Khi mở lần đầu tiên, bạn có thể nhấp vào "Để cài đặt sau" để vào phần mềm trước.
"Trò chuyện" ở bên trái dành cho việc viết lách và đặt câu hỏi; "Công việc" là nơi Agent thực hiện các tác vụ; "Cơ sở Kiến thức" lưu trữ tài liệu để tra cứu nhiều lần. Cấu hình mô hình được truy cập qua "Cài đặt" ở góc dưới bên trái.
Các tab trên cùng tương tự như trình duyệt. Bạn có thể giữ trang trò chuyện mở trong khi cấu hình mô hình, sau đó chuyển lại để kiểm tra mà không cần thoát nhiều lần.
3. Kết Nối Các Mô Hình
Sau khi cài đặt, bạn cần kết nối một mô hình. Bản thân phần mềm là miễn phí, nhưng việc gọi mô hình có thể tốn tiền, được tính phí bởi nhà cung cấp mô hình.
Nếu bạn thích sử dụng Kimi, hãy kết nối API Moonshot; đối với DeepSeek, hãy kết nối API DeepSeek. Bạn cũng có thể chọn các nền tảng cung cấp nhiều mô hình, như SiliconFlow, để sử dụng các mô hình khác nhau dưới một tài khoản. Bắt đầu với một mô hình và thêm mô hình thứ hai khi bạn muốn so sánh.
API ở đây có thể được hiểu là "giao diện để Cherry Studio sử dụng mô hình đó." Bạn không cần viết mã; chỉ cần lấy một chuỗi gọi là API Key và điền vào phần mềm.
API Key được tạo trên "Nền tảng Mở" của nhà cung cấp. Ngay cả khi bạn có đăng ký trò chuyện, bạn thường cần kiểm tra xem API có tín dụng riêng không, vì chúng thường được tính phí khác nhau.
Lấy Kimi làm ví dụ, đăng ký hoặc đăng nhập vào Nền tảng Mở Moonshot, tìm quản lý API Key và tạo một key. Kiểm tra xem tài khoản có tín dụng khả dụng không; nếu không, hãy làm theo yêu cầu của nền tảng để kích hoạt. Bắt đầu với một ngân sách nhỏ.
Quay lại Cherry Studio, mở "Cài đặt → Dịch vụ Mô hình," tìm "Moonshot," dán key, bật dịch vụ và nhấp vào "Lấy Danh sách Mô hình."
Có thể có một vài tên trong danh sách; thêm tên bạn định sử dụng. Quay lại trang trò chuyện, nhấp vào tên mô hình ở trên cùng để chuyển sang nó. Gửi một tin nhắn ngắn; nếu nó trả lời bình thường, kết nối đã thành công.
Những gì bạn kết nối là API mô hình; các tính năng web và lợi ích thành viên của Kimi sẽ không được chuyển sang. Ở đây, bạn sử dụng giao diện và công cụ của Cherry Studio.
Nếu một người bạn hoặc công ty cung cấp cho bạn một bộ giao diện nhưng nhà cung cấp không có trong danh sách, hãy nhấp vào "Thêm Nhà cung cấp" ở cuối. Thông thường, bạn cần thông tin này:
Tên nhà cung cấp có thể là bất cứ thứ gì bạn nhận ra, như "Giao diện Kiểm tra Công ty." ID Mô hình không thể tùy ý; đó là tên mà máy chủ sử dụng để xác định mô hình. Nếu việc lấy danh sách thất bại, hãy thêm thủ công nếu ID được cung cấp.
Nếu nó không kết nối được, hãy kiểm tra lỗi. Nếu key không hợp lệ, hãy xác minh nó đã được sao chép hoàn chỉnh và điền đúng chỗ; nếu tín dụng không đủ, hãy kiểm tra số dư của nhà cung cấp; nếu mô hình không tồn tại, hãy kiểm tra ID Mô hình. Địa chỉ và loại giao diện cũng phải khớp với tài liệu của nhà cung cấp.
Khi mô hình có thể trò chuyện, hãy thử hình ảnh, tệp tin và gọi công cụ. Một câu trả lời dạng văn bản không có nghĩa là nó hỗ trợ tất cả các chức năng, đặc biệt là đối với Agent sau này.
Về việc chọn dịch vụ chính thức so với bên thứ ba, tôi khuyên bạn nên bắt đầu với giao diện chính thức để đơn giản hóa việc khắc phục sự cố. Bên thứ ba cũng tốt, nhưng hãy biết dữ liệu được gửi đến ai, giá cả như thế nào và ai cung cấp mô hình. Một cái tên khớp với một mô hình không chứng minh được đó là cùng một dịch vụ đằng sau nó.
Đừng dán API Key vào nhật ký trò chuyện hoặc ảnh chụp màn hình công khai; người khác có thể sử dụng tín dụng của bạn.
4. Kiểm Tra Các Mô Hình
Sau khi kết nối, hãy kiểm tra với các tài liệu bạn thường sử dụng, như bản nháp, ghi chú cuộc họp hoặc mô tả sản phẩm. Sự quen thuộc giúp bạn dễ dàng nhận ra liệu câu trả lời có thiếu sót gì không.
Ví dụ, để tóm tắt một tài liệu dài thành một tin nhắn ngắn cho đồng nghiệp, hãy đưa cho hai mô hình cùng một yêu cầu:
1Tóm tắt tài liệu sau thành một tin nhắn cho đồng nghiệp, dưới 200 từ.23Giữ lại các kết luận đã xác nhận, người phụ trách, thời gian và các vấn đề chưa giải quyết.4Không thêm những gì không có trong bản gốc; không viết các mục dự kiến như đã xác nhận.5Không cần giới thiệu, đưa trực tiếp văn bản.67Tài liệu:8Dán văn bản gốc vào đây.
Khi so sánh, hãy tập trung vào: thời hạn có được giữ không? "Thứ Sáu dự kiến" có bị đổi thành "hoàn thành vào thứ Sáu" không? Những điều này có thể được kiểm tra dựa trên bản gốc mà không cần đánh giá "trí thông minh" qua giọng văn.
Mở bộ chọn mô hình ở đầu trang trò chuyện, bật tính năng chọn nhiều mô hình, chọn hai hoặc ba mô hình đã cấu hình và gửi cùng một câu hỏi.
Nếu một mô hình giỏi về bản nháp và mô hình khác giỏi về kiểm tra thiếu sót, bạn có thể sử dụng chúng riêng biệt sau này thay vì bắt một mô hình làm mọi thứ.
Để kiểm tra tốc độ, hãy vào "Cài đặt → Giao diện" và bật "Hiển thị Số Token Ước tính." Sau khi nhận được câu trả lời, hãy kiểm tra số liệu thống kê để so sánh thời gian đến token đầu tiên, token mỗi giây và mức sử dụng gần đúng.
Token là đơn vị xử lý của mô hình; đừng coi chúng là số từ chính xác. Các số liệu thống kê này giúp theo dõi chi phí, nhưng hóa đơn cuối cùng phụ thuộc vào nhà cung cấp.
Các mô hình viết lách đáng để kiểm tra thêm. Yêu cầu nó "giữ nguyên đoạn thứ hai, chỉ thay đổi phần giới thiệu, không chạm vào số liệu" để xem nó có vô tình thay đổi các phần khác không. Việc phải kiểm tra lại toàn bộ văn bản mỗi khi thay đổi một câu thật mệt mỏi.
Lưu các câu hỏi và tài liệu kiểm tra phổ biến dưới dạng ghi chú. Khi kết nối một mô hình mới, hãy chạy lại chúng. Luôn bắt đầu một chủ đề mới cho các so sánh sử dụng tài liệu giống hệt nhau để tránh ảnh hưởng từ cuộc trò chuyện trước.
Bạn không cần hỏi mọi mô hình mọi lúc. Việc chọn nhiều mô hình sẽ gửi các yêu cầu riêng biệt, mỗi yêu cầu có thể tốn tiền và gửi dữ liệu đến các dịch vụ đó. Sử dụng nó để chọn kế hoạch hoặc tiêu đề; một khi đã xác định hướng đi, hãy tiếp tục với một mô hình.
5. Quản Lý Công Việc Với Các Nhánh
Nếu bạn đạt đến phiên bản thứ năm nhưng đột nhiên cảm thấy phiên bản thứ hai tốt hơn, hoặc muốn thử hai cách viết cho cùng một dàn ý, bạn có thể tạo một nhánh từ tin nhắn tương ứng.
Tìm tin nhắn bạn muốn giữ lại, mở menu tin nhắn và chọn "Nhánh." Đường dẫn mới mang theo ngữ cảnh trước khi rẽ nhánh và các cuộc thảo luận tiếp theo được ghi lại riêng biệt mà không ghi đè lên đường dẫn gốc. Chuyển lại bằng trình quản lý nhánh.
Ví dụ, nếu một bài báo có dàn ý nhưng phần giới thiệu chưa được đặt, hãy tạo hai nhánh: một bắt đầu bằng kết luận, một bắt đầu bằng một tình huống cụ thể. Chỉnh sửa cả hai trong vài vòng, xem cái nào tốt hơn và tiếp tục từ đó. Bạn không cần phải xóa một cái để thử cái khác.
Đối với các chỉnh sửa nhỏ, chỉ cần theo dõi. Nếu bạn muốn giữ lại cả hai phiên bản, hãy sử dụng một nhánh.
Nếu bạn thường xuyên thực hiện cùng một loại công việc văn bản, hãy tạo một Trợ lý trước. Vào "Trò chuyện → Thêm Trợ lý," đặt cho nó một cái tên dễ nhận biết như "Biên tập Bài viết" và lưu các yêu cầu dài hạn:
1Bạn giúp tôi chỉnh sửa các bài báo tiếng Việt cho độc giả phổ thông.23Ưu tiên giữ lại các sự kiện và ví dụ cụ thể từ bản nháp.4Xóa những phần dài dòng không có thông tin mới; không thêm thông tin về tác giả.5Khi tôi chỉ định một đoạn để chỉnh sửa, chỉ chỉnh sửa đoạn đó.6Chỉ ra những nhận định thiếu bằng chứng; không bịa ra nguồn.
Trợ lý lưu trữ các thói quen dài hạn. Các chủ đề bài báo cụ thể, tài liệu và yêu cầu về độ dài nên được giữ trong chủ đề hiện tại để tránh mang sang chủ đề tiếp theo.
Khi xem xét, hãy mở một nhánh khác và để mô hình chỉ tìm ra vấn đề:
1Kiểm tra bản nháp này, không viết lại.23Dựa trên các tài liệu tôi đã cung cấp, hãy tìm:41. Các sự kiện hoặc số liệu không được hỗ trợ bởi bản gốc.52. Những chỗ mà "có thể" hoặc "dự kiến" đã trở thành xác nhận.63. Các giải thích lặp đi lặp lại có thể xóa.78Trích dẫn bản gốc cho mỗi vấn đề và giải thích vấn đề. Nếu không tìm thấy cơ sở, hãy viết "cần nguồn."
Việc chuyển đổi mô hình để xem xét đôi khi có thể tìm ra các vấn đề mà mô hình trước đã bỏ sót. Tuy nhiên, nội dung được cả hai phê duyệt vẫn có thể sai; luôn xác minh các sự kiện quan trọng dựa trên dữ liệu gốc.
Khi chỉ chỉnh sửa bài viết, bạn không cần cung cấp cho mô hình terminal, trình duyệt hoặc công cụ tệp tin. Tắt các công cụ không liên quan sẽ giảm các hướng dẫn không cần thiết.
Khi chuyển sang Agent cho các tệp tin, hãy nhớ cung cấp cho nó bản nháp cuối cùng và các yêu cầu. Cuộc trò chuyện trước đó sẽ không tự động được chuyển hoàn toàn; hãy nói rõ ràng với nó phiên bản nào sẽ sử dụng.
6. Giao Nhiệm Vụ Cho Agent
Khi bản nháp đã được định hình và cần được định dạng thành Word hoặc xuất ra PDF, hãy vào "Công việc" ở bên trái. Chuẩn bị bản thảo và mẫu.
Nhấp vào "Thêm Agent," đặt tên theo mục đích, như "Người Sắp xếp Dữ liệu." Chọn chế độ chạy, sau đó chọn mô hình được hỗ trợ và điền các yêu cầu. Sau khi tạo, bạn có thể điều chỉnh các công cụ, quyền hạn, kỹ năng và cơ sở kiến thức trên trang chỉnh sửa.
Chế độ chạy ảnh hưởng đến các mô hình và quyền hạn có sẵn; hãy chọn dựa trên danh sách của chế độ hiện tại. Các mô hình dùng cho trò chuyện thông thường không nhất thiết phù hợp với Agent. Khi một chế độ đã được chọn, nó không thể được chuyển đổi trực tiếp; bạn sẽ cần tạo một Agent mới.
Một số chế độ có các mô hình Chính, Kế hoạch và Nhỏ cho công việc chính, lập kế hoạch và xử lý nhẹ. Bắt đầu với cùng một mô hình cho tất cả để làm quen trước.
Sau đó tạo một tác vụ mới và chọn một thư mục làm việc. Sử dụng một thư mục chuyên dụng để thực hành với các bản sao của tài liệu. Nếu có quyền "Xác nhận mỗi lần," hãy sử dụng nó để xem Agent dự định đọc, chạy và viết những gì.
Ngay cả khi đã chọn thư mục làm việc, hãy kiểm tra quyền của công cụ. Một số công cụ vẫn có thể truy cập các tệp tin bên ngoài thư mục; không bật "Toàn quyền Truy cập" trong lần đầu tiên.
Bạn có thể bắt đầu với các ghi chú cuộc họp không nhạy cảm để sắp xếp tiến độ dự án:
1Đọc các ghi chú cuộc họp trong thư mục hiện tại và sắp xếp một báo cáo tiến độ dự án.23Không sửa đổi, di chuyển hoặc xóa các tệp tin gốc.4Sắp xếp thành: Đã hoàn thành, Đang thực hiện, Cần xác nhận.5Người phụ trách và thời gian phải đến từ bản gốc; đánh dấu "CXN" nếu không được chỉ định.6Ghi chú tên tệp nguồn sau mỗi mục.78Liệt kê các tệp tin bạn tìm thấy và dàn ý trước để tôi xác nhận.9Sau khi xác nhận, tạo một tệp tin mới: Project_Progress.md.
Kiểm tra xem các tệp tin nó tìm thấy có đúng không, sau đó xác nhận dàn ý. Sau khi tệp tin được tạo, hãy mở nó ra để xác minh, đặc biệt là tên, ngày tháng và đảm bảo các mục "CXN" không bị viết như đã xác nhận.
Khi thử Word hoặc PDF, bạn có thể cần cài đặt các công cụ tài liệu hoặc phần phụ thuộc tương ứng. Mở tệp tin trong khu vực đầu ra hoặc thư mục làm việc để kiểm tra nội dung và bố cục.
Nếu nó cần tìm kiếm dữ liệu trên web, hãy vào "Cài đặt → Tìm kiếm Web" và cấu hình một dịch vụ như Exa. Lấy API Key tìm kiếm, kiểm tra nó và kiểm tra xem công cụ tìm kiếm của Agent có được bật không.
Tìm kiếm yêu cầu cấu hình riêng và có hạn mức và phí riêng. Nếu không có nó, mô hình có thể chỉ trả lời dựa trên kiến thức hiện có mà không kiểm tra web.
Nếu tìm kiếm tìm thấy một trang nhưng tác vụ yêu cầu nhấp vào nút, cuộn hoặc tải xuống tệp tin, bạn có thể cần khả năng thao tác trình duyệt. Tham khảo kỹ năng Playwright CLI trong quản lý kỹ năng, cài đặt nó và gán nó cho Agent.
Kỹ năng là các bộ hướng dẫn, như cách vận hành trình duyệt hoặc tạo tài liệu. Một số yêu cầu các công cụ đi kèm; hãy cấu hình chúng và chạy một tác vụ nhỏ để kiểm tra.
MCP được sử dụng để kết nối các công cụ và dịch vụ bên ngoài, như cho phép Agent truy cập hệ thống doanh nghiệp. Thêm dịch vụ trong "Cài đặt → MCP," cấu hình theo hướng dẫn và liên kết nó trong cài đặt MCP của Agent sau khi kết nối thành công.
Đối với các ghi chú cuộc họp cục bộ, các công cụ tệp tin là đủ. Chỉ cài đặt kỹ năng trình duyệt và MCP khi cần thiết để tránh khắc phục sự cố các cấu hình không sử dụng.
Trong các bản demo kỹ thuật, Agent đã thực hiện ba loại tác vụ: tìm và tải xuống sách giáo khoa điện tử, tạo tài liệu giảng dạy Word và PDF từ mẫu, và biến các bài toán vật lý thành các trang web tương tác với các tham số có thể điều chỉnh.
Khi giao các tác vụ tương tự, hãy rõ ràng về tên sách giáo khoa, tệp mẫu và tham số. Yêu cầu càng cụ thể, càng dễ xác minh.
Các tác vụ hoạt động tốt trong Codex có thể ở lại đó. Cherry Studio cung cấp một lựa chọn khác: thử các mô hình khác nhau cho cùng một công việc hoặc cấu hình các công cụ khác nhau cho các mục đích khác nhau.
Sử dụng lại cùng một Agent cho các báo cáo tiến độ hàng tuần; đối với một dự án mới, hãy tạo một tác vụ mới và chọn thư mục tương ứng. Tạo một cái riêng cho việc sản xuất trang web để giữ cho các công cụ và yêu cầu riêng biệt.
7. Xây Dựng Cơ Sở Kiến Thức
Chọn một loạt tài liệu bạn sẽ sử dụng nhiều lần, như sách hướng dẫn sản phẩm hoặc các bài báo lịch sử. Đối với các tệp tin chỉ đọc một lần cho một câu hỏi hiện tại, hãy tải chúng trực tiếp lên trò chuyện thay vì xây dựng một cơ sở.
Sau khi xây dựng cơ sở, phần mềm chia dữ liệu thành các đoạn. Khi bạn đặt câu hỏi, nó tìm văn bản gốc có liên quan trước, sau đó đưa cho mô hình trò chuyện để sắp xếp câu trả lời; dữ liệu được lưu và truy xuất riêng biệt, không được huấn luyện vào mô hình.
Mở "Cơ sở Kiến thức" ở bên trái, nhấp vào thêm và đặt tên theo mục đích, ví dụ: "Sổ tay Hậu mãi Sản phẩm." Lần đầu tiên, đặt "Mô hình Nhúng" thành "Không sử dụng" để vẫn cho phép tìm kiếm từ khóa.
Thêm một hoặc hai tệp tin quen thuộc, đợi xử lý và kiểm tra xem văn bản đã phân tích có bình thường không. Đặc biệt kiểm tra các bản PDF đã quét; nếu văn bản không được nhận dạng, nó sẽ không thể tìm kiếm được.
Vào "Kiểm tra Truy xuất" trong cơ sở kiến thức này và đặt một câu hỏi có câu trả lời rõ ràng. Truy xuất hiển thị các đoạn nó đã lấy được. Nếu sổ tay có các điều kiện trả hàng, hãy hỏi "Tôi có thể trả lại sau khi mở không?" và kiểm tra xem kết quả có chính xác là điều kiện đó không.
Điều này hiển thị các đoạn gốc đã được truy xuất, vì vậy bạn có thể kiểm tra độ chính xác trực tiếp mà không cần phải suy luận qua câu trả lời của mô hình.
Sau khi xác nhận, hãy quay lại trò chuyện, nhấp vào nút thêm trong khu vực nhập, chọn "Cơ sở Kiến thức" và chọn cơ sở. Khi tên xuất hiện trong khu vực nhập, hãy đặt câu hỏi của bạn:
1Dựa trên dữ liệu sản phẩm đã chọn, hãy sắp xếp các câu hỏi hậu mãi thường gặp nhất.23Đính kèm nguồn tương ứng cho mỗi câu trả lời.4Đối với nội dung không có trong dữ liệu, hãy viết "không tìm thấy trong dữ liệu," không thêm lời hứa.5Nếu các tệp tin khác nhau mâu thuẫn, hãy liệt kê các mâu thuẫn; đừng quyết định thay tôi.
Nếu mục nhập cơ sở kiến thức bị mờ, hãy kiểm tra xem mô hình hiện tại có hỗ trợ gọi công cụ không và xóa mọi tệp tin đính kèm vào tin nhắn. Cơ sở kiến thức cũng phải có ít nhất một tệp tin đã được xử lý.
Nếu nó không thể tìm thấy nội dung khi bạn thay đổi cách diễn đạt, hãy thêm một mô hình nhúng. Ví dụ: văn bản nói "tiêu chuẩn phí lưu trú" nhưng bạn hỏi "tôi có thể yêu cầu bồi thường bao nhiêu cho một khách sạn?" Cách diễn đạt khác nhau. Mô hình nhúng tìm nội dung theo nghĩa, không phải mô hình trò chuyện viết câu trả lời cuối cùng.
Cấu hình giống như kết nối các mô hình. Sử dụng SiliconFlow làm ví dụ, cấu hình Key trong "Dịch vụ Mô hình," lấy danh sách, tìm và thêm các mô hình như bge-m3 trong danh mục nhúng.
Quay lại cài đặt Cơ sở Kiến thức, chọn nó trong "Mô hình Nhúng" và đợi phần mềm lập chỉ mục dữ liệu. Nếu bạn đã sử dụng một mô hình nhúng khác trước đó, bạn sẽ cần xây dựng lại theo hướng dẫn. Kiểm tra lại với cùng một câu hỏi.
Tìm kiếm từ khóa vẫn hoạt động ngay cả khi có mô hình nhúng. Nếu nội dung chính xác được tìm thấy nhưng được xếp hạng thấp, hãy xem xét một mô hình Rerank.
Mô hình Rerank sắp xếp lại các đoạn đã truy xuất để đặt các đoạn có liên quan hơn lên đầu. Thêm một mô hình rerank như bge-reranker-v2-m3 trong các dịch vụ mô hình, sau đó chọn nó trong cài đặt Cơ sở Kiến thức. Các mô hình có sẵn và chi phí phụ thuộc vào nhà cung cấp.
Nhúng và Rerank không phải lúc nào cũng cần thiết. Để kiểm tra số hiệu sản phẩm hoặc số điều khoản, tìm kiếm từ khóa có thể đủ.
Để khắc phục sự cố: nếu không tìm thấy văn bản, hãy kiểm tra xem tệp tin đã được xử lý chưa hoặc văn bản có bị thiếu không; nếu văn bản được tìm thấy nhưng thiếu ngữ cảnh, hãy kiểm tra xem các đoạn có bị cắt không; nếu các đoạn đầy đủ nhưng câu trả lời sai, hãy kiểm tra lời nhắc hoặc chuyển đổi mô hình trò chuyện.
Khi thay thế sổ tay cũ bằng sổ tay mới, hãy xóa các mục nhập lỗi thời để các phiên bản mâu thuẫn không ở lại trong cơ sở. Bạn cũng có thể hỏi một câu hỏi không có trong dữ liệu để xem nó có thừa nhận không tìm thấy không.
Để cho Agent tìm kiếm các tài liệu này, hãy liên kết cơ sở tương ứng trong cài đặt cơ sở kiến thức của Agent. Đối với một kế hoạch sản phẩm, hãy cung cấp cho nó sổ tay sản phẩm, không phải tất cả các tệp tin của công ty.
Việc sử dụng các mô hình nhúng, rerank hoặc trò chuyện đám mây có nghĩa là nội dung có thể được gửi đến các nhà cung cấp. Xác nhận xem điều này có được phép không trước khi nhập dữ liệu công ty.
8. Kết Nối Các Mô Hình Cục Bộ
Để thử các mô hình mã nguồn mở hoặc các mô hình có ít hạn chế hơn, hãy chạy chúng trên máy tính của riêng bạn và kết nối chúng với Cherry Studio. Bạn sẽ sử dụng cùng một giao diện, nhưng câu trả lời sẽ không đến từ API đám mây.
Các lựa chọn phổ biến là Ollama và LM Studio; một là đủ. Chúng tải xuống và chạy các mô hình; Cherry Studio xử lý kết nối, trò chuyện và tổ chức dữ liệu. Hugging Face là nơi bạn tìm thấy các mô hình.
Đầu tiên, Ollama. Tải xuống và cài đặt từ trang web Ollama, mở terminal và chạy:
1ollama run dolphin-mistral
Đây là mô hình 7B để kiểm tra; nó sẽ tải xuống tệp tin trước. Khi hoàn tất, hãy đặt một câu hỏi trong terminal để xác nhận nó hoạt động.
Mở Cherry Studio "Cài đặt → Dịch vụ Mô hình," tìm Ollama. Địa chỉ dịch vụ thường là:
1http://localhost:11434
Bật dịch vụ, lấy danh sách, thêm mô hình và chọn nó trong trò chuyện.
"localhost" đề cập đến máy tính của bạn. Nếu nó thất bại, hãy đảm bảo Ollama đang chạy, mô hình đã được tải xuống và cổng chưa thay đổi. Đừng mở dịch vụ ra internet công cộng chỉ để kết nối hai ứng dụng cục bộ.
Nếu bạn không thích terminal, hãy sử dụng LM Studio. Tìm kiếm và tải xuống các mô hình trên trang tìm kiếm của nó, sau đó tải mô hình và khởi động máy chủ cục bộ. Trong Cherry Studio, tìm nhà cung cấp LM Studio, nhập địa chỉ được hiển thị và lấy danh sách. Cherry Studio không thể sử dụng nó nếu mô hình chưa được tải hoặc máy chủ chưa được khởi động.
Để tìm "các mô hình không kiểm duyệt," hãy tìm kiếm Hugging Face cho:
1uncensored GGUF
"Không kiểm duyệt" là một mô tả cho ít hạn chế hơn, không phải là chứng nhận. Mô hình có thể từ chối ít yêu cầu sáng tạo hơn, nhưng nó không có nghĩa là nó thông minh hơn hoặc đáng tin cậy hơn. Cherry Studio không có một công tắc duy nhất "bỏ hạn chế tất cả các mô hình"; bạn chỉ đơn giản là chọn một mô hình khác.
GGUF là một định dạng mô hình cục bộ phổ biến. Kiểm tra mô hình cơ sở, các ngôn ngữ được hỗ trợ và giấy phép trước khi tải xuống tệp tin phù hợp với công cụ của bạn; bạn không cần toàn bộ kho lưu trữ.
Bắt đầu với các mô hình 7B hoặc 8B, lượng tử hóa Q4. "B" là quy mô tham số; "Q4" có nghĩa là trọng số được nén, sử dụng ít bộ nhớ hơn với một chút mất mát hiệu suất. Để sử dụng nó trong Agent, hãy xác nhận nó hỗ trợ gọi công cụ.
Các mô hình nhỏ có thể chạy trên các máy tính thông thường. Dolphin Mistral có kích thước khoảng 4 GB; trọng số Q4 30B có thể là 15-16 GB hoặc hơn, không bao gồm chi phí chạy và bộ nhớ đệm cho các cuộc trò chuyện dài.
Một máy tính có 16 GB RAM có thể thử các mô hình lượng tử hóa 7B hoặc 8B; tốc độ phụ thuộc vào chip, VRAM và độ dài ngữ cảnh. Để chạy 30B, hãy kiểm tra RAM/VRAM và dung lượng đĩa. Nó có thể hoạt động cho một vài dòng nhưng sẽ chậm đi đáng kể với các tài liệu dài.
Khi chạy hoàn toàn cục bộ, đầu vào không được gửi đến các dịch vụ trò chuyện đám mây và không có hóa đơn API, nhưng nó sử dụng năng lượng của máy tính bạn. Nếu bạn sử dụng tìm kiếm, nhúng hoặc rerank đám mây, dữ liệu đó vẫn có thể được gửi ra ngoài.
Lưu ý: Các thành phần nhúng và OCR cục bộ có thể tải xuống trong cài đặt Cherry Studio giúp truy xuất và nhận dạng văn bản. Cài đặt chúng không có nghĩa là bạn đã cài đặt một mô hình trò chuyện.
Lần tới khi ai đó gửi cho bạn một giao diện mô hình mới, hãy kết nối nó và chạy các câu hỏi kiểm tra của bạn. Nếu nó phù hợp, hãy giữ nó; nếu không, hãy đổi nó đi mà không thay đổi công cụ làm việc của bạn.
Tôi là Miles, một chuyên gia thuật toán AI đã chuyển từ công nghệ lớn sang FDE, với kinh nghiệm trong R&D, tối ưu hóa, triển khai và đào tạo doanh nghiệp. Theo dõi tôi @miles_mazy để cùng phát triển và kiếm tiền.
