GPT는 전능하지 않습니다. 특정 작업에서 실패할 때, Codex에서 계속 시도할지 아니면 다른 모델로 전환할지 고민하게 됩니다. 하나의 모델로는 부족할 때, 모델 전환, 데이터 보충, 또는 도구 사용을 고려해야 합니다.
Codex가 출시되기 전까지 저는 Cherry Studio를 사용하고 있었고, AI에 깊이 빠져 있는 많은 친구들도 이 도구를 사용합니다. 오늘은 Cherry Studio가 무엇을 할 수 있는지, 그리고 이 워크벤치를 어떻게 원활하게 활용할 수 있는지 이야기해 보겠습니다.
1. Cherry Studio가 할 수 있는 일
Cherry Studio는 오픈소스 데스크톱 AI 소프트웨어입니다. GPT, Claude, DeepSeek, Kimi, 그리고 사용자 컴퓨터에서 실행되는 모델까지 모두 해당 인터페이스를 통해 연결하여 동일한 소프트웨어 내에서 사용할 수 있습니다.
가장 매력적인 점은 모델을 교체할 수 있지만, 자주 사용하는 자료, 작성 요구 사항, 도구는 이 워크벤치 내에 그대로 유지된다는 것입니다.
예를 들어, 글을 작성할 때 서론이 마음에 들지 않으면 동일한 자료를 여러 모델에 동시에 제공하고, 각 모델이 버전을 작성하게 한 후 나란히 비교할 수 있습니다. 좋은 방향을 선택하면 그 자리에서 계속 편집할 수 있으며, 여러 채팅 웹사이트 사이를 반복해서 이동할 필요가 없습니다.
두 가지 버전을 유지하고 싶다면 "분기"를 열어 각각 편집하세요. 몇 차례 수정 후 원본이 더 낫다고 판단되면 이전 분기로 돌아갈 수 있습니다. 어조와 형식에 대한 요구 사항은 "어시스턴트"로 저장하여 매번 설명할 필요가 없습니다.
자신의 글, 제품 매뉴얼, 프로젝트 문서는 지식 베이스에 넣을 수 있습니다. 필요할 때 AI가 원본 텍스트를 검색하고 데이터를 기반으로 답변하게 하며, 모델을 전환해도 이 데이터는 계속 사용할 수 있습니다.
템플릿에서 Word 문서를 생성하거나, 폴더를 정리하거나, 기능적인 웹페이지를 만들려면 에이전트에 맡길 수 있습니다. 모델과 도구를 구성하면 자료를 읽고 파일을 조작할 수 있습니다. 작업이 완료되면 열어서 확인하고, 문제가 있으면 수정을 요청하세요.
소프트웨어에는 번역, 그림 그리기 등의 항목도 있습니다. 제한이 적은 오픈소스 모델이나 로컬 모델을 사용해보고 싶다면 Ollama 또는 LM Studio를 통해 연결할 수 있으며, 이에 대해서는 나중에 별도로 설명하겠습니다.
이러한 일반적인 기능들은 바로 사용할 수 있는 항목이 마련되어 있습니다. 모델과 필요한 서비스만 구성하면 코드를 처음부터 작성할 필요 없이 사용할 수 있습니다.
2. Cherry Studio 설치하기
Cherry Studio 공식 다운로드 페이지를 엽니다.
Mac의 경우 Apple Silicon은 ARM64를, Intel 칩은 x64를 선택하세요. 설치 프로그램을 연 후 "응용 프로그램" 폴더로 드래그하세요. Windows의 경우 일반적으로 x64 설치 프로그램을 선택하고, ARM 기기는 ARM64를 선택하세요.
처음 열 때 "나중에 설정"을 클릭하여 소프트웨어에 먼저 진입할 수 있습니다.
왼쪽의 "채팅"은 글쓰기와 질문을 위한 것이고, "작업"은 에이전트가 작업을 수행하는 곳이며, "지식 베이스"는 반복적으로 조회할 자료를 저장합니다. 모델 구성은 왼쪽 하단의 "설정"을 통해 접근할 수 있습니다.
상단 탭은 브라우저와 유사합니다. 채팅 페이지를 열어둔 상태에서 모델을 구성한 후 다시 전환하여 종료하지 않고 테스트할 수 있습니다.
3. 모델 연결하기
설치 후 모델을 연결해야 합니다. 소프트웨어 자체는 무료이지만, 모델 호출은 비용이 발생할 수 있으며, 모델 제공업체에 따라 요금이 부과됩니다.
Kimi 사용을 선호한다면 Moonshot API를 연결하고, DeepSeek를 사용한다면 DeepSeek API를 연결하세요. SiliconFlow와 같이 여러 모델을 제공하는 플랫폼을 선택하여 하나의 계정으로 다양한 모델을 사용할 수도 있습니다. 하나로 시작하고 비교가 필요할 때 두 번째를 추가하세요.
여기서 API는 "Cherry Studio가 해당 모델을 사용하기 위한 인터페이스"로 이해할 수 있습니다. 코드를 작성할 필요 없이 API Key라는 문자열을 받아 소프트웨어에 입력하기만 하면 됩니다.
API Key는 제공업체의 "오픈 플랫폼"에서 생성합니다. 채팅 구독이 있더라도 일반적으로 API에 크레딧이 있는지 별도로 확인해야 하며, 이들은 종종 별도로 청구됩니다.
Kimi를 예로 들어, Moonshot 오픈 플랫폼에 등록하거나 로그인한 후 API Key 관리를 찾아 키를 생성하세요. 계정에 사용 가능한 크레딧이 있는지 확인하고, 없으면 플랫폼의 요구 사항에 따라 활성화하세요. 소액 예산으로 시작하세요.
Cherry Studio로 돌아가 "설정 → 모델 서비스"를 열고 "Moonshot"을 찾은 후 키를 붙여넣고 서비스를 활성화한 다음 "모델 목록 가져오기"를 클릭하세요.
목록에 여러 이름이 있을 수 있습니다. 사용할 모델을 추가하세요. 채팅 페이지로 돌아가 상단의 모델 이름을 클릭하여 전환하세요. 짧은 메시지를 보내고 정상적으로 응답하면 연결이 성공한 것입니다.
연결하는 것은 모델 API이며, Kimi의 웹 기능과 멤버십 혜택은 이동하지 않습니다. 여기서는 Cherry Studio의 인터페이스와 도구를 사용합니다.
친구나 회사에서 인터페이스 세트를 제공했지만 제공업체가 목록에 없는 경우 하단의 "제공업체 추가"를 클릭하세요. 일반적으로 다음 정보가 필요합니다:
제공업체 이름은 "회사 테스트 인터페이스"와 같이 알아볼 수 있는 이름이면 됩니다. 모델 ID는 임의로 지정할 수 없으며, 서버가 모델을 식별하는 데 사용하는 이름입니다. 목록 가져오기가 실패하면 ID가 제공된 경우 수동으로 추가하세요.
연결되지 않으면 오류를 확인하세요. 키가 유효하지 않으면 완전히 복사되었는지, 올바른 위치에 입력되었는지 확인하세요. 크레딧이 부족하면 제공업체 잔액을 확인하세요. 모델이 존재하지 않으면 모델 ID를 확인하세요. 주소와 인터페이스 유형도 제공업체의 문서와 일치해야 합니다.
모델이 채팅할 수 있게 되면 이미지, 파일 및 도구 호출을 테스트하세요. 텍스트 응답이 모든 기능을 지원한다는 의미는 아니며, 특히 나중에 에이전트에서 중요합니다.
공식 서비스와 타사 서비스 중 선택하는 것에 대해, 저는 문제 해결을 간소화하기 위해 공식 인터페이스로 시작하는 것을 권장합니다. 타사 서비스도 괜찮지만, 데이터가 누구에게 전송되는지, 가격이 어떻게 책정되는지, 모델을 누가 제공하는지 알아야 합니다. 모델과 이름이 일치한다고 해서 동일한 서비스가 보장되는 것은 아닙니다.
API Key를 채팅 로그나 공개 스크린샷에 붙여넣지 마세요. 다른 사람이 귀하의 크레딧을 사용할 수 있습니다.
4. 모델 테스트하기
연결이 완료되면 자주 사용하는 자료(예: 초안, 회의록, 제품 설명)로 테스트하세요. 익숙한 자료일수록 답변에서 누락된 부분을 쉽게 확인할 수 있습니다.
예를 들어, 긴 자료를 동료에게 보낼 짧은 메시지로 요약하려면 두 모델에 동일한 요구 사항을 제공하세요:
1다음 자료를 동료에게 보낼 메시지로 요약하세요. 200자 미만으로 작성하세요.23확정된 결론, 담당자, 시간 및 해결되지 않은 문제를 유지하세요.4원본에 없는 내용을 추가하지 말고, 잠정적인 항목을 확정된 것으로 작성하지 마세요.5서론 없이 바로 텍스트를 제공하세요.67자료:8원본 텍스트를 여기에 붙여넣으세요.
비교할 때 다음 사항에 주목하세요: 마감일이 유지되었는가? "잠정적 금요일"이 "금요일 완료"로 변경되었는가? 이러한 사항은 어조로 "지능"을 판단하지 않고 원본과 대조하여 확인할 수 있습니다.
채팅 상단의 모델 선택기를 열고 다중 모델 선택을 활성화한 후 구성된 두세 개의 모델을 선택하고 동일한 질문을 보내세요.
한 모델이 초안 작성에 더 뛰어나고 다른 모델이 누락 확인에 더 뛰어나다면, 하나의 모델이 모든 것을 처리하도록 하지 않고 각각 별도로 사용할 수 있습니다.
속도를 확인하려면 "설정 → 모양"으로 이동하여 "예상 토큰 수 표시"를 활성화하세요. 응답 후 통계를 확인하여 첫 번째 토큰까지의 시간, 초당 토큰 수 및 대략적인 사용량을 비교하세요.
토큰은 모델 처리를 위한 단위이며, 정확한 단어 수로 취급하지 마세요. 이 통계는 비용 모니터링에 도움이 되지만, 최종 청구서는 제공업체에 따라 다릅니다.
글쓰기 모델은 추가 테스트를 해볼 가치가 있습니다. "두 번째 단락은 유지하고, 서론만 변경하며, 숫자는 건드리지 마세요"라고 요청하여 실수로 다른 부분을 변경하는지 확인하세요. 문장 하나를 변경할 때마다 전체 텍스트를 다시 확인해야 한다면 매우 지치는 일입니다.
일반적인 테스트 질문과 자료를 메모로 저장하세요. 새 모델을 연결할 때 다시 실행하세요. 비교를 위해 항상 새 주제를 시작하여 이전 채팅의 영향을 받지 않도록 동일한 자료를 사용하세요.
매번 모든 모델에 질문할 필요는 없습니다. 다중 선택은 별도의 요청을 보내며, 각각 비용이 발생할 수 있고 해당 서비스에 데이터를 전송합니다. 체계나 제목을 선택할 때 사용하고, 방향이 정해지면 하나의 모델로 계속 진행하세요.
5. 분기로 작업 관리하기
다섯 번째 버전에 도달했지만 갑자기 두 번째 버전이 더 낫다고 느끼거나, 동일한 개요를 두 가지 방식으로 작성해보고 싶다면 해당 메시지에서 분기를 생성할 수 있습니다.
유지하려는 메시지를 찾아 메시지 메뉴를 열고 "분기"를 선택하세요. 새 경로는 분기 이전의 컨텍스트를 유지하며, 이후 논의는 원래 경로를 덮어쓰지 않고 별도로 기록됩니다. 분기 관리자를 사용하여 다시 전환하세요.
예를 들어, 기사에 개요가 있지만 서론이 정해지지 않은 경우 두 개의 분기를 만드세요. 하나는 결론으로 시작하고, 다른 하나는 특정 시나리오로 시작합니다. 두 분기를 몇 차례 편집한 후 어떤 것이 더 나은지 확인하고 그곳에서 계속 진행하세요. 다른 것을 시도하기 위해 하나를 삭제할 필요가 없습니다.
사소한 편집의 경우 그냥 이어서 진행하세요. 두 버전을 모두 유지하려면 분기를 사용하세요.
동일한 유형의 텍스트 작업을 자주 수행한다면 먼저 어시스턴트를 생성하세요. "채팅 → 어시스턴트 추가"로 이동하여 "기사 편집기"와 같이 알아볼 수 있는 이름을 지정하고 장기적인 요구 사항을 저장하세요:
1당신은 일반 독자를 위한 중국어 기사 편집을 도와줍니다.23초안의 사실과 구체적인 예시를 우선적으로 유지하세요.4새로운 정보가 없는 군더더기는 삭제하고, 작성자 배경을 추가하지 마세요.5편집할 단락을 지정하면 해당 단락만 편집하세요.6증거 없는 판단을 지적하고, 출처를 만들어내지 마세요.
어시스턴트는 장기적인 습관을 저장합니다. 특정 기사 주제, 자료 및 길이 요구 사항은 현재 주제에 남겨두고 다음 주제로 이어지지 않도록 하세요.
검토할 때 다른 분기를 열고 모델이 문제만 찾도록 하세요:
1이 초안을 확인하되, 다시 작성하지 마세요.23내가 제공한 자료와 대조하여 다음을 찾으세요:41. 원본에서 지원되지 않는 사실이나 숫자.52. "가능성" 또는 "잠정적"이 확정된 것으로 변경된 부분.63. 삭제할 수 있는 반복적인 설명.78각 항목에 대해 원본을 인용하고 문제를 설명하세요. 근거를 찾을 수 없으면 "출처 필요"라고 작성하세요.
검토를 위해 모델을 전환하면 이전 모델이 놓친 문제를 발견할 수 있습니다. 그러나 두 모델이 승인한 내용도 여전히 틀릴 수 있으므로 중요한 사실은 항상 원본 데이터와 대조하여 확인하세요.
기사만 편집할 때는 모델에 터미널, 브라우저 또는 파일 도구를 제공할 필요가 없습니다. 관련 없는 도구를 끄면 불필요한 지시가 줄어듭니다.
파일을 위한 에이전트로 이동할 때는 최종 초안과 요구 사항을 제공해야 합니다. 이전 대화가 자동으로 완전히 이어지지 않으므로 어떤 버전을 사용할지 명시적으로 알려주세요.
6. 작업을 에이전트에 맡기기
초안이 완성되어 Word로 서식을 지정하거나 PDF로 내보내야 할 때 왼쪽의 "작업"으로 이동하세요. 원고와 템플릿을 준비하세요.
"에이전트 추가"를 클릭하고 "데이터 정리기"와 같이 목적에 따라 이름을 지정하세요. 실행 모드를 선택한 다음 지원되는 모델을 선택하고 요구 사항을 입력하세요. 생성 후 편집 페이지에서 도구, 권한, 기술 및 지식 베이스를 조정할 수 있습니다.
실행 모드는 사용 가능한 모델과 권한에 영향을 미칩니다. 현재 모드의 목록에 따라 선택하세요. 일반 채팅용 모델이 반드시 에이전트에 적합한 것은 아닙니다. 모드가 선택되면 직접 전환할 수 없으며 새 에이전트를 생성해야 합니다.
일부 모드는 주 작업, 계획 및 경량 처리를 위한 메인, 플랜 및 소형 모델을 제공합니다. 먼저 모든 모델에 동일한 모델을 사용하여 익숙해지세요.
그런 다음 새 작업을 만들고 작업 디렉토리를 선택하세요. 자료 사본이 있는 전용 폴더를 연습용으로 사용하세요. "매번 확인" 권한이 있으면 이를 사용하여 에이전트가 읽고, 실행하고, 작성할 계획을 확인하세요.
작업 디렉토리를 선택했더라도 도구 권한을 확인하세요. 일부 도구는 여전히 디렉토리 외부의 파일에 접근할 수 있으므로 처음에는 "전체 액세스"를 활성화하지 마세요.
민감하지 않은 회의록으로 시작하여 프로젝트 진행 상황을 정리할 수 있습니다:
1현재 디렉토리의 회의록을 읽고 프로젝트 진행 보고서를 정리하세요.23원본 파일을 수정, 이동 또는 삭제하지 마세요.4다음으로 정리: 완료, 진행 중, 확인 필요.5담당자와 시간은 원본에서 가져와야 하며, 명시되지 않은 경우 "TBC"로 표시하세요.6각 항목 뒤에 출처 파일 이름을 기록하세요.78먼저 찾은 파일과 개요를 나열하여 제 확인을 받으세요.9확인 후 새 파일을 생성하세요: Project_Progress.md.
찾은 파일이 올바른지 확인한 후 개요를 확인하세요. 파일이 생성되면 열어서 이름, 날짜 및 "TBC" 항목이 확정된 것으로 작성되지 않았는지 확인하세요.
Word 또는 PDF를 시도할 때는 해당 문서 도구나 종속성을 설치해야 할 수 있습니다. 출력 영역이나 작업 디렉토리에서 파일을 열어 내용과 레이아웃을 확인하세요.
웹에서 데이터를 검색해야 하는 경우 "설정 → 웹 검색"으로 이동하여 Exa와 같은 서비스를 구성하세요. 검색 API Key를 받아 테스트하고 에이전트의 검색 도구가 활성화되어 있는지 확인하세요.
검색은 별도로 구성해야 하며 자체 할당량과 요금이 있습니다. 검색이 없으면 모델은 웹을 확인하지 않고 기존 지식에만 기반하여 답변할 수 있습니다.
검색이 페이지를 찾았지만 작업에 버튼 클릭, 스크롤 또는 파일 다운로드가 필요한 경우 브라우저 조작 기능이 필요할 수 있습니다. 기술 관리에서 Playwright CLI 기술을 참조하여 설치하고 에이전트에 할당하세요.
기술은 브라우저 작동 방법이나 문서 생성 방법과 같은 지침 세트입니다. 일부는 함께 사용할 도구가 필요하므로 구성하고 작은 작업을 실행하여 테스트하세요.
MCP는 외부 도구 및 서비스를 연결하는 데 사용되며, 예를 들어 에이전트가 비즈니스 시스템에 접근할 수 있도록 합니다. "설정 → MCP"에서 서비스를 추가하고 지침에 따라 구성한 후 연결이 성공하면 에이전트의 MCP 설정에 바인딩하세요.
로컬 회의록의 경우 파일 도구만으로 충분합니다. 브라우저 기술과 MCP는 필요할 때만 설치하여 사용하지 않는 구성 문제 해결을 피하세요.
기술 데모에서 에이전트는 세 가지 유형의 작업을 수행했습니다: 전자 교과서 찾기 및 다운로드, 샘플에서 Word 및 PDF 교육 자료 생성, 물리 문제를 조정 가능한 매개변수가 있는 대화형 웹페이지로 변환.
유사한 작업을 할당할 때는 교과서 이름, 샘플 파일 및 매개변수를 명확히 하세요. 요구 사항이 구체적일수록 확인이 쉽습니다.
Codex에서 잘 작동하는 작업은 그대로 두어도 됩니다. Cherry Studio는 또 다른 선택지를 제공합니다: 동일한 작업에 다른 모델을 시도하거나 다른 목적에 따라 다른 도구를 구성할 수 있습니다.
주간 진행 보고서에 동일한 에이전트를 재사용하고, 새 프로젝트에는 새 작업을 만들고 해당 폴더를 선택하세요. 웹페이지 제작을 위한 별도의 에이전트를 만들어 도구와 요구 사항을 구분하세요.
7. 지식 베이스 구축하기
반복적으로 사용할 자료(예: 제품 매뉴얼 또는 과거 기사)를 선택하세요. 현재 질문을 위해 한 번만 읽는 파일은 지식 베이스를 구축하지 말고 채팅에 직접 업로드하세요.
베이스를 구축하면 소프트웨어가 데이터를 세그먼트로 분할합니다. 질문을 하면 관련 원본 텍스트를 먼저 찾은 다음 채팅 모델에 전달하여 답변을 구성합니다. 데이터는 저장 및 검색이 별도로 이루어지며, 모델에 학습되지 않습니다.
왼쪽의 "지식 베이스"를 열고 추가를 클릭한 후 "제품 애프터세일즈 매뉴얼"과 같이 목적에 따라 이름을 지정하세요. 처음에는 "임베딩 모델"을 "사용 안 함"으로 설정하여 키워드 검색을 계속 허용하세요.
익숙한 파일 한두 개를 추가하고 처리를 기다린 후 구문 분석된 텍스트가 정상인지 확인하세요. 특히 스캔된 PDF를 확인하세요. 텍스트가 인식되지 않으면 검색할 수 없습니다.
이 지식 베이스에서 "리콜 테스트"로 이동하여 명확한 답변이 있는 질문을 하세요. 리콜은 검색된 세그먼트를 보여줍니다. 매뉴얼에 반품 조건이 있는 경우 "개봉 후 반품할 수 있나요?"라고 질문하고 결과가 정확히 그 조건인지 확인하세요.
이렇게 하면 검색된 원본 세그먼트를 직접 확인할 수 있으므로 모델의 답변을 통해 추측하지 않고 정확성을 확인할 수 있습니다.
확인이 완료되면 채팅으로 돌아가 입력 영역의 추가 버튼을 클릭하고 "지식 베이스"를 선택한 후 베이스를 체크하세요. 입력 영역에 이름이 나타나면 질문을 하세요:
1선택한 제품 데이터를 기반으로 가장 자주 묻는 애프터세일즈 질문을 정리하세요.23각 답변에 해당 출처를 첨부하세요.4데이터에 없는 내용은 "데이터에서 찾을 수 없음"이라고 작성하고, 약속을 추가하지 마세요.5다른 파일이 충돌하는 경우 충돌을 나열하고, 저를 대신해 결정하지 마세요.
지식 베이스 항목이 회색으로 표시되면 현재 모델이 도구 호출을 지원하는지 확인하고 메시지에 첨부된 파일을 제거하세요. 지식 베이스에는 최소한 하나의 처리된 파일이 있어야 합니다.
표현을 바꿨을 때 내용을 찾을 수 없으면 임베딩 모델을 추가하세요. 예를 들어, 텍스트에 "숙박비 기준"이라고 되어 있지만 "호텔에 대해 얼마를 청구할 수 있나요?"라고 질문하는 경우 표현이 다릅니다. 임베딩 모델은 최종 답변을 작성하는 채팅 모델이 아니라 의미를 기준으로 내용을 찾습니다.
구성은 모델 연결과 동일합니다. SiliconFlow를 예로 들어 "모델 서비스"에서 Key를 구성하고 목록을 가져온 다음 임베딩 범주에서 bge-m3와 같은 모델을 찾아 추가하세요.
지식 베이스 설정으로 돌아가 "임베딩 모델" 아래에서 선택하고 소프트웨어가 데이터를 인덱싱할 때까지 기다리세요. 이전에 다른 임베딩 모델을 사용한 경우 프롬프트에 따라 다시 빌드해야 합니다. 동일한 질문으로 다시 테스트하세요.
임베딩 모델이 있어도 키워드 검색은 유지됩니다. 올바른 내용이 발견되었지만 순위가 낮은 경우 Rerank 모델을 고려하세요.
Rerank 모델은 검색된 세그먼트를 재정렬하여 더 관련성 높은 항목을 먼저 배치합니다. 모델 서비스에서 bge-reranker-v2-m3와 같은 rerank 모델을 추가한 다음 지식 베이스 설정에서 선택하세요. 사용 가능한 모델과 비용은 제공업체에 따라 다릅니다.
임베딩과 Rerank가 항상 필요한 것은 아닙니다. 제품 모델이나 조항 번호를 확인하는 경우 키워드 검색만으로 충분할 수 있습니다.
문제 해결을 위해: 텍스트를 찾을 수 없으면 파일이 처리되었는지 또는 텍스트가 누락되었는지 확인하세요. 텍스트는 찾았지만 컨텍스트가 부족하면 세그먼트가 잘렸는지 확인하세요. 세그먼트는 완전하지만 답변이 틀린 경우 프롬프트를 확인하거나 채팅 모델을 전환하세요.
오래된 매뉴얼을 새 매뉴얼로 교체할 때는 오래된 항목을 제거하여 모순된 버전이 베이스에 남지 않도록 하세요. 데이터에 없는 질문을 하여 찾을 수 없다고 인정하는지 확인할 수도 있습니다.
에이전트가 이러한 자료를 검색하도록 하려면 에이전트의 지식 베이스 설정에서 해당 베이스를 바인딩하세요. 제품 계획의 경우 제품 매뉴얼을 제공하고 모든 회사 파일을 제공하지 마세요.
클라우드 임베딩, rerank 또는 채팅 모델을 사용하면 콘텐츠가 제공업체에 전송될 수 있습니다. 회사 데이터를 가져오기 전에 이것이 허용되는지 확인하세요.
8. 로컬 모델 연결하기
오픈소스 모델이나 제한이 적은 모델을 사용해보려면 자신의 컴퓨터에서 실행하고 Cherry Studio에 연결하세요. 동일한 인터페이스를 사용하지만 답변은 클라우드 API에서 오지 않습니다.
일반적인 선택은 Ollama와 LM Studio이며, 하나면 충분합니다. 이들은 모델을 다운로드하고 실행합니다. Cherry Studio는 연결, 채팅 및 데이터 구성을 처리합니다. Hugging Face는 모델을 찾는 곳입니다.
먼저 Ollama입니다. Ollama 웹사이트에서 다운로드하여 설치하고 터미널을 열어 다음을 실행하세요:
1ollama run dolphin-mistral
이것은 테스트용 7B 모델입니다. 먼저 파일을 다운로드합니다. 완료되면 터미널에서 질문하여 작동을 확인하세요.
Cherry Studio "설정 → 모델 서비스"를 열고 Ollama를 찾으세요. 서비스 주소는 일반적으로 다음과 같습니다:
1http://localhost:11434
서비스를 활성화하고 목록을 가져온 후 모델을 추가하고 채팅에서 선택하세요.
"localhost"는 자신의 컴퓨터를 의미합니다. 실패하면 Ollama가 실행 중인지, 모델이 다운로드되었는지, 포트가 변경되지 않았는지 확인하세요. 두 로컬 앱을 연결하기 위해 서비스를 공개 인터넷에 열지 마세요.
터미널을 선호하지 않는다면 LM Studio를 사용하세요. 검색 페이지에서 모델을 검색하고 다운로드한 후 모델을 로드하고 로컬 서버를 시작하세요. Cherry Studio에서 LM Studio 제공업체를 찾고 표시된 주소를 입력한 후 목록을 가져오세요. 모델이 로드되지 않거나 서버가 시작되지 않으면 Cherry Studio에서 사용할 수 없습니다.
"검열되지 않은 모델"을 찾으려면 Hugging Face에서 다음을 검색하세요:
1uncensored GGUF
"Uncensored"는 제한이 적다는 설명일 뿐 인증이 아닙니다. 모델이 창의적인 요청을 더 적게 거부할 수 있지만, 더 똑똑하거나 신뢰할 수 있다는 의미는 아닙니다. Cherry Studio에는 "모든 모델 제한 해제" 스위치가 없으며, 단지 다른 모델을 선택하는 것입니다.
GGUF는 일반적인 로컬 모델 형식입니다. 도구에 적합한 파일을 다운로드하기 전에 기본 모델, 지원 언어 및 라이선스를 확인하세요. 전체 저장소가 필요하지 않습니다.
7B 또는 8B, Q4 양자화 모델로 시작하세요. "B"는 매개변수 규모이고, "Q4"는 가중치가 압축되어 메모리를 덜 사용하지만 약간의 효과 손실이 있음을 의미합니다. 에이전트에서 사용하려면 도구 호출을 지원하는지 확인하세요.
소형 모델은 일반 컴퓨터에서 실행할 수 있습니다. Dolphin Mistral은 약 4GB입니다. 30B Q4 가중치는 15-16GB 이상일 수 있으며, 실행 오버헤드와 긴 대화를 위한 캐시는 제외됩니다.
16GB RAM이 있는 컴퓨터는 7B 또는 8B 양자화 모델을 시도할 수 있습니다. 속도는 칩, VRAM 및 컨텍스트 길이에 따라 다릅니다. 30B를 실행하려면 RAM/VRAM 및 디스크 공간을 확인하세요. 몇 줄은 작동할 수 있지만 긴 자료에서는 크게 느려질 수 있습니다.
완전히 로컬에서 실행할 때 입력은 클라우드 채팅 서비스로 전송되지 않으며 API 요금이 없지만 컴퓨터의 전력을 사용합니다. 클라우드 검색, 임베딩 또는 rerank를 사용하는 경우 해당 데이터는 여전히 외부로 전송될 수 있습니다.
참고: Cherry Studio 설정에서 다운로드할 수 있는 로컬 임베딩 및 OCR 구성 요소는 검색 및 텍스트 인식에 도움이 됩니다. 이를 설치한다고 해서 채팅 모델이 설치된 것은 아닙니다.
다음에 누군가 새 모델 인터페이스를 보내면 연결하고 테스트 질문을 실행하세요. 적합하면 유지하고, 그렇지 않으면 워크벤치를 변경하지 않고 교체하세요.
저는 Miles입니다. 빅테크에서 FDE로 전환한 AI 알고리즘 전문가로, R&D, 최적화, 배포 및 기업 교육 경험이 있습니다. 저를 팔로우하세요 @miles_mazy 함께 성장하고 수익을 창출하세요.
