이번 주에 저는 맥북에서 완전히 로컬 AI 모델을 실행해봤습니다. 호기심으로가 아닙니다. "이게 뭔지 한번 보자"식의 데모도 아니었어요. 실제 워크플로우, 실제 에이전트 시스템, 실제로 해야 할 작업에 진지하게 사용해보려고 한 거였습니다.
모델은 90억 파라미터의 Qwen 3.6이었고, 제 머신은 16GB RAM의 M1 Pro였습니다. Mac Studio도, 워크스테이션도 아닌, 평범한 노트북이었죠. Qwen 3.6은 최근에 출시된 모델이고, 더 작은 변형들이 지금 이 실험을 시도할 가치가 있게 만든 이유입니다. 6개월 전이 아니라요.
작동했습니다.
"작동했다"는 오류 없이 실행됐다는 의미가 아닙니다. 앉아서 이것저것 해보면서 하드웨어와 싸우고 있다는 느낌이 들지 않았다는 의미입니다. Claude보다는 느렸습니다. 당연하죠. 하지만 그 느림은 감당할 수 있는 범위 안에 있었습니다. 느리다는 걸 인지하지만, 벌을 받는 것처럼 느껴지지 않는 그런 느림이었습니다.
예상보다 훨씬 놀라웠습니다.
두 가지 다른 "로컬 AI" 이야기
실험에 들어가기에 앞서, 하나의 개념으로 자주 합쳐지는 구분을 해두는 게 좋겠습니다.
첫 번째 버전의 "로컬 AI"는 클라우드 모델을 사용하는 로컬 에이전트입니다. 모든 코드는 내 기기에 있습니다. 메모리 시스템, 자동화 스크립트, 도구 통합까지. 하지만 실제 모델은 원격에 있습니다. 노트북에서 Claude나 OpenAI를 호출하지만, 전체를 운영하는 아키텍처는 내 하드웨어에 있는 내 것이죠.
그리고 이것이 사람들이 올해 로컬 에이전트 프레임워크를 호스팅하기 위해 Mac Mini를 구매하기 시작한 이유이기도 합니다. OpenClaw가 바이럴 됐을 때 이에 대해 썼는데요: 기기는 저렴한 부분입니다. 기본 Mac Mini는 약 599달러 정도입니다. 클라우드 모델이 무거운 생각을 합니다. 오케스트레이션은 로컬, 프라이빗, 항상 켜져 있도록 유지하면서, 항상 켜져 있는 구독 등급이나 다른 사람의 인프라에 의존할 필요가 없습니다.
두 번째 버전은 완전히 로컬 LLM입니다. 모델 자체가 내 기기에 있습니다. API 호출이 없고, 클라우드 의존성이 없으며, 데이터가 내 머신을 떠나지 않습니다. 오랫동안 이 두 번째 경로는 심각한 하드웨어를 의미했습니다. 실행할 가치가 있는 모델이 컸고, 크다는 것은 비싸다는 의미였기 때문입니다. 진정으로 유능한 무언가를 얻으려면 매우 강력한 Mac Studio나 그 이상이 필요했습니다.
그 계산이 바뀌기 시작했습니다.
맥북 실험
90억 파라미터의 Qwen 3.6은 16GB RAM에서 수용 가능하게 실행됩니다. 이것이 핵심 발견이며, 생각보다 큰 의미입니다.
저는 Ollama를 사용했습니다. Ollama는 사실상 한 줄 명령어로 설치할 수 있고, 모든 모델 관리를 처리하며 localhost:11434에서 로컬 OpenAI 호환 API를 제공합니다. OpenAI 형식을 지원하는 모든 도구는 이를 가리킬 수 있습니다. 제가 Wiz의 인터페이스로 사용하는 Claude Code도 포함됩니다.
이를 재현하려면 세 가지 명령어면 됩니다:
<code-segment id="0" lang="text">
ollama pull qwen3.6:9b
ollama run qwen3.6:9b
or in a single command:
ollama pull qwen3.6:9b && ollama run qwen3.6:9b
</code-segment>
이게 전부입니다. Ollama는 localhost:11434에서 OpenAI 호환 API로 로컬 서버를 시작합니다. Claude Code를 사용한다면, 기본 URL을 설정하여 Ollama를 가리킬 수 있습니다. OpenAI API 형식에 맞춰진 모든 도구는 그냥 작동합니다. 이제 오프라인, API 키 없음, 토큰당 비용 없음입니다.
실제로 일어난 일은 다음과 같습니다:
메모리 회상은 놀랍게도 잘 작동했습니다. 메모리 파일에서 컨텍스트를 가져오라고 요청했더니, 파일을 읽고 합리적인 정확도로 관련 정보를 표면화했습니다. 합성 수준은 Claude 수준은 아니었지만, 정보는 검색되어 올바르게 사용됐습니다. 기본적으로 "파일을 읽고, 관련 부분을 찾아서 보고하는" 작업에 대해 90억 파라미터 모델은 충분히 잘 처리합니다.
도구 호출은 흥미로웠습니다. Qwen은 간단한 요청에 대해 내 에이전트 시스템의 도구를 합리적인 정확도로 호출할 수 있었습니다. 이것은 에이전트 작업에서 원시 텍스트 품질보다 더 중요합니다. AI 비용 최적화에 대해 생각할 때, 가장 아름다운 문장을 작성하는 모델보다 적시에 올바른 도구를 호출할 수 있는 모델이 종종 더 가치 있습니다.
창의적인 작업과 복잡한 추론? 그렇지 않았습니다. 글쓰기 도움, 분석, 또는 실제 합성이 필요한 모든 것을 요청했을 때 품질 차이가 눈에 띄었습니다. 이것은 비판이 아닙니다. 단지 90억 파라미터 모델이 무엇이고 무엇이 아닌지에 대한 솔직한 관찰입니다. 40억 파라미터 변형도 시도해봤는데, 예상대로 성능 저하가 상당했습니다. 제 작업 유형에서는 90억이 사용성 선을 긋는 지점입니다.
여기서 중요한 프레임은: 이것은 Qwen을 Claude Opus와 비교하는 것이 아닙니다. 같은 범주가 아닙니다. 로컬 모델이 제가 하는 작업의 실제 하위 집합을 처리할 수 있는지 여부이며, 대답은 '예'입니다. 실제로 무시할 수 없는 하위 집합입니다.
아직 탐구하지 않았지만 관심 있는 경로도 있습니다: 파인튜닝입니다. 자체 하드웨어에서 40억 또는 90억 파라미터 모델을 파인튜닝할 수 있습니다. 자신의 글쓰기, 선호도, 용어, 스타일을 주입하세요. 어떤 기성 모델보다 더 맞춤화된 것을 얻을 수 있습니다. 맥북에서 가능합니다. 시간이 걸리지만 이론적인 연습은 아닙니다. 모델이 정확히 무엇을 하길 원하는지 아는 특정 개인 작업의 경우, 파인튜닝된 소형 모델이 범용 대형 모델보다 성능이 뛰어날 수 있습니다.
아이폰 실험
아이폰 실험은 즉각적인 유용성보다는 호기심에 더 가까웠습니다. 하지만 결국 가장 놀라운 부분이 됐습니다.
제가 사용한 앱은 PocketPal AI입니다 (앱 스토어에서 무료). 아이폰에서 직접 언어 모델을 다운로드하고 실행할 수 있는 오픈 소스 앱으로, 완전히 로컬로 작동합니다. Hugging Face에서 모델을 찾아보고, Wi-Fi를 통해 한 번 다운로드한 후 인터넷 없이 실행합니다. 이것이 작동하는지 확인하는 가장 간단한 방법은 비행기 모드를 켜고 모델에게 무언가를 묻는 것입니다. 응답합니다. 어떤 데이터도 휴대폰을 떠나지 않았습니다.
아이폰 17 Pro에서 8억 및 20억 파라미터 Qwen을 실행했습니다. 설정은 간단합니다:
- 앱 스토어에서 PocketPal AI 설치
- 앱 열고 모델 브라우저로 이동
- Qwen 검색 후 소형 변형 다운로드 (구형 휴대폰은 0.5B 또는 1.5B, 17 Pro 같은 신형은 2B)
- 채팅 시작 후, 비행기 모드를 켜서 완전히 로컬인지 확인
당연한 질문은 "이게 Claude만큼 좋은가?"가 아니라 "휴대폰에 로컬로 유용한 것을 넣을 수 있는가?"였습니다. 대답은 '예'이지만, 명확한 한계가 있습니다. 이것들은 아주 작은 모델입니다. 기본적인 텍스트 작업과 짧은 질문 응답을 합리적인 품질로 처리합니다. 하룻밤 사이에 앱을 만드는 데 도움을 주지는 않습니다. 하지만 실행됩니다. 기기에서 완전히, 완전히 로컬로.
여기서 가장 흥미로운 함의는 모델 성능이 아닙니다. 하드웨어 신호입니다. 2026년에 아이폰이 로컬 LLM을 실행한다는 것은 스마트폰이 이제 이것을 할 만큼 강력해졌다는 의미입니다. 그것은 의미 있습니다. 8억 파라미터 모델이 인상적이어서가 아니라, 이미 주머니에 있는 하드웨어가 임계점을 넘었기 때문입니다.
개인정보 보호 측면도 현실적입니다. 어떤 데이터도 기기를 떠나지 않을 때, 무엇을 어디로 보내는지 생각할 필요가 없습니다. 질문을 규율하는 서비스 약관도, API 로그도 없습니다. 실리콘 위에서 실행되는 가중치와 나만 있을 뿐입니다. 클라우드 AI 서비스가 EU에서 금지되어 6개월 분량의 음성 데이터에 접근할 수 없게 된 이후로 계속 생각해왔습니다. 로컬은 다른 종류의 회복력입니다.
비용 측면
기술적 관심을 넘어 이것이 중요한 실용적인 이유: 많은 에이전트 작업을 실행할 때 AI 구독 비용이 빠르게 쌓입니다. 이것은 가정이 아닙니다. 사용량을 면밀히 추적하고 있습니다.
모든 작업에 Opus가 필요한 것은 아닙니다. 많은 에이전트 작업은 진정으로 간단합니다: 파일 읽기, 무언가 형식화, 짧은 메모 요약, 컨텍스트에서 사실적인 질문에 답변. 그런 작업을 프론티어 모델 대신 로컬 모델로 라우팅하면 계산이 상당히 달라집니다.
Haiku의 다음 버전을 주시하고 있습니다. 계속 좋아지고 비용은 계속 떨어집니다. 로컬 모델도 같은 궤적을 따르고 있습니다. 단지 다른 계층에서 말이죠.
앞으로의 방향
AI의 미래는 현재 논의가 시사하는 것보다 훨씬 더 많은 로컬 컴퓨팅을 포함할 것이라고 생각합니다.
제가 보는 형태는: 어려운 작업은 클라우드 모델입니다. 복잡한 추론, 창의적인 작업, 아키텍처 결정, 진정한 방향과 비전이 필요한 것들. 하지만 에이전트 시스템에서 매일 발생하는 수백 개의 작은 인지 작업에 대해서는 로컬 모델이 충분히 좋아져서 라우팅이 합리적이 될 것입니다.
하드웨어 논쟁도 여기서 중요합니다. 지난 4년간의 소비자용 실리콘을 보세요. M1, M2, M3, M4, M5. 각 세대가 이전 세대보다 훨씬 빠르고 메모리 효율적입니다. 더 나은 모델과 더 나은 하드웨어, 양측의 궤적은 같은 곳을 가리키고 있습니다. 몇 년 후에는 사람들이 이미 소유한 노트북이 이번 주에 제가 실행한 것보다 눈에 띄게 더 강력한 모델을 실행할 것입니다.
대략적인 예측: 3년 후에는 특정 사용 사례에 맞게 파인튜닝된 로컬 모델이 해당 특정 작업에서 오늘날의 프론티어 모델과 진정으로 경쟁할 것입니다. 일반 추론이 아닙니다. 창의적인 합성이 아닙니다. 하지만 "내가 관심 있는 이 특정 작업을 빠르게, 프라이빗하게, 인터넷 연결 없이 수행하는" 것입니다. 그것은 매우 현실적이고 유용한 범주입니다.
환경적 측면도 충분히 논의되지 않습니다. 데이터 센터에 쿼리를 보내는 에너지와 인프라 비용은 로컬 실리콘에서 동일한 추론을 실행하는 것보다 몇 배 더 높습니다. 대부분의 일상적인 AI 작업이 로컬로 전환되면 리소스 방정식이 바뀝니다. 해결된 것은 아니지만, 의미 있게 달라집니다.
현재 트레이드오프는 명확합니다: 로컬 모델은 제한적이고, 파인튜닝은 노력이 필요하며, 프론티어 모델과의 성능 격차는 현실적입니다. 하지만 이동 방향은 모호하지 않습니다. 격차가 좁혀지고 있습니다. 이번 주에 몇 년 동안 사용해온 하드웨어에서 테스트했고, 작업을 어디로 라우팅할지 생각하게 만들 만큼 잘 작동했습니다.
궁금하시다면: Ollama를 설치하고, Qwen 3.6 9B를 가져와서 워크플로우에서 간단한 것을 시도해보세요. 벤치마크를 실행하는 것과는 다른 경험입니다. 놀랍도록 현실적입니다.
이 내용이 유용했다면 제 텔레그램 채널을 팔로우하세요:
