현재 지배적인 스토리는 오픈 소스가 엔터프라이즈를 잠식하고 있다는 것입니다. 최고의 폐쇄형 모델과 오픈 모델 간의 성능 격차는 낮은 한 자릿수로 좁혀졌습니다. Fortune 500 기업의 3분의 1이 Hugging Face에 인증 계정을 보유하고 있으며, 중국 연구소는 몇 주마다 최첨단에 근접한 오픈 가중치 모델을 출시하고 있고, 추론 제공업체들은 치열하게 경쟁하고 있습니다.
한편, Decagon에서는 현재 워크로드의 약 90%를 OpenAI나 Anthropic 대신 오픈 소스 모델로 실행하고 있습니다. 이는 대부분의 초고성장 앱 회사와 일관된 현상이며, 우리가 협력하는 대기업들도 이 방향으로 움직이고 있습니다.
그러나 전체 엔터프라이즈 지출은 반대 방향으로 움직이고 있습니다. 오픈 소스 모델은 엔터프라이즈 LLM 지출의 11%로 떨어졌으며, 이는 1년 전 19%에서 감소한 수치입니다.
트렌드는 실제로 대중적인 서사와 반대 방향으로 움직이고 있습니다. 왜 이런 일이 발생하며, 이것이 미래에 어떤 의미를 가질까요?
먼저, 우리가 90% 오픈 소스를 사용하는 이유에 대한 맥락을 설명하겠습니다. 비용 때문도 아니었고, 고객이 요구해서도 아니었습니다(고객이 반대하지는 않지만). 다른 선택지가 없었기 때문입니다.
고객 서비스를 위해 AI 에이전트를 프로덕션에서 실행할 때, 지연 시간은 제품의 성패를 좌우합니다. 모든 턴이 8초씩 걸리는 대화는 아무도 사용하지 않을 제품입니다. 따라서 작고 빠른 모델이 필요합니다. 모든 모델 호출이 리투아니아의 수도나 고등학교 물리학을 알 필요는 없습니다.
하지만 기본 상태의 작은 모델은 고객이 요구하는 품질 기준에 충분하지 않습니다. 정확한 작업에 대한 집중적인 파인튜닝을 통해서만 그 수준에 도달할 수 있습니다. 최첨단 연구소는 이러한 조합을 실제로 판매하지 않습니다. 우리가 필요한 방식으로 그들의 최고 모델을 파인튜닝할 수 없으며, 그들의 작은 모델은 우리가 마음대로 조정할 수 없습니다. 작고 파인튜닝된 모델은 오픈 가중치를 의미합니다. 비용 절감은 실제로 있지만 부차적이며, 엔터프라이즈가 자체 호스팅 모델에 편안함을 느끼는 것은 좋은 부수 효과일 뿐, 이유는 아닙니다.
그렇다면 왜 우리 같은 회사는 90% 오픈 소스인 반면, 더 넓은 엔터프라이즈 수치는 감소하고 있을까요?
정답은 사용 사례의 성숙도에 있습니다. 사용 사례가 새로운 경우, 가능한 가장 똑똑한 범용 모델을 원합니다. 문제의 형태를 아직 모르기 때문에, 결국 필요하지 않을 수도 있는 지능에 프리미엄을 지불합니다. 그 단계에서는 그것이 올바른 절충안입니다. 그러나 사용 사례가 완전히 구축되고, 입력 분포, 필요한 동작, 방어해야 할 실패 모드를 알게 되면, 절충안이 뒤집힙니다. 이제 일반 지능은 오버헤드가 되며, 특정 작업을 매우 잘 수행하도록 파인튜닝된 가장 작고 빠른 모델을 원합니다.
고객 서비스는 업계에서 가장 명백한 AI 사용 사례 중 하나입니다. 잘 이해된 워크플로우, 엄청난 대화량, 까다로운 품질 기준. 이는 우리 같은 회사가 평균적인 엔터프라이즈 배포보다 단순히 더 앞서 있다는 것을 의미합니다.
그리고 이것이 역설에 대한 해결책입니다. 오픈 소스 점유율이 하락한 이유는 오픈 소스가 지고 있기 때문이 아닙니다. 엔터프라이즈 AI 전체가 성숙도 곡선의 맨 처음에 있기 때문입니다. 작년에 기업들은 구축을 중단하고 구매를 시작했으며, 수천 개의 새로운 사용 사례가 한 번에 생겨났습니다. 새로운 사용 사례는 최첨단 모델에서 실행되므로 폐쇄형 점유율이 폭발적으로 증가했습니다. 11%는 분모 문제입니다: 성숙하지 않은 사용 사례의 풀이 성숙한 사용 사례의 풀보다 빠르게 성장하고 있습니다.
이것이 맞다면, 오늘날 최첨단 모델에서 프로토타입이 만들어지는 모든 사용 사례는 미래의 오픈 소스 마이그레이션입니다. 배포가 성숙해짐에 따라, 기업들은 우리가 했던 것처럼 증류, 파인튜닝, 전문화를 할 것입니다. 최첨단 연구소는 계속해서 발견을 소유할 것입니다. 오픈 소스는 점점 더 프로덕션을 소유하게 될 것입니다.
하지만 이것은 사람들이 생각하는 것보다 더 오래 걸릴 것입니다. 대부분의 사용 사례는 에이전트의 "형태"가 확정되어 오픈 소스 모델 파인튜닝을 시작하는 것이 합리적인 지점에 있지 않습니다.
파인튜닝에는 노력이 필요하며, 대부분의 조직은 이를 수행할 자원이나 전문성이 없습니다. 사용 사례는 ROI가 매우 높고 이미 대규모로 완전히 배포되어야 그만한 가치가 있습니다. 또한 특정 작업에서 작은 모델이 최첨단 모델과 동일한 수준으로 수행할 수 있도록 충분한 데이터가 필요합니다.
그렇지 않으면, 최첨단 폐쇄형 소스 모델 중 하나를 연결하는 것이 훨씬 쉽습니다. 인프라를 소유하는 것에 대해 걱정할 필요가 없으며, 자유롭게 반복하고 실험할 수 있는 자유를 얻습니다.
따라서 LLM 지출에서 오픈 소스의 비중은 결국 상승할 것이지만, 수년간은 일어나지 않을 것입니다.
