토큰 경제 (Token Economy)
오늘날 AI 를 논할 때, 토큰이 왕입니다. 특히 추론 토큰은 AI 생태계의 성장을 추적하는 주요 지표로 자리 잡았습니다. 공개 기업들은 월별 처리 토큰 수를 보고하여 AI 성장을 과시하고, 분석가들은 상대적 토큰 볼륨을 기준으로 모델의 성공을 비교하며, 경영진은 시간 경과에 따른 토큰 사용량을 통해 AI 에 대한 투자와 헌신을 측정합니다.
이러한 광범위한 인기는 당연합니다. 토큰은 AI 지능과 연산의 기본 단위이며, 토큰의 성장은 전 세계 AI 의 전반적인 성장을 잘 나타냅니다. 또한 토큰은 추론의 복잡성을 단일 측정 단위로 추상화하여 이해하기 쉽고(단 2분이면 충분합니다!), 시간이 지나도 일관되게 추적할 수 있게 해줍니다. 일종의 공용어(lingua franca)로서 토큰은 기술적 이해도와 관계없이 폭넓은 청중이 AI 의 빠르고 복잡한 발전을 이해할 수 있게 합니다.
더 많은 사람들이 AI 를 사용하나요? 토큰이 증가합니다. 비추론 모델에서 추론 모델로 전환했나요? 토큰이 증가합니다. 쿼리에서 에이전트로 전환했나요? 토큰이 증가합니다. 에이전트가 이제 백그라운드에서 작업하거나 장기적인 작업을 수행할 수 있나요? 토큰이 증가합니다!
전체 절대 토큰 처리량은 AI 의 채택 증가뿐만 아니라, 모델과 AI 형태를 더 "토킨 소모적(token hungry)"으로 만드는 인프라 진화(예: 1분 vs. 1시간 동안 작업하는 에이전트)의 함수로도 증가합니다.
이러한 단순성은 또한 벤처 성장 투자자들에게 강력한 성장 투자 테제를 제공합니다. 이러한 모든 변화(채택 증가와 모델의 토큰 집약도 증가 모두)는 서로 누적되어 전체 토큰 볼륨의 폭발적이고 기하급수적인 성장을 만들어냅니다. 이를 예측하는 것은 쉽고, 장기 에이전트와 백그라운드 에이전트가 등장함에 따라 이러한 방향성이 계속될 것이라고 믿는 것도 쉽습니다. 추론이 뜨거운 투자 분야가 되고 많은 기업들이 추론 비즈니스에 진출하려는 것도 놀라운 일이 아닙니다.
이해하기 쉽고 인기 있는 AI 의 대표 사례가 가지는 단점은, 시야를 가려 유사하게 떠오르는 거대 트렌드들이 광범위한 청중이 보고 이해하기 어렵기 때문에 상대적으로 주목받지 못할 수 있다는 점입니다.
특히 한 가지 트렌드는 여러 측면에서 추론과 유사하며, 더 보편화되고 널리 이해됨에 따라 AI 논의에서 훨씬 더 큰 부분을 차지할 것으로 예상됩니다. 바로 데이터를 통해 모델 성능을 개선하는 시장, 즉 태스크 경제(Task Economy) 입니다.
태스크 경제 (Task Economy)
지난 3년 동안 LLM은 기본적인 질문에 답하는 수준에서 복잡한 문제를 추론하고, 더 길어진 시간 지평선에 걸쳐 실제 작업을 완료할 수 있는 에이전트가 되는 수준으로 발전했습니다. 이러한 여정의 초기에는 모델 개선이 인터넷에서 이용 가능한 데이터를 사용하여 증가하는 연산량으로 모델을 훈련시키는 방식으로 이루어졌습니다. 1) 더 이상 훈련할 인터넷 데이터가 고갈되고 2) 더 단순하고 일반적인 능력이 점차 포화됨에 따라, 추가 모델 개선의 명확한 병목 현상이 나타났습니다: 바로 점진적인 고품질 데이터입니다. 이 데이터는 태스크 경제에 의해 생성되고 제공될 것입니다.
태스크(Tasks) 는 강화 학습에서의 "실행 단위(unit of practice)"입니다. 모델은 초기 상태와 행동할 환경을 부여받고, 그 행동은 보상 신호/검증기에 의해 점수가 매겨집니다. 많은 태스크에 걸쳐 해당 점수들은 높은 점수를 받은 행동 쪽으로 모델의 행동을 변화시키는 훈련 신호로 집계됩니다. 엄밀히 말해 "태스크"는 이 RL 사후 훈련 기반을 의미합니다. 하지만 저는 이를 데이터 기반 개선의 단위를 일반적으로 지칭하는 데 더 느슨하게 사용하겠습니다. 업계가 모델을 더 좋게 만들기 위해 데이터가 취하는 새로운 형태를 빠르게 발명하고 있고, 솔직히 '태스크 경제'라는 말이 매우 듣기 좋기 때문입니다. 또한 저는 이 범주를 구식 명칭인 "데이터 레이블링(data labeling)"과 구별하고 싶습니다. 데이터 레이블링은 바운딩 박스나 LLM 응답에 대한 엄지척/엄지 내림을 연상시키는데, 시장은 지난 몇 년 동안 이러한 기본 요소를 훨씬 넘어 훨씬 더 복잡하고 가치 높은 태스크로 진화했기 때문입니다.
법률 업계를 간단한 실제 예로 들어보겠습니다. 공개 인터넷에서 훈련된 AI 모델은 법에 대한 높은 수준의 이해를 얻고 공개된 판례 등을 알 수 있습니다. 하지만 유능한 변호사의 실제 업무를 수행하려면 인터넷에서 구할 수 없는 데이터가 필요합니다. 모델이 고품질의 법률 업무 방식을 재현하려면 모델에게 프롬프트(계약서 검토, 주장 초안 작성)를 제공하고, 관련 환경(법률 데이터룸)에 배치한 후, 작업 품질을 평가/검증(예: 루브릭을 통해, 그 예시는 여기에서 볼 수 있습니다)해야 합니다. 이러한 태스크는 모델에게 무엇을 해야 하는지뿐만 아니라 어떻게 해야 하는지도 가르칩니다. 그리고 모델에 노출시키는 고품질 태스크가 많을수록 모델은 더 좋아집니다.
이런 방식으로, 토큰이 추론/모델 사용에 대한 것이라면, 태스크는 모델 개선 노력에 대한 것입니다. 토큰은 AI 지능과 연산의 기본 단위입니다. 태스크는 AI 개선의 기본 단위로 생각해야 합니다. 그리고 토큰과 마찬가지로, 태스크는 AI 채택의 함수로, 그리고 개발되는 최첨단 지능(Frontier Intelligence)이 점점 더 "태스크 소모적(task hungry)"이 됨에 따라 성장합니다.
이는 정확하거나 포괄적이지 않지만, 각 단계적 기능 증가가 훨씬 더 많고 더 높은 복잡성의 태스크를 필요로 한다는 몇 가지 예를 보여줍니다.
우리는 기본적인 선호도 레이블에서 루브릭을 사용하는 숙련된 전문가로 전환했습니다? 태스크가 증가합니다. 전문가 수준의 도메인 작업을 복제하는 수직 에이전트를 도입했습니다? 태스크가 증가합니다. 에이전트가 더 긴 시간 지평선에 걸쳐 작업해야 하나요? 태스크가 증가합니다. 기업들이 대규모로 평가(Evals)를 도입하고 있나요? 태스크가 증가합니다!
추론 시장과 마찬가지로, 이러한 누적된 성장 투입 요소들은 태스크 경제에서도 유례없는 성장을 만들어냈습니다:
- OpenAI 와 Anthropic 은 데이터 지출을 매년 10 배씩 확대하며, 모든 도메인의 전문가를 동원하여 데이터를 생성하고 에이전트를 훈련시키는 데 수십억 달러를 지출하고 있습니다.
- 우리 네트워크 내 주요 AI 애플리케이션 기업 및 엔터프라이즈 기업들은 데이터가 그들의 해자(moat) 라는 것을 인식하고, 차별화된 데이터 전략을 가진 응용 AI 가 기성 모델을 이길 수 있다는 점을 깨달으면서, 개별 태스크 관련 지출을 단기간 내에 1 억 달러 이상으로 확대하고 있습니다.
- 벤치마크 포트폴리오 기업이자 태스크 경제의 선도 플랫폼인 Mercor는 올 2 월 ARR 10 억 달러를 달성한 데 이어,단 4 개월 만에 ARR 20 억 달러를 달성했습니다.**
원시 태스크의 양, 해당 태스크의 길이와 복잡성, 태스크를 완료하는 전문가의 시간당 비용이 모두 증가하여 전체 태스크 지출의 기하급수적인 성장을 만들어냅니다.
그리고 이 시장의 최근 성장 신호가 인상적이었음에도 불구하고, 우리는 분명히 이 시장의 전반적인 성장과 영향력의 극히 일부만을 목격하고 있을 뿐입니다. 우리는 고급 도메인에서 고품질 작업을 복제할 수 있는 에이전트를 이제 막 보기 시작했으며, 기업들은 데이터가 연구소와 차별화되는 요소의 중요성을 깨닫고 올해부터 본격적으로 지출을 확대하기 시작했습니다. 이를 AI 가 미래에 갖추길 바라는 능력과 관련된 인간 지식의 99% 가 사람들의 머릿속에 있다는 배경과 비교해 보십시오. *만약 우리가 모든 종류의 응용 AI 기업(연구소, AI 앱 기업, 엔터프라이즈)이 그 암묵적 지식을 모델과 에이전트로 전송하기를 원할 것이라고 믿는다면(그리고 저는 그렇게 믿습니다), 앞으로 수년간 태스크 경제는 과거보다 훨씬 더 다양한 구매자/참여자에 의해 빠르게 성장할 것입니다.
태스크 메가 트렌드를 더 이해하기 쉽게 만들기
토큰과 태스크는 AI 의 발전과 진화를 측정하는 중요한 지표이며, 둘 다 빠르게 가속화되고 있습니다. 그러나 폭발적인 성장이 유사함에도 불구하고, 오늘날 온라인에서는 토큰에 대한 대화에 비해 태스크에 대한 대화가 훨씬 적습니다. 제 생각에는 주로 다음 두 가지 이유 때문입니다:
1) 역사적으로 이 시장의 지출은 최첨단 연구소(Frontier Labs)에 집중되어 있었고, 이들은 데이터/태스크에 대한 지출을 포함한 모델 개선 전략에 대해 극도로 비밀을 유지해 왔습니다. 그러나 올해부터 AI 앱 기업과 엔터프라이즈 기업들이 기성 모델과의 차별화를 구축하기 위해 태스크 경제를 수용하면서 이러한 상황은 빠르게 변화하고 있습니다. 이들 기업은 이 분야에서의 노력을 적극적으로 마케팅하고, 이 범주를 일반적인 AI 대화의 장으로 끌어올릴 가능성이 높습니다.
그리고 2) 시장에는 추론이 토큰이라는 단위를 가진 것처럼 깔끔한 가치 추상화 단위가 없었습니다. 이 글의 목적 중 하나는 이러한 상황을 변화시키고 태스크를 우리가 표준화할 수 있는 가치 단위로 대화를 집결시키는 것입니다. 토큰은 기술적 이해도와 관계없이 폭넓은 청중이 AI 의 발전을 이해할 수 있게 해주는 공용어 역할을 합니다. 태스크도 같은 방식으로, 폭넓은 청중이 업계의 AI 능력 향상을 위한 투자를 이해할 수 있게 해야 합니다.
이러한 병목 현상을 고려할 때, 업계에는 현재 "태스크 볼륨에 대한 OpenRouter"나 시간 경과에 따른 태스크 경제의 규모와 성장에 대한 실시간 대리 지표를 제공할 수 있는 유사한 도구가 없습니다. 미래에 어떤 기업이 그러한 것을 공개한다면 엄청난 가치가 있겠지만, 현재로서는 Mercor 팀이 친절하게도 해당 플랫폼의 분기별 전문가 작업 시간 기록 차트를 제공하여 시장의 기하급수적인 성장을 엿볼 수 있게 해주었습니다. 보시다시피, 실제 데이터는 이전 섹션에서 논의한 성장 규모/속도와 일치합니다:
출처: Mercor
여러모로 태스크 경제는 AI 의 미래를 결정짓는 시장입니다. 우리가 노트북에서 할 수 있는 모든 작업을 에이전트로 자동화하기 위한 장벽은 경제 내 모든 것에 해당하는 모든 앱, 모든 환경, 모든 태스크의 전체 분포를 포함하는 것입니다. 이는 모든 전문 분야, 학문 분야, 소비자 사용 사례에 걸쳐 막대한 데이터 구축을 필요로 합니다. 법률, 의학, 금융, 소프트웨어, 과학 등 각 분야는 고유한 전문가 생성 데이터셋, 평가, RL 환경을 필요로 합니다. 연구소, AI 앱 기업, 엔터프라이즈 기업들은 모두 경제적으로 유용한 작업의 전체 표면적에 걸쳐 이 데이터 인프라를 빠르게 확장하기 위해 경쟁할 것이며, 성공하는 기업은 최첨단 기능을 계속 개선하고 시장 점유율을 확보할 것입니다.
앞으로 몇 년 동안 태스크 경제가 더 가시화되고 보편화됨에 따라, 우리 커뮤니티는 이러한 노력을 훨씬 더 면밀히 추적하기 시작할 것입니다. 그리고 머지않아, AI 에 대해 이야기할 때, 태스크가 왕이 될 것입니다.
각주: AI 의 일반적인 능력 향상을 볼 수 있는 또 다른 분명한 영역은 모델의 알고리즘 개선입니다. 저는 이 글의 초점을 데이터에 맞추기 위해 이를 제외했지만, 이는 미래에도 알고리즘 개선이 이루어지지 않을 것이라고 생각해서가 아니라 초점/스타일상의 선택임을 밝힙니다.
