YouMind
登入

從 Token 最大化到 Token 管理

@fukkyy
日語2026年6月01日
293K
606
108
0
726

TL;DR

隨著無限使用 AI 的時代結束,企業必須從 Token 最大化轉向 Token 管理,以確保投資報酬率(ROI)。本文探討 AI 成本如何成為與人力及行銷費用同等重要的關鍵管理議題。

今天我們來談談「Token Maxing」(最大化 AI Token 使用量)這個階段如何走完一個循環,而趨勢正轉向「Token Management」(Token 管理),開始質疑 AI 的投資報酬率。Token 管理現在已成為一個與人事規劃或行銷投資決策同等重要的管理課題。

在海外,「Token Management」這個概念通常以更技術性的「Token Optimization」來討論。為了清楚起見,我在這裡使用 Token Management 一詞,但請將其視為與 Token Optimization 同義。

Token Maxing 及其反彈

福島良典 | LayerX - inline image

過去一年來,生成式 AI 的使用處於一個可稱為「Token Maxing」的階段。這個階段的做法是:用 Token 大量轟炸任務、反覆使用最強大的模型、並將輸入的上下文用到極限。AI 供應商也將使用量擴張視為成功指標,實質上透過固定費率訂閱來提供補貼。在使用者端,則將「不計成本地使用最強模型」視為一種競爭優勢。

然而,進入 2026 年,對這種結構的明顯反彈已經開始浮現。

Uber 是一個象徵性的例子。該公司在內部設立了一個 Claude Code 排行榜,讓工程師互相競爭使用量,結果他們在短短四個月內就用完了 2026 年全年的 AI 編碼預算。Uber 營運長 Andrew Macdonald 在一個 Podcast 中提到:

「從現在開始,我們必須將 Token 消耗及其相關成本與勞動成本一起討論。如果我們無法畫出一條直線,證明到達客戶手中的功能增加幅度與我們的支出相當,那麼這種取捨就很難合理化。」

https://www.youtube.com/watch?v=y_mQ6xLcKyc&t=1776s

類似的擔憂也來自銷售 AI 的一方。微軟的 Satya Nadella 在 2026 年 3 月的摩根士丹利 TMT 會議上表示:

「為什麼我們要使用這麼多 Token?在許多情況下,我們在 Token 效率方面做得最差。每個人未來一年要努力的方向,是工具的使用以及讓 AI 更有效率的軟體。」

https://www.investing.com/news/transcripts/microsoft-at-morgan-stanley-conference-ais-transformative-role-93CH-4542000

事實上,微軟已經大幅縮減了它剛在內部導入的直接 Claude Code 授權。

從現在開始,AI 將不再是一個「盡量用」的工具,而是一個像勞動力或行銷成本一樣,會被質疑 ROI 的項目。 管理層的關注點將從使用了多少 Token,轉移到這些 Token 產生了什麼,以及下一步該分配在哪裡。

大規模 Token 使用是競爭的前提

雖然這聽起來有點負面,但前提是 AI 的演進極其強大。在開發領域,沒有不使用 Coding Agent 的選項。無法負擔一定水準 Token 成本的公司,基本上等於退出競爭。而且,那個「一定水準」的 Token 成本門檻相當高。我們必須面對一個殘酷的現實:沒有投資能力就無法加速。

事實上,工程師消耗的 Token 成本達到其薪資的數十百分比甚至一半的情況並不少見。我們必須開始將「僱用一名工程師的成本」不僅視為「薪資」,而是「薪資加上 AI Token 成本」的組合。對管理層來說,這是一個全新成本類別的出現。

Token Maxing 並非毫無意義的運動;透過全力使用 AI,我相信我們在「該在何處踩油門、該在何處更精準控制」這方面,學習進展得非常快。未來,能夠執行 Token Management——在該踩油門的地方踩油門,在該控制的地方控制——的公司將會脫穎而出。

Token Management 本身已成為一個管理課題。 Token Maxing 是公司結構轉型的重要第一步。

在我們公司,單純為了使用而使用 Token 的階段已經結束,我們正處於如何產出成果的階段。在 LayerX 的「Compass」(指導方針)中,有諸如 「讓 AI 成為成長驅動力」 和 「不要建立不會被使用的東西。不要掉入 AI 建構陷阱。」 等指示。

福島良典 | LayerX - inline image

來自 https://speakerdeck.com/layerx/compass_202209?slide=34

福島良典 | LayerX - inline image

來自 https://speakerdeck.com/layerx/compass_202209?slide=36

在這些指導方針的結果下,我們在內部優化了 Token。我們在該用的地方用,在該優化的地方優化,然而,在 LayerX,使用的 Token 數量與我們進行 Token Maxing 時相比並沒有顯著變化。我感覺 超過一定水準的大規模 Token 使用已成為競爭的前提。

Coding Agent 只是一個「先例」

這裡重要的是,這種爆炸性的 Token 消耗並不限於編碼這個專業領域。

目前,除了編碼之外,各種商業營運也正以與 Coding Agent 相同的方式被解決。銷售的訊號收集與提案建立、客戶支援查詢、自動費用報銷與審核、法務合約審查、行銷廣告營運、人力資源招募篩選——這些都一個接一個地被重新設計為自主執行 Agent。

自主 Agent 消耗的 Token 數量,與過去人類使用 AI 那種「一問一答」的方式完全無法比擬。隨著 Agent 執行更多工作,所有 AI 使用都將收斂到我們現在在 Coding Agent 上看到的相同模式。Coding Agent 只是剛好是第一個達到這種模式的先例。

福島良典 | LayerX - inline image

目前看起來像是「工程師專屬問題」的 AI Token 成本管理挑戰,很快就會變成全公司的管理課題。 這是因為在未來幾年內,公司內部的每一個業務領域都將出現相同的 Token 消耗模式。

Token 成本是一顆定時炸彈

福島良典 | LayerX - inline image

這裡我們還必須認識到另一個事實。我們目前支付的 AI 訂閱費用,遠低於實際成本。

目前,基礎模型供應商以虧損方式提供 AI 訂閱是常見現象,我們支付的固定費用與實際產生的成本之間存在巨大差距。如果你用 API 按用量付費的方式重新計算相同的使用量,成本會跳升好幾個數量級。訂閱模式讓使用者看不見實際成本。

問題在於,基礎模型公司隨時可能讓這個實際成本的差異變得明顯。當補貼部分開始以「從固定費率轉為按 Token 計費」、「引導至更高費率方案」或「漲價」的形式轉嫁給客戶時,那種「每個 ID 每月數萬日圓,一家 100 名員工的公司每年花費數千萬日圓」的感覺,可能在短時間內跳到「全公司每年數億或數十億日圓」的等級。 訂閱模式所隱藏的實際成本差異,就是這顆定時炸彈的威力。

首先需要做的,就是在爆炸浮現之前,讓公司內部正在發生的事情變得可見。

(這篇文章對細節很有幫助:https://www.thestateofbrand.com/news/ai-subscription-time-bombhttps://www.thestateofbrand.com/news/ai-subscription-time-bomb))

首先,可視化

解決這個問題首先需要的是非常基本的事情:讓「誰在使用哪個模型、使用了多少 Token」變得可見。 就這樣。

對於人員,我們已經有龐大的管理基礎,例如人事考核、目標管理、薪資制度和組織設計。對於行銷費用,在衡量 CAC 和回收期的同時進行優化是理所當然的。採購則有專門的團隊和工作流程。

然而,對於 AI,即使是這種最基本的可視化也尚未到位。對於 CEO 和 IT 部門來說,無法看到「現在誰在 AI 上花了多少錢」已經是一個主要的壓力來源。光是將數字放到儀表板上就能創造價值。

我們目前提供的「AI Token Advisor」正是為填補這個缺口而設計的產品。它是一個簡單的工具,可以可視化誰為了什麼任務使用了哪個模型以及多少 Token。(Bakuraku 用戶可以免費使用一個 ID!)

福島良典 | LayerX - inline image

來自 https://bakuraku.jp/resources/product/pre-registration-ai-token-advisor/

然而,可視化只是入口。真正重要的是隨之而來的問題。

「那個任務真的該用那個模型嗎?」

隨著可視化的進展,接下來總是會出現的問題是:「那個任務真的該用那個模型嗎?」

例如,用一個頂級推理模型(例如 Claude Opus 4.8 或 GPT-5.5;截至 2026 年 5 月的最新模型)來回答「今天天氣如何?」這樣的問題,顯然是過度了。最輕量的模型就足夠了,甚至可能根本不需要推理模型。同樣地,在公司內部,有大量案例是對諸如例行郵件撰寫這類成熟任務,仍持續使用昂貴的模型。

趨勢也因人而異。不習慣使用 AI 的人傾向於先選最強的模型。反之,深度使用 AI 的人則會根據任務性質切換模型。這種差異,無論在成本還是品質上,都大到組織無法忽視。

這裡重要的是,所有輸入給 AI 的內容最終都會被轉換成「提示詞」的形式。聊天問題和傳遞給 Agent 的上下文,在內部都是以提示詞的形式輸入給模型。換句話說,如果你看提示詞,你大致就能知道那個人讓 AI 做什麼。

從這個提示詞出發,我們可以偵測任務與模型之間的錯配,並提供如「對於這個任務,輕量模型就足夠了」的指導。更進一步,與其讓人們每次都選擇模型,不如讓系統自動分配最佳模型。 我們正朝著這樣的世界邁進。

福島良典 | LayerX - inline image

在 Agent 時代,這變得更加重要。由於 Agent 是自主執行的,沒有空間讓人類每次都思考「現在用 Opus 是不是太奢侈了?」從一開始,就別無選擇,只能將基於任務性質的最佳模型選擇交給系統。

我們在 Bakuraku 提供的服務,將以託管服務的形式提供,包括在後端實作最佳模型選擇,讓使用者無需意識到這一點。AI Token Advisor 僅僅是入口。

總結

AI Token 成本已經超過了可以用「只管砸錢」方式處理的規模。對於某些公司來說,它們正成為與勞動力和行銷成本相當的支出。

行銷成本由 CAC 嚴格管理,沒有人會說「不管 CAC 多少,儘管投放廣告」。勞動成本也是如此;薪資、招聘和人員配置都受到管理。你不會以任何薪資水準隨意僱人。

在同樣的層級上,AI 成本將進入管理的範圍。屆時首先需要做的就是可視化「花了多少錢」。接下來是檢查「是否為任務和人員選擇了適當的模型」。

這看起來可能不那麼光鮮亮麗,但掌握這兩個要點將成為未來幾年的關鍵管理課題。

對於那些想要一起實現這樣未來的人,LayerX 正在積極招募 AI Builder!

福島良典 | LayerX - inline image

我們正在積極招募!https://jobs.layerx.co.jp/

一鍵儲存

使用 YouMind AI 深度閱讀爆款文章

保存原文、追問細節、總結觀點,並在一個 AI 工作空間裡把爆款文章沉澱成可複用筆記。

了解 YouMind
寫給創作者

把你的 Markdown 變成乾淨的 𝕏 文章

圖片上傳、表格、程式碼區塊,往 𝕏 上手動重排太痛苦。YouMind 把整篇 Markdown 一鍵轉成乾淨、可直接發佈的 𝕏 文章草稿。

試試 Markdown 轉 𝕏

更多可拆解樣本

近期爆款文章

探索更多爆款文章