Как предотвратить перерасход токенов в Fable 5.1

Fable 5.1 — настоящий зверь. И сжигает токены он как зверь.

Вот как сократить расход токенов с помощью четырёх команд и бесплатных open-source репозиториев, которые помогут сэкономить ещё больше.

Всё это никак не влияет на качество ответов. Меняется только то, сколько вы платите за тот же результат.

И всё это работает независимо от того, используете вы Fable 5.1 или нет, потому что стоимость токенов складывается одинаково для любой модели.

Давайте начнём.

Шаг 1: Снизьте уровень усилий.

Это самый действенный приём, и это настройка, которую вы можете контролировать в каждом запросе.

Всего существует пять уровней: low, medium, high, xhigh и max.

Уровень усилий определяет, насколько глубоко модель размышляет перед ответом. Более высокий уровень означает больше размышлений перед ответом, что стоит больше токенов, даже если задача на самом деле не требовала таких размышлений.

Вот как это понять. Уровень усилий — это то, сколько времени вы даёте человеку подумать перед ответом. Спросите любого, сколько будет 2+2, и он скажет «4». Попросите его хорошенько подумать десять минут, и вы заплатите за десять минут размышлений, чтобы получить те же «4».

Ну... большинство задач — это 2+2.

Рекомендация Anthropic для Fable 5.1: начинайте с high, это значение по умолчанию. Повышайте до xhigh или max только для самых сложных задач, требующих максимальной производительности, в кодинге и агентной работе. Снижайте до medium или low для рутинных задач или задач, чувствительных к задержке, как только убедитесь, что качество на низком уровне остаётся приемлемым.

Цифры впечатляют. На CursorBench Fable 5.1 с низким уровнем усилий показал результат выше, чем Fable 5 с высоким уровнем усилий, при этом стоимость была в три раза ниже.

Проверьте это, прежде чем доверять. Выберите задачу, правильный ответ на которую вам уже известен, и запустите её на низком уровне.

«Выполни этот запрос с низким уровнем усилий и расскажи, что изменилось в ответе»

Используйте одну из своих реальных задач. Сравните результаты напрямую, прежде чем предполагать, что низкий уровень усилий означает худший результат. Оставляйте сложные задачи, многошаговые рассуждения, реальную отладку — всё, где неверный ответ будет стоить времени в будущем, — на уровне high или выше.

Шаг 2: Запустите cost-optimize.

Эта команда появилась 26 августа в рамках навыка claude-api. Она анализирует недавнее использование и ранжирует рычаги управления затратами, которые важны для конкретного проекта.

1/claude-api cost-optimize

Она проверяет кэширование, гигиену токенов, пакетную обработку, уровень усилий и выбор модели — именно в таком порядке. Кэширование и гигиена токенов обычно являются самыми дешёвыми исправлениями и окупаются быстрее всего, прежде чем команда предложит что-то структурное, например смену модели.

Каждое предложение одобряется или пропускается по одному. Никакие изменения не вносятся без подтверждения, так что риска переписать настройки нет.

Шаг 3: Запустите prompt-audit.

Со временем в промптах и навыках накапливается мусор.

Представьте себе ящик для всякой всячины. Каждое редактирование добавляет туда что-то новое, и вы никогда его не чистите. Только этот «ящик» взимает с вас плату токенами за каждый запрос, постоянно, пока мусор не будет удалён.

1/claude-api prompt-audit

Запустите его в любой папке с навыками. Старые навыки, которые вы, вероятно, редактировали снова и снова, — это именно то место, где он находит больше всего отходов. Каждое редактирование добавляло что-то, не удаляя то, что было заменено. Запустите это, и вы заметите разницу.

Шаг 4: Перенесите старые конфигурации API.

Если проект всё ещё использует конфигурацию, созданную для более ранней модели, эта команда обрабатывает замену ID модели, а также любые критические изменения параметров в кодовой базе.

1/claude-api migrate this project to claude-fable-5-1

Укажите актуальную целевую модель. Сначала она подтверждает область действия: всю рабочую директорию, одну поддиректорию или конкретный список файлов — прежде чем вносить какие-либо изменения. Затем она возвращает вам контрольный список того, что осталось проверить вручную.

Четыре репозитория для ещё большей экономии.

Они не привязаны к Fable 5.1. На любой модели действует та же экономия токенов, так что полезно знать, что существует и что именно делает каждый из них.

Caveman

Сжимает собственные ответы модели в короткие, телеграфные сообщения вместо многословных.

Установка:

1curl -fsSL https://raw.githubusercontent.com/JuliusBrussee/caveman/main/install.sh | bash

RTK

Rust-прокси, который сжимает вывод команд оболочки до того, как он попадёт в контекст модели.

Установка:

1brew install rtk
2rtk init -g

Ponytail

Заставляет агента изначально писать меньше кода. Взгляд старшего разработчика, который выбирает одну строку вместо пятидесяти.

Установка:

1/plugin marketplace add DietrichGebert/ponytail
2/plugin install ponytail@ponytail

CodeGraph

Этот работает совершенно иначе. Вместо сжатия текста он строит граф знаний кодовой базы, чтобы агент мог напрямую запрашивать связи символов и графы вызовов, а не сканировать файлы с помощью grep и read.

Установка:

1npx @colbymchenry/codegraph
2cd your-project
3codegraph init -i

С чего начать.

Если больше ничего не делать, сделайте Шаг 1. Снизьте уровень усилий для следующей рутинной задачи и сравните результат. Эта одна настройка сделает для ваших кредитов больше, чем любой репозиторий, и попробовать её ничего не стоит.

Затем запустите cost-optimize и prompt-audit для любого из ваших проектов.

Четыре подтверждённых настройки от самой команды Anthropic работают лучше всего, что можно установить из репозитория. После этого изучайте более широкую экосистему с помощью четырёх репозиториев, которые я вам дал.

Если это сэкономило вам токены/деньги, обязательно поставьте лайк и поделитесь этим со своими знакомыми.

Увидимся в следующем выпуске :)