Если вам не терпится и вы хотите прочитать этот пост, просто скопируйте и вставьте этот промпт в свой Claude Code / Codex / Grok прямо сейчас, чтобы получить результат сразу:
Установи XERJ (документация:
https://xerj.org/llms.txt ), проиндексируй исходники этого проекта и настрой референсное кодирование: клонируй и проиндексируй open-source репозитории, наиболее близкие к тому, что мы создаем, и ищи, как они решали проблему, прежде чем писать код.
Большинство людей используют Claude Code как дорогого стажера, а вот как сделать его умнее с каждым шагом (по-настоящему)
Вы даете ему задачу. Он задает несколько вопросов. Он грепает репозиторий, угадывает, как работает ваш код, пишет реализацию, что-то ломается. Вы вставляете ошибку. Он переписывает. Ломается что-то еще.
Каждый такой шаг — это токены, за которые вы заплатили.
И Клод обычно застревает не потому, что проблема сложная. Он застревает, потому что вы заставляете его заново открывать ответ, который уже где-то существует, либо в вашем собственном репозитории, либо в open-source проекте, где несколько тысяч разработчиков уже нашли все граничные случаи.
XERJ проверил это должным образом. 8 задач по кодингу, 4 языка, 16 прогонов на каждую конфигурацию, количество токенов взято напрямую из Claude -p.
По памяти: 260 916 выходных токенов С референсом: 9 982 выходных токена
По памяти решено 11 из 16. С референсом решены все 16.
Так что настройтесь и реально прочитайте это ↓↓↓
Цикл, за который вы платите
Обычная сессия выглядит так.
Вы описываете, что хотите. Клод исследует. Он делает предположение о ваших паттернах, вашей обработке ошибок, структуре ваших данных. Он пишет код, основываясь на этом предположении. Предположение где-то оказывается неверным, поэтому что-то ломается, вы объясняете ошибку, он переписывает, и вы ходите по кругу, пока результат не совпадет с тем, что у вас было в голове с самого начала.
Люди воспринимают этот цикл как то, что Клод плохо кодит. Это не так. Клод очень хорош в том, чтобы взять рабочий пример и адаптировать его к новой ситуации. Цикл возникает, когда в комнате нет примера, поэтому он тратит первую половину сессии на его реконструкцию.
Выходные токены — дорогие, их цена примерно в 5 раз выше входных на моделях Claude. Так что каждый круг этого цикла тарифицируется по максимальной ставке.
Промпт и референс — это не одно и то же
Промпт — это инструкция. Референс — это доказательство.
Вы можете написать две тысячи слов, точно описывая, как должна вести себя вещь, и Клоду все равно придется переводить это описание в реализацию, а затем догадываться обо всем, что вы упустили.
Рабочая реализация уже содержит те части, которые вы бы никогда не записали:
архитектуру, обработку ошибок, логику повторных попыток, граничный случай, с которым кто-то столкнулся в продакшене два года назад, причину, по которой функция разбита именно так.
Вы не упомянули их в промпте, потому что не знали, что они важны.
Вот самая острая версия этого. Компилятор в конечном итоге выдаст имя метода. Он скажет вам, что функция называется absorb, а не push, и возьмет за это в 20–25 раз больше токенов. Компилятор никогда не выдаст контракт. Ничто в вашем инструментарии не скажет вам, что эта структура должна быть запечатана, прежде чем ее можно будет прочитать. Это правило живет в голове того, кто написал библиотеку, и в теле функции, и никакое количество написания промптов его не восстановит, потому что вы не знаете, что оно существует.
Вот почему это одновременно сокращает токены и повышает качество. Больше полезного контекста на входе, меньше догадок, меньше переделок.
Что показали тесты
По сравнению с настройкой на основе grep, референсное кодирование использовало в 2,7 раза меньше выходных токенов на тех же 8 задачах. Общая стоимость по веткам составила: $11,18 по памяти, $3,27 с grep, $1,58 с референсом.
Grep выглядит как решение, но в основном им не является. Grep говорит агенту, куда смотреть, но агенту все равно нужно прочитать файл в контекст, чтобы его понять. Один корпус в этом исследовании потянул 1,06 миллиона входных токенов, делая именно это. Более дешевые токены, но огромная их куча, плюс каждый шаг агента, который вы просидели.
Затем был более масштабный прогон. 13 библиотек, написанных с нуля для исследования на 5 языках, каждая компилируется и проходит свои собственные тесты, каждая несет в себе правило времени выполнения, о котором компилятор не может вас предупредить. Создано так намеренно, потому что нельзя тестировать поиск на коде, который модель уже запомнила.
Без референсов, по памяти: 1 из 21 С поиском: 21 из 21
$21,90 против $3,38.
Это другой результат, а не просто более дешевый.
Самый чистый пример там — задача на Java. Создать журнал только для добавления, запечатать перед воспроизведением, обрезать до контрольной точки. По памяти он изобрел все заново, 503 строки, примерно 36 000 токенов, неверная семантика обрезки, не прошел тест. Получив референс, он написал четыре строки. 103 токена. Прошел.
Разброс по языкам говорит вам, где находится ценность. Python: с 14 752 до 214. C: с 18 792 до 988. Java: с 27 108 до 98. JavaScript: только с 4 300 до 646, потому что префиксное дерево — это известная структура, и модель уже наполовину знала ответ.
Разработчики, использующие XERJ в обычной повседневной работе, сообщают примерно о в 5 раз меньшем количестве токенов. Это данные, сообщенные самими пользователями, а не бенчмарк, так что воспринимайте это как минимум, а не как главный результат.
Почему более длинный промпт не решает эту проблему
Какое-то время ответ на плохой результат был всегда одним и тем же: напиши лучший промпт. Добавь больше контекста. Объясни архитектуру.
И иногда это работает.
Но промпт — это ваше описание решения, которое вы еще не написали. Референс — это решение, которое кто-то уже запустил и отладил. Вы не можете описать словами логику повторных попыток, которая существует только потому, что мейнтейнер получил лимит запросов в 3 часа ночи и в спешке добавил патч.
Код уже есть. Вам не нужно объяснять решения, которые в него вошли.
Поиск референса — это и есть настоящая работа
Вот где все разваливается.
Делать это вручную означает открыть GitHub, читать репозитории, которые подходят наполовину, копаться в старых пул-реквестах, затем открывать свою собственную кодовую базу восьмимесячной давности и пытаться вспомнить, как вы назвали файл. К тому времени, как вы найдете что-то полезное, вы могли бы уже написать эту функцию.
Поэтому поиск должен быть дешевым, иначе никто не будет делать это дважды.
Для этого и нужен XERJ. Он индексирует код и позволяет искать по решаемой проблеме, а не по имени файла или ключевому слову, а затем извлекает соответствующую реализацию в качестве референса, который можно передать напрямую Клоду. https://xerj.org
Как это запустить
1) Скопируйте/вставьте промпт для установки в сессию Claude Code
Установи XERJ (документация:
https://xerj.org/llms.txt ), проиндексируй исходники этого проекта и настрой референсное кодирование: клонируй и проиндексируй open-source репозитории, наиболее близкие к тому, что мы создаем, и ищи, как они решали проблему, прежде чем писать код.
2) Проверьте ответ вашего агента кодинга и предложите проекты для клонирования в качестве референсов
Что бы вы ни создавали, вы всегда знаете, кто еще делает то же самое. Некоторые проекты будут уже найдены Claude Code на этом этапе, и вы можете добавить больше по своему выбору. 5–10 обычно достаточно, но это зависит от того, что вы кодите.
3) Создайте следующую функцию продукта и проверьте результаты
Просто позвольте этому работать и наслаждайтесь (или нет) новыми результатами. Вы всегда можете вернуться к пустой трате времени на кодинг, но я уверен, что вы увидите разницу мгновенно.
4) Поддерживайте его работу и помогайте сообществу своими отзывами
Каждая задача, завершенная таким образом, становится референсом для следующей. Библиотека накапливается. В любое время, когда...
Когда это можно пропустить
Если модель уже знает код, это налог и ничего больше. Однако это нечастый случай.
Они измерили и это, на Valkey и Memcached, реальном публичном коде, на котором Клод точно обучался. По памяти: 6 из 6 за $1,49. С поиском: 5 из 6 за $4,40. Он оказался последним и стоил в три раза дороже, чем ничего не делать.
Так что линия проходит так: с одной стороны — приватный, проприетарный или действительно незнакомый код, с другой — все, что модель уже «съела».
Если то, что вы создаете, никогда раньше не создавалось, не на что указать, и вы возвращаетесь к его описанию.
Если референс написан для версии фреймворка, которую вы не используете, он обойдется дороже, чем сэкономит.
И если задача состоит из четырех строк, просто напишите ее.
Что еще остается открытым
13 библиотек были созданы для исследования, что делает их незнакомыми по построению, а также небольшими. Никто еще не запускал это против действительно большой частной кодовой базы. Ожидается, что разрыв там увеличится, поскольку стоимость grep растет с размером дерева, в то время как стоимость поиска остается плоской, но это предположение, пока кто-нибудь это не измерит.
Все цифры выше взяты из опубликованного бенчмарка самого XERJ, необработанные данные каждого прогона находятся в их репозитории. https://xerj.org/case-studies/reference-coding
Вывод
Вам не нужна другая модель, и вам не нужно уходить из Claude Code.
Вам нужно перестать начинать каждую задачу с нуля, потому что то, что вы создаете, вероятно, уже существует где-то в вашем репозитории или в open-source проекте, который решил эту проблему два года назад.
Если кто-то уже решил это, передайте Клоду их код и позвольте ему работать с этого места. И это ничего вам не стоит, всего один промпт.
