Empêchez Fable 5.1 de gaspiller des jetons

Fable 5.1 est une bête. Et elle brûle les tokens comme telle.

Voici comment réduire le gaspillage de tokens avec quatre commandes, et des dépôts open-source gratuits qui le réduisent encore plus.

Rien de tout cela n'affecte la qualité des résultats. Cela change simplement ce que vous payez pour le même résultat.

Et tout fonctionne, que vous soyez sur Fable 5.1 ou non, car le coût des tokens s'additionne de la même manière, quel que soit le modèle que vous utilisez.

Commençons.

Étape 1 : Réduisez votre niveau d'effort.

C'est l'astuce la plus importante, et c'est un paramètre que vous contrôlez à chaque requête.

Il y a cinq niveaux : low, medium, high, xhigh et max.

L'effort contrôle à quel point le modèle raisonne avant de répondre. Un effort plus élevé signifie plus de réflexion avant une réponse, ce qui coûte plus de tokens, que la tâche ait réellement besoin de cette réflexion ou non.

Voici comment le voir. Le niveau d'effort, c'est le temps que vous laissez à quelqu'un pour réfléchir avant de répondre. Demandez à n'importe qui combien font 2+2, il répondra "4". Demandez-lui de réfléchir intensément pendant dix minutes, et vous payez pour dix minutes de réflexion pour obtenir le même "4".

Eh bien... la plupart des tâches sont des 2+2.

Les recommandations d'Anthropic pour Fable 5.1 sont : commencez à high, qui est le réglage par défaut. Passez à xhigh ou max uniquement pour les travaux de codage et d'agents les plus sensibles aux capacités. Passez à medium ou low pour les tâches de routine ou sensibles à la latence, une fois que le niveau inférieur est confirmé comme maintenant la qualité.

Les chiffres sont fous. Sur CursorBench, Fable 5.1 en effort low a obtenu un score plus élevé que Fable 5 en effort high, pour un tiers du coût.

Testez avant de faire confiance. Choisissez une tâche dont la bonne réponse est déjà connue, puis exécutez-la en low.

"Exécute cette requête en effort low et dis-moi ce qui a changé dans la réponse"

Utilisez l'une de vos tâches réelles. Comparez directement les résultats avant de supposer qu'un effort low signifie de moins bons résultats. Gardez les tâches lourdes, le raisonnement en plusieurs étapes, le débogage réel, tout ce où une mauvaise réponse coûte du temps plus tard, à high ou au-dessus.

Étape 2 : Exécutez cost-optimize.

Cette fonction a été lancée le 26 août dans le cadre de la compétence claude-api. Elle examine l'utilisation récente et classe les leviers de coût qui comptent pour un projet spécifique.

1/claude-api cost-optimize

Elle vérifie la mise en cache, l'hygiène des tokens, le traitement par lots, le niveau d'effort et le choix du modèle, dans cet ordre. La mise en cache et l'hygiène des tokens sont généralement les correctifs les moins chers et les plus rapides à rentabiliser, avant même de suggérer quelque chose de structurel comme un changement de modèle.

Chaque suggestion est approuvée ou ignorée une par une. Rien ne change sans confirmation, donc il n'y a aucun risque qu'elle réécrive une configuration.

Étape 3 : Exécutez prompt-audit.

Les prompts et les compétences accumulent des déchets avec le temps.

Considérez cela comme un tiroir à bazar. Chaque modification ajoute une chose de plus, et vous ne le nettoyez jamais. Sauf que ce "tiroir" vous facture des tokens pour chaque requête, pour toujours, jusqu'à ce que les déchets soient retirés.

1/claude-api prompt-audit

Exécutez-le sur n'importe quel dossier de compétences que vous avez. Les anciennes compétences, celles que vous avez probablement modifiées maintes et maintes fois, sont exactement là où il trouve le plus de gaspillage. Chaque modification a ajouté quelque chose sans supprimer ce qu'elle a remplacé. Exécutez ceci et vous remarquerez la différence.

Étape 4 : Migrez les anciennes configurations API.

Si un projet utilise encore une configuration conçue pour un modèle antérieur, cette commande gère l'échange d'ID de modèle ainsi que les modifications de paramètres cassants dans l'ensemble de la base de code.

1/claude-api migrate ce projet vers claude-fable-5-1

Nommez le modèle cible réel. Il confirme d'abord la portée, tout le répertoire de travail, un sous-répertoire ou une liste spécifique de fichiers, avant de modifier quoi que ce soit. Ensuite, il vous renvoie une liste de contrôle de ce qui reste à vérifier manuellement.

Quatre dépôts pour réduire encore plus le gaspillage.

Ce ne sont pas spécifiques à Fable 5.1. Sur n'importe quel modèle, la même économie de tokens s'applique, donc il est bon de savoir ce qui existe et ce que chacun fait réellement.

Caveman

Compresse les propres réponses du modèle en réponses courtes et télégraphiques au lieu de réponses verbeuses.

Configuration :

1curl -fsSL https://raw.githubusercontent.com/JuliusBrussee/caveman/main/install.sh | bash

RTK

Un proxy Rust qui compresse la sortie des commandes shell avant qu'elle n'atteigne le contexte du modèle.

Configuration :

1brew install rtk
2rtk init -g

Ponytail

Amène l'agent à écrire moins de code en premier lieu. Un point de vue de développeur senior qui choisit une ligne plutôt que cinquante.

Configuration :

1/plugin marketplace add DietrichGebert/ponytail
2/plugin install ponytail@ponytail

CodeGraph

Celui-ci fonctionne complètement différemment. Au lieu de compresser le texte, il construit un graphe de connaissances de la base de code, afin que l'agent puisse interroger directement les relations entre les symboles et les graphes d'appels plutôt que de scanner les fichiers avec grep et read.

Configuration :

1npx @colbymchenry/codegraph
2cd votre-projet
3codegraph init -i

Par où commencer.

Si rien d'autre n'est fait, faites l'Étape 1. Réduisez le niveau d'effort sur la prochaine tâche de routine et comparez les résultats. Ce seul réglage fait plus pour vos crédits que n'importe quel dépôt, et cela ne coûte rien à essayer.

Ensuite, exécutez cost-optimize et prompt-audit sur l'un de vos projets.

Les quatre paramètres confirmés par la propre équipe d'Anthropic surpassent tout ce qui est installé à partir d'un dépôt. Explorez l'écosystème plus large après cela avec les quatre dépôts que je vous ai donnés.

Si cela vous a fait économiser des tokens/de l'argent, n'oubliez pas d'aimer et de partager avec votre réseau.

À la prochaine :)