No te estás quedando sin tokens. Los estás desperdiciando. Aquí está la diferencia.

TL;DR

Un análisis de 19 sistemas de memoria de IA muestra que las ventanas de contexto más grandes a menudo conducen a una degradación del rendimiento. Esta guía explora seis mecanismos, incluyendo la recuperación en dos pasos y el almacenamiento por niveles, para gestionar los presupuestos de tokens de manera efectiva.