Token budget, definícia a použitie | AI slovník

Odborná definícia

Token budget je plánovaný alebo technicky vynútený počet tokenov dostupných pre vstup, systémové inštrukcie, históriu, retrieval, nástroje a generovaný výstup v jednej požiadavke alebo procese. Musí rešpektovať kontextové okno modelu, rezervu na odpoveď a prípadné interné formáty. Rozpočet ovplyvňuje náklady, latenciu a kvalitu kontextu. Jeho prekročenie môže viesť k odmietnutiu, orezaniu skorších správ alebo strate podstatných dôkazov. Rozpočet sa testuje aj pri najdlhšej histórii, najväčšom retrieval výsledku a maximálnom povolenom výstupe.

Zrozumiteľné vysvetlenie

Predstavte si kufor s pevnou kapacitou. Systémový prompt, otázka, história chatu, nájdené dokumenty aj odpoveď používajú ten istý priestor. Ak retrieval vloží príliš veľa úryvkov, modelu zostane málo miesta na odpoveď alebo sa odstráni staršia informácia. Dobrý návrh preto rezervuje výstup, zoraďuje dôkazy podľa významu, skracuje históriu a meria tokeny konkrétnym tokenizérom. Najdlhší prompt nie je automaticky najlepší, pretože nadbytočný text môže prekryť relevantný signál. Systém má používateľovi oznámiť, keď musel skrátiť podklady, namiesto tichého predstierania úplného kontextu.

Časté otázky

Je token budget rovnaký ako context window?

Nie. Kontextové okno je maximálna kapacita modelu. Token budget je praktické rozdelenie tejto kapacity medzi jednotlivé časti požiadavky a rezervu na výstup.

Čo sa stane pri prekročení limitu?

API môže požiadavku odmietnuť, klient môže vstup skrátiť alebo systém odstráni staršie správy. Správanie musí byť explicitné, aby sa kritický kontext nestrácal potichu.

Ako sa rozpočet prideľuje RAG systému?

Určí sa priestor pre otázku, inštrukcie a odpoveď, zvyšok sa rozdelí medzi top-k úryvky. Chunky sa môžu komprimovať, deduplikovať alebo rerankovať.

Prečo treba rezervovať výstupné tokeny?

Ak vstup zaplní celé okno, model nemá kapacitu dokončiť odpoveď. Rezerva sa odvodzuje od požadovaného formátu, dĺžky a najhoršieho prípadu.

Ako token budget súvisí s cenou?

Mnohé služby účtujú vstupné a výstupné tokeny osobitne. Rozpočet preto slúži aj ako finančný limit pre jednu požiadavku, používateľa alebo workflow.

Súvisiace pojmy

Zdroje a redakčná stopa

OpenAI Tokenizer
Hugging Face Tokenizer documentation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.