Odborná definícia
Význam a odborné vymedzenie pojmu
Context window je maximálny počet tokenov, ktoré model môže spracovať v rámci jedného výpočtového kontextu. Podľa konkrétneho API sa do limitu započítavajú systémové a používateľské správy, história, nástroje, dokumenty, reasoning tokeny a generovaný výstup. Okno nie je dlhodobá pamäť ani záruka rovnomernej pozornosti ku každej časti vstupu. Pri prekročení limitu musí aplikácia obsah skrátiť, vybrať, zhrnúť alebo rozdeliť. Väčšie okno zvyšuje možnosti práce s dokumentmi, ale aj cenu, latenciu a riziko konfliktov v kontexte.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak má konverzácia, prílohy a požadovaná odpoveď spolu viac tokenov než model zvládne, najstaršie alebo najmenej dôležité časti sa musia vynechať. To môže spôsobiť, že asistent zabudne pôvodné pravidlo alebo citáciu. Väčšie okno umožní vložiť dlhší materiál, no neznamená, že model spoľahlivo nájde každý detail. Produkčná aplikácia preto počíta tokenový rozpočet, rezervuje miesto pre výstup a nástroje, používa retrieval a uchováva rozhodujúci stav mimo samotnej konverzácie.
Časté otázky
Otázky, ktoré spresňujú význam
Započítava sa do okna aj odpoveď modelu?
V mnohých API áno, maximálny rozpočet zahŕňa vstup aj generovaný výstup a niekedy samostatné reasoning tokeny. Presné pravidlo sa kontroluje v dokumentácii konkrétneho modelu. Aplikácia musí ponechať rezervu, inak sa odpoveď skráti alebo požiadavka zlyhá.
Je token rovnaký ako slovo?
Nie. Token môže byť celé krátke slovo, časť slova, interpunkcia alebo znak. Počet závisí od tokenizéra a jazyka. Slovenský odborný text môže mať iný pomer tokenov k slovám než angličtina, preto sa limit meria skutočným tokenizérom.
Čo sa stane pri prekročení limitu?
API môže požiadavku odmietnuť, automaticky skrátiť určitú časť alebo aplikácia sama odstráni obsah podľa stratégie. Tiché orezanie je nebezpečné, ak zmizne systémové pravidlo alebo dôkaz. Lepšie je explicitne plánovať rozpočet a logovať, čo bolo vynechané.
Nahrádza veľké okno RAG?
Nie vždy. RAG vyberá relevantné a aktuálne úseky, uplatňuje oprávnenia a umožňuje citácie. Vloženie celého archívu do veľkého okna býva drahé a menej kontrolovateľné. Obe techniky sa kombinujú podľa veľkosti a štruktúry znalostí.
Prečo model prehliadne fakt, ktorý je v okne?
Prítomnosť tokenu neznamená dokonalé využitie. Dlhý kontext môže obsahovať rušivé pasáže, konflikty alebo dôležitý detail v slabej pozícii. Pomáha presný retrieval, opakovanie kľúčového zadania, štruktúra a testy typu needle in a haystack na vlastných dátach.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- OpenAI API Documentation, Conversation State and Context Window
- OpenAI Help Center, What Are Tokens and How to Count Them
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.