Kontextové okno modelu | AI slovník

Odborná definice

Context window je maximálny počet tokenů, které model může zpracovat v rámci jednoho výpočtového kontextu. Podle konkrétního API se do limitu započítavají systémové a uživatelské správy, historie, nástroje, dokumenty, reasoning tokeny a generovaný výstup. Okno není dlhodobá paměť ani záruka rovnomernej pozornosti ku každé části vstupu. Při překročení limitu musí aplikace obsah skrátit, vybrat, zhrnúť nebo rozdelit. Větší okno zvyšuje možnosti práce s dokumentmi, ale i cenu, latenci a riziko konfliktů v kontextu.

Srozumitelné vysvětlení

Pokud má konverzace, prílohy a požadovaná odpověď spolu více tokenů než model zvládne, najstaršie nebo nejméně důležité části se musí vynechat. To může způsobit, že asistent zabudne původní pravidlo nebo citaci. Větší okno umožní vložit dlhší materiál, ale neznamená, že model spolehlivě najde každý detail. Produkční aplikace proto počítá tokenový rozpočet, rezervuje místo pro výstup a nástroje, používá retrieval a uchovává rozhodujúci stav mimo samotnej konverzace.

Časté otázky

Započítava se do okna i odpověď modelu?

V mnoha API ano, maximálny rozpočet zahrnuje vstup i generovaný výstup a někdy samostatné reasoning tokeny. Přesné pravidlo se kontroluje v dokumentaci konkrétního modelu. Aplikace musí ponechat rezervu, jinak se odpověď skráti nebo požadavek selže.

Je token stejný jako slovo?

Ne. Token může být celé krátké slovo, část slova, interpunkce nebo znak. Počet závisí na tokenizéra a jazyka. Slovenský odborný text může mít jiný poměr tokenů k slovám než angličtina, proto se limit měří skutočným tokenizérom.

Co se stane při překročení limitu?

API může požadavek odmítnout, automaticky skrátit určitou část nebo aplikace sama odstraní obsah podle strategie. Tiché orezání je nebezpečné, pokud zmizne systémové pravidlo nebo důkaz. Lépe je explicitně plánovat rozpočet a logovat, co bylo vynechané.

Nahrazuje velké okno RAG?

Ne vždy. RAG vybírá relevantní a aktuálně úseky, uplatňuje oprávnění a umožňuje citace. Vložení celého archívu do velkého okna bývá drahé a méně kontrolovatelné. Obě techniky se kombinují podle velikosti a struktury znalostí.

Proč model prehliadne fakt, který je v okne?

Přítomnost tokenu neznamená dokonalé využití. Dlouhý kontext může obsahovat rušivé pasáže, konflikty nebo důležitý detail v slabé pozici. Pomáhá přesný retrieval, opakování klúčového zadání, struktura a testy typu needle in a haystack na vlastních datech.

Související pojmy

Zdroje a redakční stopa

OpenAI API Documentation, Conversation State and Context Window
OpenAI Help Center, What Are Tokens and How to Count Them

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.