Odborná definícia
Význam a odborné vymedzenie pojmu
Chunking je rozdelenie dokumentu alebo dátového toku na menšie jednotky, ktoré možno samostatne indexovať, embedovať, vyhľadávať alebo posielať modelu. V RAG systéme chunk nesie text a metadáta o zdroji, pozícii, nadpise či oprávnení. Stratégia môže byť pevná podľa tokenov, rekurzívna, štruktúrna alebo sémantická a často používa prekryv. Cieľom nie je vytvoriť čo najmenšie kusy, ale zachovať významovú súdržnosť pri prijateľnej granularite, recalli, kontextovej cene a presnosti citovania.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak sa dvadsaťstranová smernica uloží ako jeden vektor, vyhľadávanie môže nájsť dokument, ale model dostane veľa nerelevantného textu. Ak ju rozsekáte po každej vete, definícia môže zostať v jednom chunke a výnimka v inom. Dobré delenie rešpektuje nadpisy, odseky, tabuľky a logické celky. Pri odpovedi sa vrátia iba najvhodnejšie úseky spolu s názvom dokumentu a miestom pôvodu. Veľkosť sa nenastavuje pocitovo, ale experimentom nad reálnymi otázkami a meraním retrievalu aj finálnej odpovede.
Časté otázky
Otázky, ktoré spresňujú význam
Aký veľký má byť chunk?
Neexistuje univerzálne číslo. Závisí od typu dokumentu, embeddingového modelu, otázok a množstva kontextu, ktorý aplikácia skladá. Kratšie úseky zvyšujú presnosť lokalizácie, dlhšie zachovávajú súvislosti. Veľkosť sa testuje spolu s top-k a rerankingom.
Na čo slúži overlap?
Opakovanie okrajovej časti v susednom chunke znižuje riziko, že dôležitá veta alebo definícia bude prerušená hranicou. Veľký overlap však vytvára duplicity v indexe, zvyšuje cenu a môže naplniť kontext takmer rovnakými pasážami.
Prečo je štruktúrne delenie často lepšie než pevný počet znakov?
Nadpisy, zoznamy, články zákona a tabuľky nesú významové hranice. Štruktúrny chunker ich využije a zachová čitateľnú jednotku. Pevná dĺžka je jednoduchá a stabilná, ale môže spojiť dve nesúvisiace témy alebo rozdeliť jednu podmienku.
Ako chunkovať tabuľky?
Tabuľka potrebuje hlavičky, jednotky a kontext riadkov. Niekedy sa uloží celý menší objekt, inokedy sa vytvoria riadkové úseky s opakovanou hlavičkou a súhrnom. Holé bunky bez názvov stĺpcov majú slabú interpretačnú aj retrievalovú hodnotu.
Aké metadáta má chunk obsahovať?
Minimálne stabilné ID dokumentu a úseku, názov, sekciu, verziu, dátum, jazyk, prístupové oprávnenie a odkaz na originál. Metadáta umožnia filtrovanie, citovanie, deduplikáciu, aktualizáciu indexu a odstránenie neplatného obsahu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Microsoft Learn, Chunk Documents for Vector Search Microsoft Azure Architecture Center, RAG Chunking Phase
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.