Information retrieval | AI slovník

Odborná definícia

Information retrieval je disciplína návrhu systémov, ktoré z veľkej kolekcie vyberú a zoradia dokumenty alebo objekty relevantné k informačnej potrebe používateľa. Pipeline zahŕňa spracovanie dotazu, index, výpočet zhody, ranking, prípadné rerankovanie a prezentáciu výsledkov. Lexikálne metódy pracujú s výskytom slov, husté vyhľadávanie porovnáva embeddingy a hybridný prístup kombinuje oba signály. Relevantnosť nie je totožná s pravdivosťou ani autoritou, preto ranking potrebuje ďalšie kritériá. Hodnotenie používa anotované dotazy a metriky ako precision, recall, MRR alebo nDCG, pričom produkčný systém musí sledovať čerstvosť, diverzitu a správanie používateľov.

Zrozumiteľné vysvetlenie

Používateľ napíše do firemného vyhľadávača otázku o výpovednej lehote. Systém nemusí hneď vytvoriť odpoveď, najprv má nájsť najvhodnejšie zmluvy a pasáže. Klasický index zachytí presný výraz, vektorový index môže nájsť aj formuláciu ukončenie spolupráce. Reranker potom porovná celý dotaz s kandidátmi a upraví poradie. Dokument môže byť tematicky podobný, ale zastaraný alebo patriť inému klientovi, preto sa pridajú filtre a časová platnosť. Kvalita vyhľadávania sa meria tým, či sa relevantný dôkaz objaví dostatočne vysoko, nie tým, ako presvedčivo znie generovaná odpoveď.

Časté otázky

Aký je rozdiel medzi retrieval a search engine?

Information retrieval je vedecký a technický rámec výberu relevantných položiek. Vyhľadávač je konkrétny systém, ktorý okrem rankingu rieši crawling, rozhranie, reklamu, filtre a prevádzku.

Čo robí BM25?

Je lexikálna rankingová funkcia založená na frekvencii termínu, jeho vzácnosti v kolekcii a normalizácii dĺžky dokumentu. Dobre zachytáva presné slová, ale nie vždy synonymá a parafrázy.

Kedy pomáha dense retrieval?

Keď dotaz a relevantný dokument používajú odlišný slovník alebo treba porovnávať sémantiku. Výsledok závisí od embeddingového modelu a môže minúť presný identifikátor či odborný termín.

Prečo sa používa reranker?

Prvá fáza rýchlo vyberie stovky kandidátov. Presnejší, ale drahší model potom posúdi každú dvojicu dotaz a dokument a presunie najrelevantnejšie položky vyššie.

Ako retrieval súvisí s RAG?

RAG použije vyhľadávanie na dodanie dôkazov generátoru. Ak retrieval nenájde správnu pasáž, jazykový model nemá z čoho vytvoriť podloženú odpoveď, preto sa obe vrstvy hodnotia oddelene.

Súvisiace pojmy

Marketingový slovník

Súvisiace marketingové pojmy

Zdroje a redakčná stopa

Manning, Raghavan a Schütze, Introduction to Information Retrieval (nlp.stanford.edu)
NIST Text REtrieval Conference (trec.nist.gov)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.