BM25 | AI slovník | DNA marketing®

Odborná definice

BM25 je lexikálny rankingový model z probabilistic relevance framework, který skóruje dokument podle výskytu dotazových termů, jejich vzácnosti v kolekcii a normalizace délky dokumentu. Term frequency má saturujúci přínos, takže desiaty výskyt slova nepridáva stejnou hodnotu jako první. Parameter k1 řídí saturaci a parameter b silu dlžkovej normalizace. BM25 nepracuje přímo se sémantickou podobností, proto nemusí najít dokument s vhodnou parafrázou bez spoločných termů. V hybridnom vyhledávání se často kombinuje s embeddingovým retrieverom.

Srozumitelné vysvětlení

Při dotaze „řízení rizik AI“ BM25 zvýhodní dokumenty, které obsahují tyto slova, zejména pokud jsou v celé kolekcii relativně vzácně. Dokument s jedním presným výskytom může být relevantnejší než velmi dlouhý text, ve kterém se slovo opakuje desiatkykrát. Dlžková normalizace bráni tomu, aby rozsáhlé dokumenty vyhrávali pouze proto, že obsahují více všetkého. Model však nerozumie, že „správa rizika umělé inteligence“ může vyjadrovat podobný význam. Proto je BM25 silný pro přesnou terminologii a hybridní RAG systémy ho doplňají vektorovým hladáním.

Časté otázky

Co dělá parameter k1?

Určuje, jako rychle se přínos term frequency nasýti. Při nízkom k1 další opakování přidávají málo, při vyššom mají větší vliv. Optimální hodnota závisí na kolekce, jazyka a typu dotazů.

Co dělá parameter b?

Řídí dlžkovou normalizaci. Hodnota 0 ignoruje délku dokumentu, hodnota 1 používá plnú normalizaci podle průměrné délky. Nevhodné nastavení může poškodit krátké záznamy nebo dlouhé odborné dokumenty.

Je BM25 lepší než vektorové vyhledávání?

Závisí na dotazu. BM25 je výborný při názvoch, kódoch, presných frázach a odbornej terminológii. Embeddingy lépe zachycují parafráze. Hybridní vyhledávání často dosahuje robustnejší recall než ktorákolvek metoda samostatně.

Jak se BM25 používá v RAG?

Retriever zoradí textové chunky podle lexikálneho skóre a nejlépe odošle generatívnemu modelu jako kontext. Je třeba ladiť chunking, analyzér jazyka, stop slova a kombinování skóre, ne pouze samotné k1 a b.

Proč stemming ovlivňuje BM25?

BM25 porovnává termy po analýze textu. Stemming nebo lemmatizace může spojit tvary jednoho slova a zvýšit recall, ale příliš agresívne zlučování může zaměnit významy. Slovenská morfológia vyžaduje vhodný analyzér.

Související pojmy

Zdroje a redakční stopa

Robertson a Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.