Odborná definice
Odborná definice
Beam search je heuristický algoritmus na hladání vysoce skórovanej sekvence v prostoru, který roste exponenciálne s délkou výstupu. V každém kroku rozšíri aktuálně kandidátne prefixy o možné další tokeny a ponechá pouze stanovený počet nejlepších hypotéz, nazývaný beam width. Nezaručuje globálně optimum, protože vyradený prefix už neobnoví. Výsledek ovlivňuje šířka lúča, normalizace podle délky, podmínky zastavení a prípadné omezení. Používá se v preklade, rozpoznávání řeči a dalších autoregresívnych úlohách.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Generátor při prvním slove nepozná celou budúcu větu. Greedy decoding vždy vybere momentálne najpravdepodobnejší token, čím se může skoro uzamknúť do zlej cesty. Beam search drží například peť rozpracovaných vět, každou rozšíri a znovu ponechá peť nejlepších. Získá tak větší rozhlad bez prehladání všech možností. Širší lúč však zvyšuje výpočet a nemusí zlepšit prirodzenost, protože modelové skóre nemusí přesně odpovídat kvalite textu. Při LLM se proto často používají i samplingové strategie.
Časté otázky
Časté otázky
Co je beam width?
Je to počet čiastočných hypotéz uchovávaných po každém kroku. Hodnota 1 odpovídá greedy search. Větší hodnota rozširuje vyhledávání, ale zvyšuje paměť a čas a může zvýraznit chyby samotného modelového skóre.
Proč se používá length normalization?
Součet log pravděpodobností se s každým tokenom snižuje, takže bez korekce může algoritmus preferovat příliš krátké sekvence. Normalizace nebo length penalty upraví porovnání hypotéz různé délky.
Zaručí beam search nejpravděpodobnější sekvenci?
Ne. Pruning může odstranit prefix, který by později viedol k lepšiemu výsledku. Přesné hladání je při velkém slovníku a dlhej sekvenci večšinou nepraktické. Beam search je kompromis mezi greedy volbou a úplným prehladáváním.
Jako funguje constrained beam search?
Algoritmus omezí nebo upraví rozširování tak, aby výstup obsahoval požadované tokeny, frázy nebo strukturu. Používá se při terminologicky viazanom preklade nebo generování podle formátu, ale složité omezení zvyšují cenu hladání.
Proč se beam search méně používá při otevřeném chatování?
Otevřený text má mnoho rovnocenných pokračování a maximalizace pravděpodobnosti může produkovat jednotvárne odpovědi. Sampling s temperature, top-k nebo top-p poskytuje větší variabilitu. Beam search zůstává užitečný tam, kde je cíl přesněji definovaný.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Freitag a Al-Onaizan, Beam Search Strategies for Neural Machine Translation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.