Dávková inference | AI slovník

Odborná definice

Batch inference je režim, ve kterém model zpracuje větší soubor vstupů mimo interaktivní požadavky, obvykle podle harmonogramu nebo po dostupnosti dat. Predikce se zapisují do tabulky, datového skladu, souboru nebo fronty na další použití. Dávková inference upřednostňuje propustnost, cenu a opakovatelnost před okamžitou odezvou. Pipeline musí řešit verzi modelu, časový řez vstupů, idempotenci, rozdělení práce, obnovu po chybě a sledování toho, ku kterému modelu a datům každá predikce patří.

Srozumitelné vysvětlení

Poisťovňa může každou noc prepočítat rizikové skóre pro celý kmeň klientů. Uživatel nečaká na odpověď v reálném čase, proto systém zoskupí milióny záznamů a využije výpočetní zdroje efektivněji. Výsledky se uložia a aplikace jejich na druhý deň pouze načte. Výhodou je nižší cena na predikci a jednodušší škálování. Nevýhodou je zastarání skóre mezi behmi a potřeba přesně evidovat, které údaje byly dostupné v okamihu výpočtu, aby se zabránilo úniku budoucích informací.

Časté otázky

Kdy je batch inference vhodnější než online inference?

Když výsledek nemusí vzniknout v milisekundách, vstupy prichádzají ve večších celkoch nebo se predikce pravidelne prepočítavají. Typické jsou nočné scoringy, zpracování dokumentů, tvorba embeddingů a plánované forecasty.

Jak se řeší selhání uprostred dávky?

Pipeline má deliť práci na identifikovatelné části, ukladat stav a bezpečně opakovat pouze nedokončené segmenty. Idempotentný zápis zabrání duplikátom. Chybné záznamy se presunou do samostatné fronty na diagnostiku.

Co znamená data freshness při dávkovej inferenci?

Vyjadřuje, jako staré jsou vstupy a výstupy v čase použití. Denný model může být nevhodný pro podvod, který se mění v minútach. Frekvence prepočtu se volí podle rychlosti změny javu a ceny zpoždění.

Je třeba monitorovat batch model i bez API?

Ano. Sleduje se úspěšnost běhů, počet spracovaných záznamů, distribuce vstupů, chybějící hodnoty, drift skóre, zpoždění a kvalita po dostupnosti pravdy. Tichý výpadok dávky může ovlivnit tisíce rozhodnutí.

Jak se zabrání zmiešání verzií modelu?

Každý výstup má nést identifikátor modelu, datum artefaktu, verzi feature pipeline a čas zpracování. Orchestrátor by měl pro jeden běh používat nemenný model. Při opakování se musí zachovat stejná konfigurace nebo jasně vytvořit nový běh.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary
NIST AI Risk Management Framework

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.