AI slovník

Terminologická základňa umelej inteligencie

648 odborne spracovaných pojmov s definíciou, praktickým vysvetlením, 3 240 FAQ, súvisiacimi entitami a redakčnou stopou.

Pojmy: 648
Tematické vetvy: 12
FAQ: 3240

Hľadať pojem, kategóriu alebo otázku648

Experimentovanie a hodnotenie

A/B testing

A/B testing je kontrolovaný experiment, v ktorom sa porovnávajú dve alebo viaceré verzie produktu, modelu, promptu či rozhodovacieho pravidla na náhodne rozdelených používateľoch alebo prípadoch. Vopred sa určí primárna metrika, hypotéza, minimálne významný efekt a spôsob štatistického vyhodnotenia. Randomizácia pomáha oddeliť účinok testovanej zmeny od sezónnosti, rozdielov medzi skupinami a ďalších rušivých vplyvov. Pri sekvenčnom sledovaní treba upraviť inferenčný postup, aby opakované nahliadanie do výsledkov nezvyšovalo falošnú pozitivitu.

Experimentovanie a interpretácia

Ablation study

Ablation study, po slovensky ablačná štúdia, je experiment, pri ktorom sa z modelu, dátovej pipeline alebo tréningového postupu odstráni vybraná zložka a výsledok sa porovná s úplnou verziou. Cieľom je odhadnúť kauzálny príspevok konkrétnej architektonickej časti, typu vstupu, stratovej funkcie alebo tréningového triku. Presvedčivá ablácia mení jednu vec naraz, používa rovnaké dáta a opakuje meranie pri viacerých náhodných inicializáciách. Pri zložitých modeloch sa výsledok interpretuje spolu s interakciami medzi komponentmi, nie ako izolovaná vlastnosť jednej časti.

Kompilácia a akcelerácia modelov

Accelerated Linear Algebra kompilátor

XLA

XLA je open source kompilátor pre strojové učenie, ktorý optimalizuje výpočty lineárnej algebry pre CPU, GPU a ďalšie akcelerátory. Framework odovzdá výpočtový graf v high-level operations, kompilátor vykoná transformácie, fúziu operácií, plánovanie pamäte a generovanie cieľového kódu. Kompilácia môže znížiť počet kernel launchov a medzivýsledkov, ale prináša čas kompilácie a obmedzenia podporovaných operácií. XLA nie je model ani runtime rozhranie používateľa. Výkonnostný prínos závisí od tvarov tenzorov, dynamiky grafu, backendu a veľkosti dávky.

Metriky klasifikácie

Accuracy

Accuracy, čiže celková správnosť klasifikácie, je podiel správne predikovaných prípadov zo všetkých hodnotených prípadov. Pri binárnej klasifikácii sa vypočíta ako súčet pravdivo pozitívnych a pravdivo negatívnych prípadov delený celkovým počtom prípadov. Metrika je informatívna najmä pri približne vyvážených triedach a podobnej závažnosti chýb. Pri zriedkavých udalostiach môže vysoká accuracy zakryť úplné zlyhanie minoritnej triedy. Hodnota sa má uvádzať s veľkosťou testovacej vzorky, intervalom neistoty a výsledkami pre dôležité segmenty.

Neurónové siete

Activation function

Activation function, aktivačná funkcia, je matematická transformácia aplikovaná na vážený súčet vstupov neurónu. Zavádza nelinearitu, vďaka ktorej môže viacvrstvová sieť aproximovať zložité vzťahy, namiesto toho, aby sa celý model správal ako jediná lineárna transformácia. Voľba funkcie ovplyvňuje tok gradientov, rýchlosť učenia, stabilitu a rozsah výstupov. Bežné príklady sú ReLU, sigmoid, tanh, GELU a softmax. Vhodnosť sa posudzuje podľa umiestnenia vo vrstve, stratovej funkcie a numerických vlastností počas spätného šírenia.

Učenie s obmedzeným označovaním

Active learning

Active learning je prístup k strojovému učeniu, pri ktorom model alebo výberová stratégia určuje, ktoré neoznačené príklady majú byť predložené človeku či inému orákulu na doplnenie správneho štítku. Cieľom je dosiahnuť požadovanú kvalitu s menším množstvom draho označených dát. Výber môže vychádzať z neistoty modelu, reprezentatívnosti vzorky, očakávanej zmeny modelu alebo kombinácie kritérií. Proces prebieha iteratívne. Výberová politika sa musí hodnotiť oddelene od modelu, pretože môže meniť zloženie novozískaných tréningových dát.

Bezpečnosť AI

Adversarial attack

Adversarial attack je zámerná činnosť útočníka, ktorej cieľom je zmeniť správanie modelu alebo AI systému manipuláciou dát, vstupov, modelových artefaktov, externých zdrojov či prevádzkového prostredia. Útok môže prebiehať počas zberu dát, tréningu, nasadenia alebo inferencie. Medzi ciele patrí zníženie dostupnosti, obídenie detekcie, vynútenie konkrétneho výstupu, extrakcia informácií alebo narušenie integrity systému. Posúdenie preto vždy potrebuje explicitný threat model, ktorý opisuje schopnosti, znalosti a obmedzenia útočníka.

Bezpečnosť AI

Adversarial example

Adversarial example je vstup zámerne vytvorený alebo upravený tak, aby vyvolal chybnú či útočníkom zvolenú reakciu modelu, hoci pre človeka môže pôsobiť nezmenene alebo legitímne. Úprava môže byť digitálna, napríklad malé zmeny pixelov, alebo fyzická, napríklad vzor na objekte snímanom kamerou. Úspešnosť závisí od threat modelu, povoleného rozsahu zásahu, znalosti modelu a podmienok, v ktorých sa vstup spracúva. Pri hodnotení sa uvádza aj to, či perturbácia zachováva sémantický význam a či je uskutočniteľná mimo laboratórnych podmienok.

Robustnosť modelov

Adversarial training

Adversarial training je tréningová metóda, pri ktorej sa do učenia zámerne zaraďujú adversariálne upravené vstupy a model sa optimalizuje tak, aby na nich zachoval správne správanie. Často sa formuluje ako robustná optimalizácia, ktorá minimalizuje stratu pri najhoršej povolenej perturbácii v definovanom okolí vstupu. Metóda môže zvýšiť odolnosť voči konkrétnej triede útokov, no výsledok závisí od threat modelu, sily generátora útokov a tréningového rozpočtu.

Bezpečnosť, dôveryhodnosť a evaluácia

Adversariálne testovanie červeným tímom

Red teaming

Red teaming je autorizované adversariálne testovanie, pri ktorom nezávislá alebo funkčne oddelená skupina cielene hľadá spôsoby zlyhania, zneužitia a obídenia ochranných opatrení AI systému. Vychádza z threat modelu, scenárov použitia a realistických schopností útočníka. Zahŕňa bezpečnosť, súkromie, škodlivý obsah, prompt injection, diskriminačné správanie aj prevádzkové slabiny. Výsledkom majú byť reprodukovateľné dôkazy, závažnosť, návrh mitigácie a retest, nie iba zoznam provokatívnych promptov.

Agentné systémy a interakcia s nástrojmi

Agent vykonávajúci úlohy na webe

Web agent

Web agent je AI systém, ktorý plánuje a vykonáva sekvenciu operácií nad webovým prostredím, napríklad vyhľadávanie, otváranie stránok, extrakciu údajov, vypĺňanie formulárov alebo porovnávanie zdrojov. Pozorovanie môže prichádzať zo štruktúry DOM, prístupového stromu, API alebo obrazu obrazovky. Agent kombinuje model, nástroje, stav úlohy a pravidlá oprávnení. Spoľahlivosť ovplyvňujú dynamické rozhrania, nejednoznačné pokyny, prompt injection, zmena obsahu a nevratné akcie, preto musí mať obmedzený rozsah a kontrolné body.

Agentná aplikačná AI

AI agent

AI agent je softvérový systém, ktorý interpretuje cieľ a kontext, plánuje alebo vyberá ďalší krok a vykonáva akcie prostredníctvom nástrojov, rozhraní či iných systémov. Zvyčajne kombinuje model, riadiacu logiku, dostupné nástroje, stav alebo pamäť a ochranné pravidlá. Od bežného generovania odpovede sa odlišuje tým, že môže meniť externý stav, napríklad vytvoriť záznam, odoslať správu, spustiť kód alebo získať údaje z databázy. Miera agentnosti rastie s dĺžkou plánovania, počtom dostupných akcií a schopnosťou pokračovať bez priebežného potvrdenia človeka.

Ciele, hodnoty a bezpečnosť

AI alignment

AI alignment označuje úsilie zabezpečiť, aby správanie AI systému zodpovedalo zamýšľaným cieľom, ľudským hodnotám, pravidlám a obmedzeniam aj v situáciách, ktoré neboli presne opísané počas vývoja. Zahŕňa správnu špecifikáciu cieľa, učenie preferencií, odolnosť voči obchádzaniu pravidiel, kontrolovateľnosť a priebežné overovanie. Problém vzniká, keď optimalizovaný ukazovateľ iba približne zastupuje skutočný zámer a systém nájde neželaný spôsob, ako ho maximalizovať.

Medicínska zobrazovacia AI

AI analýza röntgenových snímok

X-ray image analysis

X-ray image analysis je použitie algoritmov na klasifikáciu, detekciu, lokalizáciu, segmentáciu, meranie alebo generovanie správ z röntgenových obrazov. Model pracuje s projekčnou snímkou, v ktorej sa anatomické štruktúry prekrývajú a intenzita závisí od akvizície a spracovania. Klinický systém musí rozlišovať triáž, pomoc pri detekcii a autonómny diagnostický zámer. Hodnotenie zahŕňa externé pracoviská, zariadenia, demografické skupiny, prevalenciu a workflow. Vysoké AUC na retrospektívnom datasete nepreukazuje klinický prínos ani bezpečnosť pri nasadení.

Aplikačná AI

AI asistent

AI assistant

AI asistent je používateľsky orientovaný softvérový systém alebo funkcia využívajúca umelú inteligenciu na podporu človeka pri získavaní informácií, tvorbe obsahu, analýze, rozhodovaní alebo vykonávaní úloh. Môže fungovať prostredníctvom konverzačného rozhrania, ako súčasť kancelárskeho alebo iného softvéru, prípadne v špecializovanom pracovnom postupe. Jeho funkčný rozsah je určený jeho architektúrou, dostupným kontextom a dátami, použitými nástrojmi, oprávneniami a pravidlami, podľa ktorých funguje. AI asistent môže vytvárať návrhy, odporúčania alebo hotové výstupy a podľa svojich oprávnení môže vykonávať aj konkrétne úkony.

Nezávislé overovanie

AI audit

AI audit je systematické, zdokumentované a primerane nezávislé preskúmanie AI systému, jeho riadenia alebo konkrétneho súladu s vopred určenými kritériami. Audit môže hodnotiť dokumentáciu, dáta, modelové testy, kontrolné procesy, dodávateľský reťazec, prístupové práva a reálne prevádzkové dôkazy. Výsledkom nie je všeobecné potvrdenie, že systém je bezpečný, ale záver v presne vymedzenom rozsahu, čase, verzii a podľa uvedeného štandardu či politiky.

Riadenie a zodpovednosť

AI governance

AI governance je súbor rozhodovacích právomocí, politík, rolí, procesov a kontrol, ktorými organizácia usmerňuje výber, vývoj, nákup, používanie, monitoring a ukončenie AI systémov. Prepája stratégiu, riadenie rizík, právny súlad, bezpečnosť, kvalitu dát a zodpovednosť za výsledky. Účinná governance určuje, kto môže schváliť prípad použitia, aké dôkazy sú potrebné, kto prijíma zvyškové riziko a ako sa riešia incidenty či zmeny modelu. Governance má byť primeraná riziku, no musí zostať preukázateľná, vykonateľná a previazaná s bežným riadením organizácie.

Generatívne riziká

AI hallucination

AI hallucination, presnejšie konfabulácia generatívneho modelu, je výstup, ktorý je nepravdivý, nepodložený alebo nezodpovedá poskytnutému zdroju, hoci je formulovaný plynulo a presvedčivo. Môže ísť o vymyslený fakt, citáciu, udalosť, právny predpis, výpočet alebo tvrdenie o vykonanej akcii. Jav súvisí s tým, že model generuje pravdepodobné pokračovanie podľa naučených vzorov a nemá zabudovaný všeobecný mechanizmus overovania pravdivosti. Pri systémoch založených na zdrojoch sa navyše rozlišuje faktická chyba, nesprávna citácia a tvrdenie bez dostatočnej opory.

Kompetencie a zodpovedné používanie

AI literacy

AI literacy, gramotnosť v oblasti AI, je súbor znalostí, zručností a kritického porozumenia potrebných na informované používanie, dohľad alebo riadenie AI systémov. Zahŕňa pochopenie možností a limitov, kvality dát, neistoty, ľudského dohľadu, bezpečnosti, práv a dopadov. Podľa AI Act majú poskytovatelia a nasadzovatelia prijať opatrenia na zabezpečenie dostatočnej úrovne gramotnosti svojich pracovníkov s ohľadom na ich technické znalosti, skúsenosti a kontext použitia.

Jadro AI systému

AI model

AI model je výpočtová, štatistická alebo symbolická komponenta AI systému, ktorá z prijatých vstupov vytvára výstupy, napríklad predikcie, odporúčania, skóre, klasifikácie alebo generovaný obsah. Model môže byť naučený z dát, zostavený z pravidiel alebo kombinovať oba prístupy. Jeho správanie určuje architektúra, parametre, tréningový postup, dáta a nastavenie inferencie. Samotný model nie je celý produkt, pretože neobsahuje všetky integrácie, rozhrania a prevádzkové kontroly.

Prevádzka a monitoring

AI observability

AI observability je schopnosť zrekonštruovať a vysvetliť prevádzkové správanie AI systému na základe telemetrie o vstupoch, výstupoch, modelových verziách, promptoch, retrieval výsledkoch, volaniach nástrojov, latencii, nákladoch, chybách a používateľskej spätnej väzbe. Nejde iba o dashboard dostupnosti. Observability prepája logy, metriky, traces a dátový pôvod tak, aby tím vedel diagnostikovať príčinu zlyhania a určiť rozsah dopadu. Telemetria musí umožniť porovnanie medzi verziami a súčasne obmedziť zber osobných údajov a obchodných tajomstiev.

Návrh, používanie a spoločenské dopady AI

AI orientovaná na človeka

Human-centered AI

Human-centered AI je prístup k návrhu a správe AI, ktorý začína ľudskými potrebami, hodnotami, schopnosťami a dôsledkami používania, nie iba optimalizáciou technickej metriky. Zahŕňa participáciu dotknutých ľudí, analýzu pracovného kontextu, prístupnosť, zrozumiteľné ovládanie, možnosť nápravy, primeranú autonómiu a meranie dopadu na jednotlivcov aj organizáciu. Neznamená automaticky, že človek musí schvaľovať každý výstup. Rozdelenie úloh sa navrhuje podľa rizika a kompetencií. Deklarácia orientácie na človeka nemá hodnotu bez dôkazov z výskumu používateľov a prevádzkových výsledkov.

Životný cyklus a infraštruktúra

AI pipeline

AI pipeline je usporiadaný sled krokov, ktorými prechádzajú dáta, model a výsledky od získania vstupov cez čistenie, transformácie, tréning, hodnotenie, registráciu a nasadenie až po monitoring. V generatívnej aplikácii môže zahŕňať aj chunking, embedding, indexovanie, retrieval, zostavenie promptu a postprocessing. Pipeline má definovať rozhrania, verzie artefaktov, závislosti a kontrolné body, aby bol proces reprodukovateľný a zmeny sledovateľné.

Riadenie rizík

AI risk management

AI risk management je systematický proces identifikácie, analýzy, prioritizácie, ošetrovania a priebežného sledovania rizík spojených s návrhom, vývojom, nákupom a používaním AI systémov. Posudzuje pravdepodobnosť a závažnosť škody pre ľudí, organizáciu, spoločnosť a životné prostredie. NIST AI RMF organizuje činnosti do funkcií Govern, Map, Measure a Manage. Riadenie sa vzťahuje na celý životný cyklus a zohľadňuje aj neistotu a zvyškové riziko.

Posilňované učenie

Akčná hodnotová funkcia

Q-function

Q-function je funkcia, ktorá každej prípustnej dvojici stavu a akcie priraďuje Q-value. Môže byť reprezentovaná tabuľkou, lineárnym modelom, stromom alebo neurónovou sieťou. Spĺňa Bellmanovu rovnicu pre zvolenú politiku alebo Bellmanovu optimálnu rovnicu pre Q*. Funkcia je globálny objekt definovaný nad priestorom stavov a akcií, kým Q-value je jej hodnota v jednom bode. Pri aproximácii mimo pokrytých dát môže vracať presvedčivé, ale nepodložené odhady.

Výpočtové základy

Algorithm

Algorithm, algoritmus, je konečný a jednoznačne opísaný postup, ktorý transformuje vstupy na výstupy prostredníctvom série krokov. Môže byť deterministický, keď rovnaký vstup vedie k rovnakému výsledku, alebo používať náhodnosť. V AI sa algoritmy používajú na tréning modelov, vyhľadávanie, optimalizáciu, rozhodovanie a spracovanie dát. Algoritmus nie je synonymom modelu: tréningový algoritmus model vytvára alebo upravuje, zatiaľ čo model uchováva naučené parametre či pravidlá.

Spravodlivosť a skreslenie

Algorithmic bias

Algorithmic bias je systematický vzorec v dátach, modeli, pravidlách alebo procese nasadenia, ktorý vedie k neprimerane odlišným chybám, výsledkom alebo dopadom pre určité osoby či skupiny. Môže vzniknúť nereprezentatívnym výberom dát, historickou nerovnosťou, chybným označovaním, proxy premennými, nevhodnou cieľovou metrikou alebo rozdielnym spôsobom používania systému. Posúdenie vyžaduje rozlíšiť štatistickú odchýlku, kvalitu služby a reálny spoločenský dopad.

Lokálne učenie z príkladov

Algoritmus k najbližších susedov

K-nearest neighbors

K-nearest neighbors, skrátene k-NN, je neparametrická metóda, ktorá pri predikcii vyhľadá k tréningových príkladov najbližších novému bodu podľa zvolenej metriky. Pri klasifikácii agreguje ich triedy, pri regresii ich cieľové hodnoty, prípadne s váhami podľa vzdialenosti. Model nemá klasickú tréningovú fázu, uchováva dáta a rozhoduje lokálne. Výkon závisí od škálovania, metriky, hodnoty k, hustoty vzoriek a dimenzionality. Pri rovnosti hlasov treba vopred určiť deterministické pravidlo, aby poradie dát nemenilo výsledok.

Online učenie a rozhodovanie

Algoritmus viacramenného banditu

Bandit algorithm

Bandit algorithm rieši sekvenčné rozhodovanie, pri ktorom systém opakovane vyberá jednu z dostupných akcií a pozoruje iba odmenu za zvolenú akciu. Cieľom je maximalizovať kumulatívnu odmenu pri súčasnom vyvažovaní prieskumu neznámych možností a využívania možností, ktoré sa doteraz javili ako najlepšie. Kvalita sa často vyjadruje regretom, teda rozdielom medzi získanou odmenou a odmenou ideálnej stratégie. Kontextové bandity navyše zohľadňujú vlastnosti používateľa alebo situácie pred výberom akcie.

Audio AI a spracovanie signálu

Algoritmus YIN na odhad základnej frekvencie

YIN algorithm

YIN je algoritmus na odhad základnej frekvencie F0 reči alebo hudobného signálu. Vychádza z rozdielovej funkcie medzi posunutými úsekmi signálu, ktorú normalizuje kumulatívnym priemerom, potom vyhľadáva vhodné minimum pod prahom a spresňuje odhad periód. Úpravy oproti priamej autokorelácii znižujú chyby o oktávu a citlivosť na amplitúdu. YIN sa používa pri pitch trackingu, analýze intonácie, hudobnej transkripcii alebo ako predspracovanie pre audio modely, no pri šume, polyfónii a neperiodickom zvuku potrebuje detekciu neozvučených rámcov.

Referencovanie uzlov

Alias v YAML

YAML alias

YAML alias je uzol serializačného stromu zapísaný znakom hviezdičky a názvom existujúcej kotvy. Pri kompozícii odkazuje na už ukotvený uzol, takže reprezentačný graf môže obsahovať viac ciest k tej istej dátovej entite. Alias nie je textová makro náhrada a jeho správanie nemožno zamieňať s kopírovaním reťazca. V AI konfiguráciách znižuje duplicitu spoločných nastavení, ale výsledok môže závisieť od toho, ako konkrétna knižnica mapuje zdieľané uzly do objektov programovacieho jazyka.

Redukcia dimenzie a explorácia dát

Analýza hlavných komponentov

Principal component analysis

Principal component analysis, skrátene PCA, je lineárna transformácia, ktorá prevedie centrované numerické dáta do ortogonálnych smerov zoradených podľa vysvetlenej variancie. Prvý komponent zachytáva najväčší možný rozptyl, ďalší najväčší rozptyl kolmý na predchádzajúce smery. PCA možno vypočítať eigendecomposition kovariančnej matice alebo singular value decomposition dátovej matice. Používa sa na kompresiu, vizualizáciu, odšumenie a odstránenie korelovaných rozmerov. Výsledok je citlivý na škálu príznakov, outliery a nelineárnu štruktúru.

Evaluácia a zlepšovanie systému

Analýza chýb

Error analysis

Error analysis je systematické skúmanie nesprávnych alebo neuspokojivých výstupov s cieľom vytvoriť taxonómiu zlyhaní, určiť ich frekvenciu, závažnosť a pravdepodobnú príčinu. Neobmedzuje sa na priemernú metriku. Spája konkrétne prípady s dátovými rezmi, anotáciami, komponentmi pipeline a podmienkami použitia. Výsledkom má byť prioritizovaný zoznam zásahov, napríklad oprava štítkov, nový eval set, zmena retrievalu, úprava promptu, kalibrácia prahu alebo bezpečnostná kontrola.

Detekcia neobvyklých javov

Anomaly detection

Anomaly detection je úloha identifikovať pozorovania, udalosti alebo vzory, ktoré sa významne odlišujú od očakávaného správania. Model môže pracovať bez označených anomálií, s malým počtom príkladov alebo ako klasifikátor s plným dohľadom. Výstupom býva skóre neobvyklosti a prah, po ktorého prekročení vznikne upozornenie. Úspešnosť závisí od definície normálu, kontextu, časového okna a ceny falošných poplachov a prehliadnutých udalostí. V časových a behaviorálnych dátach môže byť anomálny celý sled udalostí, hoci jednotlivé hodnoty vyzerajú bežne.

Modelovanie a generalizácia

Ansámblové učenie

Ensemble learning

Ensemble learning je prístup, ktorý kombinuje predikcie viacerých modelov s cieľom dosiahnuť lepšiu presnosť, stabilitu alebo odhad neistoty než pri jednom členovi. Výsledky sa môžu priemerovať, hlasovať, vážiť alebo vstupovať do meta-modelu. Bagging znižuje varianciu tréningom na odlišných vzorkách, boosting buduje členov postupne so zameraním na chyby a stacking učí kombinátor z out-of-fold predikcií. Prínos závisí od kvality aj rozmanitosti chýb, nie iba od počtu modelov.

Škálovanie nelineárnych modelov

Aproximácia jadrovej funkcie

Kernel approximation

Kernel approximation je technika, ktorá nahradí implicitnú prácu s plnou n krát n kernelovou maticou konečnou explicitnou reprezentáciou príznakov s nižšou dimenziou. Metódy ako Nyström alebo random Fourier features približujú zvolený kernel tak, aby sa následne dal použiť rýchly lineárny model. Výpočtová a pamäťová úspora závisí od počtu komponentov, spektra dát a kernelu, pričom hrubá aproximácia môže znížiť presnosť aj kalibráciu. Transformácia sa musí fitovať iba na tréningových dátach, aby nevznikol validačný únik.

Sekvenčné a generatívne modely

Architektúra enkóder-dekóder

Encoder-decoder architecture

Encoder-decoder architecture je modelové usporiadanie, v ktorom encoder vytvorí reprezentácie vstupu a decoder z nich vytvára cieľový výstup. Používa sa pri úlohách, kde sa vstupná a výstupná sekvencia líšia, napríklad pri preklade, sumarizácii, prepise alebo generovaní odpovede z dokumentu. V Transformeri decoder kombinuje maskovanú self-attention nad už vytvorenými tokenmi s cross-attention nad výstupmi encodera. Tréning, dekódovanie a spôsob podmieňovania určujú presnosť aj typické chyby.

Kybernetická bezpečnosť AI systémov

Architektúra nulovej dôvery

Zero trust architecture

Zero trust architecture je bezpečnostný model, ktorý neposkytuje implicitnú dôveru používateľovi, zariadeniu, službe ani sieťovej lokalite iba preto, že sa nachádza vo vnútri organizačného perimetra. Každý prístup k zdroju sa rozhoduje podľa overenej identity, stavu zariadenia, politiky, kontextu a minimálne potrebného oprávnenia. V AI platforme sa zásady uplatňujú na modelové endpointy, datasety, vektorové databázy, tajomstvá, tréningové clustre, agentné nástroje a servisné identity.

Návrh multimodálnych a samoučených modelov

Architektúra spoločného embeddingového priestoru

Joint embedding architecture

Joint embedding architecture je systémové usporiadanie dvoch alebo viacerých enkodérov, projekčných vrstiev a tréningového cieľa, ktoré vytvára kompatibilné reprezentácie rôznych vstupov v spoločnom latentnom priestore. Architektúra určuje, či sa váhy zdieľajú, ako sa reprezentácie normalizujú, kde sa spájajú modality a aký mechanizmus bráni kolapsu. Kontrastívne riešenia používajú pozitívne a negatívne páry, prediktívne riešenia môžu odhadovať cieľový embedding bez rekonštrukcie vstupu. Pojem označuje návrh systému, nie jednotlivý vektor vytvorený po inferencii.

Vysvetlenie spoločného vplyvu vlastností

Atribúcia interakcií vo vysvetlení AI

XAI interaction attribution

XAI interaction attribution rozdeľuje časť predikcie medzi spoločné účinky dvojíc alebo väčších skupín vstupných vlastností, ktoré nemožno vysvetliť iba súčtom ich samostatných príspevkov. Príkladom sú SHAP interaction values, kde sa celková atribúcia rozkladá na hlavné efekty a párové interakcie. Výsledok závisí od referenčného rozdelenia a od predpokladov pri chýbajúcich vlastnostiach. Interakčná hodnota opisuje správanie modelu, nie automaticky fyzickú alebo kauzálnu väzbu medzi premennými.

Architektúra neurónových sietí

Attention mechanism

Attention mechanism, mechanizmus pozornosti, je výpočtový postup, ktorý pri spracovaní prvku vytvára váženú kombináciu iných reprezentácií podľa ich odhadovanej relevantnosti. V transformeroch sa váhy odvodzujú z podobnosti medzi vektormi query a key a aplikujú sa na vektory value. Self-attention prepája prvky tej istej sekvencie, cross-attention prepája dve rôzne sady reprezentácií. Mechanizmus umožňuje modelovať vzdialené závislosti, no jeho základná forma rastie kvadraticky s dĺžkou sekvencie.

Dátová augmentácia a robustnosť

Augmentácia náhodným chvením parametrov

Jitter augmentation

Jitter augmentation je rodina náhodných malých perturbácií aplikovaných na tréningový vstup s cieľom simulovať prirodzenú variabilitu a obmedziť závislosť modelu od presných hodnôt. V obraze môže ísť o color jitter, teda náhodnú zmenu jasu, kontrastu, sýtosti alebo odtieňa. V časových radoch sa jitter často realizuje pridaním malého šumu, v súradniciach posunom bodov a v zvuku variáciou amplitúdy alebo času. Rozsah perturbácie musí zachovať triedu a fyzikálny význam, inak augmentácia vytvorí nesprávne označené príklady.

Robustná inferencia počítačového videnia

Augmentácia počas inferencie

Test-time augmentation

Test-time augmentation, skrátene TTA, vytvára pri inferencii viacero významovo ekvivalentných transformácií toho istého vstupu a agreguje ich predikcie. V obraze môže ísť o zrkadlenie, výrezy, zmenu mierky alebo rotácie, ktoré zachovávajú cieľový štítok. Agregácia používa priemer pravdepodobností, hlasovanie alebo spätné geometrické zarovnanie masiek a bodov. TTA môže znížiť citlivosť na polohu a mierku, no násobí výpočtové náklady a pri nevhodnej transformácii systematicky zhorší výsledok.

Multimodálna generácia a porozumenie obrazu

Automatické opisovanie obrázkov

Image captioning

Image captioning je úloha, pri ktorej model vytvorí prirodzenojazykový opis vizuálneho vstupu. Systém musí rozpoznať objekty, vlastnosti, činnosti a vzťahy, vybrať významné prvky scény a usporiadať ich do gramaticky správnej vety alebo dlhšieho textu. Moderné riešenia spájajú obrazový enkóder s autoregresívnym jazykovým dekóderom alebo používajú jednotný multimodálny model. Kvalita sa neposudzuje iba podľa podobnosti s referenčnými vetami, pretože jeden obrázok môže mať viac správnych opisov. Kritické sú faktická vernosť, pokrytie a absencia vymyslených objektov.

Rečové technológie

Automatické rozpoznávanie reči

Speech recognition

Speech recognition je prevod zvukového signálu reči na text alebo inú symbolickú reprezentáciu. Systém spracúva akustické vlastnosti, modeluje jazykové pravdepodobnosti a dekóduje najpravdepodobnejšiu sekvenciu slov, tokenov alebo foném. Moderné modely môžu byť end-to-end a trénované na rozsiahlych viacjazyčných dátach. Výkon ovplyvňuje hluk, prízvuk, mikrofón, prekryv hovoriacich, odborná slovná zásoba a spôsob segmentácie zvuku. Pre živé použitie sa osobitne meria oneskorenie čiastkového prepisu a stabilita už zobrazených slov.

Aplikačná AI a podnikové procesy

Automatizácia pracovných postupov

Workflow automation

Workflow automation je návrh a vykonávanie opakovateľného procesu ako sekvencie spúšťačov, pravidiel, úloh, integrácií, schválení a výnimiek bez potreby ručne koordinovať každý krok. V AI riešení môže workflow volať klasifikátor, extrakčný model, generatívny model alebo agenta, no zároveň musí riadiť vstupy, oprávnenia, stav, retry politiku, časové limity a audit. Deterministická orchestrácia a pravdepodobnostný AI krok nie sú to isté. Kritické rozhodnutia potrebujú validačné brány, ľudské schválenie alebo kompenzačnú operáciu. Úspech sa meria end-to-end výsledkom procesu, nie iba presnosťou jedného modelu.

Automatizácia návrhu modelov

Automatizované hľadanie neurónovej architektúry

Neural architecture search

Neural architecture search, skrátene NAS, je súbor metód na automatické hľadanie štruktúry neurónovej siete pre zadanú úlohu a obmedzenia. NAS definuje priestor kandidátov, stratégiu vyhľadávania a spôsob odhadu výkonu bez úplného tréningu každej možnosti. Môže optimalizovať presnosť, latenciu, pamäť, spotrebu energie alebo kombináciu cieľov. Používa evolučné algoritmy, reinforcement learning, bayesovskú optimalizáciu alebo diferencovateľné relaxácie. Výsledok môže byť preučený na benchmark alebo závislý od konkrétneho hardvéru.

Dátové inžinierstvo a zber obsahu

Automatizované získavanie údajov z webu

Web scraping

Web scraping je programové načítanie webových stránok a extrakcia vybraných údajov z HTML, DOM, vložených štruktúr alebo sieťových odpovedí. V AI projektoch sa používa pri tvorbe korpusov, monitoringu, vyhľadávaní a obohacovaní dát. Technická schopnosť načítať stránku neznamená oprávnenie obsah ukladať, kombinovať alebo použiť na tréning. Návrh musí zohľadniť robots.txt, podmienky služby, autorské právo, ochranu osobných údajov, rýchlostné limity, pôvod dát a zmeny štruktúry stránky.

Optimalizácia hyperparametrov a experimentov

Bayesovská optimalizácia

Bayesian optimization

Bayesian optimization je stratégia na optimalizáciu drahej black-box funkcie s malým počtom vyhodnotení. Namiesto priameho gradientu udržiava pravdepodobnostný surrogate model neznámej funkcie, často Gaussian process, a pomocou acquisition function vyberá ďalší bod experimentu. Acquisition function kombinuje očakávaný prínos s neistotou, čím vyvažuje prieskum a využívanie. Metóda je vhodná pri časovo alebo finančne nákladnom tréningu, no jej účinnosť klesá vo veľmi vysokorozmerných priestoroch, pri silnom šume alebo pri zle zadaných podmienkach.

Pravdepodobnostné grafické modely

Bayesovská sieť

Bayesian network

Bayesian network je orientovaný acyklický graf, v ktorom uzly predstavujú náhodné premenné a hrany vyjadrujú priame podmienené závislosti. Ku každému uzlu patrí podmienené pravdepodobnostné rozdelenie vzhľadom na jeho rodičov. Spoločné rozdelenie všetkých premenných sa faktorizuje ako súčin týchto lokálnych rozdelení. Sieť umožňuje inferenciu pri neúplných pozorovaniach, aktualizáciu presvedčení po dôkaze a kombinovanie dát s doménovou znalosťou. Smer hrany sám osebe nedokazuje kauzalitu bez ďalších predpokladov a dizajnu.

Evaluácia modelov

Benchmarkový dataset

Benchmark dataset

Benchmark dataset je štandardizovaný súbor dát a hodnotiaci protokol používaný na porovnávanie modelov pri rovnakej alebo presne definovanej úlohe. Zahŕňa vstupy, referenčné výstupy alebo anotácie, pravidlá delenia, metriky a často aj obmedzenia použitia. Dobrý benchmark meria relevantnú schopnosť, obsahuje reprezentatívne a kvalitné príklady a chráni testovaciu časť pred kontamináciou. Vysoké skóre nepreukazuje všeobecnú kvalitu modelu, ak je dataset úzky, saturovaný, uniknutý do tréningu alebo vzdialený od produkčného kontextu.

Assurance, dôkazy a riadenie rizík

Bezpečnostný argumentačný spis

Safety case

Safety case je štruktúrovaný argument podopretý dôkazmi, ktorý vysvetľuje, prečo je AI systém pri presne určenom použití a podmienkach dostatočne bezpečný. Spája tvrdenia o rizikách, technické a organizačné kontrolné opatrenia, výsledky testov, limity platnosti, zodpovednosti a zvyškové riziko. Nie je to všeobecné vyhlásenie o bezpečnosti ani jednorazový audit. Pri zmene modelu, dát, integrácie alebo prevádzkového prostredia sa musí aktualizovať. Dôkaz má uvádzať aj neistotu merania a situácie, ktoré testovací plán nepokrýva.

Bezpečnostné vrstvy generatívnej AI

Bezpečnostný klasifikátor

Safety classifier

Safety classifier je model alebo hybridný rozhodovací modul, ktorý priraďuje vstupu, výstupu alebo plánovanej akcii bezpečnostnú kategóriu a prípadne skóre rizika. Môže pracovať pred hlavným modelom, po jeho odpovedi alebo pri volaní nástroja. Rozhodnutie sa porovná s politikou produktu a vedie k povoleniu, odmietnutiu, úprave alebo eskalácii. Klasifikátor je iba jedna kontrolná vrstva. Nezaručuje úplnú bezpečnosť, pretože môže zlyhať pri novom jazyku, kódovaní, kontexte alebo cielenej obchádzke.

Spracovanie prirodzeného jazyka

Bidirectional Encoder Representations from Transformers

BERT

BERT je rodina encoderových transformerových modelov predtrénovaných na obojsmerné reprezentácie textu. Pôvodný model používa masked language modeling, pri ktorom predikuje zakryté tokeny z ľavého aj pravého kontextu, a v pôvodnej verzii aj úlohu next sentence prediction. Po predtrénovaní sa model jemne dolaďuje alebo používa ako encoder pre klasifikáciu, extrakciu entít, otázky a odpovede či vyhľadávanie. BERT nie je autoregresívny generátor textu v štýle decoderových LLM, hoci jeho reprezentácie možno zapojiť do generatívnych systémov.

Evaluácia strojového prekladu a generovania

Bilingual Evaluation Understudy

BLEU score

BLEU je automatická metrika, ktorá porovnáva n-gramovú zhodu kandidátskeho prekladu s jedným alebo viacerými referenčnými prekladmi. Používa modifikovanú precision pre n-gramy a brevity penalty, ktorá penalizuje príliš krátke výstupy. Skóre sa pôvodne navrhlo na hodnotenie kvality systému na úrovni korpusu, nie ako spoľahlivý verdikt o jednej vete. BLEU nezachytáva úplne význam, faktickosť, štýl ani prijateľné parafrázy, preto sa má interpretovať spolu s ľudským hodnotením a ďalšími metrikami.

Supervised machine learning

Binárna klasifikácia

Binary classification

Binary classification je úloha, v ktorej model priraďuje vstup do jednej z dvoch vzájomne definovaných tried, napríklad podvod alebo bez podvodu. Model často vytvára skóre alebo odhad pravdepodobnosti pozitívnej triedy a rozhodovací prah ho mení na label. Výkon sa posudzuje cez confusion matrix, precision, recall, specificity, ROC AUC, PR AUC, kalibráciu a náklady chýb. Triedy nemusia byť vyvážené a označenie pozitívnej triedy je konvencia. Kvalita závisí od presnej definície labelu, časového horizontu a dostupnosti pravdy.

Stratové funkcie

Binárna krížová entropia

Binary cross-entropy

Binary cross-entropy je stratová funkcia pre binárny cieľ, ktorá porovnáva label y v množine 0, 1 s predikovanou pravdepodobnosťou p. Pre jeden príklad má tvar mínus y krát log p mínus (1 mínus y) krát log (1 mínus p). Silno penalizuje sebavedomé nesprávne predikcie a zodpovedá negatívnej log-likelihood Bernoulliho modelu. V implementácii sa často kombinuje sigmoid a logaritmické operácie do numericky stabilnej funkcie pracujúcej s logits. Vážená verzia môže meniť príspevok tried, ale sama neopraví chybnú kalibráciu alebo zlé labely.

Ensemble learning

Bootstrap aggregating

Bagging

Bagging je ensemble metóda, ktorá trénuje viacero modelov na bootstrapových vzorkách pôvodných dát a ich výstupy agreguje. Bootstrapová vzorka vzniká náhodným výberom s opakovaním, preto jednotlivé modely vidia odlišné kombinácie príkladov. Pri regresii sa predikcie zvyčajne priemerujú, pri klasifikácii sa používa hlasovanie alebo priemer pravdepodobností. Hlavným prínosom je znižovanie variability nestabilných modelov, najmä stromov, pričom systematické skreslenie základného algoritmu nemusí výrazne klesnúť.

Tokenizácia a jazykové modely

BPE tokenizácia

Byte pair encoding

Byte pair encoding v NLP je subword tokenizačná metóda, ktorá začína základnými symbolmi a iteratívne spája najčastejšie susedné dvojice do nových tokenov. Výsledný slovník obsahuje celé časté slová, časti slov aj základné jednotky pre zriedkavé tvary. Praktické implementácie môžu pracovať nad znakmi alebo bajtmi a používajú naučené poradie merge operácií. BPE znižuje problém neznámych slov, ale segmentácia nie je morfologická analýza. Voľba korpusu a veľkosti slovníka ovplyvňuje dĺžku sekvencií, pokrytie jazykov, cenu inferencie a spracovanie citlivých reťazcov.

Optimalizácia a návrh modelu

Cieľová funkcia optimalizácie

Objective function

Objective function je matematicky vyjadrené kritérium, ktoré optimalizačný postup minimalizuje alebo maximalizuje. Môže pozostávať zo stratovej funkcie na dátach, regularizačných členov, nákladov, odmien alebo penalizácií za porušenie obmedzení. Pri viacerých cieľoch sa používajú váhy, lexikografické pravidlá alebo Pareto analýza. Cieľová funkcia je zástupný signál pre zamýšľaný výsledok, preto jej optimum nemusí byť totožné s najlepším používateľským, obchodným alebo spoločenským výsledkom.

Predspracovanie kategórií

Cieľové kódovanie kategórií

Target encoding

Target encoding nahrádza kategóriu číselnou štatistikou odvodenou z cieľovej premennej, napríklad vyhladeným priemerom cieľa pre danú hodnotu. Pri klasifikácii môže vytvárať odhady podmienených pravdepodobností tried. Metóda je účinná pri stĺpcoch s vysokou kardinalitou, no nesprávny výpočet spôsobuje únik cieľa a preučenie. Tréningové kódovanie sa preto počíta mimo aktuálneho riadka alebo fold-u a kombinuje sa s globálnym priemerom. Vyhladzovací parameter sa vyberá iba na tréningových foldoch, nie podľa výkonu na konečnom teste.

Dáta a učenie s učiteľom

Cieľový štítok alebo anotácia

Label

Label je cieľová informácia priradená pozorovaniu, z ktorej sa model pri učení s učiteľom učí požadovaný výstup. Môže mať podobu triedy, číselnej hodnoty, množiny štítkov, masky, poradia, preferencie alebo časového priebehu. Label nemusí byť objektívna pravda, často ide o ľudskú anotáciu, meranie alebo prevádzkový proxy ukazovateľ. Jeho význam musí byť určený anotáciou schémy, pravidlami vzniku, časovým okamihom a spôsobom riešenia neistoty či nezhody anotátorov.

Metriky klasifikácie a vyhľadávania

Citlivosť alebo úplnosť záchytu

Recall

Recall vyjadruje podiel skutočne pozitívnych prípadov, ktoré systém označil ako pozitívne. V binárnej klasifikácii sa počíta TP delené súčtom TP a FN. Vo vyhľadávaní Recall@k meria, aká časť všetkých relevantných položiek sa nachádza medzi prvými k výsledkami. Hodnota závisí od definície pozitívnej triedy, rozhodovacieho prahu a spôsobu priemerovania pri viacerých triedach. Vysoký recall nezaručuje nízky počet falošných poplachov, preto sa interpretuje spolu s precision a nákladmi chýb.

Počítačové videnie a architektúry

CNN architektúra s depthwise separable convolution

Xception

Xception je konvolučná neurónová architektúra navrhnutá Françoisom Cholletom ako extrémna interpretácia modulov Inception. Priestorovú filtráciu vykonáva samostatne v každom kanáli pomocou depthwise convolution a následne mieša kanály bodovou konvolúciou 1 krát 1. Sieť používa reziduálne spojenia a vstupný, stredný a výstupný tok blokov. Oddelenie priestorových a medzikanálových korelácií môže efektívnejšie využívať parametre, ale nezaručuje nižšiu latenciu na každom hardvéri. Implementácia musí správne nastaviť padding, stride a normalizáciu.

Viacjazyčné jazykové modely

Cross-lingual language model

XLM

XLM označuje rodinu metód cross-lingual language model pretraining, ktoré učia spoločné reprezentácie viacerých jazykov. Pôvodná práca predstavila monolingválny masked language modeling a supervised translation language modeling nad paralelnými vetami. Cieľom je prenášať znalosti medzi jazykmi pri klasifikácii, porozumení a preklade. Skratka XLM nie je všeobecným označením každého viacjazyčného modelu a nemá sa zamieňať s XLM-R. Výkon závisí od jazykového pokrytia, tokenizácie, vyváženia korpusu a dostupnosti paralelných dát.

Viacjazyčné spracovanie reči

Cross-lingual speech representation model

XLS-R

XLS-R je rodina veľkých samoučených modelov rečových reprezentácií založená na wav2vec 2.0 a trénovaná na surovom zvuku z mnohých jazykov. Encoder maskuje latentné časové kroky a kontrastívnym cieľom rozlišuje správnu kvantizovanú reprezentáciu od negatívnych vzoriek. Spoločný predtréning umožňuje fine-tuning pre rozpoznávanie reči, identifikáciu jazyka alebo preklad, najmä pri jazykoch s malým množstvom prepisov. XLS-R nie je hotový univerzálny ASR model bez dekódovacej hlavy. Výsledok ovplyvňuje akustická doména, písmo, lexikón a dostupné štítky.

Dohľad, anotácia a spoločné rozhodovanie

Človek zapojený do rozhodovacej slučky

Human-in-the-loop

Human-in-the-loop je usporiadanie, v ktorom človek poskytuje vstup do cyklu učenia, rozhodovania alebo vykonania AI systému. Môže označovať anotovanie neistých príkladov, potvrdenie kritickej predikcie, opravu výstupu, výber akcie alebo spätnú väzbu použitú na ďalší tréning. Samotná prítomnosť človeka nezaručuje kontrolu. Zásah musí prísť v správnom čase, používateľ potrebuje informácie, kompetenciu, oprávnenie a reálnu možnosť výsledok zmeniť. Pri vysokej frekvencii, automation bias alebo slabej zodpovednosti sa človek môže stať iba formálnym schvaľovateľom.

Dáta a tréning

Data augmentation

Dátová augmentácia

Dátová augmentácia je súbor postupov, ktoré vytvárajú nové tréningové príklady transformáciou existujúcich dát pri zachovaní významu cieľovej triedy alebo úlohy. Pri obrazoch môže ísť o otočenie, orez, zmenu jasu či syntetické prekrytie, pri texte o kontrolované parafrázy a pri zvuku o posun tónu alebo pridanie šumu. Cieľom je rozšíriť variabilitu dát, znížiť preučenie a zlepšiť generalizáciu modelu na situácie, ktoré neboli presne zastúpené v pôvodnom súbore.

Dáta a kvalita

Data deduplication

Dátová deduplikácia

Dátová deduplikácia je identifikácia a riadené odstránenie alebo zoskupenie záznamov, ktoré predstavujú ten istý objekt, udalosť alebo obsah. Nejde iba o presne zhodné súbory, ale aj o blízke kópie, preformátované dokumenty, opakované fotografie, parafrázy či záznamy jednej entity s odlišným identifikátorom. V AI deduplikácia obmedzuje prevažovanie často opakovaného obsahu, memorovanie, dátový únik medzi rozdeleniami a skreslené metriky. Musí zachovať legitímne opakovania, ktoré nesú informáciu o frekvencii.

Prevádzka modelov

Data drift

Dátový drift

Dátový drift označuje zmenu štatistických vlastností vstupných dát po nasadení modelu v porovnaní s dátami, na ktorých bol model trénovaný alebo validovaný. Môže sa meniť rozdelenie hodnôt, frekvencia kategórií, kvalita merania, sezónnosť alebo zastúpenie používateľských skupín. Drift ešte automaticky neznamená pokles presnosti, ale je varovným signálom, že pôvodné predpoklady modelu prestávajú zodpovedať prevádzke a je potrebné preveriť výkon, príčinu zmeny a potrebu zásahu.

Riadenie a zodpovednosť

Data governance

Dátové riadenie

Dátové riadenie je organizačný systém pravidiel, rolí, rozhodovacích právomocí a kontrol, ktorým organizácia zabezpečuje, že dáta používané v AI majú určený pôvod, vlastníka, účel, kvalitu, prístupové podmienky a dobu uchovávania. Zahŕňa politiky zberu, klasifikáciu citlivosti, schvaľovanie použitia, dokumentáciu transformácií, riešenie incidentov a dohľad nad dodávateľmi. Jeho výsledkom nemá byť iba dokumentácia, ale preukázateľná schopnosť vysvetliť, kto s dátami narábal a prečo.

Validácia modelov

Data leakage

Dátový únik

Dátový únik vzniká, keď sa počas tréningu alebo prípravy modelu dostane do vstupov informácia, ktorá by pri reálnom použití nebola dostupná, prípadne keď sa obsah validačnej alebo testovacej množiny nepriamo využije na učenie. Môže ísť o budúcu hodnotu, premennú odvodenú z výsledku, normalizáciu vypočítanú nad celým datasetom alebo duplicity medzi rozdeleniami. Únik vytvára umelo vysoký výkon v experimente, pretože model rieši jednoduchšiu úlohu než tú, ktorú bude riešiť v prevádzke.

Riadenie a auditovateľnosť

Data lineage

Dátová línia

Dátová línia je zdokumentovaná cesta konkrétneho dátového prvku alebo datasetu od zdrojového systému cez import, čistenie, spájanie, výpočty a verzie až po jeho použitie v modeli, reporte alebo rozhodnutí. Na rozdiel od všeobecného popisu pôvodu zachytáva aj technické transformácie a závislosti medzi objektmi. Umožňuje určiť, ktoré modely zasiahne chyba v zdroji, reprodukovať tréningový dataset a spätne vysvetliť, ako sa konkrétna hodnota dostala do modelovej pipeline.

Bezpečnosť AI

Data poisoning

Dátové otrávenie

Dátové otrávenie je útok alebo škodlivé zasahovanie do tréningových dát, pri ktorom útočník vkladá, mení alebo selektívne odstraňuje príklady tak, aby ovplyvnil naučené správanie modelu. Cieľom môže byť všeobecné zhoršenie výkonu, posun rozhodovacej hranice, diskrétna manipulácia konkrétnej triedy alebo vytvorenie zadných vrátok aktivovaných špecifickým vzorom. Útok môže zasiahnuť surové dáta, štítky, spätnú väzbu používateľov aj externé zdroje automaticky sťahované do tréningovej pipeline.

Dáta a tréning

Data preprocessing

Dátové predspracovanie

Dátové predspracovanie je riadená premena surových vstupov na reprezentáciu vhodnú pre tréning alebo inferenciu modelu. Zahŕňa napríklad čistenie chybných záznamov, spracovanie chýbajúcich hodnôt, normalizáciu, kódovanie kategórií, tokenizáciu, výber atribútov, časové agregácie a odstránenie duplicít. Kroky musia byť definované ako reprodukovateľná pipeline a parametre učené z dát sa majú odhadovať iba na tréningovej množine, inak vzniká riziko dátového úniku a rozdielu medzi tréningom a prevádzkou.

Riadenie a auditovateľnosť

Data provenance

Dátový pôvod

Dátový pôvod je súbor informácií o vzniku, vlastníctve, získaní, právach, umiestnení a zmenách dát počas ich životného cyklu. Pri AI má odpovedať na otázky, kto dáta vytvoril, akou metódou, kedy, za akým účelom, s akým súhlasom alebo licenciou, ktoré zásahy boli vykonané a či možno zdroj dôveryhodne overiť. Provenance podporuje auditovateľnosť, reprodukovateľnosť, posudzovanie kvality a reakciu na incidenty, pretože oddeľuje dôveryhodné údaje od nejasného alebo nelegitímneho obsahu.

Dáta a riadenie rizík

Data quality

Dátová kvalita

Dátová kvalita vyjadruje mieru, do akej dáta spĺňajú požiadavky konkrétneho účelu. Pri AI sa neposudzuje iba presnosť jednotlivých hodnôt, ale aj úplnosť, konzistentnosť, aktuálnosť, reprezentatívnosť, jednoznačnosť, správnosť štítkov, pokrytie okrajových prípadov a vhodnosť pre cieľovú populáciu. Dataset môže byť technicky čistý, no nekvalitný pre daný model, ak nezachytáva reálne podmienky použitia alebo obsahuje systematické meracie a výberové skreslenie.

Validácia modelov

Data split

Dátové rozdelenie

Dátové rozdelenie je rozčlenenie dostupných príkladov na oddelené množiny s rôznou úlohou, typicky tréningovú, validačnú a testovaciu. Tréningová množina určuje parametre modelu, validačná podporuje výber architektúry a hyperparametrov a testovacia poskytuje čo najnezávislejší odhad výsledného výkonu. Spôsob delenia musí rešpektovať čas, skupiny, entity a spôsob nasadenia, aby sa rovnaký používateľ, dokument, zariadenie alebo budúca informácia nedostali do viacerých častí a nevytvorili únik.

Dáta a prevádzka

Data validation

Dátová validácia

Dátová validácia je systematické overovanie, či vstupné alebo tréningové dáta spĺňajú definovanú schému, rozsahy, typy, vzťahy, distribučné očakávania a doménové pravidlá. Kontroly môžu zachytiť chýbajúce polia, neplatné kategórie, prudkú zmenu podielov, porušenie referenčnej integrity, anomálne jednotky alebo rozdiel medzi tréningovým a produkčným formátom. Validácia sa vykonáva pri prijatí zdroja, po transformáciách aj pred inferenciou, pričom výsledok musí viesť k blokovaniu, karanténe alebo riadenej výnimke.

Generalizácia a monitoring

Dataset shift

Dátový posun

Dátový posun je zastrešujúci pojem pre rozdiel medzi pravdepodobnostným rozdelením dát, z ktorých sa model učil, a rozdelením dát, na ktorých sa hodnotí alebo používa. Môže ísť o zmenu vstupov, zmenu podielu tried, zmenu vzťahu medzi vstupom a cieľom alebo kombináciu týchto javov. Posun vzniká časom, výberovým mechanizmom, odlišným regiónom, zariadením či politikou. Jeho analýza určuje, či stačí prekalibrovať prah, upraviť vzorkovanie alebo je potrebné zmeniť model a zber dát.

Trénovanie a spracovanie dát

Dávka dát

Batch

Batch je skupina príkladov spracovaných modelom v jednom výpočtovom kroku. Pri tréningu sa strata a gradient zvyčajne odhadujú z mini-batchu, po ktorom optimalizátor aktualizuje parametre. Veľkosť dávky ovplyvňuje pamäťové nároky, paralelizáciu, šum gradientu, rýchlosť konvergencie a niekedy aj generalizáciu. Full batch obsahuje celý tréningový súbor, stochastic režim pracuje s jedným príkladom a mini-batch používa počet medzi týmito extrémami. Dávka pri inferencii môže združovať nezávislé požiadavky kvôli vyššej priepustnosti.

Nasadenie a prevádzka AI

Dávková inferencia

Batch inference

Batch inference je režim, v ktorom model spracuje väčší súbor vstupov mimo interaktívnej požiadavky, zvyčajne podľa harmonogramu alebo po dostupnosti dát. Predikcie sa zapisujú do tabuľky, dátového skladu, súboru alebo frontu na ďalšie použitie. Dávková inferencia uprednostňuje priepustnosť, cenu a opakovateľnosť pred okamžitou odozvou. Pipeline musí riešiť verziu modelu, časový rez vstupov, idempotenciu, rozdelenie práce, obnovu po chybe a sledovanie toho, ku ktorému modelu a dátam každá predikcia patrí.

Architektúra a optimalizácia neurónových sietí

Dávková normalizácia

Batch normalization

Batch normalization je vrstva, ktorá počas tréningu štandardizuje aktivácie pomocou priemeru a rozptylu vypočítaného z mini-batchu a potom aplikuje naučiteľnú škálu a posun. Pri inferencii sa spravidla používajú priebežne odhadnuté populačné štatistiky, nie štatistiky aktuálnej požiadavky. Metóda často umožňuje vyššiu rýchlosť učenia a stabilnejší tréning, ale jej správanie závisí od veľkosti a reprezentatívnosti dávky. Pri veľmi malých batchoch, sekvenčných modeloch alebo distribuovanom tréningu môže byť vhodnejšia iná normalizácia.

Neurónové architektúry

Decoder

Dekóder

Dekóder je komponent modelu, ktorý premieňa internú reprezentáciu na výstup v požadovanom priestore, napríklad text, obraz, zvuk, segmentačnú masku alebo rekonštruovaný vstup. V encoder decoder architektúre prijíma latentné vektory od enkódera a postupne obnovuje štruktúru výstupu. V autoregresívnom jazykovom modeli tvorí nasledujúce tokeny z predchádzajúceho kontextu a vlastných skrytých stavov. Konkrétny význam preto závisí od architektúry, no spoločnou funkciou je preklad reprezentácie na interpretovateľný alebo použiteľný výsledok.

RAG, vyhľadávanie a znalostné bázy

Delenie dokumentov na úseky

Chunking

Chunking je rozdelenie dokumentu alebo dátového toku na menšie jednotky, ktoré možno samostatne indexovať, embedovať, vyhľadávať alebo posielať modelu. V RAG systéme chunk nesie text a metadáta o zdroji, pozícii, nadpise či oprávnení. Stratégia môže byť pevná podľa tokenov, rekurzívna, štruktúrna alebo sémantická a často používa prekryv. Cieľom nie je vytvoriť čo najmenšie kusy, ale zachovať významovú súdržnosť pri prijateľnej granularite, recalli, kontextovej cene a presnosti citovania.

Kompresia a prenos správania modelu

Destilácia znalostí

Knowledge distillation

Knowledge distillation je tréningová technika, pri ktorej študentský model napodobňuje učiteľský model alebo ensemble pomocou mäkkých cieľov, logitov, medzivrstvových reprezentácií, attention máp alebo generovaných príkladov. Teplota zmäkčuje pravdepodobnostné rozdelenie a odhaľuje vzťahy medzi triedami, ktoré one-hot štítok neobsahuje. Cieľom býva menší, rýchlejší alebo lacnejší model, pričom treba overiť prenos chýb, biasu, kalibrácie a bezpečnostného správania učiteľa. Destilačný cieľ môže kombinovať viac lossov, ktorých relatívne váhy menia to, čo študent prevezme.

Štatistické odhaľovanie odľahlých hodnôt

Detekcia anomálií pomocou z-skóre

Z-score anomaly detection

Z-score anomaly detection je jednoduchá pravidlová metóda, ktorá označuje pozorovanie za podozrivé, keď absolútna hodnota jeho štandardizovanej odchýlky prekročí zvolený prah, napríklad 3. Predpokladá stabilný referenčný priemer a smerodajnú odchýlku, pričom najlepšie funguje pri približne symetrickom jednorozmernom rozdelení bez výrazných ťažkých chvostov. V online prevádzke treba určiť okno, spôsob aktualizácie štatistík a ochranu pred tým, aby anomálie samy posúvali baseline.

Evaluácia, verifikácia a kontrola dôkazov

Detekcia halucinácií

Hallucination detection

Hallucination detection je súbor postupov, ktoré určujú, či generovaný výstup obsahuje tvrdenie bez dostatočnej opory. Detektor môže porovnávať odpoveď so zdrojovým textom, databázou alebo výsledkom nástroja, vyhodnocovať logickú podporu medzi dôkazom a tvrdením, hľadať neexistujúce entity alebo testovať konzistentnosť opakovaných generovaní. Úloha sa líši od všeobecnej kontroly kvality, pretože musí lokalizovať konkrétnu nepodloženú časť. Výsledok je často pravdepodobnostné skóre, ktoré závisí od dostupnosti autoritatívneho referenčného materiálu a od granularity tvrdení.

Spracovanie reči

Detekcia hlasovej aktivity

Voice activity detection

Voice activity detection, VAD, klasifikuje krátke úseky zvukového signálu ako reč, nereč alebo pravdepodobnosť rečovej aktivity. Používa energiu, spektrálne príznaky alebo neurónové modely a slúži na segmentáciu, spustenie ASR, potlačenie ticha a riadenie streamovania. VAD nerozpoznáva obsah ani identitu hovoriaceho. Musí zvládnuť šepot, hudbu, ruch, prekryv hovoriacich a oneskorenie na hraniciach slov. Prahy, minimálna dĺžka segmentu a hangover mechanizmus ovplyvňujú, či sa neodrežú začiatky alebo konce výpovede.

Anomálie a otvorený svet

Detekcia nových alebo neznámych vzorov

Novelty detection

Novelty detection je úloha identifikovať nové pozorovania, ktoré sa významne odlišujú od distribúcie čistých tréningových dát reprezentujúcich normálny stav. Model sa učí hranicu alebo hustotu bežných príkladov a na nových vstupoch vytvára novelty score alebo binárne rozhodnutie. Na rozdiel od outlier detection sa predpokladá, že tréningová množina nie je kontaminovaná anomáliami. Používajú sa one-class SVM, Local Outlier Factor v novelty režime, autoenkódery alebo metódy hustoty. Prah musí vychádzať z prevádzkových nákladov.

Počítačové videnie

Detekcia objektov

Object detection

Object detection je úloha počítačového videnia, ktorá v obraze alebo videoframes určuje výskyt jednotlivých objektov, priraďuje im triedu a lokalizuje ich, najčastejšie ohraničovacím rámčekom. Detektor rieši premenlivý počet inštancií, ich mierku, pozíciu a prekrývanie. Výstup obsahuje kandidátov so skóre istoty, ktoré sa filtrujú prahom a často non-maximum suppression. Kvalita sa hodnotí pomocou precision, recall a mean average precision pri definovaných prahoch Intersection over Union, nie iba celkovou presnosťou klasifikácie.

Otvorená slovná zásoba v počítačovom videní

Detekcia objektov nevidených pri tréningu

Zero-shot object detection

Zero-shot object detection lokalizuje objekty pomocou ohraničujúcich rámcov a priraďuje im triedy, ktoré nemali označené detekčné príklady pri tréningu. Model prepája vizuálne regióny s textovou alebo atribútovou reprezentáciou kandidátnych kategórií. Moderné open-vocabulary detektory využívajú vision-language predtrénovanie a textové dotazy. Úloha je náročnejšia než zero-shot klasifikácia celého obrazu, pretože musí súčasne navrhnúť správny región, oddeliť pozadie a pomenovať objekt.

Anomálie a kvalita dát

Detekcia odľahlých pozorovaní

Outlier detection

Outlier detection hľadá pozorovania, ktoré sa podľa zvolenej reprezentácie a modelu výrazne odlišujú od väčšiny dát. Metódy využívajú hustotu, vzdialenosť, izoláciu, robustnú kovarianciu alebo rekonštrukčnú chybu. Pri outlier detection sa často predpokladá, že tréningový súbor už obsahuje určitý podiel odľahlých bodov, na rozdiel od novelty detection trénovanej na prevažne čistých normálnych dátach. Odľahlosť nie je automaticky chyba ani podvod. Môže ísť o vzácny platný jav, preto sa prah a následná akcia odvodzujú od domény.

Bezpečnostné monitorovanie generatívnej AI

Detekcia pokusov o obídenie pravidiel modelu

Jailbreak detection

Jailbreak detection je proces identifikácie vstupov, konverzačných trajektórií alebo výstupov, ktoré pravdepodobne smerujú k obídeniu behaviorálnych obmedzení modelu. Detektor môže kombinovať pravidlá, klasifikátor, embeddingovú podobnosť, signály z dekódovania, analýzu histórie a kontrolu výsledného obsahu. Musí rozlišovať legitímny výskum, citáciu alebo bezpečnostnú diskusiu od operačného návodu. Kľúčové metriky sú recall pri nebezpečných útokoch, falošné blokovanie, odolnosť voči obfuskácii a latencia v produkčnej ceste.

Počítačové videnie a biometria

Detekcia tváre

Face detection

Face detection je úloha počítačového videnia, ktorá zisťuje prítomnosť ľudských tvárí a určuje ich polohu v obraze alebo videu, spravidla pomocou ohraničujúcich rámčekov, bodov alebo masiek. Výstup nehovorí, komu tvár patrí. Detektor môže byť samostatný model alebo prvý stupeň biometrického reťazca pred zarovnaním a porovnaním. Kvalita sa posudzuje podľa citlivosti, falošných detekcií, lokalizačnej presnosti, rýchlosti a výkonu pri rôznych pózach či svetle.

Spoľahlivosť a otvorený svet

Detekcia vstupov mimo distribúcie

Out-of-distribution detection

Out-of-distribution detection, skrátene OOD detection, identifikuje vstupy, ktoré sa významne líšia od distribúcie reprezentovanej tréningovými alebo referenčnými dátami. Rozdiel môže vzniknúť novou triedou, senzorom, prostredím, štýlom, populáciou alebo procesom zberu. Detektor vytvára skóre, ktoré sa prahuje na známe a neznáme, prípadne na úroveň rizika. Softmax istota samotná býva nedostatočná. Evaluácia používa oddelené OOD datasety, AUROC, AUPR a false positive rate pri zvolenom recall, pričom výsledok silne závisí od typu posunu.

Výstupná vrstva detektora

Detekčná hlava modelu YOLO

YOLO detection head

YOLO detection head je výstupná časť siete, ktorá z príznakových máp vytvára lokalizačné a klasifikačné predikcie. Podľa verzie môže súčasne alebo oddelene odhadovať vzdialenosti k hranám rámca, objektovosť, triedne logity a prípadné distribúcie súradníc. Hlava pracuje na jednej alebo viacerých mierkach a môže byť anchor-based alebo anchor-free, coupled alebo decoupled. Jej výstup ešte nemusí predstavovať konečné detekcie, pretože sa aplikuje dekódovanie, prahovanie a prípadne non-maximum suppression.

Spracovanie reči a viacnásobných hovoriacich

Diarizácia hovoriacich

Speaker diarization

Speaker diarization je proces rozdelenia zvukového záznamu na časové úseky podľa toho, kto práve hovorí. Typická pipeline zahŕňa detekciu reči, segmentáciu, tvorbu embeddingov hovoriaceho, zhlukovanie a úpravu hraníc. Výstup používa anonymné označenia, napríklad SPEAKER_00, a nemusí poznať meno osoby. Úloha sa komplikuje pri prekrývajúcej sa reči, krátkych vstupoch, hluku a zmene akustiky. Diarizácia neprepisuje obsah slov a sama osebe nie je biometrickou identifikáciou.

Generatívna AI

Diffusion model

Difúzny model

Difúzny model je generatívny model, ktorý sa učí obrátiť postupný proces pridávania šumu do dát. Počas tréningu dostáva vzorky z rôznych úrovní zašumenia a učí sa odhadovať šum, čistú vzorku alebo skóre distribúcie. Pri generovaní začína náhodným šumom a opakovanými denoising krokmi vytvára obraz, zvuk alebo inú štruktúru. Podmienenie textom, triedou či ďalším vstupom usmerňuje výsledok. Kvalita závisí od tréningového korpusu, reprezentácie, sampleru, počtu krokov a spôsobu riadenia podmienky.

Aplikačná AI

Digital twin

Digitálne dvojča

Digitálne dvojča je dynamická digitálna reprezentácia konkrétneho fyzického objektu, procesu alebo systému, ktorá sa priebežne aktualizuje dátami zo svojho reálneho náprotivku. Spája model konštrukcie alebo správania, senzorové údaje, stavové odhady a simulačné či analytické funkcie. AI môže v dvojčati predikovať poruchy, odhadovať nepozorované veličiny, optimalizovať prevádzku alebo vyhodnocovať scenáre. Kľúčová je identifikovateľná väzba na konkrétnu entitu a riadená synchronizácia, nie iba statický 3D model.

Modelové paradigmy

Discriminative model

Diskriminačný model

Diskriminačný model sa učí priamo mapovanie vstupu na cieľ alebo podmienené rozdelenie cieľa pri danom vstupe. Pri klasifikácii odhaduje hranice medzi triedami alebo pravdepodobnosť triedy bez potreby modelovať, ako vznikli samotné vstupné dáta. Logistická regresia, support vector machine a mnohé klasifikačné neurónové siete sú diskriminačné modely. V porovnaní s generatívnym modelom býva účelovo zameraný na predikciu, no neposkytuje automaticky mechanizmus na realistické vytváranie nových vstupných vzoriek.

Promptovanie a riadenie generatívnych modelov

Diskrétny textový prompt

Hard prompt

Hard prompt je prompt vytvorený z diskrétnych tokenov prirodzeného jazyka alebo iných symbolov, ktoré používateľ priamo číta a upravuje. Obsahuje inštrukcie, kontext, príklady, obmedzenia či požadovaný formát a vstupuje do modelu cez bežnú tokenizáciu. Označenie hard ho odlišuje od soft promptu, ktorého naučené spojité vektory nemusia zodpovedať čitateľným slovám. Hard prompt nemení parametre modelu a jeho účinok závisí od formulácie, poradia informácií, kontextového okna a verzie modelu. Nie je bezpečnostnou hranicou, pretože môže byť prebitý konfliktom alebo prompt injection útokom.

Výpočtová infraštruktúra

Distributed training

Distribuovaný tréning

Distribuovaný tréning je učenie modelu pomocou viacerých výpočtových zariadení alebo uzlov, ktoré si rozdeľujú dáta, parametre alebo časti výpočtového grafu. Pri data parallelism má každé zariadenie kópiu modelu a spracúva inú dávku, potom sa gradienty synchronizujú. Pri model parallelism sa samotný model rozdelí medzi zariadenia. Distribúcia umožňuje väčšie modely a kratší čas tréningu, no prináša komunikačné náklady, problémy synchronizácie, tolerancie porúch, reprodukovateľnosti a efektívneho využitia hardvéru.

Rekurentné neurónové siete

Dlhá krátkodobá pamäť, LSTM

Long short-term memory

Long short-term memory, LSTM, je typ rekurentnej neurónovej siete s bunkovým stavom a riadiacimi bránami, ktoré regulujú zapisovanie, zabúdanie a čítanie informácie v sekvencii. Forget gate určuje, čo zostane z predchádzajúceho bunkového stavu, input gate riadi nový kandidátny obsah a output gate formuje skrytý stav. Táto architektúra zmierňuje problém miznúcich gradientov oproti jednoduchej RNN, no nezaručuje uchovanie ľubovoľne dlhých závislostí a výpočet zostáva sekvenčný v čase.

Parametricky efektívna adaptácia

Dolaďovanie pomocou soft promptov

Prompt tuning

Prompt tuning je PEFT metóda, ktorá ponechá parametre predtrénovaného modelu zmrazené a učí malú sadu spojitých vektorov, nazývaných soft alebo virtual tokens. Tieto vektory sa pridajú k embeddingom vstupu a optimalizujú backpropagation pre konkrétnu úlohu. Na rozdiel od ručne písaného promptu nemusia zodpovedať čitateľným slovám. Jeden základný model môže obsluhovať viac úloh s rozdielnymi soft promptmi a nízkou úložnou réžiou. Výkon závisí od veľkosti modelu, počtu virtuálnych tokenov, inicializácie, dát a toho, či úloha vyžaduje hlbšiu zmenu reprezentácií.

Transfer learning a optimalizácia

Dolaďovanie predtrénovaného modelu

Fine-tuning

Fine-tuning je ďalší tréning predtrénovaného modelu na dátach alebo cieli špecifickom pre novú úlohu, doménu alebo požadované správanie. Aktualizovať možno všetky parametre, vybrané vrstvy alebo malú sadu adaptérov. Učenie zvyčajne používa nižší learning rate a potrebuje samostatnú validáciu, aby sa obmedzilo preučenie, catastrophic forgetting a regresie mimo cieľovej oblasti. Dolaďovanie mení modelové váhy, čím sa odlišuje od promptovania, retrievalu a kontextových demonštrácií.

Výber tréningových dát a optimalizácia reprezentácií

Dolovanie náročných negatívnych príkladov

Hard negative mining

Hard negative mining je proces, pri ktorom sa z veľkej množiny negatívnych kandidátov cielene vyberajú tie, ktoré aktuálny model zamieňa s pozitívnymi alebo im priraďuje vysokú podobnosť. Výber môže prebiehať v rámci minibatchu, z priebežne obnovovaného indexu, pomocou staršej verzie modelu alebo kombináciou viacerých retrieverov. Cieľom je sústrediť učenie na rozhodovaciu hranicu a zvýšiť diskriminačnú schopnosť. Príliš agresívne dolovanie môže zosilniť chyby anotácie, opakovane vyberať rovnaké prípady, znížiť rozmanitosť a destabilizovať tréning.

Transfer learning

Domain adaptation

Doménová adaptácia

Doménová adaptácia je skupina metód, ktoré upravujú model naučený na zdrojovej doméne tak, aby fungoval v cieľovej doméne s odlišným rozdelením dát, ale príbuznou úlohou. Cieľová doména môže mať málo štítkov alebo byť úplne neoznačená. Metódy zahŕňajú váženie príkladov, zarovnanie reprezentácií, adversariálne učenie doménovo invariantných znakov, self training a jemné doladenie. Úspech predpokladá, že medzi doménami existuje prenositeľná štruktúra a že adaptácia nezakryje rozdiely dôležité pre bezpečnosť.

Spracovanie tenzorov a konvolúcie

Doplnenie vstupu nulami

Zero padding

Zero padding je rozšírenie tenzora o bunky s nulovou hodnotou na okrajoch alebo v zvolenej dimenzii. Pri konvolučných sieťach riadi priestorový rozmer výstupu a umožňuje, aby sa filter aplikoval aj na hraničné pixely. Pri sekvenciách môže nulové doplnenie vyrovnať dĺžky položiek v dávke, ale musí byť sprevádzané maskou, ak nula môže byť platnou hodnotou alebo ak model nesmie padding započítať. Vo frekvenčných metódach mení vzorkovanie spektra, nie skutočné informačné rozlíšenie signálu.

Neurónové siete a inferencia

Dopredný priechod

Forward pass

Forward pass je postupné vykonanie operácií modelu od vstupných tenzorov po výstupné aktivácie, skóre alebo predikciu. Každá vrstva aplikuje svoje váhy, bias, normalizáciu, aktiváciu alebo inú transformáciu na výstup predchádzajúcej časti. Počas tréningu dopredný priechod vytvorí hodnoty a výpočtový graf potrebný na výpočet loss a následný backward pass. Pri inferencii sa gradienty zvyčajne nesledujú a vrstvy ako dropout či batch normalization pracujú v eval režime.

Vyhľadávanie a práca so znalosťami

Dopyt informačného systému

Query

Query je formalizovaná požiadavka odoslaná vyhľadávaciemu, databázovému alebo modelovému systému s cieľom získať, filtrovať alebo vypočítať výsledok. Môže obsahovať text, štruktúrované podmienky, vektor, časový rozsah, identitu kolekcie alebo požadovaný typ odpovede. Query nie je automaticky prompt. Prompt môže riadiť generovanie a obsahovať inštrukcie, kým query často reprezentuje informačnú potrebu pre retrieval vrstvu. Jej presný význam závisí od syntaxe, schémy a kontextu relácie.

Dotazovanie a tvorba dátových výstupov

Dotazovací jazyk pre XML a XDM dáta

XQuery

XQuery je funkcionálny dotazovací jazyk W3C určený na spracovanie XML a hodnôt v XQuery and XPath Data Model. Používa XPath výrazy, FLWOR konštrukcie, funkcie, moduly, typy a konštruktory na filtrovanie, spájanie, transformáciu a vytváranie nových dokumentov. XQuery 3.1 pracuje aj s mapami, poľami a JSON kompatibilnými štruktúrami. V AI systémoch môže pripravovať korpusy, metadáta alebo validačné reporty. Výkon závisí od indexov a optimalizátora databázy. Dynamicky vložený používateľský text môže spôsobiť XQuery injection.

Teória generalizácie

Double descent

Dvojitý zostup

Dvojitý zostup je jav, pri ktorom testovacia chyba s rastúcou kapacitou modelu najprv klesá, potom v okolí interpolačného prahu stúpne a pri ďalšom zväčšovaní modelu znovu klesá. Interpolačný prah nastáva, keď model dokáže takmer dokonale prispôsobiť tréningové dáta vrátane šumu. Jav narúša jednoduchú predstavu, že zložitejší model po bode preučenia iba zhoršuje generalizáciu. Môže sa objaviť pri zmene počtu parametrov, dĺžky tréningu alebo veľkosti datasetu a závisí od optimalizácie i štruktúry dát.

Interpretovateľnosť a diagnostika

Dôležitosť vstupnej vlastnosti

Feature importance

Feature importance je skóre, ktoré vyjadruje, do akej miery určitá vstupná vlastnosť prispieva k predikčnej schopnosti modelu podľa zvolenej metódy. Môže byť globálne pre celý dataset alebo lokálne pre jeden príklad. Impurity-based importance v stromoch, permutation importance, koeficienty a agregované atribúcie merajú rozdielne veci a majú odlišné skreslenia. Vysoká dôležitosť neznamená kauzalitu ani obchodnú hodnotu a pri korelovaných features sa príspevok môže rozdeliť nestabilne.

Prevádzková spoľahlivosť

Drift modelu

Model drift

Model drift je zhoršovanie alebo zmena správania nasadeného modelu v čase v dôsledku posunu dát, vzťahu medzi vstupmi a cieľom, používateľského správania, procesu merania alebo okolitého systému. Pojem sa často používa ako prevádzkový zastrešujúci názov pre data drift, concept drift a posun výkonu. Drift nemožno spoľahlivo určiť iba z distribúcie vstupov, pretože nie každý posun zhorší rozhodnutia a výkon sa môže zmeniť aj bez výraznej zmeny jednoduchých príznakových štatistík.

Regularizácia

Dropout regularization

Dropout

Dropout je regularizačná technika pre neurónové siete, pri ktorej sa počas tréningu náhodne vynuluje časť aktivácií vybraných neurónov. Sieť sa tak nemôže spoliehať na stále rovnakú úzku kombináciu jednotiek a učí redundantnejšie, všeobecnejšie reprezentácie. Pri inferencii sa neuróny nevypínajú, namiesto toho sa použije zodpovedajúce škálovanie aktivácií. Dropout môže znížiť preučenie, no jeho vhodná miera závisí od architektúry, veľkosti dát, normalizácie a miesta aplikácie v sieti.

Vyhľadávanie, odporúčanie a RAG

Druhé zoradenie kandidátov

Reranking

Reranking je druhá alebo neskoršia fáza, ktorá preusporiada obmedzený zoznam kandidátov pomocou presnejšieho modelu, bohatších príznakov alebo dodatočných pravidiel. Kým prvý retriever optimalizuje rýchlosť a recall nad veľkým korpusom, reranker môže vykonať nákladnú interakciu medzi dopytom a každým kandidátom, napríklad cross-encoderom. Reranking zvyšuje presnosť prvých pozícií, no nedokáže obnoviť relevantnú položku, ktorá nebola v kandidátnom zozname. Môže tiež uplatniť diverzitu, čerstvosť či bezpečnostné obmedzenia.

Inferenčná infraštruktúra

Dynamic batching

Dynamické dávkovanie

Dynamické dávkovanie je technika serverovania modelov, pri ktorej sa samostatné inferenčné požiadavky na krátky čas zhromaždia a spoja do jednej výpočtovej dávky. Server priebežne volí veľkosť dávky podľa príchodov, maximálnej čakacej doby, dĺžky vstupov a dostupnej pamäte. Cieľom je zvýšiť priepustnosť a využitie akcelerátora bez neprimeraného nárastu latencie. Pri sekvenčných modeloch musí systém riešiť padding, rozdielnu dĺžku generovania, priority a férovosť medzi krátkymi a dlhými požiadavkami.

Škálovanie modelov a evaluácia

Emergentné schopnosti

Emergent abilities

Emergent abilities označujú schopnosti, ktoré sa pri meraní série modelov javia ako neprítomné pri menšej škále a zreteľne sa objavia až pri väčšom modeli, objeme dát alebo výpočte. Pôvodná formulácia zdôrazňuje, že takýto skok nemožno jednoducho predpovedať extrapoláciou menších modelov. Interpretácia je však predmetom diskusie, pretože prahové alebo nelineárne metriky môžu plynulé zlepšenie zobraziť ako náhly vznik. Tvrdenie o emergencii preto vyžaduje viac škál, citlivé metriky a štatistickú neistotu.

Pravdepodobnostné a generatívne modely

Energetický model

Energy-based model

Energy-based model priraďuje dvojici vstupu a konfigurácie, prípadne samotnému pozorovaniu, skalárnu energiu, pričom nižšia energia znamená vyššiu kompatibilitu podľa naučeného modelu. Predikcia sa získava hľadaním konfigurácie s nízkou energiou alebo odvodením pravdepodobnosti z energetickej funkcie. Normalizácia na pravdepodobnostné rozdelenie môže vyžadovať náročný partition function. Tréning preto často znižuje energiu správnych príkladov a zvyšuje energiu negatívnych vzoriek pomocou kontrastívnych alebo aproximačných metód.

Rozhodovacie systémy a aplikačná AI

Engine obchodných pravidiel

Business rules engine

Business rules engine je softvérová komponenta, ktorá vykonáva explicitne zapísané rozhodovacie pravidlá oddelene od hlavného aplikačného kódu. Pravidlá môžu mať podobu rozhodovacích tabuliek, podmienok, priorít alebo štandardizovaných modelov, napríklad DMN. Engine vyhodnocuje fakty a vracia rozhodnutie, oprávnenie, klasifikáciu alebo ďalší krok. Nie je to nevyhnutne strojové učenie, pretože pravidlá môžu byť ručne vytvorené a deterministické. V hybridnej AI môže engine uplatniť povinné obmedzenia na výstup modelu alebo premeniť predikciu na auditovateľné rozhodnutie.

Neurónové architektúry

Enkóder

Encoder

Encoder je časť modelu, ktorá premieňa vstup na vnútornú reprezentáciu vhodnú pre ďalšie spracovanie. V sekvenčných architektúrach vytvára kontextualizované reprezentácie tokenov alebo súhrnný stav, v autoenkóderi mapuje dáta do latentného kódu a v multimodálnom systéme môže kódovať obraz či zvuk. Transformerový encoder používa self-attention nad vstupom a feed-forward vrstvy, pričom zvyčajne vidí celý vstup naraz. Výstup môže slúžiť klasifikátoru, decoderu, retrieveru alebo inému modulu.

Informačná teória a neistota

Entropia

Entropy

Entropy je miera neurčitosti pravdepodobnostného rozdelenia. Shannonova entropia sa počíta ako záporný súčet pravdepodobností násobených ich logaritmami a dosahuje nízku hodnotu pri koncentrovanom rozdelení, vysokú pri rovnomernejšom rozdelení. V strojovom učení sa používa pri výbere rozdelenia v rozhodovacích stromoch, pri odhade neistoty predikcie, v regularizácii a v reinforcement learningu. Hodnota závisí od základu logaritmu a nehovorí, či je najpravdepodobnejšia trieda správna.

Tréning modelov

Epocha tréningu

Epoch

Epoch je tréningový interval, počas ktorého algoritmus spracuje približne jeden úplný priechod cez tréningovú množinu. Pri datasete s N príkladmi a batch size B obsahuje epocha približne N delené B aktualizačných krokov, pričom posledná dávka môže byť menšia. Význam sa komplikuje pri distribuovanom tréningu, sampling with replacement, nekonečných dátových streamoch alebo dynamickej augmentácii. Počet epoch preto nie je univerzálnou mierou výpočtu a musí sa čítať spolu s počtom krokov, tokenov a efektívne videných príkladov.

Meranie výkonnosti AI

Evaluačný benchmark

Evaluation benchmark

Evaluation benchmark je štandardizovaný balík úloh, dát, inštrukcií, metrík a pravidiel, ktorý umožňuje porovnať AI systémy za definovaných podmienok. Dobrý benchmark určuje cieľ merania, populáciu príkladov, scoring, povolené nástroje, počet pokusov, verziu modelu a spôsob agregácie neistoty. Výsledok platí iba pre tento protokol. Benchmark môže časom saturovať, uniknúť do tréningových dát alebo prestať reprezentovať reálne použitie, preto potrebuje správu verzií, audit kontaminácie a doplnenie scenárovými testami.

Validácia a testovanie

Evaluačný dataset

Evaluation dataset

Evaluation dataset je súbor príkladov a očakávaných výsledkov alebo hodnotiacich kritérií, ktorý sa používa na meranie správania modelu či celého AI systému. Môže byť validačný, testovací, regresný, bezpečnostný, kontrafaktuálny alebo scenárový. Musí mať zdokumentovaný pôvod, cieľovú populáciu, anotátorov, časový rozsah, pravidlá použitia a známe medzery. Ak sa podľa výsledkov opakovane ladí systém, dataset prestáva byť nezávislým testom a treba zaviesť nový holdout alebo slepú evaluáciu.

Optimalizácia a vyhľadávanie

Evolučný algoritmus

Evolutionary algorithm

Evolutionary algorithm je populačná optimalizačná metóda inšpirovaná evolučnými princípmi. Udržiava množinu kandidátnych riešení, hodnotí ich fitness funkciou a vytvára ďalšie generácie pomocou selekcie, mutácie, rekombinácie alebo elitizmu. Nevyžaduje deriváciu cieľovej funkcie a dokáže pracovať s diskrétnymi, nespojitými či viacvrcholovými priestormi. Používa sa pri návrhu architektúr, optimalizácii hyperparametrov, pravidiel, promptov alebo riadiacich stratégií, no môže spotrebovať veľa hodnotení.

GEO, obsah a dôveryhodnosť

Experience, Expertise, Authoritativeness, Trustworthiness

E-E-A-T

E-E-A-T je rámec kvalitatívnych vlastností obsahu, ktorý zahŕňa skúsenosť autora s témou, odbornú spôsobilosť, autoritatívnosť zdroja a dôveryhodnosť výslednej stránky alebo webu. Google uvádza, že nejde o jeden samostatný rankingový faktor, ale o koncept používaný pri posudzovaní, či obsah pôsobí užitočne a spoľahlivo, pričom dôvera má centrálne postavenie. Pri AI knowledge base sa E-E-A-T preukazuje identitou autora, metodikou, citáciami, revíziami, transparentnosťou a opravou chýb.

Symbolická a znalostná AI

Expertný systém

Expert system

Expert system je AI systém, ktorý rieši úzko vymedzenú odbornú úlohu pomocou explicitne reprezentovaných znalostí a inferenčného mechanizmu. Typicky obsahuje knowledge base s pravidlami, faktmi alebo rámcami, pracovnú pamäť, stratégiu odvodzovania a rozhranie na vysvetlenie záveru. Na rozdiel od modelu učeného prevažne zo štatistických vzorov je jeho rozhodovacia logika priamo formulovaná expertmi alebo knowledge engineerom. Silnou stránkou je kontrolovateľnosť, slabinou údržba a krehkosť mimo pokrytých pravidiel.

Vysvetliteľnosť AI

Explanations Lokálne interpretovateľné modelovo nezávislé vysvetlenia, LIME

Local interpretable model-agnostic

Local interpretable model-agnostic explanations, LIME, vysvetľujú jednu konkrétnu predikciu tak, že v okolí hodnoteného vstupu vytvoria perturbované vzorky, získajú na nich výstupy pôvodného modelu a s vyššou váhou blízkych bodov natrénujú jednoduchý interpretovateľný surrogate model. Koeficienty surrogate modelu opisujú lokálne správanie, nie globálnu logiku klasifikátora. Výsledok závisí od definície okolia, spôsobu perturbácie, kernel width, náhodného seed a reprezentácie vstupu.

Diagnostika neurónových sietí

Explózia gradientu

Gradient explosion

Explózia gradientu je jav, pri ktorom sa derivácie pri spätnom šírení cez mnoho vrstiev alebo časových krokov násobia tak, že ich norma prudko rastie. Výsledkom sú neprimerané zmeny parametrov, oscilujúca strata, pretečenie numerických hodnôt alebo NaN. Častá je v rekurentných sieťach a hlbokých kompozíciách s nevhodnou inicializáciou či spektrálnymi vlastnosťami Jacobianov. Diagnostika sleduje normy podľa vrstiev a krokov. Zmiernenie zahŕňa gradient clipping, stabilnejšiu inicializáciu, normalizáciu, reziduálne spojenia a úpravu learning rate.

Dátové formáty a integrácia AI

Extensible Markup Language

XML

XML je textový značkovací formát W3C pre hierarchicky štruktúrované dáta. Dokument tvorí jeden koreňový element, vnorené elementy, atribúty, text, namespace deklarácie a voliteľné procesné inštrukcie. Well-formed XML dodržiava syntaktické pravidlá, valid XML navyše spĺňa schému alebo DTD. V AI systémoch sa XML používa pri výmene metadát, anotácií, konfigurácií, dokumentových korpusov a starších podnikových API. Parser musí bezpečne spracovať entity, kódovanie a namespace. Na ochranu pred XXE sa externé entity a sieťové načítanie štandardne vypínajú.

Spracovanie prirodzeného jazyka

Extrakcia entít

Entity extraction

Entity extraction je proces prevodu neštruktúrovaného textu na štruktúrované záznamy o objektoch, ktoré sú relevantné pre danú úlohu. Môže zahŕňať nájdenie zmienok, určenie typu entity, normalizáciu hodnoty, získanie atribútov a vzťahov alebo priradenie identifikátora. Je širšia než klasické named entity recognition, pretože doménová entita nemusí byť vlastné meno a výstup môže obsahovať napríklad číslo zmluvy, výrobok, dávku, diagnózu, dátum účinnosti a väzbu medzi nimi. Schéma určuje, ktoré objekty a väzby sa majú vyhľadať.

Spracovanie prirodzeného jazyka a štruktúrovanie obsahu

Extrakcia informácií

Information extraction

Information extraction je automatické prevádzanie nestruktúrovaného alebo polostruktúrovaného obsahu na explicitné dátové prvky a vzťahy. Úloha zahŕňa rozpoznávanie pomenovaných entít, extrakciu atribútov, udalostí, časových údajov, vzťahov a vypĺňanie schémy z dokumentu. Systém môže používať pravidlá, sekvenčný model, generatívny model alebo ich kombináciu. Výstup musí rozlišovať textový dôkaz, normalizovanú hodnotu a neistotu. Pri dlhých dokumentoch je kritické zachovať pôvod pasáže a väzbu medzi entitami. Extrakcia nie je obyčajné zhrnutie, pretože má vytvoriť kontrolovateľnú štruktúru podľa vopred určenej ontológie alebo kontraktu.

Reprezentácie a transfer learning

Extrakcia vstupných reprezentácií

Feature extraction

Feature extraction je prevod surového vstupu na informatívnu číselnú reprezentáciu použitú ďalším modelom alebo pravidlom. Pojem môže označovať ručné odvodenie charakteristík, napríklad spektrogramu zo zvuku, aj získanie aktivácií z vnútornej vrstvy predtrénovanej neurónovej siete. Pri transfer learningu sa extraktor často zmrazí a trénuje sa iba nová hlava. Výsledná reprezentácia musí zachovať informáciu dôležitú pre cieľovú úlohu bez neprimeraného šumu, skreslenia alebo doménovej nezhody.

Metriky klasifikácie

F1 skóre

F1 score

F1 score je harmonický priemer precision a recall pre zvolenú pozitívnu triedu. Nadobúda hodnotu od 0 do 1 a rastie iba vtedy, keď model súčasne obmedzuje falošné pozitíva aj falošné negatíva. Harmonický priemer trestá výraznú nerovnováhu medzi oboma zložkami viac než aritmetický priemer. Pri multiclass úlohách sa F1 počíta po triedach a agreguje ako macro, micro alebo weighted priemer, pričom každá voľba odpovedá na inú hodnotiacu otázku. Pri nevyvážených dátach sa preto uvádza aj spôsob agregácie a podpora tried.

Metriky a rozhodovacie chyby

Falošne negatívny výsledok

False negative

False negative je prípad, v ktorom je skutočná trieda pozitívna, ale klasifikátor predpovie negatívny výsledok. V confusion matrix patrí do bunky FN. Jeho význam závisí od toho, ktorá udalosť bola označená ako pozitívna, preto musí byť táto konvencia vždy uvedená. False negative count je počet takýchto prípadov, zatiaľ čo false negative rate ich delí počtom všetkých skutočne pozitívnych príkladov. Zmena rozhodovacieho prahu spravidla mení FN spolu s ostatnými chybami.

Metriky a rozhodovacie chyby

Falošne pozitívny výsledok

False positive

False positive je príklad, pri ktorom je skutočná trieda negatívna, ale model predpovie pozitívny výsledok. V confusion matrix sa označuje FP. Počet FP nemožno interpretovať bez veľkosti negatívnej populácie a bez definície pozitívnej triedy. False positive rate sa počíta ako FP delené súčtom FP a true negatives. Pri vyhľadávaní, detekcii a biometrickom porovnávaní môže jeden nevhodný prah vytvárať veľké množstvo planých poplachov, najmä pri veľmi rozsiahlej databáze.

Počítačové videnie a video

Farebný priestor YCbCr

YCbCr color space

YCbCr je spôsob reprezentácie obrazu, ktorý oddeľuje jasovú zložku Y od dvoch farebných rozdielových zložiek Cb a Cr. Hodnoty vznikajú lineárnou alebo nelineárnou transformáciou z RGB podľa konkrétneho štandardu, napríklad ITU-R BT.601, BT.709 alebo BT.2020, preto označenie YCbCr bez matrice, rozsahu a prenosovej charakteristiky nie je úplným popisom. V AI pipeline sa používa pri dekódovaní videa, kompresii, augmentácii, detekcii kože, odhade kvality a modeloch, ktoré spracúvajú jas a farbu oddelene.

Súkromie a distribuované spracovanie

Federovaná analytika

Federated analytics

Federated analytics je spôsob výpočtu agregovaných štatistík nad decentralizovanými dátami bez zhromaždenia surových záznamov v jednom centrálnom úložisku. Koordinátor odošle analytickú úlohu oprávneným klientom alebo inštitúciám, lokálne uzly vypočítajú čiastkové výsledky a systém ich bezpečne agreguje. Na rozdiel od federated learning nemusí byť cieľom trénovať model, ale získať počty, histogramy, frekvencie alebo iné súhrny. Ochrana závisí od minimálnych kohort, secure aggregation a privacy mechanizmov.

Distribuované učenie a optimalizácia

Federované priemerovanie

Federated averaging

Federated averaging, skrátene FedAvg, je algoritmus federated learning, pri ktorom vybraní klienti dostanú aktuálny globálny model, vykonajú niekoľko lokálnych optimalizačných krokov a odošlú aktualizované parametre alebo rozdiely. Server následne vytvorí nový globálny stav váženým priemerom, často podľa počtu lokálnych príkladov. Viac lokálnych krokov znižuje počet komunikačných kôl, no pri neidenticky rozdelených dátach môže viesť ku client drift a nestabilnej konvergencii.

Distribuované učenie a ochrana súkromia

Federované učenie

Federated learning

Federated learning je distribuovaný prístup k tréningu, pri ktorom viac klientov alebo organizácií zlepšuje spoločný model na lokálne uložených dátach a vymieňa si modelové aktualizácie namiesto priamych surových záznamov. Proces koordinuje výber účastníkov, distribúciu modelu, lokálny výpočet, agregáciu a opakovanie kôl. Dáta môžu byť nevyvážené, non-IID a dostupné iba prerušovane. Federovaný návrh znižuje potrebu centralizácie, ale nezaručuje súkromie bez ďalších technických a organizačných opatrení.

Dátová infraštruktúra pre veľké polia

Formát a úložisko Zarr

Zarr

Zarr je špecifikácia a ekosystém na ukladanie viacrozmerných typovaných polí rozdelených do komprimovaných chunkov. Metadáta opisujú tvar, dátový typ, poradie osí, chunkovanie a kodeky, zatiaľ čo jednotlivé bloky možno čítať nezávisle z lokálneho disku alebo objektového úložiska. V aplikovanej AI sa používa pre satelitné snímky, mikroskopiu, klimatické kocky, embeddingy a tréningové datasety, kde úplné načítanie poľa do pamäte nie je možné ani potrebné.

Aktivačné funkcie a pravdepodobnosti

Funkcia softmax

Softmax function

Softmax function prevádza vektor reálnych skóre na nezáporné hodnoty so súčtom jedna tak, že exponuje jednotlivé logity a normalizuje ich spoločným súčtom. Používa sa na vytvorenie kategóriového rozdelenia pre výber triedy alebo ďalšieho tokenu. Je invariantná voči pripočítaniu rovnakej konštanty ku všetkým logitom. Pre numerickú stabilitu sa pred exponenciáciou odčíta maximum. Výstup softmaxu nemusí byť kalibrovanou pravdepodobnosťou správnosti. Pri extrémnych logitoch sa implementácia opiera o log-sum-exp trik a stabilné dátové typy.

Rozhodovanie a inteligentní agenti

Funkcia užitočnosti

Utility function

Utility function mapuje výsledok, stav alebo trajektóriu na číselnú hodnotu vyjadrujúcu preferenciu rozhodovateľa. Agent potom volí akciu maximalizujúcu očakávanú užitočnosť vzhľadom na neistotu a možné následky. Užitočnosť nemusí byť totožná s okamžitou odmenou, môže zahŕňať čas, riziko, náklady, férovosť, bezpečnosť alebo dlhodobé ciele. Jej návrh je normatívne rozhodnutie. Nesprávne špecifikovaná funkcia vedie k reward hackingu, nežiaducim kompromisom a optimalizácii merateľnej náhrady namiesto skutočného cieľa. Váhy a obmedzenia majú byť schválené vlastníkmi rizika, nie ponechané iba na implementátora optimalizačného algoritmu.

Programové transformácie pre ML výpočty

Funkčná transformácia v JAX

JAX transformation

JAX transformation je operátor vyššieho rádu, ktorý prijme Python funkciu a vytvorí novú funkciu s upravenou výpočtovou sémantikou. Medzi základné transformácie patria grad pre diferenciáciu, jit pre kompiláciu, vmap pre automatické batchovanie a pmap alebo novšie shardované mechanizmy pre paralelizáciu. Transformácia funguje trasovaním primitívnych operácií do medzireprezentácie a ich interpretáciou podľa pravidiel transformácie. Skladateľnosť umožňuje napríklad diferencovať vektorizovanú funkciu, no vyžaduje čisté funkcie, statické tvary v relevantných miestach a kompatibilné riadenie toku.

Vyhľadávanie a kombinovanie výsledkov

Fúzia poradí

Rank fusion

Rank fusion spája dve alebo viac zoradených množín výsledkov do jedného konsenzuálneho poradia. Vstupné zoznamy môžu pochádzať z lexikálneho, vektorového, multimodálneho alebo pravidlového vyhľadávania. Metódy pracujú so skóre, poradovou pozíciou alebo párovými preferenciami. Reciprocal Rank Fusion priraďuje dokumentu súčet príspevkov nepriamo úmerných jeho pozícii v jednotlivých zoznamoch. Fúzia zvyšuje robustnosť voči slabine jedného retrievera, sama však nevytvára nové kandidáty.

Symbolická AI a riadenie

Fuzzy logika

Fuzzy logic

Fuzzy logic je formalizmus pre prácu s neurčitými pojmami, v ktorom môže prvok patriť do fuzzy množiny s mierou členstva od 0 do 1. Hodnota členstva vyjadruje stupeň zhody s pojmom, napríklad ako veľmi je teplota vysoká, nie pravdepodobnosť náhodnej udalosti. Fuzzy systém prevádza vstupy na členstvá, aplikuje pravidlá typu IF-THEN, agreguje ich a podľa potreby vykoná defuzzifikáciu na konkrétny výstup. Kvalita závisí od tvaru funkcií členstva a bázy pravidiel.

Bayesovské strojové učenie

Gaussovský proces

Gaussian process

Gaussian process je pravdepodobnostné rozdelenie nad funkciami, pri ktorom má ľubovoľná konečná množina funkčných hodnôt spoločné viacrozmerné Gaussovo rozdelenie. Model je určený strednou funkciou a kernelom, ktorý vyjadruje podobnosť vstupov a predpoklady o hladkosti, periodicite či mierke zmien. Po pozorovaní dát vzniká posteriorné rozdelenie s prediktívnym priemerom aj neistotou. Gaussovské procesy sú dátovo efektívne a interpretovateľné, no presný výpočet typicky rastie kubicky s počtom tréningových bodov, čo obmedzuje veľké datasety.

Pravdepodobnostné modelovanie a zhlukovanie

Gaussovský zmesový model

Gaussian mixture model

Gaussian mixture model je pravdepodobnostný model, ktorý opisuje rozdelenie dát ako vážený súčet konečného počtu viacrozmerných Gaussových komponentov. Každý komponent má vlastný stred, kovariančnú štruktúru a miešaciu váhu, pričom príslušnosť pozorovania ku komponentu je latentná a vyjadruje sa pravdepodobnosťou. Parametre sa často odhadujú algoritmom expectation maximization. GMM poskytuje mäkké zhlukovanie aj hustotu pravdepodobnosti, ale výsledok závisí od počtu komponentov, typu kovariancie, škálovania premenných a citlivosti na odľahlé body.

Učenie a hodnotenie modelov

Generalizácia

Generalization

Generalizácia je schopnosť modelu dosahovať primeraný výkon na nových príkladoch, ktoré neboli použité pri učení, ale pochádzajú z cieľovej populácie a zodpovedajú definovanému kontextu použitia. Neznamená iba nízku tréningovú chybu ani mechanické zapamätanie vzoriek. Ovplyvňuje ju reprezentatívnosť dát, kapacita modelu, regularizácia, validačný dizajn a zhoda medzi tréningovým a prevádzkovým prostredím. Výkon pri distribučnom posune je osobitná otázka, pretože bežná generalizácia predpokladá približne rovnaký proces tvorby dát.

Metriky a štatistické hodnotenie

Generalizačná chyba

Generalization error

Generalizačná chyba je očakávaná hodnota stratovej funkcie modelu na nových príkladoch z cieľového rozdelenia dát. Keďže celé rozdelenie nie je známe, v praxi sa odhaduje testovacou chybou na nezávislej vzorke. Odhad závisí od veľkosti a reprezentatívnosti testu, variability metrík a od toho, či test nebol použitý pri ladení. Nízka tréningová chyba neposkytuje spoľahlivý odhad generalizačnej chyby. Pri distribučnom posune sa mení samotný cieľový proces, preto historická testovacia chyba nemusí opisovať budúce prevádzkové riziko.

Generatívne neurónové siete

Generatívna adversariálna sieť

Generative adversarial network

Generative adversarial network je generatívny rámec s dvoma modelmi trénovanými v súťažnom cieli. Generátor premieňa náhodný latentný vstup, prípadne podmienku, na syntetické vzorky. Diskriminátor odhaduje, či vzorka pochádza z reálnych dát alebo z generátora, a jeho gradient poskytuje generátoru signál na zlepšenie. Ideálna rovnováha nastáva, keď generované rozdelenie zodpovedá dátam a diskriminátor nedokáže pôvod rozlíšiť. Praktický tréning je citlivý na nestabilitu, mode collapse, voľbu strát a rovnováhu učenia oboch sietí.

Aplikačná AI a tvorba obsahu

Generatívna umelá inteligencia

Generative AI

Generatívna umelá inteligencia označuje AI systémy, ktorých modely vytvárajú nový obsah, napríklad text, obraz, zvuk, video, kód alebo štruktúrované dáta, na základe naučeného rozdelenia a vstupného podmienenia. Výstup vzniká pravdepodobnostnou syntézou, nie jednoduchým vyhľadaním jednej uloženej odpovede. Praktický systém zahŕňa aj promptovanie, zdroje, nástroje, filtre, používateľské rozhranie a dohľad. Generovanie môže napodobňovať vzory bez porozumenia faktickej pravdivosti, preto sa osobitne hodnotí podpora tvrdení, pôvod dát, bezpečnosť a vhodnosť pre danú úlohu.

Pravdepodobnostné strojové učenie

Generatívny model

Generative model

Generatívny model opisuje spoločné alebo podmienené rozdelenie dát tak, aby z neho bolo možné vzorkovať nové pozorovania, dopĺňať chýbajúce časti alebo hodnotiť pravdepodobnosť dát. Môže modelovať p(x), spoločné p(x,y) alebo podmienené p(x|c). Do tejto skupiny patria autoregresívne modely, variačné autoenkodéry, difúzne modely, GAN aj niektoré zmesové modely. Nie každý generatívny model poskytuje explicitnú vierohodnosť, GAN ju napríklad reprezentuje nepriamo. Kvalita sa preto posudzuje podľa vernosti, rozmanitosti, kalibrácie a účelu výstupu.

Veľké jazykové modely

Generatívny predtrénovaný transformátor

Generative pre-trained transformer (GPT)

Generative pre-trained transformer označuje líniu autoregresívnych jazykových modelov založených na dekóderovej architektúre Transformer. Model sa najprv predtrénuje predikciou ďalšieho tokenu na rozsiahlych textových dátach a následne sa môže dolaďovať, inštrukčne trénovať alebo prispôsobovať preferenciám. Pri generovaní odhaduje rozdelenie nasledujúceho tokenu vzhľadom na predchádzajúci kontext. GPT je názov konkrétnej modelovej rodiny a tréningovej tradície, nie všeobecné pomenovanie každého LLM alebo každého Transformera. Výkon obmedzuje tokenizácia, kontextové okno a kvalita adaptácie.

Vyhľadávanie a odporúčacie systémy

Generovanie kandidátov

Candidate generation

Candidate generation je prvá fáza viacstupňového vyhľadávacieho alebo odporúčacieho systému, ktorá z rozsiahleho katalógu rýchlo vyberie menšiu množinu potenciálne relevantných položiek. Používa indexy, pravidlá, embeddingové vyhľadávanie, kolaboratívne signály alebo ľahké modely optimalizované na recall a latenciu. Výslední kandidáti následne vstupujú do presnejšieho rankera. Ak vhodná položka v tejto fáze vypadne, neskoršie skórovanie ju už nedokáže obnoviť, preto sa kvalita posudzuje aj recallom na úrovni kandidátnej množiny a podľa pokrytia dôležitých segmentov.

Generatívne modely pre vizuálny obsah

Generovanie obrázkov

Image generation

Image generation je syntéza nového obrazového výstupu modelom na základe naučenej distribúcie a voliteľnej podmienky, napríklad textu, masky, náčrtu, referenčného obrazu alebo triedy. Difúzne modely postupne odstraňujú šum z latentnej či pixelovej reprezentácie, GAN používajú súťaž generátora a diskriminátora a autoregresívne systémy predikujú obrazové tokeny. Výstup nie je jednoduchou kópiou jedného tréningového záznamu, no môže reprodukovať zapamätané prvky alebo stereotypy dát. Hodnotenie zahŕňa vernosť podmienke, vizuálnu kvalitu, rozmanitosť, bezpečnosť, pôvod a riziko zavádzajúceho použitia.

Vzdelávacia a jazyková AI

Generovanie otázok

Question generation

Question generation je automatická tvorba otázok z textu, znalostnej štruktúry, odpovede alebo pedagogického cieľa. Model musí zvoliť predmet otázky, formuláciu, typ odpovede a prípadne úroveň náročnosti. Pri answer-aware prístupe dostane cieľovú odpoveď a vytvorí otázku, ktorá k nej vedie. Kvalita sa neposudzuje iba gramatikou. Otázka musí byť zodpovedateľná zo zdroja, jednoznačná, primeraná cieľu a nesmie prezrádzať odpoveď nežiaducim spôsobom.

Generatívna jazyková AI

Generovanie prirodzeného jazyka

Natural language generation

Natural language generation, skrátene NLG, je proces vytvárania textu alebo rečového obsahu z dát, symbolickej reprezentácie, dokumentov, dialógového stavu alebo modelovej distribúcie. Zahŕňa výber informácií, plánovanie obsahu, formuláciu viet, realizáciu gramatiky a často aj kontrolu štýlu či faktickej opory. Moderné jazykové modely môžu tieto kroky spájať do jednej neurónovej architektúry, no aplikačný systém stále potrebuje určiť zdroje, obmedzenia, dekódovanie a pravidlá validácie výsledku.

Generatívna AI a znalostné bázy

Generovanie rozšírené vyhľadávaním, RAG

Retrieval-augmented generation

Retrieval-augmented generation, RAG, spája retrieval externých zdrojov s generatívnym modelom, ktorý vytvára odpoveď podmienenú získaným kontextom. Pipeline zvyčajne zahŕňa spracovanie dopytu, vyhľadanie kandidátov, prípadný reranking, zostavenie kontextu, generovanie a prácu s citáciami. RAG umožňuje používať aktualizovateľnú neparametrickú pamäť bez úplného pretrénovania modelu. Nezaručuje faktickosť, pretože môže zlyhať retrieval, výber pasáže, interpretácia kontextu aj generovanie.

Generatívna AI a dekódovanie

Generovanie textu

Text generation

Text generation je proces vytvárania textovej sekvencie modelom na základe vstupného kontextu, skrytého stavu alebo inej podmienky. Autoregresívny model odhaduje ďalší token a opakuje tento krok až po stop podmienku, limit alebo ukončovací token. Výsledok ovplyvňuje prompt, kontext, dekódovacia stratégia, náhodnosť a obmedzenia výstupu. Plynulosť nepreukazuje pravdivosť, úplnosť ani súlad s požadovaným formátom, preto generovanie potrebuje samostatnú validáciu. Evaluačný protokol má odlišovať kvalitu obsahu, dodržanie inštrukcie, formát a bezpečnostné správanie.

Tvorba odpovede z explicitného kontextu

Generovanie ukotvené v znalostiach

Knowledge-grounded generation

Knowledge-grounded generation je generovanie textu alebo iného výstupu podmienené explicitne dodanými znalosťami, napríklad vyhľadanými dokumentmi, databázovými faktmi, grafovými cestami alebo nástrojovým výsledkom. Cieľom je zvýšiť faktickosť, aktuálnosť a dohľadateľnosť oproti čisto parametrickej odpovedi. Grounding však vzniká až vtedy, keď výstup verne používa poskytnutý dôkaz. Samotné priloženie kontextu nezaručuje podporu tvrdení, preto sa meria atribúcia, faithfulnes a pokrytie zdrojov. Produkčný systém má uchovať aj identitu verzie zdroja, z ktorej bola odpoveď zostavená.

Evolučná optimalizácia

Genetický algoritmus

Genetic algorithm

Genetický algoritmus je populačná stochastická optimalizačná metóda inšpirovaná evolučnými princípmi. Udržiava populáciu zakódovaných návrhov, každému priradí skóre vhodnosti a ďalšie generácie skladá selekciou, krížením a mutáciou. Nevyžaduje gradient ani hladkú cieľovú funkciu, preto sa používa pri diskrétnych, kombinatorických alebo simuláciou hodnotených problémoch. Výsledok závisí od reprezentácie kandidáta, tlaku selekcie, operátorov a výpočtového rozpočtu. Algoritmus nezaručuje nájdenie globálneho optima a pri slabej diverzite môže predčasne skonvergovať.

Štruktúrované dáta a symetrie

Geometrické hlboké učenie

Geometric deep learning

Geometrické hlboké učenie je rámec neurónových metód, ktoré využívajú geometriu, topológiu a symetrie dát mimo pravidelnej euklidovskej mriežky. Zahŕňa učenie na grafoch, množinách, varietach, mračnách bodov a grupách transformácií. Architektúra sa navrhuje tak, aby bola invariantná alebo ekvivariantná voči relevantným zmenám, napríklad permutácii uzlov či rotácii objektu. Tým vkladá do modelu induktívny predpoklad, ktorý môže znížiť potrebu dát a zlepšiť prenos. Nesprávne zvolená symetria však môže odstrániť informáciu, ktorá je pre cieľ dôležitá.

Rozhodovacie stromy a klasifikácia

Giniho nečistota

Gini impurity

Giniho nečistota je miera heterogenity tried v uzle klasifikačného stromu, vypočítaná ako 1 mínus súčet druhých mocnín podielov jednotlivých tried. Hodnota je nulová, keď všetky príklady patria do jednej triedy, a rastie pri rovnomernejšom premiešaní. Pri učení stromu sa kandidátne rozdelenia porovnávajú podľa váženého poklesu nečistoty medzi rodičovským a dcérskymi uzlami. Kritérium nevyjadruje ekonomickú cenu omylov ani kalibráciu pravdepodobností. Pri mnohých možnostiach rozdelenia môže tiež prispievať k skresleniu dôležitosti vlastností.

Reprezentácia prirodzeného jazyka

Globálne vektory slov

GloVe

GloVe je metóda učenia statických slovných embeddingov z globálnych štatistík spoluvýskytu slov v korpuse. Optimalizuje váženú regresnú úlohu tak, aby skalárne súčiny vektorov reprodukovali logaritmy počtov spoluvýskytu, pričom pomery týchto počtov zachytávajú významové vzťahy. Výsledkom je jeden vektor pre každý prvok slovníka, nezávislý od konkrétnej vety. Vektory môžu niesť syntaktické a sémantické analógie, ale nerozlišujú významy polysemických slov podľa kontextu a nevedia reprezentovať token mimo naučeného slovníka bez dodatočnej stratégie.

Vysvetliteľná AI

Globálne vysvetlenie modelu

Global explanation

Globálne vysvetlenie opisuje správanie modelu naprieč celou definovanou populáciou alebo rozsahom vstupov, nie dôvody jedinej predikcie. Môže mať podobu zjednodušeného surrogate modelu, globálnej dôležitosti vlastností, pravidiel, partial dependence grafov alebo analýzy interakcií. Jeho kvalita závisí od fidelity k pôvodnému modelu, stability pri zmene vzorky a pokrytia relevantných podskupín. Priemerované vysvetlenie môže zakryť opačné efekty alebo lokálne výnimky, preto sa globálny obraz kombinuje s lokálnymi a skupinovými analýzami.

Tréning neurónových sietí

Glorotova inicializácia váh

Xavier initialization

Xavier initialization, známa aj ako Glorot initialization, nastavuje počiatočnú mierku váh podľa počtu vstupných a výstupných spojení vrstvy. Uniformná alebo normálna verzia volí rozptyl tak, aby sa pri doprednom aj spätnom prechode približne zachovala veľkosť signálu. Metóda bola navrhnutá najmä pre symetrické saturujúce aktivácie, napríklad tanh, a lineárne vrstvy. Pri ReLU sa často uprednostňuje He inicializácia. Xavier neodstraňuje potrebu normalizácie, vhodného learning rate ani kontroly reziduálnych vetiev. Nesprávny gain môže stále viesť k miznúcim alebo explodujúcim gradientom.

Optimalizácia v reinforcement learningu

Gradient politiky

Policy gradient

Policy gradient je rodina reinforcement learning algoritmov, ktoré priamo optimalizujú parametre diferencovateľnej politiky v smere vyššieho očakávaného výnosu. Gradient sa odhaduje zo vzoriek trajektórií pomocou logaritmu pravdepodobnosti vykonanej akcie násobeného návratom alebo advantage. Metóda dokáže pracovať so stochastickou politikou a spojitým priestorom akcií, no odhad môže mať vysokú varianciu. Baseline, critic, advantage estimation, normalizácia a obmedzenie veľkosti aktualizácie zlepšujú stabilitu. Dáta sú často on-policy, preto býva zber skúseností nákladný.

Ensemble modely

Gradientné posilňovanie

Gradient boosting

Gradient boosting je aditívna ensemble metóda, ktorá buduje model po etapách a v každej etape pridáva slabý learner aproximujúci záporný gradient zvolenej stratovej funkcie vzhľadom na aktuálne predikcie. Najčastejšie sa používajú plytké rozhodovacie stromy. Nový strom opravuje systematické chyby predchádzajúceho súboru, pričom learning rate riadi veľkosť príspevku. Počet stromov, ich hĺbka, subsampling a regularizácia určujú kompromis medzi podučením a preučením. XGBoost, LightGBM a CatBoost sú optimalizované varianty, nie synonymá základného algoritmu.

Optimalizácia modelov

Gradientný zostup

Gradient descent

Gradientný zostup je iteratívna optimalizačná metóda, ktorá mení parametre modelu v smere opačnom k gradientu stratovej funkcie. Gradient udáva lokálny smer najrýchlejšieho rastu, preto jeho záporný smer pri dostatočne malom kroku stratu znižuje. Batch variant používa všetky dáta, stochastic jeden príklad a minibatch ich menšiu vzorku. Learning rate určuje veľkosť kroku a zásadne ovplyvňuje stabilitu aj rýchlosť. V nekonvexných neurónových sieťach metóda negarantuje globálne optimum a môže spomaľovať v sedlových bodoch alebo pri zle škálovaných smeroch.

Interpretácia predikčných modelov

Graf čiastočnej závislosti

Partial dependence plot

Partial dependence plot, skrátene PDP, zobrazuje priemernú predikciu modelu pri postupnom nastavovaní jednej alebo dvoch vybraných vlastností, zatiaľ čo ostatné vlastnosti zostávajú na hodnotách pozorovaných v dátach. Pre každú testovanú hodnotu sa predikcie spriemerujú cez vzorku. Graf opisuje globálny modelový vzťah, nie kauzálny účinok. Pri silne korelovaných vstupoch môže vytvárať nereálne kombinácie a pri heterogénnych prípadoch môže priemer zakryť opačné lokálne správanie.

Učenie na relačných dátach

Grafová neurónová sieť

Graph neural network

Graph neural network je neurónová architektúra určená pre dáta reprezentované uzlami, hranami a ich atribútmi. Typická message passing vrstva vytvorí správy zo susedov, agreguje ich operáciou nezávislou od poradia a aktualizuje stav uzla. Opakovaním vrstiev sa rozširuje dosah informácie. GNN rieši klasifikáciu uzlov, predikciu hrán, odporúčanie aj úlohy na celom grafe. Výsledok závisí od konštrukcie grafu a dostupných hrán. Príliš veľa vrstiev môže viesť k oversmoothingu, dlhé vzdialenosti k oversquashingu a nesprávne časové hrany k úniku budúcich informácií.

Grafové neurónové siete

Grafová pozornostná sieť

Graph attention network

Graph attention network je architektúra GNN, ktorá pri agregácii susedov počíta naučené attention koeficienty pre jednotlivé hrany alebo dvojice uzlov. Koeficienty sa v susedstve normalizujú a určujú váhu transformovaných vlastností pri aktualizácii reprezentácie uzla. Viacero attention heads môže stabilizovať učenie alebo zachytiť odlišné vzťahy. GAT umožňuje rozdielne váženie susedov bez pevnej spektrálnej bázy a podporuje induktívne úlohy. Pozornostné váhy však nie sú automaticky kauzálnym vysvetlením a pôvodná formulácia má obmedzenia statickej pozornosti.

Bezpečnosť posilňovaného učenia

Hackovanie odmeny alebo specification gaming

Reward hacking

Reward hacking nastáva, keď agent nájde spôsob, ako zvýšiť formálne definovanú odmenu bez splnenia zamýšľaného cieľa. Využíva medzeru v metrike, simulátore, reward modeli, senzore alebo pravidlách prostredia. Správanie môže byť optimálne vzhľadom na zadaný signál, ale škodlivé z pohľadu človeka. Problém súvisí s proxy objectives, Goodhartovým zákonom a distribučným posunom. Prevencia zahŕňa threat modeling odmeny, viacnásobné metriky, obmedzenia, adversariálne testovanie a nezávislé hodnotenie výsledkov.

Generatívna AI a spoľahlivosť výstupov

Halucinácia modelu

Hallucination

Hallucination je výstup generatívneho modelu, ktorý pôsobí jazykovo alebo vizuálne presvedčivo, ale nie je podložený vstupom, dostupným dôkazom ani overiteľnou skutočnosťou. Môže ísť o vymyslený fakt, neexistujúcu citáciu, nesprávne spojenie pravdivých údajov alebo detail doplnený bez opory. NIST používa širší pojem confabulation, pretože model nemá ľudské vedomie ani zmyslovú skúsenosť. Riziko rastie pri nejasnej otázke, chýbajúcom kontexte, zastaraných znalostiach a úlohách, v ktorých sa od modelu očakáva konkrétnosť aj bez dôkazov.

Metriky podobnosti a diskrétne reprezentácie

Hammingova vzdialenosť

Hamming distance

Hamming distance je počet pozícií, na ktorých sa dve rovnako dlhé sekvencie líšia. Pri binárnych vektoroch sa rovná počtu bitov, ktoré treba preklopiť, aby sa jeden vektor zmenil na druhý. Metrika sa používa pri chybových kódoch, porovnávaní hashov, binárnych embeddingoch, klasifikácii kategórií a vyhľadávaní v diskrétnom priestore. Nezohľadňuje veľkosť ani sémantickú závažnosť rozdielu, iba zhodu pozícií. Pre sekvencie odlišnej dĺžky nie je priamo definovaná bez doplnenia zarovnania, výplne alebo inej editačnej metriky.

Výpočtová infraštruktúra pre AI

Hardvérový akcelerátor

Hardware accelerator

Hardware accelerator je špecializovaný procesor alebo výpočtová jednotka navrhnutá tak, aby vybrané operácie vykonávala rýchlejšie alebo energeticky úspornejšie než všeobecný CPU. V AI ide najmä o GPU, TPU, NPU, FPGA a ASIC optimalizované pre násobenie matíc, tenzorové operácie, nízku presnosť a vysokú paralelizáciu. Skutočný prínos závisí od dátového toku, pamäťovej priepustnosti, podporovaných formátov, kompilátora a využitia jadier. Teoretický počet operácií za sekundu preto sám neurčuje latenciu, náklady ani výkon konkrétneho modelu.

Reprezentácia kategórií a redukcia rozmernosti

Hashovací trik

Hashing trick

Hashing trick je spôsob prevodu veľkého alebo otvoreného slovníka prvkov do vektora pevnej dĺžky pomocou hashovacej funkcie. Každý token, kategória alebo príznak sa mapuje do jedného z vopred určených košov, prípadne aj so znamienkom, a jeho hodnota sa v danom koši pripočíta. Metóda nepotrebuje uchovávať kompletný slovník a vie spracovať nové hodnoty, no rôzne prvky môžu skončiť v rovnakom koši. Tieto kolízie sú nevratné a pri príliš malom počte rozmerov znižujú rozlišovaciu schopnosť. Hashing trick sa nesmie zamieňať s kryptografickým hashovaním.

Biologicky inšpirované a lokálne učenie

Hebbovské učenie

Hebbian learning

Hebbian learning je rodina lokálnych pravidiel, pri ktorých sa váha spojenia mení podľa súčasnej aktivity prepojených jednotiek. Zjednodušene, opakovaná spoločná aktivácia pre-synaptického a post-synaptického neurónu posilňuje ich spojenie. Základné pravidlo je bez učiteľa a nevyžaduje globálne spätné šírenie chyby, preto je významné v neurovede aj neuromorfných systémoch. Neobmedzená pozitívna spätná väzba však môže viesť k rastu váh a strate selektivity. Praktické varianty preto používajú normalizáciu, súťaž, prah alebo Ojaovo pravidlo.

Grafové dáta a reprezentácia vzťahov

Heterogénny graf

Heterogeneous graph

Heterogeneous graph je graf, ktorý obsahuje viac typov uzlov, viac typov hrán alebo oboje. V znalostnom grafe môžu uzly reprezentovať osoby, firmy a dokumenty, zatiaľ čo hrany vyjadrujú zamestnanie, vlastníctvo či citáciu. Typ určuje význam vlastností, povolené relácie a spôsob agregácie informácií. Model preto nemôže všetkých susedov spracovať jednou nerozlíšenou transformáciou bez straty sémantiky. Heterogénne grafové neurónové siete používajú reláciovo špecifické parametre, meta-cesty, pozornosť alebo zdieľanie váh medzi typmi. Kvalita závisí aj od správnej ontológie a neúplnosti hrán.

Posilňované učenie a plánovanie

Hierarchické posilňované učenie

Hierarchical reinforcement learning

Hierarchical reinforcement learning je prístup, ktorý rozkladá dlhú rozhodovaciu úlohu na viac úrovní. Vyššia politika volí podcieľ, možnosť alebo zručnosť a nižšia politika vykonáva sekvenciu primitívnych akcií, kým sa podúloha neskončí. Hierarchia môže zlepšiť prieskum, opätovné použitie správania a priradenie odmeny pri dlhom horizonte. Formálne sa často opisuje cez options framework, kde možnosť obsahuje iniciačnú množinu, vnútornú politiku a podmienku ukončenia. Nesprávne podciele môžu obmedziť optimálne riešenie a prenášať chyby medzi úrovňami.

Neučiteľské učenie a analýza štruktúry dát

Hierarchické zhlukovanie

Hierarchical clustering

Hierarchical clustering je metóda zhlukovania, ktorá vytvára vnorenú postupnosť skupín reprezentovanú dendrogramom. Aglomeratívny variant začína jednotlivými bodmi a opakovane spája najbližšie zhluky, divizívny začína celou množinou a postupne ju rozdeľuje. Výsledok závisí od metriky vzdialenosti a linkage pravidla, napríklad single, complete, average alebo Ward. Počet zhlukov sa nemusí zadať pred tréningom, vyberie sa rezom stromu. Hierarchia však nie je automaticky objektívna taxonómia a skoré chybné spojenie sa v bežnom aglomeratívnom postupe už neopraví.

Počítačové videnie, grafika a syntetické dáta

Hĺbkový buffer v 3D renderovaní

Z-buffer

Z-buffer je rasterizačná dátová štruktúra, ktorá pre každý pixel uchováva doteraz najbližšiu hĺbkovú hodnotu voči kamere. Pri kreslení fragmentu sa jeho hĺbka porovná s uloženou hodnotou a farba sa zapíše iba vtedy, keď fragment prejde nastaveným depth testom. V AI pipeline sa používa pri generovaní syntetických scén, výrobe depth máp, maskovaní zakrytých bodov, projekcii 3D anotácií a kontrole viditeľnosti pri neurónovom renderovaní.

Neurónové architektúry

Hlboká neurónová sieť

Deep neural network

Deep neural network je neurónová sieť s viacerými po sebe nasledujúcimi transformačnými vrstvami medzi vstupom a výstupom. Každá vrstva aplikuje naučenú lineárnu alebo inú parametrickú operáciu a nelinearitu, čím vytvára čoraz abstraktnejšiu reprezentáciu. Hĺbka umožňuje efektívne skladať zložité funkcie, no zároveň komplikuje optimalizáciu, interpretáciu a kontrolu generalizácie. Konkrétnou hlbokou sieťou môže byť konvolučná sieť, transformer, rekurentná architektúra alebo kombinovaný multimodálny model.

Strojové učenie

Hlboké učenie

Deep learning

Deep learning je oblasť strojového učenia založená na neurónových sieťach s viacerými vrstvami, ktoré sa učia hierarchické reprezentácie priamo z dát. Nižšie vrstvy zachytávajú jednoduchšie vzory, vyššie vrstvy ich skladajú do abstraktnejších vlastností potrebných pre predikciu alebo generovanie. Parametre sa zvyčajne optimalizujú gradientnými metódami a spätným šírením chyby. Hlboké učenie umožnilo výrazný pokrok v obraze, reči, texte a multimodalite, no vyžaduje veľa dát, výpočtov, validácie a riadenia rizík.

Posilňované učenie

Hodnota dvojice stav-akcia

Q-value

Q-value je číselná hodnota priradená konkrétnej dvojici stavu a akcie. Vyjadruje očakávaný diskontovaný súčet budúcich odmien, ak agent v stave s vykoná akciu a a potom pokračuje podľa určenej politiky. Zápis Qπ(s,a) sa vzťahuje na politiku π, kým Q*(s,a) označuje optimálnu akčnú hodnotu. Q-value nie je pravdepodobnosť úspechu ani okamžitá odmena. Jej mierka závisí od definície odmeny, diskontného faktora a dĺžky horizontu.

Testovanie a validácia AI

Hodnotenie modelu

Model evaluation

Model evaluation je systematické meranie schopností, chýb a obmedzení modelu na dátach a scenároch oddelených od prispôsobovania parametrov. Zahŕňa výber metrík, testovaciu schému, segmentáciu výsledkov, odhad neistoty, porovnanie s baseline a analýzu zlyhaní. Evaluácia musí zodpovedať zamýšľanému použitiu, distribúcii prevádzkových vstupov a nákladom rozhodnutí. Jedna priemerná metrika nestačí na posúdenie robustnosti, kalibrácie, fairness, bezpečnosti ani výkonu pri okrajových prípadoch.

Evaluácia a ľudské faktory

Hodnotenie vysvetlení AI

XAI evaluation

XAI evaluation je súbor experimentov, metrík a používateľských štúdií, ktorými sa posudzuje kvalita vysvetlenia AI systému. Technická vrstva skúma napríklad fidelity, stabilitu, citlivosť, lokalizačnú presnosť alebo konzistenciu. Funkčná vrstva zisťuje, či vysvetlenie pomáha odhaliť chybu, porovnať modely alebo vykonať audit. Ľudská vrstva meria porozumenie, čas, správnosť rozhodnutia a riziko nadmernej dôvery. Jediná univerzálna metrika neexistuje, hodnotiaci protokol musí vychádzať z konkrétneho použitia.

Posilňované učenie

Hodnotová funkcia

Value function

Value function v posilňovanom učení priraďuje stavu alebo dvojici stav a akcia očakávaný kumulatívny diskontovaný výnos pri určitej politike. Stavová hodnota V vyjadruje perspektívu zo stavu, akčná hodnota Q zahŕňa aj zvolenú akciu. Funkcia prepája okamžité odmeny s dlhodobými následkami a môže byť uložená tabuľkovo alebo aproximovaná neurónovou sieťou. Jej presnosť závisí od politiky, dynamiky prostredia, diskontného faktora a distribúcie skúseností. Nie je totožná s reward function.

Ochrana dát a súkromie pri výpočte

Homomorfné šifrovanie

Homomorphic encryption

Homomorphic encryption je kryptografická technika, ktorá umožňuje vykonať vybrané algebraické operácie priamo nad zašifrovanými dátami. Po dešifrovaní výsledku používateľ získa hodnotu zodpovedajúcu výpočtu nad pôvodným plaintextom, hoci spracovateľ plaintext nevidel. Čiastočne homomorfné schémy podporujú obmedzený typ operácie, leveled schémy konečný okruh a fully homomorphic encryption všeobecný výpočet s bootstrappingom. V AI môže chrániť vstupy alebo inferenciu, no prináša veľké výpočtové, pamäťové a numerické náklady. Bezpečnosť navyše závisí od parametrov, správy kľúčov a modelu hrozieb.

Bandity a reinforcement learning

Horná hranica spoľahlivosti pri sekvenčnom výbere

Upper Confidence Bound

Upper Confidence Bound, skrátene UCB, je princíp sekvenčného rozhodovania, ktorý pre každú akciu kombinuje odhad očakávanej odmeny s bonusom za neistotu. Algoritmus vyberá akciu s najvyššou hornou hranicou, čím prirodzene vyvažuje exploitation známych možností a exploration málo preskúmaných možností. Bonus klesá s počtom pozorovaní danej akcie a rastie s časom alebo štatistickou neistotou. Teoretické regret záruky platia len pri konkrétnych predpokladoch o odmenách a stacionarite. Implementácia sa dokumentuje presným tvarom bonusu, inicializáciou ramien, horizontom a pravidlom pri rovnosti indexov.

Sekvenčné neurónové siete

Hradlová rekurentná jednotka

Gated recurrent unit (GRU)

Gated recurrent unit je rekurentná neurónová bunka, ktorá aktualizuje skrytý stav pomocou aktualizačnej a resetovacej brány. Aktualizačná brána určuje pomer medzi zachovaním predchádzajúcej pamäte a prijatím nového kandidátneho stavu, resetovacia brána zas riadi, koľko minulosti sa použije pri výpočte kandidáta. GRU má menej brán a parametrov než typická LSTM, no stále zmierňuje problém miznúcich gradientov pri dlhších sekvenciách. Výpočet zostáva časovo sekvenčný, preto sa pri veľmi dlhých kontextoch horšie paralelizuje než architektúry založené na pozornosti.

Kombinované architektúry učenia a uvažovania

Hybridná umelá inteligencia

Hybrid AI

Hybrid AI je zastrešujúce označenie systému, ktorý kombinuje odlišné paradigmy umelej inteligencie tak, aby jedna kompenzovala obmedzenia druhej. Často spája neurónové učenie z dát so symbolickými pravidlami, znalostným grafom, optimalizačným algoritmom, simuláciou alebo expertným systémom. Hybridita môže byť modulárna, keď komponenty komunikujú cez rozhranie, alebo tesnejšia, keď sa pravidlá premietnu do tréningovej straty či architektúry. Názov sám nehovorí, ako sa riešia konflikty medzi komponentmi, kde vzniká zodpovednosť ani či kombinácia skutočne zlepšuje generalizáciu a vysvetliteľnosť.

Učenie politiky z demonštrácií

Imitačné učenie

Imitation learning

Imitation learning učí agenta vykonávať úlohu z ukážok správania experta namiesto priameho definovania odmeny pre každý stav. Pri behavior cloning sa demonštrácie premenia na páry pozorovanie a akcia a politika sa trénuje ako supervidovaný model. Interaktívne metódy, napríklad DAgger, zbierajú opravy experta aj v stavoch, do ktorých sa dostane samotný žiak. Hlavným problémom je distribučný posun, pretože malá chyba zavedie agenta mimo trás pozorovaných v dátach a ďalšie rozhodnutia sa kumulatívne zhoršujú. Výkon závisí od kvality demonštrácií, pokrytia stavov a definície pozorovania.

Odporúčacie systémy a signály správania

Implicitná spätná väzba

Implicit feedback

Implicit feedback sú pozorované prejavy používateľského správania, z ktorých sa nepriamo odhaduje preferencia bez explicitného hodnotenia. Patria sem kliknutia, prehratia, nákupy, čas sledovania, preskočenia alebo opakované návštevy. Signál zvyčajne vyjadruje mieru expozície a záujmu, nie jednoznačný názor. Nevykonaná akcia nemusí znamenať nesúhlas, pretože používateľ položku nemusel vidieť. Modely pre implicitné dáta pracujú s neistotou negatívnych príkladov, váhou dôvery a pozíciou v rozhraní. Bez korekcie môžu zosilniť popularitu, historické nerovnosti a slučku, v ktorej odporúčanie samo vytvára budúce tréningové dáta.

Predpoklady učenia a výber hypotéz

Induktívne skreslenie modelu

Inductive bias

Inductive bias je súbor predpokladov, ktoré vedú učiaci algoritmus pri výbere riešenia pre nepozorované prípady. Keď viac modelov rovnako dobre vysvetľuje tréningové dáta, bias určuje, ktorému sa dá prednosť. Môže byť zabudovaný do architektúry, napríklad lokalita a zdieľanie váh v konvolučnej sieti, do regularizácie, dátovej augmentácie, optimalizácie alebo prioru. Bez akejkoľvek preferencie nemožno z konečnej vzorky spoľahlivo generalizovať. Induktívny bias nie je automaticky nežiaduca spoločenská zaujatosť, hoci nevhodný predpoklad môže zhoršiť výkon pre určité skupiny alebo prostredia.

Optimalizácia produkčnej inferencie

Inferencia bez kopírovania dát

Zero-copy inference

Zero-copy inference je implementačný prístup, pri ktorom vstupné alebo výstupné tenzory prechádzajú medzi komponentmi inferenčného systému bez zbytočného kopírovania ich obsahu do nového pamäťového priestoru. Komponenty si odovzdajú pohľad, ukazovateľ, buffer alebo handle na zdieľanú CPU či GPU pamäť. Cieľom je znížiť latenciu, spotrebu pamäťovej priepustnosti a špičkovú alokáciu. Skutočný prínos závisí od kompatibility zariadenia, formátu, zarovnania, životnosti bufferu a synchronizácie.

Použitie natrénovaného modelu

Inferencia modelu

Inference

Inference je výpočtová fáza, v ktorej natrénovaný model spracuje nový vstup a vytvorí predikciu, embedding, generovaný obsah alebo rozhodovacie skóre bez aktualizácie svojich naučených parametrov. Zahŕňa predspracovanie, dopredný priechod modelom, dekódovanie a následné pravidlá, ktoré prevádzajú surový výstup na použiteľný výsledok. Pri jazykovom modeli prebieha autoregresívne, token po tokene, pri klasifikátore môže ísť o jediný priechod. Inference sa líši od tréningu požiadavkami na latenciu, dostupnosť, pamäť a reprodukovateľnosť. Správnosť závisí aj od verzie tokenizeru, vstupnej schémy a postprocessingu.

Efektívne nasadenie modelov

Inferencia v nízkej bitovej presnosti

Quantized inference

Quantized inference je vykonávanie dopredného výpočtu modelu s nízkobitovými reprezentáciami a kernelmi, napríklad int8, int4 alebo zmiešanou presnosťou. Runtime načíta kvantizačné parametre, prevedie vstupy do požadovaného rozsahu, vykoná podporované operácie a podľa potreby dekvantizuje výstup. Skutočný výkon závisí od hardvéru, dátového layoutu, veľkosti dávky a počtu operácií, ktoré zostávajú vo float formáte. Kvantizovaný súbor bez kompatibilného runtime nie je dôkaz nízkobitovej exekúcie.

Sémantické porozumenie a klasifikácia

Inferencia v prirodzenom jazyku

Natural language inference

Natural language inference, skrátene NLI, je úloha, pri ktorej model určuje logický vzťah medzi premisou a hypotézou. Typické triedy sú entailment, keď hypotéza z premisy vyplýva, contradiction, keď je s ňou nezlučiteľná, a neutral, keď premisa neposkytuje dostatok informácií. NLI datasety testujú lexikálne, syntaktické a kontextové uvažovanie, no model môže využívať aj anotátorské skratky. V aplikáciách sa NLI používa pri kontrole konzistencie, filtrovaní tvrdení a hodnotení podpory odpovede zdrojom.

Nasadenie modelov a aplikačné rozhrania

Inferenčný koncový bod

Inference endpoint

Inference endpoint je sieťové alebo lokálne rozhranie, cez ktoré aplikácia odovzdá vstup nasadenému modelu a prijme jeho výstup. Typicky definuje adresu, protokol, autentifikáciu, vstupnú schému, formát odpovede, limity veľkosti a pravidlá chýb. Za rozhraním môže byť jeden model, ensemble, predspracovací reťazec alebo smerovanie medzi viacerými verziami. Endpoint nie je samotný model, ale prevádzková služba zahŕňajúca serving runtime, škálovanie, monitorovanie a bezpečnostné kontroly. Návrh musí riešiť idempotenciu, timeout, retry, dávkovanie a ochranu citlivých dát, inak aplikácia nevie spoľahlivo interpretovať výsledok.

Tréning neurónových sietí

Inicializácia parametrov nulami

Zero initialization

Zero initialization je nastavenie váh alebo iných parametrov modelu na nulovú hodnotu pred optimalizáciou. Pri viacneurónovej vrstve sa nulová inicializácia všetkých váh spravidla nepoužíva, pretože neuróny dostanú rovnaké gradienty a zostanú symetrické, takže sa nenaučia rozdielne príznaky. Nulou sa však bežne inicializujú biasy, niektoré reziduálne škály, stavové buffery alebo výstupné vrstvy, keď návrh zámerne vyžaduje počiatočnú nulovú funkciu. Vhodnosť závisí od parametra a toku gradientu.

Priebežná aktualizácia modelov a kontinuita znalostí

Inkrementálne učenie

Incremental learning

Incremental learning je spôsob tréningu, pri ktorom model prijíma nové dáta, triedy alebo úlohy postupne a aktualizuje sa bez úplného pretrénovania na celom historickom korpuse. Variant class-incremental pridáva kategórie, task-incremental rozlišuje úlohy a online učenie spracúva prichádzajúce príklady v krátkych intervaloch. Kľúčovým rizikom je katastrofické zabúdanie, keď nové gradienty poškodia výkon na skorších znalostiach. Používajú sa replay buffery, regularizácia dôležitých parametrov, destilácia a rozširovanie architektúry. Prevádzka musí rozlišovať skutočné učenie od obyčajného periodického retrainingu a sledovať poradie dát.

Atribúcia vstupných znakov a vysvetliteľnosť

Integrované gradienty

Integrated gradients

Integrated gradients je metóda atribúcie, ktorá priraďuje vstupným prvkom príspevok k vybranému výstupu diferencovateľného modelu. Vypočíta gradient predikcie pozdĺž cesty od referenčného baseline vstupu k analyzovanému vstupu a tieto gradienty integruje. Súčet atribúcií približne zodpovedá rozdielu medzi výstupom pre skutočný vstup a baseline, čo je vlastnosť completeness. Metóda spĺňa axiomy sensitivity a implementation invariance, no výsledok závisí od voľby baseline, počtu aproximačných krokov a cieľovej triedy. Atribúcia opisuje lokálnu citlivosť modelu, nie kauzálny dôvod ani správnosť rozhodnutia.

Porozumenie správania a rozhodovania modelov

Interpretovateľnosť modelu

Interpretability

Interpretability je miera, do akej človek dokáže pochopiť vnútorné mechanizmy modelu alebo vzťah medzi vstupom a jeho výstupom v konkrétnom kontexte. Môže byť inherentná, napríklad pri malom rozhodovacom strome, alebo post hoc, keď sa zložitému modelu vytvoria atribúcie, príklady, pravidlová aproximácia či kontrafaktuálne vysvetlenie. Pojem nemá jedinú univerzálnu metriku, preto sa musí uviesť používateľ, otázka a účel vysvetlenia. Lokálne vysvetlenie jedného prípadu nie je globálnym opisom systému. Zrozumiteľnosť tiež nezaručuje vernosť, spravodlivosť ani správnu predikciu.

Generatívne modely a úprava obrazu

Inverzia GAN

GAN inversion

GAN inversion je postup, pri ktorom sa reálny vstup, najčastejšie fotografia, mapuje do latentného kódu už natrénovaného generatívneho adversariálneho modelu. Kód sa hľadá optimalizáciou, pomocou enkodéra alebo kombináciou oboch prístupov tak, aby generátor vstup čo najvernejšie zrekonštruoval. Kľúčovým kompromisom je presnosť rekonštrukcie verzus editovateľnosť latentnej reprezentácie. Vstup mimo distribúcie generátora môže vyžadovať kód, ktorý síce kopíruje pixely, ale stráca realistické alebo významovo usporiadané vlastnosti latentného priestoru.

Metrika podobnosti množín a segmentácie

Jaccardov index

Jaccard index

Jaccard index vyjadruje podobnosť dvoch množín pomerom počtu spoločných prvkov k počtu všetkých unikátnych prvkov prítomných aspoň v jednej z nich. V strojovom učení porovnáva napríklad množinu správnych a predikovaných štítkov, množinu tokenov alebo pixely referenčnej a predikovanej masky. Hodnota 1 znamená úplnú zhodu, hodnota 0 nulový spoločný prvok. Pri prázdnych množinách treba vopred určiť konvenciu, pretože menovateľ môže byť nulový. Priemerovanie v multilabel úlohách musí zohľadniť, či sa počíta po vzorkách, triedach alebo globálne.

Vzdialenosť medzi množinovými reprezentáciami

Jaccardova vzdialenosť

Jaccard distance

Jaccard distance je nepodobnosť odvodená od Jaccardovho indexu vzťahom d_J(A,B) = 1 - J(A,B). Nad konečnými množinami nadobúda hodnoty od 0 do 1, pričom 0 označuje rovnaké množiny a 1 množiny bez spoločných prvkov. Používa sa pri zhlukovaní binárnych atribútov, vyhľadávaní podobných dokumentov, deduplikácii a analýze množín štítkov. Na rozdiel od kosínovej vzdialenosti ignoruje počet spoločných núl, čo je dôležité pri riedkych indikátorových vektoroch. Implementácia musí konzistentne riešiť prípad dvoch prázdnych množín.

Diferenciálny opis citlivosti modelu

Jacobiho matica

Jacobian matrix

Jacobiho matica funkcie f: R^n -> R^m obsahuje všetky prvé parciálne derivácie výstupných zložiek podľa vstupných premenných. Prvok J_ij vyjadruje lokálnu zmenu i-teho výstupu pri malej zmene j-teho vstupu. V neurónových sieťach sa Jacobian môže počítať voči vstupu, parametrom alebo latentnej reprezentácii. Umožňuje analyzovať citlivosť, lokálnu lineárnu aproximáciu, stabilitu a šírenie perturbácií. Úplná matica býva pri veľkých modeloch príliš rozsiahla, preto sa často počítajú iba jej súčiny s vektormi.

Nelineárna redukcia dimenzie

Jadrová analýza hlavných komponentov

Kernel PCA

Kernel PCA je nelineárne rozšírenie analýzy hlavných komponentov, ktoré vykoná spektrálny rozklad centrovanej Gramovej matice namiesto kovariančnej matice pôvodných príznakov. Hlavné osi vznikajú v implicitnom priestore určenom kernelom, takže dokážu rozvinúť zakrivenú štruktúru dát. Výsledok závisí od kernelu, jeho parametrov a počtu komponentov. Na rozdiel od lineárnej PCA nemá vždy jednoduchú inverznú transformáciu ani priamu interpretáciu zaťažení. Znamienko vlastného vektora je ľubovoľné, preto otočenie osi medzi behmi neznamená vecnú zmenu.

Meranie podobnosti v implicitnom priestore príznakov

Jadrová funkcia

Kernel

Kernel v jadrových metódach je funkcia k(x, z), ktorá vyjadruje vnútorný súčin obrazov dvoch vstupov v príznakovom priestore, hoci tieto obrazy nemusí algoritmus explicitne zostrojiť. Platný pozitívne semidefinitný kernel vytvára Gramovu maticu s vhodnými matematickými vlastnosťami. Voľba lineárneho, polynomiálneho, RBF alebo doménového kernelu určuje pojem podobnosti a tým aj tvar funkcií, ktoré môže model efektívne učiť. Hodnota kernelu nemá sama osebe univerzálnu mierku, interpretuje sa v rámci zvoleného modelu.

Regularizovaná nelineárna regresia

Jadrová hrebeňová regresia

Kernel ridge regression

Kernel ridge regression spája ridge regression s kernelovým zobrazením. Minimalizuje kvadratickú chybu a L2 regularizáciu vo funkčnom priestore určenom kernelom, pričom riešenie možno vyjadriť koeficientmi pri tréningových príkladoch. Pri nelineárnom kerneli modeluje nelineárnu funkciu v pôvodných vstupoch. Hyperparameter alpha riadi regularizáciu, parametre kernelu jeho hladkosť. Tréning zahŕňa riešenie lineárneho systému nad Gramovou maticou. Uzavreté riešenie uľahčuje reprodukovateľnosť, no numerická stabilita závisí od kondície matice.

Rodina nelineárnych algoritmov

Jadrová metóda

Kernel method

Kernel method je trieda algoritmov, ktoré vyjadrujú učenie prevažne cez párové kernelové hodnoty medzi príkladmi. Lineárny postup v implicitnom príznakovom priestore sa tak správa nelineárne v pôvodných dátach bez explicitného výpočtu všetkých transformovaných príznakov. Do rodiny patria kernelové SVM, Kernel PCA, kernel ridge regression a Gaussian processes. Škálovanie býva obmedzené veľkosťou Gramovej matice a kvalita závisí od kernelu a regularizácie. Mnohé riešenia majú duálnu formu, v ktorej predikciu určujú koeficienty pri tréningových bodoch.

Dekódovanie generatívnych modelov

Jadrové vzorkovanie top-p

Nucleus sampling

Nucleus sampling, nazývané aj top-p sampling, je dekódovacia stratégia, ktorá pri každom kroku zoradí tokeny podľa pravdepodobnosti a vytvorí najmenšiu množinu, ktorej kumulatívna pravdepodobnosť dosiahne prah p. Nasledujúci token sa vzorkuje iba z tejto dynamickej množiny po renormalizácii. Na rozdiel od top-k sa počet povolených tokenov mení podľa tvaru distribúcie. Metóda obmedzuje veľmi nepravdepodobné pokračovania, ale nezaručuje faktickosť, bezpečnosť ani globálnu konzistenciu textu.

Neparametrické modelovanie rozdelenia

Jadrový odhad hustoty

Kernel density estimation

Kernel density estimation, KDE, je neparametrický odhad pravdepodobnostnej hustoty, ktorý umiestni na každý pozorovaný bod hladkú jadrovú funkciu a ich príspevky spriemeruje. Kľúčový parameter bandwidth určuje mieru vyhladenia, zatiaľ čo typ kernelu ovplyvňuje lokálny tvar. KDE nepredpokladá konkrétnu rodinu rozdelenia, ale vo vyšších dimenziách potrebuje veľa dát a výsledok je citlivý na škálovanie, hranice podpory a voľbu metriky. Pri multivariátnych dátach môže mať bandwidth jednu mierku alebo samostatnú maticu pre rôzne smery.

Implicitný výpočet nelineárnych príznakov

Jadrový trik

Kernel trick

Kernel trick je algebraický postup, pri ktorom algoritmus nahradí explicitné vnútorné súčiny transformovaných príznakov hodnotou kernelovej funkcie k(x,z). Ak je optimalizácia a predikcia formulovaná iba cez vnútorné súčiny, možno pracovať vo veľmi vysokom alebo nekonečnom príznakovom priestore bez priameho zostrojenia mapy phi(x). Trik šetrí reprezentáciu, nie nevyhnutne výpočty nad všetkými dvojicami, preto sa pri veľkých n objavuje problém Gramovej matice. Úspora je najväčšia vtedy, keď explicitná mapa rastie omnoho rýchlejšie než výpočet samotného kernelu.

Dátová extrakcia a transformácia

Jazyk výberu uzlov v XML stromoch

XPath

XPath je výrazový jazyk W3C na navigáciu a výber položiek v XQuery and XPath Data Model. Pracuje s uzlami XML stromu, sekvenciami a atómovými hodnotami. Cesta môže používať osi, node tests, predikáty, funkcie, operátory a namespace kontext. XPath 3.1 podporuje aj mapy a polia, no implementácie sa líšia verziou. V AI pipeline sa používa na extrakciu častí dokumentov, mapovanie anotácií a validáciu pravidiel. Výraz musí správne riešiť namespaces a nepredpokladať, že poradie alebo pozícia elementov zostane navždy rovnaká.

Spracovanie prirodzeného jazyka

Jazykový model

Language model

Language model je pravdepodobnostný alebo skórovací model, ktorý zachytáva štruktúru sekvencií jazykových jednotiek, napríklad znakov, slov alebo tokenov. Autoregresívny model odhaduje pravdepodobnosť ďalšieho tokenu vzhľadom na predchádzajúci kontext, maskovaný model rekonštruuje skryté časti a sekvenčno-sekvenčný model podmieňuje výstup ďalším vstupom. Jazykový model môže byť štatistický aj neurónový. Jeho pravdepodobnostná plynulosť neznamená automaticky faktickú správnosť ani porozumenie sveta.

Prispôsobovanie jazykových modelov úlohám

Jemné dolaďovanie na inštrukciách

Instruction fine-tuning

Instruction fine-tuning je pokračovanie tréningu predtrénovaného modelu na zbierke úloh vyjadrených prirodzenými inštrukciami a očakávanými odpoveďami. Dataset môže obsahovať klasifikáciu, transformáciu textu, otázky, extrakciu, generovanie alebo dialóg, pričom spoločným cieľom je naučiť model interpretovať zadanie a preniesť tento spôsob správania na nové úlohy. Na rozdiel od doménového pokračovania pretrainingu sa optimalizuje odpoveď na explicitný pokyn. Rozmanitosť formulácií, kvalita cieľov a vyváženie úloh ovplyvňujú generalizáciu. Metóda nezaručuje faktickosť ani bezpečnosť a často sa dopĺňa preferenčným ladením alebo pravidlami použitia.

Konvexná analýza a probabilistické učenie

Jensenova nerovnosť

Jensen's inequality

Jensenova nerovnosť tvrdí, že pre konvexnú funkciu phi a náhodnú premennú X platí phi(E[X]) <= E[phi(X)], ak sú očakávania definované. Pre konkávnu funkciu sa smer obráti. Nerovnosť prepája zakrivenie funkcie s priemerovaním a stojí za mnohými hranicami v štatistike a strojovom učení. Používa sa pri odvodení evidence lower bound vo variačnej inferencii, pri analýze log-loss, entropie a rizika. Rovnosť nastáva pri afínnej funkcii alebo pri degenerovanej distribúcii, prípadne za špecifických podmienok na podpore X.

Porovnávanie pravdepodobnostných rozdelení

Jensenova-Shannonova divergencia

Jensen-Shannon divergence

Jensen-Shannon divergence, JSD, je symetrická a konečná miera rozdielu medzi pravdepodobnostnými rozdeleniami. Pre dve distribúcie P a Q vytvorí zmes M = (P + Q)/2 a spriemeruje KL(P||M) a KL(Q||M). Na rozdiel od Kullbackovej-Leiblerovej divergencie zostáva definovaná aj vtedy, keď má jedna distribúcia nulovú pravdepodobnosť tam, kde druhá nie, pretože zmes obsahuje podporu oboch. Pri logaritme so základom 2 leží medzi 0 a 1. Druhá odmocnina JSD tvorí metriku a používa sa pri porovnaní modelových výstupov, driftu a generatívnych distribúcií.

Štruktúrované dáta a znalostné grafy

JSON pre prepojené dáta

JSON-LD

JSON-LD je serializačný formát pre Linked Data, ktorý zapisuje entity, vlastnosti a identifikátory v syntaxi JSON. Kľúč @context mapuje krátke názvy na IRI a určuje význam slovníka, @id identifikuje zdroj a @type jeho triedu. Formát umožňuje vložiť schema.org dáta do HTML bez miešania atribútov s viditeľným obsahom. V AI a GEO sa používa na strojovo čitateľné označenie autora, definovaného termínu, článku, organizácie alebo vzťahov medzi entitami. JSON-LD však nevytvára dôveryhodnosť sám, údaje musia zodpovedať viditeľnej stránke a správnemu slovníku.

Ochrana súkromia pri publikovaní dát

K-anonymita

K-anonymity

K-anonymita je vlastnosť zverejneného dátového súboru, pri ktorej je každý záznam podľa zvolených kvázi-identifikátorov nerozoznateľný najmenej od k mínus jedného ďalšieho záznamu. Dosahuje sa najmä zovšeobecnením hodnôt, potlačením atribútov alebo tvorbou ekvivalenčných tried. Nechráni automaticky citlivý atribút v skupine, nebráni všetkým útokom s pomocnými dátami a jej účinnosť závisí od správneho výberu kvázi-identifikátorov. Riziko sa preto hodnotí pre konkrétny spôsob zverejnenia, nie iba jedným číslom k.

Spoľahlivosť predikcií

Kalibrácia neistoty a pravdepodobností

Uncertainty calibration

Uncertainty calibration opisuje zhodu medzi deklarovanou istotou modelu a empirickou frekvenciou správnosti alebo pokrytím intervalov. Ak klasifikátor označí sto podobných prípadov istotou 0,8, správny výsledok by sa mal objaviť približne osemdesiatkrát. Kalibrácia sa hodnotí reliability diagramom, Brierovým skóre, log loss alebo expected calibration error. Môže sa upraviť temperature scalingom, izotonickou regresiou či Platt scalingom na oddelenej kalibračnej množine, bez zmeny poradia skóre. Kalibračný report sa má členiť podľa tried, podskupín a intervalov istoty, nie iba jedným priemerným číslom.

Vyhodnocovanie a spoľahlivosť predikcií

Kalibrácia pravdepodobností modelu

Calibration

Calibration vyjadruje zhodu medzi pravdepodobnosťou, ktorú model priradí udalosti, a jej skutočnou frekvenciou. Ak sú predikcie s istotou 0,8 správne približne v 80 percentách prípadov, model je v tejto oblasti kalibrovaný. Kalibrácia sa hodnotí oddelene od presnosti a diskriminačnej schopnosti, pretože model môže dobre zoradiť prípady, no systematicky nadhodnocovať sebaistotu. Meria sa kalibračnými krivkami, Brierovým skóre alebo ECE a upravuje napríklad temperature scalingom na validačných dátach.

Odhad skrytého stavu v čase

Kalmanov filter

Kalman filter

Kalmanov filter je rekurzívny algoritmus na odhad stavu lineárneho dynamického systému z neistého modelu pohybu a zašumených meraní. V predikčnom kroku premietne predchádzajúci stav a jeho kovarianciu dopredu, v korekčnom kroku ich upraví inováciou váženou Kalmanovým ziskom. Pri lineárnom modeli a gaussovskom šume poskytuje optimálny odhad v zmysle minimálnej strednej kvadratickej chyby. Nesprávne kovariancie vedú k prehnanej dôvere alebo nestabilite. Filter súčasne aktualizuje bodový odhad aj maticu neistoty, čo umožňuje kontrolovať konzistenciu.

Dokumentácia a transparentnosť AI

Karta modelu

Model card

Model card je štandardizovaný dokument sprevádzajúci model, ktorý opisuje jeho účel, zamýšľaných používateľov, architektúru alebo pôvod, tréningové dáta, metódy evaluácie, výsledky, obmedzenia, etické aspekty a podmienky použitia. Má komunikovať rozdiely výkonu medzi relevantnými skupinami a známe scenáre zlyhania, nie iba jednu súhrnnú metriku. Karta je verzovaná spolu s modelom a mala by uvádzať zodpovedného vlastníka, dátum revízie, licenciu a kontakt na hlásenie problémov.

Kontinuálne a celoživotné učenie

Katastrofické zabúdanie

Catastrophic forgetting

Catastrophic forgetting je prudká strata výkonu na skôr naučených úlohách po tom, ako sa neurónová sieť ďalej trénuje na nových dátach alebo úlohách. Aktualizácie parametrov potrebné pre nový cieľ môžu prepísať reprezentácie dôležité pre predchádzajúce schopnosti. Jav je typický pri sekvenčnom učení bez prístupu k pôvodným dátam. Zmierňuje sa rehearsalom, regularizáciou dôležitých váh, modulárnou architektúrou, replay bufferom alebo izoláciou adaptérov, pričom treba merať učenie nového aj udržanie starého výkonu.

Štatistika, experimenty a účinky zásahov

Kauzálna inferencia

Causal inference

Causal inference je proces odhadovania účinku zásahu alebo príčiny na výsledok z experimentálnych či observačných dát pri explicitných predpokladoch. Rozlišuje pozorovanie hodnoty X od intervencie do(X), pretože asociácia sama neurčuje, čo sa stane po zmene. Používa rámec potenciálnych výsledkov, štrukturálne kauzálne modely, randomizáciu, matching, stratifikáciu, propensity scores, inštrumentálne premenné alebo difference in differences. Platnosť záveru závisí od identifikácie, konzistencie, positivity a kontroly confoundingu.

Kauzálne modelovanie a rozhodovanie

Kauzálna umelá inteligencia

Causal AI

Causal AI je zastrešujúce označenie pre AI systémy, ktoré explicitne modelujú príčinné vzťahy a používajú ich pri predikcii, vysvetľovaní, plánovaní alebo výbere zásahu. Môžu kombinovať štrukturálne kauzálne modely, kauzálne grafy, experimentálne dáta a metódy strojového učenia. Nejde o jeden štandardizovaný algoritmus ani o záruku kauzality. Dôveryhodný systém musí uviesť kauzálnu otázku, predpoklady identifikácie, pôvod grafu, možné confoundery a spôsob validácie intervenčných alebo kontrafaktuálnych záverov.

Generatívne jazykové modelovanie

Kauzálny jazykový model

Causal language model

Causal language model je autoregresívny model trénovaný predikovať nasledujúci token iba z tokenov, ktoré mu v poradí predchádzajú. Kauzálna maska v attention mechanizme zabráni pozícii používať budúce tokeny počas tréningu, čím sa úloha zhoduje so sekvenčným generovaním. Pravdepodobnosť textu sa rozkladá na súčin podmienených pravdepodobností ďalších tokenov. Slovo causal tu označuje smer informačného toku v sekvencii, nie dôkaz príčinnej súvislosti v zmysle kauzálnej inferencie.

Supervidované strojové učenie

Klasifikácia

Classification

Classification je úloha, pri ktorej model priraďuje vstupu jednu alebo viac diskrétnych tried. Môže byť binárna, multiclass alebo multilabel a výstupom býva skóre či pravdepodobnostná distribúcia, z ktorej rozhodovacie pravidlo vytvorí štítok. Model sa učí z označených príkladov a hodnotí na dátach oddelených od tréningu. Kvalita závisí od definície tried, reprezentatívnosti dát, stratovej funkcie, prahu a nákladov chýb. Klasifikácia nepredpovedá automaticky príčinu ani budúcu číselnú hodnotu.

NLP a flexibilná klasifikácia

Klasifikácia bez tréningových príkladov cieľových štítkov

Zero-shot classification

Zero-shot classification je priradenie vstupu k jednému alebo viacerým kandidátnym štítkom, pre ktoré model nebol osobitne trénovaný na označených príkladoch danej úlohy. V NLP sa často realizuje cez natural language inference, kde sa každý štítok vloží do hypotézy a model odhadne mieru entailmentu, alebo cez embeddingovú podobnosť medzi vstupom a opisom triedy. Výsledok je citlivý na formuláciu štítkov, šablónu hypotézy, kalibráciu skóre a to, či ide o single-label alebo multi-label režim.

Detekcia neznámych a neobvyklých prípadov

Klasifikácia jednej cieľovej triedy

One-class classification

One-class classification je učenie rozhodovacej oblasti pre jednu cieľovú triedu, keď sú ostatné triedy neznáme, nedostupné alebo príliš rôznorodé. Model sa učí podporu distribúcie bežných príkladov a nový vstup označí ako patriaci do oblasti alebo ležiaci mimo nej. Metódy zahŕňajú one-class SVM, hypersférové modely a rekonštrukčné prístupy. Výsledok závisí od miery kontaminácie tréningových dát, voľby reprezentácie a prahu, preto označenie mimo triedy neidentifikuje príčinu odchýlky.

Sekvenčné označovanie textu

Klasifikácia jednotlivých tokenov

Token classification

Token classification priraďuje štítok každému tokenu alebo vybranému úseku vstupnej sekvencie. Používa sa pri rozpoznávaní pomenovaných entít, označovaní slovných druhov, detekcii citlivých údajov alebo extrakcii štruktúry. Pri subword tokenizácii treba previesť anotácie slov na viac tokenov a následne spojiť predikcie späť do textových rozsahov. Kvalita závisí od konzistencie hraníc entít, schémy štítkov a hodnotenia na úrovni celých entít, nie iba tokenov. Anotačný manuál musí obsahovať hraničné prípady, vnorené entity a pravidlá pre interpunkciu či skratky.

Počítačové videnie a rozpoznávanie kategórií

Klasifikácia obrázkov

Image classification

Image classification je úloha priradenia jedného alebo viacerých štítkov celému obrázku na základe jeho vizuálneho obsahu. Model spracuje maticu pixelov alebo odvodené reprezentácie a vytvorí skóre pre triedy, napríklad druh rastliny, typ výrobnej chyby alebo prítomnosť patologického nálezu. Pri single-label variante sa vyberá jedna trieda, pri multi-label variante môže byť pravdivých viac označení. Výsledok neobsahuje presnú polohu objektu, preto klasifikátor môže rozhodnúť správne aj z nevhodného pozadia alebo skratkového znaku. Hodnotenie musí zahŕňať triedne metriky, kalibráciu a testy mimo tréningovej distribúcie.

Vision-language modely

Klasifikácia obrazu pomocou textových tried bez dolaďovania

Zero-shot image classification

Zero-shot image classification priraďuje obraz k triedam definovaným textom bez optimalizácie modelu na označených obrázkoch týchto tried. Vision-language model zakóduje obraz a textové prompty do spoločného priestoru, vypočíta podobnosť a zvolí najbližšiu reprezentáciu. Pri CLIP sa pre každú triedu často používa viac promptových šablón a ich embeddingy sa agregujú. Výkon závisí od názvov tried, domény, jazyka, kalibrácie teploty a od prekryvu medzi predtrénovacími dátami a testom.

Spracovanie prirodzeného jazyka

Klasifikácia textu

Text classification

Text classification priraďuje textovému vstupu jednu alebo viac tried podľa naučeného rozhodovacieho pravidla. Vstupom môže byť veta, e-mail, dokument alebo konverzácia, výstupom napríklad téma, sentiment, závažnosť či typ požiadavky. Systém môže používať riedke textové príznaky, embeddingy alebo transformer. Návrh musí určiť taxonómiu, možnosť viacerých štítkov, prah rozhodnutia a postup pre texty mimo známych tried. Taxonómia a mapovanie štítkov sa musia verziovať, pretože zmena významu triedy mení aj interpretáciu historických metrík.

Konverzačná a aplikačná AI

Klasifikácia zámeru používateľa

User intent classification

User intent classification priraďuje používateľský vstup k jednej alebo viacerým triedam opisujúcim požadovaný cieľ, napríklad zmeniť heslo, reklamovať platbu alebo zistiť stav objednávky. Model môže používať pravidlá, klasifikátor nad embeddingmi alebo jazykový model. Kvalita závisí najmä od jasnej taxonómie, reprezentatívnych formulácií, detekcie vstupov mimo rozsahu a možnosti kombinovať intent s entitami. V produkcii sa sleduje zámena medzi podobnými zámermi, nízka istota a zmeny používateľského jazyka. Každý intent má mať definíciu, pozitívne príklady, podobné negatívne príklady, vlastníka a cieľový workflow.

Rozhodovacie pravidlá a prevádzkové metriky

Klasifikačný prah

Classification threshold

Classification threshold je hranica, ktorá premieňa spojité skóre alebo odhad pravdepodobnosti binárneho klasifikátora na pozitívne či negatívne rozhodnutie. Zmena prahu nemení naučené parametre modelu, ale presúva prípady medzi štyrmi bunkami binárnej matice zámen a tým mení profil chýb. Vyberá sa na validačných dátach podľa nákladov, kapacity, regulácie alebo cieľovej metriky. Prah 0,5 nie je prirodzene optimálny a pri nekalibrovanom skóre nemusí znamenať 50 percent reálnej pravdepodobnosti.

Generovanie reči a syntetické médiá

Klonovanie hlasu

Voice cloning

Voice cloning vytvára syntetickú reč napodobňujúcu hlasovú identitu cieľovej osoby z jednej alebo viacerých nahrávok. Systém získava speaker embedding alebo adaptuje generatívny model a kombinuje ho s text-to-speech komponentom. Zero-shot klonovanie používa krátku referenciu bez samostatného tréningu hovoriaceho, fine-tuned klonovanie môže dosiahnuť vyššiu podobnosť. Vernosť timbru neznamená zachovanie emócie, prízvuku ani bezpečný súhlas. Technológia prináša riziko impersonácie, podvodu a neoprávneného použitia biometrických údajov.

Generovanie reči a syntéza hlasu

Klonovanie hlasu bez dolaďovania na hovoriaceho

Zero-shot voice cloning

Zero-shot voice cloning je syntéza reči v hlasovej identite nového hovoriaceho bez osobitného tréningu alebo dolaďovania modelu na jeho dátach. Systém extrahuje speaker embedding alebo inú podmienku z krátkej referenčnej nahrávky a spojí ju s textovým či akustickým generátorom. Kvalita sa hodnotí zrozumiteľnosťou, podobnosťou hlasu, prozódiou a robustnosťou voči šumu. Technológia nesie vysoké riziko zneužitia identity, preto vyžaduje súhlas, provenance, detekciu a obmedzenia distribúcie.

Výkonnostné knižnice pre transformery

Knižnica optimalizovaných transformerových blokov

xFormers

xFormers je knižnica založená na PyTorch, ktorá poskytuje modulárne a optimalizované stavebné bloky transformerových architektúr. Zahŕňa memory-efficient attention, attention biases a ďalšie operátory s viacerými backendmi. Rozhranie môže podľa zariadenia, dtype, tvaru a masky vybrať vhodnú implementáciu. Knižnica nemení matematický cieľ modelu automaticky, no numerické poradie operácií a podporované gradienty sa môžu líšiť. Kompatibilita závisí od verzie PyTorch, CUDA a GPU. Pred nasadením sa testuje správnosť, pamäť, latencia aj deterministickosť.

Framework pre výskum strojového učenia

Knižnica pre transformovateľné numerické výpočty

JAX

JAX je knižnica pre numerické výpočty v Pythone, ktorá poskytuje NumPy podobné rozhranie a transformácie funkcií pre automatickú diferenciáciu, JIT kompiláciu, vektorizáciu a paralelizáciu. Výpočty sa zapisujú ako kompozície čistých operácií nad poľami a kompilujú cez ekosystém OpenXLA pre CPU, GPU alebo TPU. JAX sleduje funkciu do medzireprezentácie jaxpr, preto má osobitné pravidlá pre stav, náhodnosť a riadenie toku. Samotný JAX nie je kompletný tréningový framework, ale základ, na ktorom stoja knižnice ako Flax, Equinox alebo Optax.

Predspracovanie cieľov

Kódovanie cieľových štítkov

Label encoding

Label encoding je transformácia diskrétnych názvov cieľových tried na interné kódy, najčastejšie celé čísla od nuly po počet tried mínus jeden. Mapovanie umožňuje algoritmom pracovať s textovými alebo symbolickými labelmi, ale samo osebe nevytvára poradie ani vzdialenosť medzi triedami. Kódovník musí byť stabilný medzi tréningom, evaluáciou a produkciou. Pri vstupných kategóriách sa používajú iné postupy, napríklad one-hot alebo ordinal encoding, podľa významu príznaku a modelu.

Optimalizácia výpočtových grafov

Kompilácia just-in-time

JIT compilation

JIT compilation je preklad programu alebo jeho výpočtovej časti do optimalizovaného strojového kódu počas behu aplikácie, keď sú známe relevantné typy, tvary a cieľové zariadenie. V ML frameworkoch môže kompilátor fúzovať operácie, odstrániť redundanciu, plánovať pamäť a generovať jadrá pre CPU, GPU alebo TPU. Prvé volanie často zahŕňa trasovanie a kompiláciu, ďalšie volania s kompatibilným podpisom používajú cache. Dynamické tvary, Python vedľajšie efekty a časté zmeny statických argumentov môžu spôsobiť opakovanú kompiláciu alebo graph break.

Optimalizácia nasadenia

Kompresia modelu

Model compression

Model compression je súbor techník znižujúcich pamäťové, výpočtové alebo prenosové nároky modelu pri zachovaní prijateľného výkonu. Zahŕňa kvantizáciu, pruning, distiláciu znalostí, low-rank aproximácie, zdieľanie parametrov a návrh menšej architektúry. Cieľ sa môže merať veľkosťou súboru, latenciou, spotrebou energie, priepustnosťou alebo nákladom. Kompresný pomer sám o sebe nestačí, pretože reálne zrýchlenie závisí od hardvéru, runtime, hustoty operácií a podpory dátového formátu.

Štatistické učenie a generalizácia

Kompromis medzi skreslením a variabilitou

Bias-variance tradeoff

Bias-variance tradeoff opisuje napätie medzi systematickou chybou modelu a jeho citlivosťou na konkrétnu tréningovú vzorku. Model s vysokým biasom je príliš obmedzený a nezachytí podstatný vzťah, čo vedie k underfittingu. Model s vysokou variance sa nadmerne prispôsobí detailom a šumu tréningových dát, takže jeho výsledky sa výrazne menia pri inom výbere vzorky. Pri kvadratickej strate možno očakávanú chybu rozložiť na bias, variance a ireducibilný šum. V modernej hlbokej AI je obraz zložitejší, no princíp zostáva užitočný pri diagnostike generalizácie.

Reprodukovateľnosť a MLOps

Konfigurácia AI systému v YAML

YAML configuration

YAML configuration je deklaratívny súbor, v ktorom aplikácia mapuje kľúče YAML na konkrétne parametre svojho behu. V AI projekte môže obsahovať výber modelu, dátové zdroje, transformácie, hyperparametre, seed, metriky, hardvérové limity, registre artefaktov aj pravidlá nasadenia. YAML zabezpečuje iba syntax a dátovú štruktúru, nie platnosť experimentu. Reprodukovateľná konfigurácia preto potrebuje verziu schémy, pevné identifikátory dát a kódu, deklarované predvolené hodnoty a kontrolu neznámych polí.

Architektúra generatívnych AI aplikácií

Kontextové inžinierstvo pre LLM

Context engineering

Context engineering je systematický návrh, výber, transformácia a správa informácií, ktoré model dostane počas inferencie. Zahŕňa systémové inštrukcie, históriu, retrieval, pamäť, výsledky nástrojov, príklady, metadáta, kompresiu a izoláciu kontextov. Je širšie než formulácia jedného promptu, pretože rieši celý životný cyklus informácií pri jednotlivých krokoch aplikácie alebo agenta. Cieľom je poskytnúť relevantné a dôveryhodné dáta v správnom poradí a formáte pri obmedzenej kapacite, latencii, cene, oprávneniach a riziku prompt injection.

Jazykové modely a tokenové limity

Kontextové okno modelu

Context window

Context window je maximálny počet tokenov, ktoré model môže spracovať v rámci jedného výpočtového kontextu. Podľa konkrétneho API sa do limitu započítavajú systémové a používateľské správy, história, nástroje, dokumenty, reasoning tokeny a generovaný výstup. Okno nie je dlhodobá pamäť ani záruka rovnomernej pozornosti ku každej časti vstupu. Pri prekročení limitu musí aplikácia obsah skrátiť, vybrať, zhrnúť alebo rozdeliť. Väčšie okno zvyšuje možnosti práce s dokumentmi, ale aj cenu, latenciu a riziko konfliktov v kontexte.

Kontrastívne a akčné vysvetlenia

Kontrafaktuálne vysvetlenie výsledku AI

XAI counterfactual explanation

XAI counterfactual explanation opisuje minimálnu alebo primeranú zmenu vstupných podmienok, pri ktorej by model vytvoril odlišný cieľový výsledok. Optimalizácia obvykle vyvažuje blízkosť pôvodnému prípadu, dosiahnutie cieľa, realizovateľnosť, sparsity a rešpektovanie nemenných atribútov. Kontrafaktuál vysvetľuje rozhodovaciu hranicu modelu, nie automaticky skutočný kauzálny zásah. Návrh typu zvýšte príjem môže byť nereálny, eticky nevhodný alebo mimo kontroly osoby. Kvalitný systém preto používa obmedzenia a viac rozmanitých alternatív.

Reprezentačné a self-supervised učenie

Kontrastívne učenie

Contrastive learning

Contrastive learning je spôsob učenia reprezentácií, pri ktorom sa model učí približovať embeddingy pozitívnych párov a oddeľovať embeddingy negatívnych alebo nesúvisiacich príkladov. Pozitívny pár môže vzniknúť dvoma augmentáciami toho istého obrazu, zodpovedajúcim textom a obrázkom alebo dvoma pohľadmi na tú istú entitu. Výsledok závisí od definície párov, augmentácií, batchu, teploty a kontrastívnej straty. Cieľom nie je priamo predikovať triedu, ale vytvoriť priestor, ktorý možno použiť na retrieval, clustering alebo fine-tuning.

Tréning, verzovanie a obnova modelov

Kontrolný bod modelu

Checkpoint

Checkpoint je uložený stav tréningu alebo modelu v konkrétnom okamihu. Zvyčajne obsahuje parametre siete a podľa účelu aj stav optimalizátora, plánovača learning rate, počítadlo krokov, náhodné stavy, konfiguráciu a metadáta dát. Umožňuje obnoviť prerušený tréning, vybrať najlepší validačný bod alebo reprodukovať nasadenú verziu. Checkpoint nie je automaticky kompletný modelový artefakt. Bez tokenizéra, architektúry, kódu, preprocessing pravidiel a kompatibilných knižníc môže byť nepoužiteľný alebo viesť k odlišnému správaniu.

Konverzačné rozhrania a aplikačná AI

Konverzačný robot

Chatbot

Chatbot je softvérové rozhranie, ktoré vedie dialóg s používateľom prostredníctvom textu alebo hlasu. Môže byť založené na pevnom rozhodovacom strome, intent klasifikácii, retrievali, generatívnom jazykovom modeli alebo kombinácii týchto mechanizmov. Chatbot nie je synonymom LLM ani autonómneho agenta. Produkčný návrh zahŕňa správu konverzačného stavu, identitu používateľa, prístup k znalostiam, bezpečnostné pravidlá, eskaláciu na človeka, meranie úspešnosti a ochranu osobných údajov.

Transformácia reči

Konverzia hlasu

Voice conversion

Voice conversion mení hlasovú identitu, štýl, prízvuk alebo ďalšie paralingvistické vlastnosti existujúcej rečovej nahrávky pri snahe zachovať jej jazykový obsah a časovanie. Systém oddeľuje obsahové reprezentácie od speaker alebo style embeddingu a decoder vytvorí nový akustický signál. Na rozdiel od text-to-speech nevychádza primárne z textu, ale zo zdrojovej reči. Kvalitu ovplyvňuje disentanglement, prosódia, šum a rozdiel jazykov. Aplikácie zahŕňajú anonymizáciu, dabing aj rizikovú impersonáciu.

Počítačové videnie a segmentácia

Konvolučná architektúra v tvare U

U-Net

U-Net je plne konvolučná neurónová architektúra určená najmä na sémantickú segmentáciu obrazu. Tvorí ju kontrakčná vetva, ktorá zmenšovaním rozlíšenia získava kontext, a expanzná vetva, ktorá obnovuje priestorovú presnosť. Medzi zodpovedajúcimi úrovňami vedú skip connections prenášajúce jemné črty z encoderu do decoderu. Výstupom je mapa tried alebo pravdepodobností pre jednotlivé pixely, prípadne voxely pri 3D variante. Pri klinickom alebo bezpečnostnom použití sa maska hodnotí aj na rôznych zariadeniach, protokoloch a veľkostiach objektov.

Hlboké učenie a vizuálne architektúry

Konvolučná neurónová sieť

Convolutional neural network

Convolutional neural network je neurónová architektúra, ktorá používa zdieľané konvolučné filtre na spracovanie lokálnych vzorov v mriežkových dátach, najmä obrazoch. Filter sa posúva po vstupe a vytvára feature mapu, vďaka čomu rovnaký detektor hrany alebo textúry funguje na rôznych pozíciách. Vrstvy postupne skladajú lokálne príznaky do komplexnejších reprezentácií a môžu používať pooling, stride, dilation či reziduálne bloky. CNN poskytuje silný induktívny bias pre lokalitu a transláciu, ale jej výkon stále závisí od dát, mierky a cieľovej úlohy.

Architektúry počítačového videnia

Konvolučná sieť ZFNet

ZFNet

ZFNet je konvolučná neurónová sieť predstavená Matthewom Zeilerom a Robom Fergusom ako upravená architektúra nadväzujúca na AlexNet. Autori použili dekonvolučnú vizualizáciu aktivácií, aby diagnostikovali príliš hrubé prvé vrstvy, a zmenšili prvé konvolučné jadro aj krok. Model vyhral klasifikačnú úlohu ILSVRC 2013 a ukázal, že vizualizácia vnútorných reprezentácií môže viesť ku konkrétnej úprave architektúry, nie iba k obrázkovému vysvetleniu po tréningu.

Opakované uzly v konfigurácii

Kotva v YAML

YAML anchor

YAML anchor je pomenovanie priradené prvému výskytu uzla v serializačnom strome pomocou znaku ampersand. Umožňuje, aby sa ten istý uzol neskôr referencoval aliasom bez opätovného zapisovania celej hodnoty. Kotva je vlastnosť serializácie, po zostavení reprezentačného grafu sa jej názov nepovažuje za súčasť dátového modelu. V konfiguráciách AI pipeline sa kotvy používajú na zdieľanie spoločných blokov parametrov, napríklad nastavení prostredia, limitov zdrojov alebo základnej tréningovej konfigurácie.

Geometria detekcie

Kotvový rámec v detektoroch YOLO

YOLO anchor box

YOLO anchor box je v anchor-based verziách detektora preddefinovaný tvar rámca, voči ktorému sieť predikuje posun stredu, zmenu šírky a výšky a skóre objektu. Sada kotiev približuje typické pomery strán a mierky objektov v tréningových dátach, často pre viac úrovní feature pyramid. Priradenie ground truth ku kotvám určuje, ktoré predikcie dostanú pozitívny tréningový signál. Nie všetky modely YOLO kotvy používajú, anchor-free varianty predikujú geometriu bez tejto sady priorov.

Výber prahu a evaluácia klasifikácie

Krivka precision a recall

Precision-recall curve

Precision-recall curve zobrazuje dvojice precision a recall, ktoré vzniknú pri postupnom menení rozhodovacieho prahu nad skóre binárneho klasifikátora. Ukazuje kompromis medzi čistotou pozitívnych predikcií a podielom zachytených pozitívnych prípadov. Je zvlášť informatívna pri nevyvážených triedach, kde ROC krivka môže pôsobiť priaznivo aj pri veľkom absolútnom počte falošných alarmov. Plocha alebo average precision zhrňuje poradie, ale nahrádza konkrétne prevádzkové rozhodnutie iba čiastočne. Prah sa má voliť podľa nákladov, kapacity a cieľovej prevalencie.

Tréning klasifikačných a jazykových modelov

Krížová entropia ako stratová funkcia

Cross entropy loss

Cross entropy loss meria rozdiel medzi cieľovým pravdepodobnostným rozdelením a distribúciou predikovanou modelom. Pri klasifikácii s one-hot štítkom penalizuje záporný logaritmus pravdepodobnosti priradenej správnej triede, takže sebavedomá nesprávna predikcia má veľkú stratu. Pri jazykovom modeli sa počíta nad cieľovým ďalším tokenom na jednotlivých pozíciách. Funkcia je diferencovateľná a prirodzene súvisí s maximálnou vierohodnosťou, no jej nízka hodnota sama nezaručuje kalibráciu, férovosť ani úspech prevádzkového rozhodnutia.

Odhad generalizácie a výber modelu

Krížová validácia

Cross-validation

Cross-validation je resamplingový postup, ktorý opakovane rozdeľuje dostupné dáta na tréningové a validačné časti, aby odhadol generalizáciu a variabilitu modelu. Pri k-fold variante sa dáta rozdelia na k foldov, každý sa raz použije na validáciu a zvyšok na tréning. Schéma musí rešpektovať skupiny, čas, používateľov a závislosti medzi záznamami. Cross-validation sa používa na výber hyperparametrov a porovnanie modelov, ale nenahrádza finálnu nedotknutú testovaciu sadu, ak sa výsledky opakovane používajú pri vývoji.

Odhad generalizácie modelu

Krížová validácia s k blokmi

K-fold cross-validation

K-fold cross-validation je validačný postup, ktorý rozdelí dostupné dáta na k navzájom sa neprekrývajúcich blokov. Model sa natrénuje k-krát, vždy na k mínus jednom bloku, pričom zostávajúci blok slúži na validáciu. Výsledná metrika sa agreguje cez všetky behy a často sa uvádza aj rozptyl. Metóda odhaduje citlivosť výkonu na rozdelenie dát, no musí rešpektovať skupiny, časové poradie a závislosti medzi záznamami. Ak sa rovnaké dáta používajú na výber modelu aj finálny odhad, potrebná je vnorená validácia.

Informačná miera rozdielu rozdelení

Kullbackova-Leiblerova divergencia

Kullback-Leibler divergence

Kullback-Leibler divergence, KL divergencia, meria očakávaný logaritmický pomer medzi pravdepodobnostným rozdelením P a referenčným rozdelením Q. Pre diskrétne rozdelenia je D_KL(P||Q) súčtom P(x) log P(x)/Q(x). Hodnota je nezáporná a nulová iba pri zhodných rozdeleniach takmer všade, no nie je symetrická a nespĺňa trojuholníkovú nerovnosť. Ak Q priradí nulu udalosti s kladnou pravdepodobnosťou v P, divergencia je nekonečná. Pri spojitých rozdeleniach sa súčet nahrádza integrálom a obe hustoty musia byť definované na kompatibilnej podpore.

Matematická optimalizácia

Kvadratické programovanie

Quadratic programming

Quadratic programming, skrátene QP, optimalizuje kvadratickú cieľovú funkciu pri lineárnych rovnostných a nerovnostných obmedzeniach. Ak je matica kvadratického člena pozitívne semidefinitná a prípustná množina konvexná, problém je konvexný a lokálne optimum je globálne. QP sa používa v support vector machines, riadení, alokácii zdrojov a projekcii na obmedzenú množinu. Numerický solver vracia riešenie v tolerancii, preto sa musia kontrolovať škálovanie, rezíduá a stav uskutočniteľnosti.

Riadenie vydania a zmien

Kvalitatívna brána pre AI

Quality gate for AI

Quality gate for AI je formálne rozhodovacie miesto medzi etapami životného cyklu, v ktorom sa overí splnenie vopred určených kritérií pred tréningom, pilotom, produkčným nasadením alebo rozšírením použitia. Brána môže kombinovať metriky, bezpečnostné limity, povinné dokumenty, výsledok doménovej revízie a schválenie vlastníka rizika. Výsledkom je povolenie, podmienené povolenie, vrátenie na opravu alebo zastavenie. Výnimka musí mať časové obmedzenie, zodpovednú osobu a kompenzačné opatrenia.

Štatistické hodnotenie a riadenie rizika

Kvantifikácia neistoty

Uncertainty quantification

Uncertainty quantification je systematický proces identifikácie zdrojov neistoty, ich matematického opisu, propagácie cez model a vyjadrenia v konečnom výsledku. Zahŕňa neistotu vstupných meraní, parametrov, modelovej štruktúry, numerického výpočtu aj budúcich podmienok. Výstupom môžu byť rozdelenia, intervaly, citlivostné analýzy alebo scenáre. V AI sa UQ nevzťahuje iba na jedno confidence score, ale na celý reťazec od zberu dát po rozhodnutie a jeho validované riziko. Korelácie medzi vstupnými zdrojmi sa nesmú ignorovať, lebo nezávislé vzorkovanie môže vytvoriť nereálne scenáre.

Pravdepodobnostná predikcia

Kvantilová regresia

Quantile regression

Quantile regression odhaduje podmienený kvantil cieľovej premennej namiesto podmieneného priemeru. Pre zvolenú hladinu tau hľadá funkciu, pod ktorou leží približne podiel tau výsledkov, a minimalizuje asymetrickú quantile loss. Viac modelovaných kvantilov môže vytvoriť predikčný interval a opísať nesymetrické rozdelenie. Metóda nepredpokladá konštantný rozptyl, no samostatne odhadované kvantily sa môžu krížiť a ich pokrytie sa musí overiť na dátach mimo tréningu.

Stratové funkcie

Kvantilová stratová funkcia

Quantile loss

Quantile loss, nazývaná aj pinball loss, je asymetrická strata používaná na učenie kvantilu s hladinou tau. Ak je cieľ nad predikciou, chyba sa váži faktorom tau; ak je pod ňou, faktorom 1 mínus tau. Minimum očakávanej straty zodpovedá podmienenému tau-kvantilu. Pri tau 0,5 sa správa ako polovica absolútnej chyby. Funkcia má zlom v nulovej chybe, no možno ju optimalizovať subgradientom alebo hladkou aproximáciou.

Kompresia a efektívna inferencia

Kvantizácia modelu

Quantization

Quantization je mapovanie hodnôt s vysokou alebo spojitou presnosťou na menšiu konečnú množinu reprezentovateľných úrovní. Pri neurónových sieťach sa kvantizujú váhy, aktivácie alebo medzivýsledky, napríklad z float32 na int8 alebo 4-bitový formát. Lineárna kvantizácia používa mierku a často nulový bod; môže byť symetrická, asymetrická, per-tensor alebo per-channel. Zníženie bitovej šírky šetrí pamäť a prenosy, no pridáva zaokrúhľovaciu a saturujúcu chybu a vyžaduje podporu cieľových kernelov.

Optimalizácia inference

Kvantizácia po tréningu

Post-training quantization

Post-training quantization, skrátene PTQ, prevádza už natrénovaný model z vyššej numerickej presnosti na menší počet bitov bez plného opakovaného tréningu. Môže kvantizovať iba váhy alebo aj aktivácie, staticky pomocou kalibračných dát či dynamicky počas inference. Prevod používa scale, zero point alebo skupinové schémy, aby mapoval reálne hodnoty na diskrétne úrovne. PTQ znižuje pamäť, prenos dát a niekedy latenciu, no chyba zaokrúhlenia môže poškodiť citlivé vrstvy. Skutočné zrýchlenie závisí od hardvéru, kernelov a formátu modelu.

Numerická kompresia modelov

Kvantizácia váh modelu

Weight quantization

Weight quantization je reprezentovanie parametrov modelu menším počtom bitov než pri pôvodnom formáte s plávajúcou desatinnou čiarkou. Reálne váhy sa mapujú na diskrétnu mriežku pomocou scale faktora, prípadne zero-pointu, pričom schéma môže byť symetrická alebo asymetrická, per-tensor alebo per-channel. Post-training quantization upravuje hotový model, quantization-aware training simuluje chybu už počas učenia. Úspora úložiska je predvídateľná, no zrýchlenie závisí od podporovaných kernelov, dekvantizácie, aktivácií a cieľového hardvéru. Nízky bitový rozsah môže poškodiť citlivé vrstvy alebo odľahlé hodnoty.

Efektívne dolaďovanie veľkých jazykových modelov

Kvantizované dolaďovanie s nízkym rangom

QLoRA

QLoRA je metóda parametricky efektívneho dolaďovania, pri ktorej zostáva základný jazykový model zmrazený a uložený v nízkej bitovej presnosti, zatiaľ čo sa učia malé LoRA adaptéry. Gradient sa prenáša cez dekvantizované výpočty do adaptérov, nie do pôvodných kvantizovaných váh. Pôvodný návrh používa 4-bitový typ NF4, dvojitú kvantizáciu a stránkované optimalizátory na zníženie pamäťových špičiek. QLoRA opisuje tréningový postup, nie záruku, že finálny zlúčený model bude automaticky vhodný na nízkobitovú inferenciu.

Hyperkomplexné neurónové architektúry

Kvaterniónová neurónová sieť

Quaternion neural network

Quaternion neural network používa kvaterniónové váhy, aktivácie alebo reprezentácie so štyrmi previazanými zložkami. Lineárne operácie využívajú Hamiltonov súčin, ktorý zavádza štruktúrované miešanie komponentov a zdieľanie parametrov. Architektúra môže prirodzene modelovať rotácie alebo korelované viacrozmerné signály, napríklad farebné a rečové reprezentácie. Nie je ekvivalentná obyčajnej sieti so štyrmi nezávislými kanálmi. Výhoda závisí od vhodnosti kvaterniónovej štruktúry a od správnej implementácie derivácií.

Regularizácia a výber príznakov

L1 regularizácia

L1 regularization

L1 regularization pridáva k pôvodnej stratovej funkcii penalizáciu úmernú súčtu absolútnych hodnôt parametrov modelu. Optimalizácia preto uprednostňuje riešenia, v ktorých sú mnohé koeficienty presne nulové alebo veľmi blízke nule. V lineárnej regresii sa táto forma označuje ako Lasso. Intenzitu zásahu určuje regularizačný koeficient. Metóda obmedzuje zložitosť modelu, môže vykonať implicitný výber príznakov a mení kompromis medzi prispôsobením tréningovým dátam a schopnosťou generalizovať.

Regularizácia a stabilizácia modelov

L2 regularizácia

L2 regularization

L2 regularization rozširuje optimalizačný cieľ o penalizáciu založenú na súčte druhých mocnín parametrov. Veľké koeficienty sú postihované výraznejšie než malé, preto sa váhy plynulo zmenšujú, no spravidla nezanikajú presne. V lineárnej regresii ide o Ridge alebo Tichonovovu regularizáciu. L2 znižuje citlivosť modelu na náhodné výkyvy, pomáha pri kolinearite a môže zlepšiť numerickú stabilitu. Jej účinok závisí od škálovania vstupov a od regularizačného koeficientu.

Výkonnosť nasadených modelov

Latencia inferencie

Inference latency

Inference latency je čas od prijatia vstupu inferenčným systémom po dostupnosť požadovaného výstupu. Môže zahŕňať sieťový prenos, čakanie vo fronte, predspracovanie, načítanie dát, výpočet modelu, dekódovanie a serializáciu odpovede. Pri generatívnych modeloch sa osobitne meria time to first token a čas medzi ďalšími tokenmi, pretože používateľ vníma začiatok odpovede inak než jej úplné dokončenie. Priemer nestačí, dôležité sú percentily p95 a p99, ktoré zachytávajú pomalé požiadavky. Latencia závisí od veľkosti batchu, dĺžky vstupu, hardvéru, paralelizácie a aktuálneho zaťaženia.

Reprezentačné učenie

Latentná reprezentácia

Latent representation

Latent representation je interné číselné vyjadrenie vstupu, ktoré model vytvára v skrytej vrstve alebo enkóderi. Namiesto pôvodných pixelov, slov či meraní obsahuje transformované črty užitočné pre rekonštrukciu, predikciu, podobnosť alebo generovanie. Jednotlivé rozmery nemusia mať samostatne pomenovateľný význam a informácia môže byť distribuovaná medzi mnoho komponentov. Kvalita latentnej reprezentácie sa posudzuje podľa cieľovej úlohy, invariancií, separácie, robustnosti a zachovania relevantnej informácie.

Generovanie obrazu a multimodálny obsah

Latentný difúzny model

Latent diffusion model

Latent diffusion model, LDM, vykonáva difúzny proces nie priamo v pixelovom priestore, ale v komprimovanej latentnej reprezentácii vytvorenej autoenkóderom. Tréning sa učí odstraňovať šum z latentov v postupných časových krokoch. Podmienky, napríklad text, maska alebo trieda, sa môžu pripájať cez cross-attention. Po dokončení denoisingu dekóder prevedie latent späť na obraz. Kompresia znižuje výpočtovú náročnosť, no kvalitu a typ artefaktov ovplyvňuje aj autoenkóder.

Geometria reprezentácií

Latentný priestor

Latent space

Latent space je matematický priestor, v ktorom sa nachádzajú latentné reprezentácie vytvorené modelom. Jeho body zodpovedajú zakódovaným vstupom alebo generatívnym stavom a vzdialenosti či smery môžu zachytávať podobnosť a zmeny vlastností. Geometria nie je daná iba počtom rozmerov, ale aj tréningovým cieľom, metrikou, regularizáciou a rozdelením dát. Oblasti medzi pozorovanými bodmi nemusia dekódovať na platné výstupy a jednoduchá lineárna interpolácia nemusí zodpovedať ľudsky plynulej zmene.

Aktivačné funkcie

Leaky rectified linear unit

Leaky ReLU

Leaky ReLU je po častiach lineárna aktivačná funkcia, ktorá pre kladný vstup vracia vstup a pre záporný vstup používa malý nenulový sklon. Záporná vetva sa zapisuje ako alpha krát x, pričom alpha je pevný hyperparameter. Funkcia zachováva gradient aj pre záporné aktivácie a môže obmedziť jav dying ReLU, pri ktorom jednotka zostane trvalo neaktívna. Neodstraňuje však všetky problémy s optimalizáciou a hodnota záporného sklonu ovplyvňuje distribúciu aktivácií aj vhodnú inicializáciu.

Regresné modelovanie

Lineárna regresia

Linear regression

Linear regression modeluje očakávanú hodnotu spojitého cieľa ako afínnu kombináciu vstupných príznakov. Obyčajné najmenšie štvorce volia koeficienty minimalizujúce súčet štvorcov rezíduí. Lineárnosť sa týka parametrov, preto model môže obsahovať transformované vstupy, interakcie alebo polynómy a zostať lineárny v koeficientoch. Štatistická inferencia navyše používa predpoklady o rezíduách, zatiaľ čo predikčné použitie sa má hodnotiť na oddelených dátach a kontrolovať voči extrapolácii.

Klasifikačné modely

Lineárny klasifikátor

Linear classifier

Linear classifier priraďuje triedu na základe lineárnej alebo afínnej funkcie vstupných príznakov. Pre každú triedu vypočíta skóre v tvare váhový vektor krát vstup plus intercept a rozhodne podľa prahu alebo najvyššieho skóre. Hranice medzi triedami sú v použitom priestore hyperroviny. Logistic regression prevádza skóre na pravdepodobnosti, lineárny SVM optimalizuje margin a perceptron používa inú aktualizačnú logiku. Nelineárny výkon môže vzniknúť až po nelineárnej transformácii príznakov alebo embeddingu.

Stratové funkcie a kalibrácia

Logaritmická strata

Log loss

Log loss je negatívna logaritmická vierohodnosť pravdepodobností priradených správnym triedam. Pri binárnej klasifikácii kombinuje členy mínus y krát log p a mínus jedna mínus y krát log jedna mínus p. Veľmi sebaistá nesprávna predikcia dostane výrazne vyšší trest než mierne neistá chyba. Multiclass verzia zodpovedá cross-entropy nad cieľovou distribúciou. Log loss je proper scoring rule, preto pri správne špecifikovanom hodnotení motivuje reportovať poctivé pravdepodobnosti, no je citlivá na clipping a chybné labely.

Klasifikačné výstupy

Logit alebo nespracované triedne skóre

Logit

Logit je nespracované reálne skóre klasifikačného modelu pred normalizáciou na pravdepodobnosť. V binárnom prípade môže predstavovať logaritmus pomeru šancí p ku jednej mínus p a sigmoid ho prevedie na interval od nuly do jednej. Pri multiclass klasifikácii softmax transformuje vektor logitov na distribúciu, pričom pridaním rovnakej konštanty ku všetkým logitom sa pravdepodobnosti nezmenia. Logit nie je percento ani kalibrovaná dôvera a jeho absolútna veľkosť závisí od modelu a teploty.

Počítačové videnie a priestorová predikcia

Lokalizácia objektu

Object localization

Object localization je úloha odhadu priestorovej polohy objektu v obraze, typicky súradnicami ohraničovacieho rámčeka, stredu, kľúčových bodov alebo inej geometrickej reprezentácie. V klasickom nastavení môže byť trieda objektu známa a v obraze sa predpokladá jedna dominantná inštancia. Lokalizácia sa preto odlišuje od všeobecnej detekcie, ktorá rieši neznámy počet objektov a súčasne ich kategorizuje. Strata kombinuje chybu súradníc s prípadnou klasifikačnou zložkou a hodnotenie musí rešpektovať mierku aj toleranciu konkrétnej aplikácie.

Dekódovanie sekvenčných modelov

Lúčové vyhľadávanie

Beam search

Beam search je heuristický algoritmus na hľadanie vysoko skórovanej sekvencie v priestore, ktorý rastie exponenciálne s dĺžkou výstupu. V každom kroku rozšíri aktuálne kandidátne prefixy o možné ďalšie tokeny a ponechá iba stanovený počet najlepších hypotéz, nazývaný beam width. Nezaručuje globálne optimum, pretože vyradený prefix už neobnoví. Výsledok ovplyvňuje šírka lúča, normalizácia podľa dĺžky, podmienky zastavenia a prípadné obmedzenia. Používa sa v preklade, rozpoznávaní reči a ďalších autoregresívnych úlohách.

Metriky klasifikácie

Makro F1 skóre

Macro F1 score

Macro F1 score vypočíta F1 skóre samostatne pre každú triedu a následne vytvorí ich nevážený aritmetický priemer. Každá trieda teda ovplyvňuje výsledok rovnako bez ohľadu na počet jej vzoriek. Metrika kombinuje precision a recall harmonickým priemerom na úrovni jednotlivých tried a je citlivá na slabý výkon pri menšinových kategóriách. Pri triede bez predikovaných alebo skutočných pozitív závisí výsledok od konvencie implementácie a nastavenia nulového delenia.

Hlboké učenie a počítačové videnie

Mapa aktivácií

Feature map

Feature map je viacrozmerné pole aktivácií vytvorené vrstvou neurónovej siete pre konkrétny vstup. V konvolučnej sieti jeden kanál mapy ukazuje odozvu naučeného filtra na rôznych priestorových miestach, pričom ďalšie vrstvy kombinujú jednoduché vzory do zložitejších reprezentácií. Rozmery mapy závisia od veľkosti vstupu, kernelu, stride, paddingu, dilatácie a počtu kanálov. Feature map nie je hotové vysvetlenie, pretože význam kanála nemusí byť stabilný ani ľudsky pomenovateľný.

Detekcia a segmentácia objektov

Mask R-CNN architektúra

Mask R-CNN

Mask R-CNN je dvojstupňová architektúra pre instance segmentation, ktorá rozširuje Faster R-CNN o paralelnú vetvu predikujúcu binárnu masku pre každý detegovaný objekt. Region Proposal Network navrhne kandidátne oblasti, následné hlavy určia triedu, upravia bounding box a vytvoria pixelovú masku. Kľúčovým prvkom je RoIAlign, ktorý obmedzuje stratu priestorovej presnosti pri výbere príznakov z regiónu. Model oddeľuje jednotlivé inštancie rovnakej triedy, nie iba sémantické oblasti obrazu.

Predtrénovanie jazykových modelov

Maskované jazykové modelovanie

Masked language modeling

Masked language modeling, MLM, je tréningový cieľ, pri ktorom sa časť tokenov vo vstupnej sekvencii skryje, nahradí alebo naruší a model má rekonštruovať ich pôvodnú identitu z okolitého kontextu. Cieľ umožňuje bidirekcionálnemu encoderu využívať informáciu zľava aj sprava. Klasickým príkladom je BERT, ktorý kombinuje maskovanie s pravidlami nahradenia tokenov. Rozdelenie masiek, percento poškodených tokenov a spôsob dynamického maskovania ovplyvňujú, aké reprezentácie sa model naučí.

Vyhodnocovanie klasifikácie

Matica zámen

Confusion matrix

Confusion matrix je tabuľka, ktorá porovnáva skutočné triedy s predikovanými triedami a počíta jednotlivé typy správnych a chybných rozhodnutí. Pri binárnej klasifikácii obsahuje true positive, false positive, true negative a false negative. Pri multiclass úlohe má riadky a stĺpce pre všetky triedy, pričom orientácia osí musí byť jasne označená. Z matice sa odvádzajú accuracy, precision, recall, specificity a ďalšie metriky. Hodnoty závisia od klasifikačného prahu, prevalencie a definície pozitívnej triedy.

Učenie naprieč úlohami

Meta-učenie

Meta-learning

Meta-learning je prístup, pri ktorom sa systém neučí iba jednu úlohu, ale využíva distribúciu úloh na naučenie stratégie rýchlej adaptácie na nové zadanie. Meta-objektív môže optimalizovať inicializáciu parametrov, pravidlo aktualizácie, reprezentáciu alebo mechanizmus porovnávania príkladov. Počas meta-tréningu sa úlohy delia na podporné a dotazovacie dáta, aby sa hodnotila schopnosť prispôsobiť sa z malého počtu príkladov. Výkon závisí od podobnosti meta-tréningových a cieľových úloh.

Správa dát a modelových artefaktov

Metadata

Metadata sú štruktúrované údaje opisujúce pôvod, význam, formát, vlastníctvo, čas, licenciu, kvalitu a životný cyklus iných dát alebo artefaktov. V AI môžu opisovať dataset, jednotlivý záznam, príznak, experiment, model, prompt, evaluáciu alebo produkčný beh. Metadáta umožňujú vyhľadávanie, lineage, reprodukovateľnosť, prístupové pravidlá a audit. Ich hodnota závisí od jednotnej schémy, povinných polí, stabilných identifikátorov a automatického zachytávania, nie iba od voľného textového popisu.

Meranie zodpovednej AI

Metrika spravodlivosti

Fairness metric

Fairness metric je kvantitatívne pravidlo, ktoré porovnáva výsledky, chybovosť, skóre alebo zaobchádzanie medzi definovanými skupinami alebo kontrafaktuálnymi situáciami. Príkladmi sú demographic parity difference, equal opportunity difference, equalized odds, disparate impact ratio alebo rozdiel kalibrácie. Metrika operacionalizuje konkrétnu predstavu spravodlivosti, nie spravodlivosť ako celok. Jej interpretácia závisí od voľby skupín, referenčnej populácie, prahu, neistoty a účelu rozhodovania.

Metriky klasifikácie

Mikro F1 skóre

Micro F1 score

Micro F1 score najprv sčíta true positives, false positives a false negatives naprieč všetkými triedami alebo štítkami a až potom z agregovaných počtov vypočíta precision, recall a F1. Každé jednotlivé rozhodnutie má rovnakú váhu, preto výsledok silnejšie odráža početné triedy. Pri bežnej multiclass klasifikácii s jedným štítkom na vzorku sa micro precision, micro recall a micro F1 rovnajú accuracy. V multilabel úlohách meria globálnu kvalitu všetkých binárnych rozhodnutí.

Optimalizácia a tréning modelov

Mini dávka tréningových príkladov

Mini-batch

Mini-batch je podmnožina tréningových vzoriek spracovaná spoločne pri jednom kroku dopredného výpočtu a aktualizácie parametrov. Gradient vypočítaný z mini-batchu je odhadom gradientu celej tréningovej množiny. Veľkosť dávky ovplyvňuje pamäť, priepustnosť hardvéru, šum gradientu, normalizačné vrstvy aj počet aktualizácií za epochu. Batch size jeden zodpovedá čisto stochastickému režimu, zatiaľ čo full-batch používa všetky tréningové dáta v jednom kroku.

Diagnostika neurónových sietí

Miznutie gradientu

Gradient vanishing

Miznutie gradientu je jav, pri ktorom sa derivácie prenášané do skorších vrstiev alebo vzdialených časových krokov zmenšujú k nule. Vzniká pri opakovanom násobení Jacobianmi s malými hodnotami a pri saturujúcich aktiváciách, ako sú sigmoid alebo tanh mimo citlivej oblasti. Skoré parametre potom dostávajú zanedbateľný učebný signál, takže model sa učí pomaly a nedokáže zachytiť dlhé závislosti. Problém zmierňujú vhodné inicializácie, ReLU rodina, reziduálne spojenia, normalizácia a hradlové bunky. Gradient clipping ho nerieši, pretože obmedzuje veľké, nie malé gradienty.

Generatívna multimodálna AI

Model generovania videa

Video generation model

Video generation model vytvára alebo upravuje video na základe textu, obrazu, zvuku, trajektórie, masky alebo predchádzajúcich snímok. Môže využívať difúziu, autoregresívne tokeny, flow matching alebo hybridnú architektúru. Úloha zahŕňa kompozíciu scény, priestorový detail, časový vývoj, pohyb kamery, synchronizáciu zvuku a zachovanie identity. Pojem označuje funkčnú triedu, nie konkrétny algoritmus. Prevádzková kvalita zahŕňa ovládateľnosť, dĺžku, latenciu, editovateľnosť, bezpečnostné filtre a pôvod tréningových dát.

Automatizovaná evaluácia generatívnej AI

Model hodnotiaci výstupy iných modelov

Judge model

Judge model je jazykový alebo multimodálny model používaný na skórovanie, porovnávanie, klasifikáciu alebo zdôvodnenie kvality výstupov iných systémov podľa zadanej rubriky. Môže hodnotiť jeden výstup, párovo vybrať lepší, alebo priradiť viacrozmerné skóre s referenčnou odpoveďou či bez nej. Spoľahlivosť ovplyvňuje pozíciové a štýlové skreslenie, seba-preferencia, citlivosť na prompt, kontaminácia a schopnosť overiť fakty. Judge model nie je automatický ground truth, preto sa meta-evaluuje voči ľudským anotáciám, kontrolným prípadom a stabilite medzi opakovaniami.

Jazykové asistenty a riadené generovanie

Model nasledujúci inštrukcie

Instruction-following model

Instruction-following model je generatívny model optimalizovaný tak, aby interpretoval prirodzenojazykové zadanie, rešpektoval požadovaný formát a vytvoril odpoveď zodpovedajúcu zámeru používateľa. Zvyčajne vzniká z predtrénovaného jazykového modelu cez instruction fine-tuning a následné preferenčné ladenie, pri ktorom ľudské alebo modelové hodnotenia určujú vhodnejšie odpovede. Schopnosť nasledovať pokyn je relatívna, pretože inštrukcie môžu byť nejasné, konfliktné alebo v rozpore s bezpečnostnými pravidlami. Model môže splniť formu a zároveň uviesť nepravdivý obsah. Hodnotenie musí oddeľovať užitočnosť, vernosť pokynu, faktickosť, bezpečnosť a odolnosť voči prompt injection.

Preferenčné učenie a zlaďovanie modelov

Model odmeny

Reward model

Reward model je naučená funkcia, ktorá priraďuje skóre výstupu, trajektórii alebo dvojici vstup a výstup podľa odhadovanej ľudskej preferencie či iného cieľa. Často sa trénuje z párových porovnaní, kde sa optimalizuje pravdepodobnosť, že preferovaný výstup získa vyššie skóre. Následne môže poskytovať odmenu pri RLHF, filtrovať kandidátov alebo slúžiť ako pomocný evaluátor. Skóre je relatívne voči tréningovým dátam, môže byť nekalibrované a pri silnej optimalizácii zraniteľné voči exploitation.

Learning to rank a informačné vyhľadávanie

Model radenia

Ranking model

Ranking model odhaduje relatívnu relevanciu, preferenciu alebo užitočnosť položiek a používa ju na zostavenie poradia pre konkrétny dopyt, používateľa alebo kontext. Môže sa učiť pointwise zo samostatných známok, pairwise z preferencií medzi dvojicami alebo listwise priamo z vlastností celého zoznamu. Výstupné skóre nemusí byť kalibrovaná pravdepodobnosť. Kvalitu ovplyvňujú relevance labels, výber negatívnych príkladov, expozičné skreslenie a súlad tréningovej straty s cieľovou rankingovou metrikou.

Vyhľadávacie modely a embeddingy

Model relevancie pre vyhľadávanie

Retrieval model

Retrieval model je funkcia alebo naučený systém, ktorý odhaduje relevanciu položky voči dopytu a umožňuje vybrať kandidátov z veľkého korpusu. Sparse modely používajú termínové váhy, dense bi-encodery mapujú dopyt a dokument do vektorov a late-interaction prístupy zachovávajú jemnejšie tokenové porovnanie. Model musí podporovať efektívne indexovanie a nearest-neighbor search. Jeho skóre nie je automaticky porovnateľné medzi verziami alebo dopytmi a kvalita závisí od negatívnych príkladov a cieľovej domény.

Distribúcia a prístup k modelom

Model s otvorene dostupnými váhami

Open-weight model

Open-weight model je model, ktorého naučené parametre sú dostupné na stiahnutie a lokálne spustenie alebo ďalšie prispôsobenie podľa priloženej licencie. Dostupnosť váh umožňuje kontrolovať runtime, kvantizovať model, fine-tunovať ho a prevádzkovať bez volania cudzieho API. Pojem však nehovorí, či je zverejnený tréningový kód, úplná architektúra, datasety alebo proces získania parametrov. Open weights preto nemožno automaticky zamieňať s open source AI a licenčné obmedzenia môžu zakázať určité použitia alebo distribúciu derivátov.

Generovanie a transformácia sekvencií

Model sekvencia na sekvenciu

Sequence-to-sequence model

Sequence-to-sequence model mapuje vstupnú sekvenciu premenlivej dĺžky na výstupnú sekvenciu, ktorá môže mať inú dĺžku. Klasická architektúra používa enkóder na reprezentáciu vstupu a dekóder na postupné generovanie výstupu, často s attention mechanizmom. Používa sa pri preklade, sumarizácii, transkripcii alebo konverzii formátov. Tréning zvyčajne minimalizuje chybu ďalšieho tokenu, čo samo osebe nezaručuje globálnu správnosť celej sekvencie. Pri hodnotení sa kombinuje sekvenčná metrika s kontrolou významu a kritických entít.

Sekvenčné architektúry

Model stavového priestoru

State space model

State space model opisuje sekvenciu pomocou vnútorného stavu, ktorý sa aktualizuje z predchádzajúceho stavu a aktuálneho vstupu a následne vytvára výstup. V neurónových sekvenčných modeloch sa používajú parametrizované alebo selektívne stavové prechody, ktoré možno implementovať rekurentne pri inferencii a paralelne pri tréningu. Ponúkajú lineárne škálovanie s dĺžkou sekvencie, no spôsob kompresie minulosti do stavu môže obmedziť presné vybavenie konkrétnych tokenov. Stav môže mať pevnú veľkosť nezávislú od dĺžky spracovaného prefixu.

Modely a predikčné funkcie

Model strojového učenia

Machine learning model

Machine learning model je parametrizovaná výpočtová funkcia alebo súbor naučených komponentov, ktoré premieňajú vstupné dáta na predikciu, skóre, reprezentáciu, odporúčanie alebo akciu. Model vzniká tréningom algoritmu na dátach a po nasadení používa uložené parametre bez toho, aby sa pri každom vstupe znova učil. Jeho identita zahŕňa architektúru, váhy, predspracovanie, slovníky, prahy, verziu a závislosti. Samotný súbor váh preto nemusí predstavovať celý reprodukovateľný modelový artefakt.

Návrh a nasadenie modelov

Model špecializovaný na úlohu

Task-specific model

Task-specific model je model navrhnutý, vybraný alebo dolaďovaný pre presne vymedzenú úlohu, dátovú doménu a výstupný kontrakt. Môže ísť o klasifikátor, detektor, prediktor alebo generatívny model s úzkym rozsahom. Jeho tréningové dáta, metriky a rozhodovací prah sa viažu na konkrétny účel, nie na všeobecnú schopnosť. Špecializácia môže znížiť náklady a zvýšiť konzistentnosť, zároveň však obmedzuje prenos na nové prípady mimo navrhnutého rozdelenia. Porovnanie s všeobecným baseline má zahŕňať presnosť, cenu, latenciu, údržbu aj bezpečnostné zlyhania.

Multimodálna generatívna AI

Model text na obraz

Text-to-image model

Text-to-image model generuje obraz podmienený textovým opisom, prípadne ďalšími vstupmi, ako sú maska, referenčný obraz alebo štýlové parametre. Moderné systémy často kombinujú textový encoder s difúznym alebo autoregresívnym generátorom a pracujú v pixelovom či latentnom priestore. Text neurčuje jednoznačný obraz, preto výstup závisí od náhodného šumu a tréningového rozdelenia. Model môže nesprávne zobraziť počet objektov, text v obraze, priestorové vzťahy alebo identitu. Pri reprodukcii sa eviduje seed, model, sampler, počet krokov, rozlíšenie a všetky podmienkové vstupy.

Vysvetliteľnosť a riadenie rizík

Model typu čierna skrinka

Black-box model

Black-box model je model, ktorého vnútorný mechanizmus nie je pre relevantného používateľa priamo zrozumiteľný alebo dostupný v miere potrebnej na vysvetlenie konkrétneho výstupu. Nepriehľadnosť môže vyplývať zo zložitosti, utajenia, proprietárneho prístupu alebo absencie vhodného interpretačného rozhrania. Pojem je relatívny, rovnaký model môže byť transparentný pre vývojára a nepriehľadný pre dotknutú osobu. Post-hoc vysvetlenie približuje správanie, ale nemusí verne reprezentovať kauzálny proces modelu. Governance musí preto kombinovať vysvetlenia s testami, dokumentáciou a kontrolou dopadov.

Reprezentácie a retrieval

Model vektorových reprezentácií

Embedding model

Embedding model je model, ktorý mapuje vstupný objekt do vektora navrhnutého tak, aby vzdialenosť alebo podobnosť medzi vektormi podporovala konkrétnu úlohu. Často sa trénuje kontrastívnym učením, párovým rankingom alebo viacúčelovým cieľom, ktorý približuje relevantné dvojice a oddeľuje nerelevantné. Model môže byť unimodálny alebo multimodálny, bi-encoder alebo súčasť väčšej architektúry. Pri výbere rozhoduje jazyk, doména, maximálna dĺžka, dimenzia, licencia, latencia a meraná retrieval kvalita.

Kauzálna AI a personalizácia zásahov

Modelovanie prírastkového účinku zásahu

Uplift modeling

Uplift modeling odhaduje rozdiel medzi výsledkom, ktorý by nastal po zásahu, a výsledkom bez zásahu pre konkrétny príklad alebo segment. Namiesto predikcie, kto nakúpi, sa snaží nájsť, komu komunikácia, ponuka alebo liečba skutočne zmení správanie. Učí sa z experimentálnych alebo dôveryhodne korigovaných observačných dát s treatment indikátorom. Kľúčové sú randomizácia, overlap, konzistentná definícia výsledku a oddelenie persuadables od ľudí, ktorí by konali aj bez zásahu alebo reagujú negatívne. Produkčná politika musí započítať cenu zásahu, kapacitu kanála a neistotu treatment effectu, nie iba zoradiť surové uplift skóre.

MLOps a prevádzka AI

Monitorovanie modelu

Model monitoring

Model monitoring je priebežné sledovanie technického a vecného správania nasadeného modelu, jeho vstupov, výstupov a prevádzkového prostredia. Zahŕňa dostupnosť, latenciu, chyby rozhrania, zmenu schémy, distribúcie príznakov, pomery predikcií, kalibráciu, kvalitu po príchode labelov a rozdiely medzi segmentmi. Monitor musí mať baseline, prahy, vlastníka upozornenia a postup reakcie. Samotný dashboard bez rozhodovacích pravidiel a spätnej väzby nepredstavuje účinnú kontrolu.

Generatívne a percepčné systémy

Multimodálna umelá inteligencia

Multimodal AI

Multimodal AI označuje systémy, ktoré prijímajú, spájajú, interpretujú alebo generujú viac typov údajov, napríklad text, obraz, zvuk, video, senzorické signály alebo priestorové dáta. Modalita môže mať samostatný encoder a následnú fúziu, alebo sa údaje prevedú do spoločnej tokenovej či embeddingovej reprezentácie. Systém môže vykonávať cross-modal retrieval, vizuálne odpovedanie, titulkovanie, preklad reči alebo generovanie obrazu z textu. Kvalita závisí od zarovnania modalít, časovej synchronizácie a pokrytia dát.

Jazykové modelovanie a pravdepodobnosť

N-gramový jazykový model

N-gram model

N-gram model je pravdepodobnostný model sekvencie, ktorý odhaduje výskyt ďalšieho tokenu z pevne dlhého okna predchádzajúcich tokenov. Pri bigrame využíva jeden predchádzajúci prvok, pri trigramoch dva. Pravdepodobnosti sa získavajú z početností v korpuse a upravujú vyhladzovaním, aby model vedel pracovať aj s nepozorovanými kombináciami. Model predpokladá Markovovu závislosť obmedzeného rádu, preto dobre zachytáva lokálne vzory, ale nevie prirodzene udržať vzdialený kontext.

Optimalizácia a ladenie modelov

Náhodné vyhľadávanie hyperparametrov

Random search

Random search je metóda ladenia hyperparametrov, ktorá opakovane vzorkuje konfigurácie z vopred určených rozdelení alebo množín a každú vyhodnocuje podľa rovnakého validačného protokolu. Na rozdiel od grid search nemusí skúšať kartézsky súčin pevných hodnôt, preto môže pri rovnakom rozpočte preskúmať viac odlišných hodnôt dôležitých parametrov. Metóda nevyužíva výsledky predchádzajúcich behov na výber ďalšieho pokusu, čo uľahčuje paralelizáciu, ale znižuje adaptívnosť.

Ensemble modely a rozhodovacie stromy

Náhodný les

Random forest

Random forest je ansámbl rozhodovacích stromov, v ktorom sa jednotlivé stromy učia na náhodne zvolených vzorkách dát a pri delení uzlov zvažujú iba náhodný podvýber príznakov. Klasifikačný výstup vzniká hlasovaním, regresný výstup priemerovaním. Kombinácia baggingu a náhodnosti príznakov znižuje koreláciu medzi stromami, čím spravidla obmedzuje rozptyl oproti jednému hlbokému stromu. Nie každá implementácia používa bootstrap a konkrétne nastavenia ovplyvňujú aj out-of-bag odhad.

Pravdepodobnostná klasifikácia

Naivný Bayesov klasifikátor

Naive Bayes

Naive Bayes je rodina klasifikačných algoritmov odvodených z Bayesovej vety, ktoré počítajú posteriornú pravdepodobnosť triedy pri predpoklade podmienenej nezávislosti príznakov po zohľadnení triedy. Konkrétna verzia volí rozdelenie vhodné pre vstupy, napríklad multinomické pre početnosti slov, Bernoulliho pre binárne príznaky alebo Gaussovo pre spojité hodnoty. Predpoklad nezávislosti býva nereálny, ale model môže byť napriek tomu presný, rýchly a stabilný v riedkych vysokodimenzionálnych dátach.

Kontrastívne učenie, retrieval a klasifikácia

Náročný negatívny príklad

Hard negative

Hard negative je tréningový príklad označený ako negatívny, ktorý sa podľa aktuálnej reprezentácie veľmi podobá pozitívnemu príkladu alebo leží blízko rozhodovacej hranice. Pri vyhľadávaní môže ísť o dokument tematicky podobný dotazu, ale bez správnej odpovede, pri rozpoznávaní tváre o inú osobu s podobnými črtami. Taký príklad prináša silný učiaci signál, pretože núti model zachytiť jemné rozlišovacie znaky. Ak je však údaj v skutočnosti relevantný alebo chybne označený, stáva sa false negative a model sa učí oddeľovať prvky, ktoré majú zostať blízko.

Dizajn generatívnych aplikácií

Návrh a optimalizácia promptov

Prompt engineering

Prompt engineering je systematický návrh, testovanie a verzovanie vstupného kontextu generatívneho modelu s cieľom dosiahnuť merateľne vhodné správanie. Zahŕňa formuláciu úlohy, roly, obmedzení, príkladov, zdrojov, výstupnej schémy, poradia informácií a pravidiel pre neistotu. Nie je to hľadanie jednej magickej vety, ale iterácia nad reprezentatívnym eval setom. Robustný prompt musí fungovať pri variabilných vstupoch, konfliktnom kontexte a hraničných prípadoch. Bez aplikačných kontrol nedokáže garantovať faktickosť, autorizáciu nástrojov ani ochranu pred prompt injection.

Rýchle generovanie sekvencií

Neautoregresívne generovanie

Non-autoregressive generation

Non-autoregressive generation je spôsob tvorby sekvencie, pri ktorom sa všetky alebo viaceré výstupné pozície predikujú paralelne namiesto podmieňovania každého tokenu všetkými predchádzajúcimi vygenerovanými tokenmi. Znižuje počet sekvenčných krokov a môže výrazne zrýchliť inferenciu. Musí však riešiť závislosti medzi výstupnými pozíciami, neznámu dĺžku a multimodalitu správnych výstupov. Používajú sa latentné premenné, iteratívne spresňovanie, CTC alebo distilácia z autoregresívneho učiteľa.

Reprodukovateľnosť a prevádzka modelov

Nedeterministické správanie výpočtu

Non-determinism

Non-determinism v strojovom učení znamená, že rovnaký kód a zdanlivo rovnaké vstupy nemusia pri opakovanom behu vytvoriť bitovo totožný výsledok. Príčinou môže byť náhodná inicializácia, miešanie dát, dropout, paralelné poradie operácií, atomické GPU operácie, rozdielne knižnice, hardvér alebo optimalizované jadrá. Nastavenie seed kontroluje iba niektoré zdroje náhodnosti. Reprodukovateľný experiment vyžaduje zaznamenať prostredie a podľa potreby vynútiť deterministické algoritmy za cenu výkonu.

Diagnostika učenia

Nedostatočné prispôsobenie modelu

Underfitting

Underfitting je stav, keď model nedokáže dostatočne zachytiť vzťahy prítomné ani v tréningových dátach. Prejavuje sa vysokou tréningovou chybou a zvyčajne aj slabým validačným výkonom. Príčinou môže byť príliš jednoduchá hypotéza, nedostatočný počet tréningových krokov, silná regularizácia, nevhodné príznaky, chybná optimalizácia alebo cieľ, ktorý nezodpovedá úlohe. Nejde iba o nízky počet parametrov, pretože aj veľký model môže zostať underfit pri zlom nastavení alebo nekvalitnom signále. Diagnostika má zahŕňať jednoduchý baseline, aby sa odlíšila slabá kapacita od chyby v dátovej alebo metrickej pipeline.

Spoľahlivosť a validácia modelov

Nedostatočné určenie riešenia tréningovým cieľom

Under-specification

Under-specification vzniká, keď tréningové dáta a metriky pripúšťajú viac modelov s podobným testovacím výkonom, ale výrazne odlišným správaním v reálnych podmienkach. Optimalizačný cieľ teda neurčuje jednoznačne, ktoré korelácie, reprezentácie alebo rozhodovacie pravidlá má model používať. Dve náhodné inicializácie môžu prejsť rovnakým benchmarkom a napriek tomu reagovať inak na posun domény, podskupiny či rušivé znaky. Riešenie vyžaduje stress testy, doménové obmedzenia a hodnotenie viacerých kandidátov. Prevádzkový výber modelu preto nemá skončiť pri najlepšom priemere, ale pri stabilite medzi seedmi a prostrediami.

Stratové funkcie a pravdepodobnostné modely

Negatívna logaritmická vierohodnosť

Negative log-likelihood

Negative log-likelihood, skrátene NLL, je strata získaná záporným logaritmom pravdepodobnosti, ktorú model priradí pozorovaným dátam alebo správnej triede. Minimalizácia NLL je ekvivalentná maximalizácii vierohodnosti parametrov. Logaritmus prevádza súčin pravdepodobností nezávislých pozorovaní na súčet a zlepšuje numerickú stabilitu. Pri klasifikácii s kategorickým rozdelením sa NLL spája so softmaxom a vedie ku cross-entropy strate, pričom implementácia často očakáva log-probability vstupy.

Efektívne učenie reprezentácií

Negatívne vzorkovanie

Negative sampling

Negative sampling je tréningová technika, ktorá namiesto vyhodnotenia všetkých možných negatívnych tried vyberie malú vzorku kontrastných príkladov. Model sa učí zvýšiť skóre pozorovanej dvojice a znížiť skóre vybraných negatívnych dvojíc. Technika preslávila model skip-gram v word2vec, kde sa cieľové slovo odlišuje od náhodne vzorkovaných slov. Rozdelenie negatívov výrazne ovplyvňuje gradient, rýchlosť učenia a kvalitu embeddingov. Negative sampling nie je totožný s vytváraním syntetických dát.

Základy neurónových sietí

Nelineárne separovateľná logická úloha

XOR problem

XOR problem je binárna klasifikačná úloha, v ktorej je výstup pravdivý práve vtedy, keď sa dva vstupy líšia. Body tried ležia v protiľahlých rohoch štvorca, preto ich jeden lineárny klasifikátor nedokáže oddeliť jedinou priamkou. Úloha historicky ilustrovala obmedzenie jednovrstvového perceptrónu a potrebu skrytých vrstiev alebo nelineárnej transformácie. Malá sieť s nelineárnou aktiváciou môže vytvoriť medzireprezentáciu a XOR vyriešiť. Problém nie je náročný výpočtovo, je pedagogickým príkladom reprezentačnej kapacity.

Dátové zdroje pre strojové učenie

Neoznačené dáta

Unlabeled data

Unlabeled data sú príklady, pri ktorých nie je priradená cieľová hodnota, trieda, anotácia alebo požadovaný výstup pre konkrétnu supervised úlohu. Môžu obsahovať surový text, obraz, zvuk, udalosti či senzorové merania. Ich počet býva veľký a získanie je lacnejšie než odborné označovanie, no samotná dostupnosť nezaručuje reprezentatívnosť ani oprávnenie na použitie. Využívajú sa pri self-supervised a unsupervised učení, predtrénovaní, active learningu, pseudo-labelingu a odhade distribúcie. Dataset má evidovať, pre ktorú úlohu je príklad neoznačený, pretože ten istý záznam môže mať iné dostupné anotácie.

Generatívne modelovanie

Nepodmienené generovanie

Unconditional generation

Unconditional generation je tvorba vzorky generatívnym modelom bez konkrétneho externého obsahu, ktorý by určoval význam výsledku. Model čerpá iba z naučeného rozdelenia, náhodného latentného vektora, šumu alebo počiatočného tokenu. Pri obrazoch môže difúzny model začínať čistým šumom, pri texte jazykový model pokračuje zo všeobecného začiatku. Výstup preto odráža frekvencie a obmedzenia tréningových dát, pričom používateľ nemá presnú kontrolu nad témou, atribútmi ani faktickou správnosťou. Pri audite sa skúma aj podobnosť generovaných vzoriek s tréningovým korpusom, aby sa odhalilo memorovanie.

Dátové architektúry a obsah

Neštruktúrované dáta

Unstructured data

Unstructured data sú informácie, ktoré nemajú pevnú tabuľkovú schému s jednotnými stĺpcami pre každý záznam. Patria sem dokumenty, e-maily, voľný text, obrázky, audio, video, prezentácie alebo kombinované súbory. Označenie neznamená absenciu štruktúry, pretože formát, metadáta, sekcie a časové stopy môžu byť bohaté, ale nie sú vyjadrené jednou relačnou schémou. AI pipeline musí obsah extrahovať, segmentovať, normalizovať, zabezpečiť a prepojiť s pôvodom pred modelovaním alebo retrievalom. Pipeline má uchovať hash originálu a mapovanie extrahovaných blokov na stránky alebo časové úseky zdrojového súboru.

Kontinuálne hlboké modely

Neurónová obyčajná diferenciálna rovnica

Neural ordinary differential equation

Neural ordinary differential equation, skrátene Neural ODE, je model, v ktorom zmenu skrytého stavu v kontinuálnom čase opisuje diferenciálna rovnica s deriváciou parametrizovanou neurónovou sieťou. Výstup sa získa numerickým integrátorom medzi počiatočným a cieľovým časom. Namiesto pevného počtu diskrétnych vrstiev modeluje spojitú transformáciu a môže využívať adjoint metódu na výpočet gradientov. Presnosť, rýchlosť a stabilita závisia od riešiča, tolerancií, tuhosti systému a parametrizácie dynamiky.

Modelové architektúry

Neurónová sieť

Neural network

Neural network je parametrizovaný výpočtový model zložený z vrstiev alebo modulov, ktoré aplikujú lineárne transformácie, nelineárne aktivácie, normalizáciu a ďalšie operácie. Parametre sa spravidla učia gradientnou optimalizáciou tak, aby sieť minimalizovala stratovú funkciu. Hĺbka, prepojenia a zdieľanie váh určujú induktívne skreslenie architektúry. Neurónová sieť môže aproximovať zložité funkcie, no jej výkon a správanie závisia od dát, cieľa, regularizácie, optimalizácie a prevádzkového kontextu.

Hlboké posilňované učenie

Neurónová sieť aproximujúca Q-funkciu

Q-network

Q-network je neurónová sieť, ktorá aproximuje akčnú hodnotovú funkciu. Pri diskrétnych akciách často prijíma stav a vracia vektor Q-hodnôt pre všetky dostupné akcie. Deep Q-Network stabilizuje učenie pomocou replay bufferu, cieľovej siete a orezania alebo úpravy chýb. Sieť generalizuje medzi podobnými stavmi, ale spája bootstrapové ciele, korelované dáta a meniacu sa cieľovú funkciu, čo môže vyvolať divergenciu. Výstupné hodnoty nie sú kalibrované pravdepodobnosti.

Architektúry s externou pamäťou

Neurónová sieť s rozšírenou pamäťou

Memory-augmented neural network

Memory-augmented neural network je neurónová architektúra, ktorá dopĺňa bežný stav siete o explicitnú pamäťovú štruktúru a naučené operácie čítania a zápisu. Riadiaca sieť vytvára adresovacie váhy podľa obsahu, polohy alebo podobnosti a pracuje s pamäťou diferencovateľným spôsobom. Cieľom je oddeliť výpočet od dočasného uloženia informácií, podporiť dlhšie závislosti, algoritmické správanie alebo rýchle učenie z niekoľkých príkladov. Kapacita a stabilita závisia od spôsobu adresovania a tréningového cieľa.

Odporúčacie systémy

Neurónové kolaboratívne filtrovanie

Neural collaborative filtering

Neural collaborative filtering je rodina odporúčacích modelov, ktoré sa učia funkciu interakcie medzi reprezentáciou používateľa a položky pomocou neurónovej siete. Namiesto pevného skalárneho súčinu môže model kombinovať embeddingy cez viacvrstvový perceptrón alebo ďalšie nelineárne bloky. Tréning často využíva implicitnú spätnú väzbu, napríklad kliknutie či prehratie, spolu s negatívnym vzorkovaním. Výstup je skóre relevancie alebo pravdepodobnosť interakcie, nie dôkaz skutočnej spokojnosti používateľa.

3D reprezentácia a syntéza pohľadov

Neurónové radiačné pole

Neural radiance field

Neural radiance field, skrátene NeRF, je spojitá neurónová reprezentácia 3D scény, ktorá mapuje priestorovú polohu a smer pohľadu na objemovú hustotu a vyžarovanú farbu. Nový obraz sa vytvára vzorkovaním bodov pozdĺž lúčov kamery a objemovým renderovaním predikovaných hodnôt. Klasický NeRF sa učí z viacerých fotografií so známymi polohami kamier. Dokáže syntetizovať plynulé nové pohľady, ale tréning a rendering môžu byť pomalé a statický model nezachytí pohyb bez rozšírení.

Teória hlbokého učenia a jadrové metódy

Neurónové tangentové jadro

Neural tangent kernel

Neural tangent kernel, skrátene NTK, je jadro odvodené z gradientov výstupu neurónovej siete podľa jej parametrov. Opisuje podobnosť dvoch vstupov z pohľadu toho, ako by malé zmeny váh ovplyvnili ich predikcie. Pri určitých nekonečne širokých sieťach zostáva NTK počas gradientného tréningu približne konštantné a dynamika učenia sa dá analyzovať ako jadrová regresia. Tento výsledok je teoretický limit, nie tvrdenie, že každá konečná hlboká sieť sa správa lineárne alebo že reprezentácie počas tréningu nemení.

Biometria hlasu a speaker recognition

Neurónový embedding hovoriaceho

x-vector

x-vector je fixne dlhý embedding hovoriaceho získaný z neurónovej siete trénovanej na klasifikáciu identít hovoriacich. Time-delay vrstvy spracujú rámce akustických príznakov, statistics pooling agreguje priemer a smerodajnú odchýlku cez celú nahrávku a segmentové vrstvy vytvoria vektor. Pri overovaní sa x-vectors často ďalej centrujú, normalizujú a porovnávajú pomocou PLDA alebo cosine similarity. Vektor zachytáva identitu spolu s nežiaducimi vplyvmi kanála, hluku a obsahu. Preto sa používa augmentácia a doménová adaptácia.

Preklad a sekvenčné modelovanie

Neurónový strojový preklad

Neural machine translation

Neural machine translation, skrátene NMT, je prístup k strojovému prekladu, v ktorom neurónový model odhaduje pravdepodobnosť cieľovej sekvencie podmienenej zdrojovým textom. Súčasné systémy používajú najmä Transformer architektúry s attention mechanizmom a subword tokenizáciou. Model sa učí z paralelných korpusov, prípadne z monolingválnych dát, spätného prekladu a viacjazyčného transferu. Výstup vzniká dekódovaním a môže byť plynulý aj vtedy, keď vynechá informáciu, zmení negáciu alebo nesprávne preloží termín.

Pamäťové neurónové architektúry

Neurónový Turingov stroj

Neural Turing machine

Neural Turing machine je diferencovateľná architektúra, ktorá spája neurónový riadiaci modul s externou maticovou pamäťou. Čítacie a zapisovacie hlavy vytvárajú mäkké váhy nad pamäťovými pozíciami pomocou obsahového a pozičného adresovania. Vďaka spojitému prístupu možno celý systém trénovať spätným šírením gradientu na úlohách, ktoré vyžadujú uloženie, presun a opätovné použitie informácie. Architektúra nie je univerzálny programovací počítač v praktickom zmysle a pri dlhých postupoch môže byť tréning nestabilný.

Dáta a klasifikačné modely

Nevyváženosť tried

Class imbalance

Class imbalance je stav, keď majú cieľové triedy výrazne rozdielne zastúpenie alebo keď je málo príkladov triedy s najvyšším rozhodovacím významom. Model optimalizovaný na priemernú stratu môže preferovať väčšinovú triedu a dosiahnuť vysokú accuracy pri slabom zachytení zriedkavých prípadov. Riešenia zahŕňajú váženie straty, resampling, generovanie dát, threshold tuning, vhodné metriky a zber nových príkladov. Nerovnováha sama neurčuje problém, rozhodujú aj náklady chýb, separovateľnosť a kvalita označení.

Kvalita dát a klasifikačné učenie

Nevyvážený dataset

Imbalanced dataset

Imbalanced dataset je klasifikačný súbor, v ktorom sú niektoré triedy zastúpené podstatne častejšie než iné. Nerovnováha môže byť prirodzená, napríklad pri zriedkavej poruche, alebo vzniknúť spôsobom zberu a označovania. Model optimalizujúci priemernú stratu môže uprednostniť majoritnú triedu a zanedbať vzácne prípady, hoci majú vyšší praktický význam. Samotný pomer tried neurčuje náročnosť, dôležité sú prekrývanie distribúcií, šum štítkov, počet príkladov a náklady chýb. Riešenia zahŕňajú váženie straty, resampling, vhodný prah, cielený zber dát a metriky citlivé na minority.

Štatistické predpoklady a generalizácia

Nezávislé a rovnako rozdelené dáta

Independent and identically distributed data

Independent and identically distributed data, skrátene i.i.d., označujú vzorky, pri ktorých je každý pozorovaný príklad generovaný z rovnakej pravdepodobnostnej distribúcie a jeho hodnota nie je závislá od ostatných príkladov. Predpoklad zjednodušuje odhad generalizačnej chyby, náhodné delenie datasetu a mnohé teoretické výsledky učenia. Reálne dáta ho často porušujú časovou následnosťou, opakovanými osobami, skupinami, priestorovou blízkosťou alebo zmenou prostredia. Náhodný split potom môže preniesť takmer rovnaké prípady do tréningu aj testu a vytvoriť optimistický výkon. Spôsob validácie sa musí prispôsobiť jednotke nezávislosti a budúcemu nasadeniu.

Parameter-efficient fine-tuning

Nízko-rangová adaptácia, LoRA

Low-rank adaptation

Low-rank adaptation, LoRA, je metóda parameter-efficient fine-tuningu, ktorá ponechá pôvodnú maticu váh zmrazenú a naučí jej aditívnu aktualizáciu rozloženú na súčin dvoch matíc s nízkym rangom. Počet trénovaných parametrov je preto podstatne menší než pri plnom fine-tuningu. Aktualizácia sa škáluje a môže byť vložená iba do vybraných projekcií, napríklad attention vrstiev. Adapter možno pri inferencii zlúčiť so základnými váhami, no jeho kompatibilita závisí od presnej verzie base modelu.

Normalizačné vrstvy neurónových sietí

Normalizácia podľa koreňa strednej kvadratickej hodnoty, RMSNorm

RMS normalization

RMS normalization, RMSNorm, škáluje vektor aktivácií jeho root mean square hodnotou a následne používa naučený násobný parameter. Na rozdiel od LayerNorm neodčítava priemer, takže poskytuje invarianciu voči preškálovaniu, nie voči posunu. Menovateľ obsahuje malú konštantu epsilon pre numerickú stabilitu. Vynechanie centrovania znižuje počet operácií a RMSNorm sa preto často používa v moderných jazykových modeloch. Výmena LayerNorm za RMSNorm však nie je všeobecne funkčne ekvivalentná bez nového tréningu alebo analýzy architektúry.

Predspracovanie numerických príznakov

Normalizácia pomocou z-skóre

Z-score normalization

Z-score normalization je transformácia numerického príznaku, pri ktorej sa od každej hodnoty odčíta priemer tréningovej vzorky a výsledok sa vydelí jej smerodajnou odchýlkou. Transformovaný príznak má pri použitých štatistikách stred približne nula a rozptyl približne jedna. V strojovom učení zjednocuje mierku vstupov pre metódy citlivé na vzdialenosť, regularizáciu alebo gradient. Priemer a odchýlka sa musia odhadnúť iba z tréningových dát a následne bez prepočtu použiť na validačné aj produkčné vstupy.

Vektorové reprezentácie a podobnosť

Normalizácia vektora

Vector normalization

Vector normalization je transformácia vektora na vopred určenú mierku, najčastejšie na jednotkovú L2 normu. Pri nenulovom vektore sa každý prvok vydelí jeho normou, čím sa zachová smer a odstráni absolútna veľkosť. Po L2 normalizácii sa skalárny súčin dvoch vektorov rovná ich kosínusovej podobnosti. Operácia ovplyvňuje indexovanie, prahy aj tréning metrických modelov. Nulový alebo takmer nulový vektor vyžaduje osobitné ošetrenie, pretože delenie môže vytvoriť nestabilné hodnoty.

Architektúra neurónových sietí

Normalizácia vrstvy

Layer normalization

Layer normalization normalizuje aktivácie jednej vzorky cez určené rozmery príznakov pomocou ich priemeru a rozptylu, potom aplikuje naučiteľnú škálu a posun. Na rozdiel od batch normalization nepotrebuje štatistiky naprieč batchom a správa sa konzistentne aj pri batch size jeden. Používa sa v transformeroch, rekurentných sieťach a ďalších architektúrach. Umiestnenie pred alebo za reziduálny blok, hodnota epsilon a rozsah normalized_shape významne ovplyvňujú stabilitu tréningu.

Stabilizácia neurónových sietí

Normalizačná vrstva

Normalization layer

Normalization layer je modul neurónovej siete, ktorý transformuje aktivácie pomocou štatistík vypočítaných cez zvolené rozmery a následne často aplikuje naučiteľné škálovanie a posun. Batch normalization používa štatistiky dávky, layer normalization normalizuje príznaky v rámci jedného príkladu a group normalization skupiny kanálov. Cieľom je zlepšiť podmienky optimalizácie, kontrolovať rozsah aktivácií a umožniť stabilnejší tréning. Správanie závisí od tréningového a inferenčného režimu aj veľkosti batchu.

Spoľahlivosť výpočtu

Numerická stabilita

Numerical stability

Numerical stability je vlastnosť algoritmu alebo implementácie, pri ktorej zaokrúhľovacie chyby, obmedzený rozsah floating-point formátu a malé poruchy vstupu nespôsobujú neprimerane veľkú chybu výsledku. V AI sa týka softmaxu, logaritmov, normalizácie, maticových rozkladov, gradientov aj mixed-precision tréningu. Stabilná formulácia používa napríklad log-sum-exp, odčítanie maxima pred exponenciáciou, epsilon pri delení a škálovanie straty. Stabilita algoritmu sa musí odlišovať od podmienenosti samotného problému.

Aproximácia jadrových metód

Nyströmova metóda

Nyström method

Nyström method je aproximačný postup pre veľké pozitívne semidefinitné jadrové matice. Vyberie podmnožinu landmark vzoriek, vypočíta jadro medzi všetkými dátami a landmarkmi a z menšej jadrovej matice vytvorí nízkorozmernú aproximáciu. V strojovom učení sa používa na explicitnú mapu príznakov, ktorá umožní aplikovať lineárny algoritmus ako aproximáciu nelineárnej kernel metódy. Presnosť závisí od počtu komponentov, stratégie výberu landmarkov, jadra a spektra pôvodnej matice.

Bezpečnosť generatívnej AI

Obídenie behaviorálnych obmedzení generatívneho modelu

Jailbreak

Jailbreak je úspešné vyvolanie správania generatívneho modelu, ktoré obchádza zamýšľané obmedzenia, bezpečnostné zásady alebo nadradené inštrukcie. Zvyčajne vzniká cez používateľský vstup, ktorý manipuluje interpretáciu úlohy, kontext, rolu, kódovanie alebo viac-krokový dialóg. Pojem označuje výsledok alebo techniku pri priamom prístupe k modelu, no nie každé nežiaduce správanie je jailbreak. Pri agentoch treba rozlišovať aj nepriame prompt injection útoky z externého obsahu. Hodnotenie musí pracovať s konkrétnou politikou a reprodukovateľným testom.

Modelovanie sekvencií

Obojsmerný model

Bidirectional model

Bidirectional model vytvára reprezentáciu prvku sekvencie s využitím kontextu z oboch smerov. V klasických bidirectional RNN sa kombinuje sieť čítajúca sekvenciu dopredu so sieťou čítajúcou ju odzadu. V encoderových transformeroch umožňuje neobmedzená self-attention pozícii pracovať s tokenmi pred ňou aj za ňou. Takýto model je vhodný na porozumenie kompletne dostupného vstupu, napríklad klasifikáciu alebo označovanie tokenov. Nie je priamo vhodný na kauzálne generovanie budúcich tokenov, pretože by počas tréningu mohol vidieť informáciu, ktorá pri generovaní ešte neexistuje.

Samoučenie vizuálnych reprezentácií

Obrazová architektúra spoločného embeddingového predikovania

I-JEPA

I-JEPA, Image-based Joint-Embedding Predictive Architecture, je samoučená architektúra, ktorá z viditeľnej časti obrazu predikuje latentné reprezentácie zakrytých cieľových oblastí, nie ich pixely. Kontextový enkóder vytvorí embedding dostupných blokov, prediktor zohľadní polohu maskovaných regiónov a cieľový enkóder poskytne reprezentáciu, ku ktorej sa predikcia približuje. Výber veľkých cieľových blokov a priestorovo rozptýleného kontextu podporuje učenie sémantických vlastností. Metóda sa vyhýba rekonštrukcii detailov, ktoré nemusia byť dôležité pre rozpoznávanie objektov a scén.

Kalibrácia a neistota

Očakávaná kalibračná chyba, ECE

Expected calibration error

Expected calibration error, ECE, je sumarizačná metrika nesúladu medzi predikovanou confidence a pozorovanou úspešnosťou. Predikcie sa rozdelia do intervalov podľa confidence, v každom sa vypočíta priemerná confidence a empirická accuracy a absolútne rozdiely sa spriemerujú s váhou podľa počtu príkladov. Nulová hodnota znamená zhodu v zvolenom binningu, nie dokonalú kalibráciu vo všetkých podskupinách. Výsledok je citlivý na počet a hranice binov, veľkosť vzorky a definíciu confidence.

Spoľahlivosť a rozhodovanie

Odhad neistoty modelovej predikcie

Uncertainty estimation

Uncertainty estimation je výpočet skóre, rozdelenia, intervalu alebo súboru scenárov, ktoré vyjadrujú, nakoľko je konkrétna predikcia neistá. Môže oddeľovať aleatorickú neistotu vyplývajúcu z variability pozorovania od epistemickej neistoty spôsobenej obmedzenými znalosťami modelu. Používajú sa ensemble modely, Bayesovské aproximácie, Monte Carlo dropout, kvantilová regresia alebo konformná predikcia. Odhad musí byť validovaný podľa pokrytia a správania mimo tréningovej distribúcie. Produkčný záznam má uchovať aj verziu metódy neistoty, pretože rovnaká predikcia môže mať po migrácii iný interval.

Učenie nenormalizovaných modelov

Odhad pomocou kontrastu so šumom

Noise contrastive estimation

Noise contrastive estimation, skrátene NCE, je metóda odhadu parametrov nenormalizovaného pravdepodobnostného modelu tým, že učenie preformuluje na klasifikáciu dátových vzoriek oproti vzorkám z poznaného šumového rozdelenia. Model sa učí rozlišovať, či pozorovanie pochádza z dát alebo zo šumu, pričom môže súčasne odhadovať normalizačnú konštantu. NCE obchádza drahý súčet alebo integrál cez celý priestor možností. Konzistencia závisí od šumovej distribúcie, pomeru šumových vzoriek a správnej formulácie klasifikačného cieľa.

Kľúčové body a analýza pohybu

Odhad pózy pomocou modelov YOLO

YOLO pose estimation

YOLO pose estimation je úloha, pri ktorej model lokalizuje objekt a zároveň predikuje súradnice definovaných kľúčových bodov, napríklad ľudských kĺbov. Výstup obyčajne obsahuje rámec, triedu, pozície keypointov a ich skóre viditeľnosti alebo dôvery. Taxonómia bodov je viazaná na dataset a poradie kanálov musí zostať konzistentné pri tréningu aj nasadení. Model neodvodzuje automaticky biomechanickú správnosť, 3D hĺbku ani identitu osoby. Zakrytie, pohybové rozmazanie a neobvyklé pózy zvyšujú neistotu.

Validácia a experimentálny dizajn

Odložená hodnotiaca množina

Holdout set

Holdout set je časť dát zámerne oddelená od tréningu a používaná na nezávislejšie posúdenie výkonu modelu na nevidených príkladoch. V jednoduchom rozdelení môže označovať validačnú alebo testovaciu množinu, preto treba presne uviesť jej účel. Ak sa výsledky holdoutu opakovane používajú na výber architektúry, promptu alebo hyperparametrov, množina sa fakticky stáva validačnou a prestáva byť nestranným finálnym testom. Rozdelenie musí rešpektovať čas, osoby, skupiny, zariadenia a duplicity, aby sa súvisiace pozorovania nedostali na obe strany a nevytvorili data leakage.

Bezpečnostná vlastnosť modelu a aplikácie

Odolnosť systému voči jailbreakom

Jailbreak resistance

Jailbreak resistance je miera, do akej model alebo celý AI systém zachová zamýšľané obmedzenia pri rôznych priamych promptingových útokoch. Nejde o jednu binárnu vlastnosť, ale o výkon naprieč cieľmi, jazykmi, stratégiami, počtom pokusov a úrovňami znalosti útočníka. Odolnosť môže pochádzať z tréningu, systémových inštrukcií, filtrov, izolácie nástrojov, autorizácie a limitov akcií. Report musí uvádzať threat model a verziu systému, pretože vysoké skóre na statickej sade nezaručuje ochranu pred adaptívnym útočníkom.

Personalizácia a radenie obsahu

Odporúčací systém

Recommender system

Recommender system vyberá a zoraďuje položky, ktoré majú byť užitočné pre konkrétneho používateľa alebo situáciu. Využíva interakcie, vlastnosti obsahu, profil, kontext a niekedy aj pravidlá. Produkčná architektúra často obsahuje generovanie kandidátov, scoring a reranking. Model môže optimalizovať kliknutia, nákup, dlhodobú spokojnosť alebo kombinovaný cieľ. Správanie systému ovplyvňuje budúce tréningové dáta, preto treba riadiť cold start, expozičné skreslenie, popularitu, diverzitu, bezpečnosť a experimentovanie.

Jazyková aplikačná AI

Odpovedanie na otázky

Question answering

Question answering je úloha, pri ktorej systém prijme otázku a vytvorí alebo vyberie odpoveď z dodaného kontextu, indexu, databázy alebo naučených parametrov. Systém môže byť extraktívny, generatívny, open-domain, closed-domain alebo multimodálny. Dôveryhodná implementácia oddeľuje nájdenie dôkazov od formulácie odpovede, podporuje abstenciu a uchováva provenance. Jazyková plynulosť nepreukazuje, že odpoveď vyplýva zo zdroja alebo že otázka bola zodpovedateľná.

Spracovanie prirodzeného jazyka

Odpovedanie na otázky áno alebo nie

Yes/no question answering

Yes/no question answering je úloha, v ktorej systém rozhoduje, či dostupný kontext podporuje kladnú alebo zápornú odpoveď na polaritu otázky. Niektoré datasety povoľujú aj stav neznáme, neurčité alebo nedostatočné dôkazy. Úloha vyžaduje identifikáciu tvrdenia, práce s negáciou, kvantifikátormi, časom a často aj kombinovanie viacerých viet. Pri generatívnych modeloch sa hodnotí nielen token áno alebo nie, ale aj súlad odôvodnenia so zdrojom, kalibrácia istoty a odolnosť voči sugestívnej formulácii otázky.

Multimodálne úlohy

Odpovedanie na otázky o obraze

Visual question answering

Visual question answering, VQA, je úloha, v ktorej model prijme obraz a prirodzenú jazykovú otázku a vytvorí odpoveď založenú na vizuálnom obsahu. Zahŕňa rozpoznanie objektov, čítanie textu, počítanie, priestorové vzťahy, commonsense aj výber relevantného regiónu. Datasety môžu používať krátke odpovede, multiple choice alebo otvorené generovanie. Vysoké skóre môže vzniknúť využitím jazykových biasov bez skutočného pozorovania obrazu, preto sa hodnotia kontrafaktuálne páry, grounding a schopnosť priznať nedostatok dôkazu.

Validácia a experimentovanie

Offline hodnotenie modelu

Offline evaluation

Offline evaluation je hodnotenie modelu na vopred zozbieraných dátach alebo simulovaných prípadoch bez toho, aby nový model priamo ovplyvňoval živých používateľov či prostredie. Zahŕňa oddelenie tréningovej, validačnej a testovacej množiny, reprodukovateľnú metriku, segmentové analýzy a porovnanie s referenčným riešením. Pri odporúčaniach alebo rozhodovacích politikách môže používať historické logy a counterfactual odhady. Jej platnosť závisí od reprezentatívnosti dát a od zhody medzi testovacím protokolom a skutočným produkčným cieľom.

Sekvenčné rozhodovanie z historických dát

Offline posilňované učenie

Offline reinforcement learning

Offline reinforcement learning je paradigma, v ktorej sa politika učí výlučne z pevného datasetu minulých prechodov medzi stavmi, akciami a odmenami bez ďalšej interakcie s prostredím počas tréningu. Hlavným problémom je distribučný posun, pretože politika môže vybrať akcie slabo alebo vôbec nepokryté dátami a hodnotová funkcia im priradí neodôvodnene vysoký úžitok. Algoritmy preto obmedzujú politiku k správaniu v datasete, používajú konzervatívne odhady, model neistoty alebo generatívny model podporovaných akcií.

Bezpečnosť a riadenie AI

Ochranné pravidlo a kontrolná bariéra

Guardrail

Guardrail je technická alebo procesná kontrola, ktorá obmedzuje, overuje alebo usmerňuje vstupy, výstupy a akcie AI systému podľa definovaných pravidiel. Môže zahŕňať moderovanie obsahu, validáciu schémy, ochranu citlivých údajov, povolenia nástrojov, limity transakcií, rate limiting, sandbox, ľudské schválenie a blokovanie rizikových príkazov. Guardrail je vrstva obrany, nie vlastnosť samotného modelu ani absolútna záruka bezpečnosti. Musí sa testovať proti obchádzaniu, falošným blokáciám, konfliktom pravidiel a zmenám správania po aktualizácii modelu.

Vyhľadávanie informácií a RAG

Okapi BM25

BM25

BM25 je lexikálny rankingový model z probabilistic relevance framework, ktorý skóruje dokument podľa výskytu dotazových termov, ich vzácnosti v kolekcii a normalizácie dĺžky dokumentu. Term frequency má saturujúci prínos, takže desiaty výskyt slova nepridáva rovnakú hodnotu ako prvý. Parameter k1 riadi saturáciu a parameter b silu dĺžkovej normalizácie. BM25 nepracuje priamo so sémantickou podobnosťou, preto nemusí nájsť dokument s vhodnou parafrázou bez spoločných termov. V hybridnom vyhľadávaní sa často kombinuje s embeddingovým retrieverom.

Reprezentácia kategorických údajov

One-hot kódovanie

One-hot encoding

One-hot encoding prevádza nominálnu kategorickú premennú s K možnými hodnotami na K binárnych indikátorov, pričom pre jeden záznam je aktívny indikátor príslušnej kategórie a ostatné majú hodnotu nula. Reprezentácia nevnáša umelé poradie medzi kategóriami, ale pri veľkom počte hodnôt vytvára vysokodimenzionálne riedke dáta. Pri lineárnom modeli sa často jedna kategória vynechá alebo sa upraví intercept, aby sa predišlo dokonalej kolinearite. Produkčný encoder musí mať pevný slovník a definované správanie pre neznámu kategóriu.

Reprezentácia znalostí a sémantika

Ontológia

Ontology

Ontology je formálna, explicitná špecifikácia konceptov určitej domény, ich vlastností, vzťahov, obmedzení a prípadne logických axióm. Na rozdiel od jednoduchého zoznamu pojmov umožňuje vyjadriť, že trieda je podtriedou inej, že vlastnosť má doménu a obor hodnôt alebo že určité kombinácie sú nezlučiteľné. Jazyky ako OWL poskytujú formálne definovanú sémantiku a podporujú automatické odvodzovanie. Ontológia nie je automaticky pravdivým obrazom sveta, pretože jej kvalita závisí od rozsahu, modelovacích rozhodnutí, verziovania a správy zmien.

Licencie, transparentnosť a reprodukovateľnosť

Open source umelá inteligencia

Open source AI

Open source AI je AI systém sprístupnený spôsobom, ktorý poskytuje práva systém používať, skúmať, meniť a zdieľať, spolu s preferovanou formou potrebnou na vykonávanie úprav. Podľa Open Source AI Definition 1.0 sa pri strojovom učení posudzuje nielen inference kód a výsledné parametre, ale aj dostatočné informácie o tréningových dátach a kód použitý na získanie parametrov. Samotné stiahnuteľné váhy preto automaticky nestačia. Konkrétne práva a povinnosti vždy určujú licencie jednotlivých komponentov a právny režim dát.

Výpočtová náročnosť AI

Operácia s pohyblivou rádovou čiarkou, FLOP

Floating-point operation

Floating-point operation, skrátene FLOP, je jedna aritmetická operácia vykonaná s číslami reprezentovanými v pohyblivej rádovej čiarke, napríklad sčítanie alebo násobenie. Počet FLOPs odhaduje výpočtovú prácu modelu alebo jedného forward passu, zatiaľ čo FLOP/s vyjadruje výkon hardvéru za sekundu. Rôzne nástroje môžu fused multiply-add počítať ako jednu alebo dve operácie. Samotný počet nezachytáva prenos dát, paralelizáciu, sparsity, presnosť formátu ani reálnu latenciu.

Spracovanie dokumentov a obrazu

Optické rozpoznávanie znakov

Optical character recognition

Optical character recognition, skrátene OCR, prevádza obraz tlačeného alebo ručne písaného textu na strojovo spracovateľné znaky a štruktúru. Pipeline môže zahŕňať detekciu textových oblastí, korekciu perspektívy, segmentáciu riadkov, rozpoznanie sekvencie, jazykové modelovanie a rekonštrukciu rozloženia. Výstupom nie je iba reťazec, ale často aj súradnice, poradie čítania a skóre istoty. Kvalita závisí od písma, jazyka, rozlíšenia, kompresie, tabuliek, rukopisu a podobnosti vizuálnych znakov.

Výber modelu a experimentálne riadenie

Optimalizácia hyperparametrov

Hyperparameter optimization

Hyperparameter optimization je systematické hľadanie hodnôt nastavení, ktoré sa model nenaučí priamo gradientom z tréningových dát, napríklad learning rate, regularizácia, hĺbka stromu, počet vrstiev alebo parametre augmentácie. Každý kandidát sa natrénuje alebo čiastočne vyhodnotí a porovná na validačnom cieli. Používa sa grid search, random search, bayesovská optimalizácia, evolučné metódy a multi-fidelity postupy s predčasným ukončením. Výsledok je podmienený zvoleným priestorom, rozpočtom, metrikou a náhodou. Opakované ladenie na tej istej validácii môže preučiť celý vývojový proces.

Kompilácia, kompresia a zrýchľovanie modelov

Optimalizácia inferencie

Inference optimization

Inference optimization je súbor zásahov, ktoré znižujú čas, pamäť, spotrebu energie alebo cenu používania natrénovaného modelu pri zachovaní požadovanej kvality. Zahŕňa kvantizáciu, pruning, knowledge distillation, kompiláciu grafu, fúziu operácií, efektívne attention kernely, caching, dynamické dávkovanie a voľbu vhodného hardvéru. Optimalizácia sa vykonáva na úrovni modelu, runtime aj infraštruktúry. Zlepšenie syntetického benchmarku sa nemusí preniesť do reálnej služby, pretože úzke miesto môže byť v prenose, tokenizácii alebo fronte. Každá zmena potrebuje regresnú kontrolu presnosti, stability a správania na kritických prípadoch.

Distribuovaný tréning veľkých modelov

Optimalizácia pamäte ZeRO

ZeRO optimizer

ZeRO, Zero Redundancy Optimizer, je rodina techník distribuovaného tréningu, ktorá odstraňuje replikáciu modelových stavov medzi data-parallel procesmi ich rozdelením. Stage 1 partitionuje stavy optimalizátora, Stage 2 pridáva gradienty a Stage 3 rozdeľuje aj parametre modelu, pričom potrebné časti sa dynamicky zhromažďujú pre výpočet. ZeRO môže kombinovať offload do CPU alebo NVMe. Znižuje pamäť na GPU, ale pridáva komunikáciu, synchronizáciu a zložitejšiu správu checkpointov.

Tréning a numerická optimalizácia

Optimalizačný algoritmus

Optimization algorithm

Optimization algorithm je postup na hľadanie parametrov, ktoré minimalizujú alebo maximalizujú cieľovú funkciu pri daných obmedzeniach. V strojovom učení typicky aktualizuje váhy podľa gradientu straty, odhadu momentov alebo geometrie parametrov. SGD, Adam a L-BFGS majú rozdielne pamäťové nároky, citlivosť na learning rate a konvergenčné vlastnosti. Algoritmus neurčuje iba rýchlosť tréningu, môže viesť k inému riešeniu a generalizácii. Stabilita závisí od škálovania príznakov, veľkosti batch, regularizácie a numerickej presnosti.

Stromové modely a tabuľkové dáta

Optimalizované gradientné posilňovanie stromov

XGBoost

XGBoost je knižnica a algoritmický rámec pre gradient boosting, najčastejšie nad rozhodovacími stromami. Model sa skladá aditívne, každý nový strom koriguje reziduálnu chybu predchádzajúceho súboru podľa diferenciovateľnej cieľovej funkcie. Implementácia používa regularizáciu stromov, shrinkage, subsampling, stĺpcové vzorkovanie, spracovanie chýbajúcich hodnôt a efektívne histogramové alebo distribuované postupy. XGBoost nie je jeden pevný model, výsledok závisí od boosteru, objective, hĺbky, learning rate a validačného protokolu. Pri kategóriách a časových dátach treba zabrániť leakage.

Pravdepodobnosť, geometria distribúcií a učenie

Optimálny transport

Optimal transport

Optimal transport je matematický rámec na presun jednej distribúcie hmoty na inú pri minimálnych celkových nákladoch podľa zvolenej cost funkcie medzi bodmi. Mongeho formulácia hľadá mapu, Kantorovičova formulácia povoľuje transportný plán, ktorý rozdeľuje hmotu. V strojovom učení sa používa Wassersteinova vzdialenosť, porovnávanie domén, zarovnávanie embeddingov, generatívne modely a distribučne robustná optimalizácia. Výsledok závisí od geometrie nákladov, regularizácie, normalizácie hmotnosti a numerickej aproximácie.

Stabilizácia tréningu neurónových sietí

Orezávanie gradientu

Gradient clipping

Gradient clipping je zásah vykonaný po spätnom šírení a pred krokom optimalizátora, ktorý obmedzí gradienty prekračujúce zvolený prah. Pri clippingu podľa normy sa celý gradientový vektor škáluje tak, aby jeho norma nepresiahla limit, čím sa približne zachová smer. Pri clippingu podľa hodnoty sa jednotlivé zložky orežú do intervalu a smer sa môže zmeniť. Metóda obmedzuje extrémne aktualizácie spôsobené explóziou gradientu, ale neodstraňuje zlú inicializáciu, chybnú stratu ani numerickú nestabilitu. Prah sa preto volí podľa monitorovaných noriem a dynamiky učenia.

Architektúra agentov a LLM aplikácií

Orchestračná vrstva AI aplikácie

Orchestration layer

Orchestration layer je aplikačná vrstva, ktorá riadi poradie a podmienky krokov medzi modelom, retrievalom, nástrojmi, pamäťou, validátormi, ľudským schválením a externými systémami. Implementuje stav workflow, smerovanie, retry, timeouty, idempotenciu, oprávnenia a spracovanie chýb. Model môže navrhnúť ďalší krok, ale orchestrátor rozhoduje, či je volanie povolené a ako sa výsledok uloží. Dobre navrhnutá vrstva oddeľuje nedeterministické generovanie od deterministických kontrol a umožňuje auditovať celý priebeh.

Posilňované učenie a reasoning

Overiteľná odmena

Verifiable reward

Verifiable reward je odmeňovací signál, ktorého správnosť možno určiť automatickým, reprodukovateľným testom namiesto subjektívneho hodnotenia človeka. Typickým príkladom je správny výsledok matematickej úlohy, prejdenie testov programu, platný dôkaz alebo splnenie formálneho obmedzenia. Umožňuje škálovať reinforcement learning na úlohy s jasným rozhodcom, no hodnotí iba to, čo verifier dokáže zachytiť. Model môže exploitovať chyby testu, optimalizovať formát namiesto kvality alebo nájsť nežiaduce riešenie, ktoré formálne prejde.

Neurónová externá pamäť

Pamäťová sieť s kľúčmi a hodnotami

Key-value memory network

Key-value memory network je architektúra s explicitnými pamäťovými slotmi oddelenými na keys používané na adresovanie a values obsahujúce informáciu odovzdanú ďalšiemu výpočtu. Dotaz sa porovnáva s kľúčmi, attention váhy určia relevantné sloty a vážená kombinácia hodnôt aktualizuje reprezentáciu odpovede, často vo viacerých hops. Oddelené kódovanie adresy a obsahu umožňuje pracovať s dokumentmi, faktami alebo stavmi, ktoré majú inú formu vyhľadávania a inú formu použitia. Adresovanie môže byť diferencovateľné, takže výber pamäte sa učí spolu s odpoveďovou úlohou.

Optimalizácia a klasifikačné modely

Pántová stratová funkcia

Hinge loss

Hinge loss je marginová stratová funkcia používaná najmä pri lineárnych support vector machines. Pre binárny label y v množine mínus jedna a plus jedna a skóre f(x) má tvar max(0, 1 mínus y krát f(x)). Strata je nulová iba vtedy, keď je príklad nielen klasifikovaný správne, ale leží aspoň jednotkový margin na správnej strane hranice. Nesprávne alebo príliš blízke príklady dostávajú lineárny trest. Funkcia neprodukuje kalibrovanú pravdepodobnosť a v bode zlomu nie je diferencovateľná, no má subgradient. V praxi sa kombinuje s regularizáciou, ktorá určuje kompromis medzi širokým marginom a chybami.

Matematická reprezentácia a tréning

Parameter modelu

Parameter

Parameter je číselná hodnota, ktorú model počas učenia nastavuje tak, aby znižoval zvolenú stratovú funkciu alebo spĺňal iný optimalizačný cieľ. V neurónových architektúrach sú to najčastejšie koeficienty spojení a posuny vrstiev, pri lineárnej regresii sklonové členy a v pravdepodobnostných modeloch veličiny určujúce tvar rozdelenia. Parameter sa odlišuje od hyperparametra, ktorý určuje konfiguráciu učenia zvonka. Počet parametrov opisuje kapacitu iba nepriamo, pretože výkon závisí aj od architektúry, dát, regularizácie a spôsobu optimalizácie.

Adaptácia základných modelov

Parametricky efektívne dolaďovanie

Parameter-efficient fine-tuning

Parameter-efficient fine-tuning, skrátene PEFT, je skupina metód, ktoré prispôsobujú predtrénovaný model aktualizáciou malej časti pôvodných parametrov alebo pridaním kompaktných trénovateľných komponentov. Základné váhy zostávajú prevažne zmrazené a učia sa napríklad low-rank adaptéry, prefixy, soft prompty alebo vybrané biasy. PEFT znižuje pamäť potrebnú na gradienty a stavy optimalizátora, zrýchľuje správu variantov a umožňuje ukladať malé adaptéry. Výsledná kvalita však závisí od metódy, umiestnenia modulov, dát a cieľovej úlohy.

Načítanie a validácia konfigurácie

Parser jazyka YAML

YAML parser

YAML parser je softvérová súčasť, ktorá analyzuje znaky YAML prúdu a vytvára tokeny, udalosti alebo dátové uzly použiteľné aplikáciou. Kompletné spracovanie zahŕňa skenovanie, parsovanie, kompozíciu grafu a konštrukciu objektov konkrétneho programovacieho jazyka. Rozdiely medzi knižnicami sa môžu prejaviť pri implicitnom typovaní, duplicitných kľúčoch, merge rozšíreniach, bezpečnom konštruovaní objektov a kompatibilite s verziou špecifikácie. Výber parsera je preto aj bezpečnostné a reprodukčné rozhodnutie.

Štruktúrované LLM aplikácie

Parser výstupu modelu

Output parser

Output parser je komponent, ktorý prevádza surový výstup generatívneho modelu na očakávanú dátovú štruktúru, napríklad objekt podľa JSON Schema, zoznam entít, enum alebo argumenty funkcie. Overuje syntax, dátové typy, povinné polia a niekedy doménové obmedzenia. Parser nesmie zamieňať formálnu validitu s pravdivosťou obsahu. Pri chybe môže odmietnuť výstup, spustiť obmedzenú opravu alebo požiadať model o nový návrh. Bezpečný návrh oddeľuje parsovanie od autorizácie a nikdy nevykoná nástroj iba preto, že text vyzerá ako platný príkaz.

Lineárne modely a história neurónových sietí

Perceptron

Perceptron je binárny lineárny klasifikátor, ktorý vypočíta vážený súčet vstupných príznakov, pridá bias a podľa znamienka priradí triedu. Učiaci algoritmus upravuje váhy pri nesprávne klasifikovanom príklade v smere, ktorý má danú chybu napraviť. Ak sú triedy lineárne separovateľné, perceptrónový konvergenčný teorém zaručuje nájdenie oddeľujúcej nadroviny po konečnom počte aktualizácií. Základný perceptrón neposkytuje kalibrovanú pravdepodobnosť a nedokáže reprezentovať nelineárne hranice bez transformácie príznakov alebo ďalších vrstiev.

Evaluácia sekvenčných modelov

Perplexita jazykového modelu

Perplexity

Perplexity je exponenciál priemernej zápornej logaritmickej pravdepodobnosti, ktorú jazykový model priradí správnej sekvencii tokenov. Možno ju interpretovať ako efektívny počet rovnako pravdepodobných možností, medzi ktorými model pri predikcii váha. Nižšia hodnota na rovnakom datasete, s rovnakou tokenizáciou a rovnakým spôsobom výpočtu znamená lepšie priradenie pravdepodobnosti referenčnému textu. Perplexita nie je priamo porovnateľná medzi odlišnými tokenizérmi a sama nemeria faktickosť, bezpečnosť, užitočnosť ani kvalitu dlhého generovaného výstupu.

Aplikačná AI a používateľský kontext

Personalizácia AI systému

Personalization

Personalization je prispôsobovanie výstupov, poradia, odporúčaní alebo správania AI konkrétnemu používateľovi, účtu, organizácii či relácii na základe oprávnene dostupného kontextu. Signálmi môžu byť explicitné preferencie, história interakcií, rola, jazyk, zariadenie alebo aktuálny cieľ. Personalizácia sa môže realizovať rankingom, retrievalom, profilovým vektorom, pravidlami alebo adaptáciou modelu. Musí odlišovať stabilnú preferenciu od náhodného správania, podporovať opravu profilu a rešpektovať minimalizáciu údajov, súhlas, bezpečnosť a riziko uzavretia používateľa do filtračnej bubliny.

Riadenie optimalizácie

Plán rýchlosti učenia

Learning rate schedule

Learning rate schedule je pravidlo, ktoré mení learning rate podľa kroku, epochy alebo validačného signálu. Môže používať warmup, stupňovité zníženie, exponenciálny pokles, cosine annealing, cyklický priebeh alebo reakciu na plateau. Cieľom je spojiť rýchly počiatočný pohyb s jemnejším dolaďovaním v neskoršej fáze. Harmonogram nemožno hodnotiť oddelene od počtu krokov, batch size, optimalizátora a checkpointovania, pretože zmena dĺžky tréningu mení aj význam časových bodov plánu.

MLOps a distribuovaná infraštruktúra

Plánovanie výpočtových úloh

Job scheduling

Job scheduling je prideľovanie tréningových, inferenčných alebo dátových úloh k dostupným výpočtovým zdrojom v čase. Plánovač zohľadňuje požiadavky na CPU, GPU, TPU, pamäť, lokalitu dát, prioritu, závislosti, kvóty, toleranciu porúch a prípadné preemption pravidlá. V ML clustri musí riešiť aj gang scheduling distribuovaných workerov, fragmentáciu akcelerátorov a dlhé experimenty. Kvalita sa meria využitím zdrojov, časom čakania, dokončením termínov, férovosťou a počtom zlyhaní. Nesprávne požiadavky môžu blokovať kapacitu alebo spôsobiť opakované OOM pády.

Návrh a tréning neurónových sietí

Počiatočné nastavenie váh

Weight initialization

Weight initialization je voľba počiatočného rozdelenia parametrov pred začiatkom tréningu. Inicializácia má rozbiť symetriu medzi neurónmi a udržať rozptyl aktivácií aj gradientov v použiteľnom rozsahu pri prechode vrstvami. Xavierova inicializácia škáluje váhy podľa fan-in a fan-out, He inicializácia zohľadňuje najmä ReLU rodinu a ortogonálne schémy zachovávajú vybrané geometrické vlastnosti. Správna voľba závisí od aktivačnej funkcie, tvaru vrstvy, reziduálnych vetiev a normalizácie. Pri predtrénovanom modeli inicializácia rieši najmä nové alebo nahradené komponenty.

Analýza obrazu a videa

Počítačové videnie

Computer vision

Computer vision je oblasť AI a spracovania signálu, ktorá získava štruktúrované informácie z obrazov, videa alebo priestorových senzorov. Zahŕňa klasifikáciu, detekciu objektov, segmentáciu, sledovanie, odhad hĺbky, OCR a generovanie vizuálnych reprezentácií. Systém pozostáva z akvizície dát, anotácií, modelu, postprocessingu a rozhodovacej logiky. Výkon závisí od osvetlenia, kamery, perspektívy, domény a prevádzkových podmienok. Presnosť na benchmarku nepreukazuje spoľahlivosť v konkrétnom fyzickom prostredí.

Reinforcement learning a rozhodovanie

Politika agenta

Policy

Policy v reinforcement learningu je pravidlo, ktoré mapuje stav alebo pozorovanie na akciu, prípadne na pravdepodobnostné rozdelenie nad akciami. Deterministická politika vyberá jednu akciu, stochastická umožňuje sampling a tým aj riadenú exploráciu. Politika môže byť tabuľka, strom, neurónová sieť alebo kombinácia plánovania a naučených komponentov. Jej kvalita sa posudzuje očakávaným kumulatívnym výnosom v definovanom prostredí. Bezpečné nasadenie vyžaduje kontrolu obmedzení, distribučného posunu, čiastočnej pozorovateľnosti a rozdielu medzi simulátorom a realitou.

Tréning s kombinovanými dátami

Polo-riadené učenie

Semi-supervised learning

Semi-supervised learning je učenie z malej množiny označených príkladov a väčšej množiny neoznačených dát. Algoritmus využíva štruktúru neoznačeného rozdelenia pomocou pseudoštítkov, konzistenčnej regularizácie, grafového šírenia alebo generatívneho modelovania. Prínos závisí od predpokladu, že neoznačené dáta pochádzajú z relevantného prostredia a ich štruktúra súvisí s cieľovými triedami. Nesprávne pseudoštítky sa môžu zosilňovať a zhoršiť model. Pomer označených a neoznačených príkladov sa uvádza spolu s pravidlom ich miešania v dávkach.

Metriky lokalizácie a segmentácie

Pomer prieniku k zjednoteniu

Intersection over Union (IoU)

Intersection over Union, skrátene IoU, je metrika podobnosti dvoch oblastí definovaná ako veľkosť ich prieniku delená veľkosťou zjednotenia. Pri bounding boxoch alebo segmentačných maskách nadobúda hodnotu od nuly, keď sa oblasti neprekrývajú, po jedna, keď sú totožné. IoU sa používa na priradenie predikcie ku ground truth, výpočet mean IoU a určenie, či detekcia prekročila hodnotiaci prah. Metrika je nezávislá od absolútnej plochy, ale malé objekty sú citlivé na posun niekoľkých pixelov. Samotné IoU nevyjadruje triedu, istotu, počet falošných objektov ani praktickú závažnosť chyby hranice.

Neurónové siete a redukcia reprezentácie

Poolingová vrstva

Pooling layer

Pooling layer zlučuje hodnoty v lokálnej alebo globálnej oblasti mapy príznakov a vytvára menšiu reprezentáciu. Max pooling vyberá maximum, average pooling počíta priemer a global pooling redukuje celý priestorový rozmer na jednu hodnotu pre kanál. Pooling znižuje rozlíšenie, výpočtové náklady a citlivosť na malé posuny, zároveň však môže odstrániť presnú polohu alebo jemný detail. Veľkosť okna, stride, padding a typ agregácie určujú informačnú stratu. Moderné architektúry niekedy používajú strided convolution alebo attention namiesto pevného poolingu.

Interpretácia jazykového vstupu

Porozumenie prirodzenému jazyku

Natural language understanding

Natural language understanding, skrátene NLU, označuje metódy, ktoré z jazykového vstupu odvodzujú reprezentáciu významu potrebnú pre ďalšie rozhodovanie. Môže zahŕňať rozpoznanie zámeru, slotov, entít, vzťahov, referencií, negácie, časových údajov a kontextu dialógu. NLU nie je presne ohraničený algoritmus, ale funkčná vrstva v jazykovom systéme. Výstupom býva štruktúra, skóre alebo stav, ktorý následne využije vyhľadávanie, pravidlá, databáza či generátor odpovede.

Sekvenčné rozhodovanie a agenti

Posilňované učenie

Reinforcement learning

Reinforcement learning, RL, je rámec učenia politiky, v ktorom agent volí akcie v stave alebo pozorovaní prostredia a dostáva odmenu spolu s novým stavom. Cieľom je maximalizovať očakávaný kumulatívny diskontovaný výnos, nie okamžitú odmenu jedného kroku. Úloha sa často formalizuje ako Markovov rozhodovací proces. Metódy môžu byť model-free alebo model-based, on-policy alebo off-policy. Kľúčové problémy zahŕňajú exploration, oneskorenú zásluhu, vzorkovú náročnosť, bezpečné obmedzenia a neúplnosť reward funkcie.

Zlaďovanie generatívnych modelov

Posilňované učenie z ľudskej spätnej väzby, RLHF

Reinforcement learning from human feedback

Reinforcement learning from human feedback, RLHF, je postup prispôsobenia modelu, pri ktorom ľudia poskytujú demonštrácie, preferencie alebo hodnotenia výstupov a z nich sa vytvorí optimalizačný signál. Klasická pipeline zahŕňa supervised fine-tuning, tréning reward modelu z párových porovnaní a následnú optimalizáciu politiky s obmedzením odchýlky od referenčného modelu. RLHF môže zlepšiť nasledovanie pokynov, no zdedí nejednotnosť anotátorov, medzery v pokrytí a zraniteľnosť reward modelu voči overoptimization.

Monitoring a vektorové systémy

Posun embeddingov

Embedding drift

Embedding drift je zmena rozdelenia, geometrie alebo praktického významu vektorových reprezentácií v čase. Môže vzniknúť zmenou vstupného obsahu, predspracovania, chunkovania, modelu alebo jeho verzie. V RAG a sémantickom vyhľadávaní je kritická nekompatibilita, keď nové dotazy vznikajú v inom priestore než staršie indexované dokumenty. Drift sa sleduje pomocou vzdialeností distribúcií, stability susedov, výkonnostných metrík a kontrolných dotazov, pričom samotný štatistický posun ešte nedokazuje zhoršenie služby.

Monitoring modelov a meniace sa dáta

Posun konceptu

Concept drift

Concept drift je zmena štatistického vzťahu medzi vstupmi a cieľom v čase, ktorá môže znížiť výkon modelu naučeného na minulých dátach. Formálne sa mení spoločná distribúcia alebo podmienenie cieľa na príznakoch, pričom sa odlišuje od čistého data driftu bez zmeny rozhodovacieho vzťahu. Drift môže byť náhly, postupný, opakujúci sa alebo lokálny. Detekcia používa oneskorené labely, chybové signály, distribučné testy a doménové udalosti. Reakcia môže zahŕňať retréning, váženie novších dát, ensemble alebo zmenu procesu.

Postprocessing detekcie

Potlačenie nemaximálnych detekcií v YOLO

YOLO non-maximum suppression

YOLO non-maximum suppression je postprocessingový krok, ktorý redukuje viac prekrývajúcich sa predikcií toho istého objektu. Kandidáti sa zoradia podľa skóre a rámce s vysokým prekrytím voči lepšie hodnotenému kandidátovi sa odstránia alebo oslabia. Rozhodujú prahy dôvery, IoU, triedne pravidlá a maximálny počet výstupov. NMS nie je súčasťou každej modernej YOLO architektúry, niektoré end-to-end detektory sú navrhnuté bez neho. Nevhodné nastavenie môže zmazať blízke objekty alebo ponechať duplicity.

Transformery a sekvenčné reprezentácie

Pozičné kódovanie

Positional encoding

Positional encoding je reprezentácia poradia alebo polohy prvkov, ktorá sa pridáva k tokenovým embeddingom alebo sa zapája priamo do attention skóre. Self-attention bez pozičnej informácie spracúva vstupy ako množinu a nerozlíši zámenu poradia. Pôvodný Transformer používal pevné sínusové a kosínusové vektory, neskoršie modely používajú naučené embeddingy, relatívne biasy, rotačné kódovanie alebo iné schémy. Výber ovplyvňuje extrapoláciu na dlhšie sekvencie, zachytenie relatívnej vzdialenosti, numerickú stabilitu a kompatibilitu s predĺžením kontextového okna.

Efektívne transformerové architektúry

Pozornosť obmedzená na lokálne okná

Windowed attention

Windowed attention je mechanizmus self-attention, pri ktorom každý token alebo priestorová pozícia komunikuje iba s prvkami v definovanom lokálnom okne namiesto celej sekvencie. Znižuje kvadratické náklady globálnej pozornosti a umožňuje spracovať dlhšie texty alebo obrazy s vysokým rozlíšením. Okná môžu byť pevné, posúvané, prekrývajúce sa alebo doplnené globálnymi tokenmi. Lokálne obmedzenie vytvára informačnú hranicu, preto musí architektúra zabezpečiť prenos medzi oknami cez ďalšie vrstvy, posun, hierarchiu alebo riedke globálne väzby. Veľkosť okna určuje kompromis medzi kontextom a nákladmi.

Transformerové architektúry

Pozornosť query-key-value

Query-key-value attention

Query-key-value attention vytvára pre každý prvok vektory query, key a value. Podobnosť query s keys určuje váhy, po normalizácii sa nimi skombinujú values. Pri scaled dot-product attention sa skalárne súčiny delia odmocninou z rozmeru kľúča, aby logits pri veľkej dimenzii neboli príliš extrémne. V self-attention pochádzajú Q, K a V z rovnakej sekvencie, pri cross-attention z rôznych zdrojov. Query v tomto mechanizme nie je používateľský dopyt do vyhľadávača.

Metriky klasifikácie

Precíznosť klasifikácie

Precision

Precision je podiel skutočne pozitívnych prípadov medzi všetkými prípadmi, ktoré model označil ako pozitívne. Vzorec je TP delené súčtom TP a FP. Metrika odpovedá na otázku, koľko pozitívnych predikcií bolo správnych, preto je dôležitá, keď falošný poplach prináša vysoký náklad. Hodnota závisí od rozhodovacieho prahu, prevalencie triedy a definície pozitívneho prípadu. Pri viacerých triedach možno reportovať každú kategóriu samostatne alebo výsledky zlúčiť rovnakým vážením tried, súčtom rozhodnutí či váhou podľa ich početnosti. Samotná precision neukazuje, koľko skutočných pozitívnych prípadov model vynechal.

Grafové strojové učenie

Predikcia väzieb v grafe

Link prediction

Link prediction je úloha odhadnúť existenciu, typ alebo budúci vznik hrany medzi dvojicou uzlov v grafe. Model využíva topológiu, atribúty uzlov, časové udalosti alebo naučené embeddingy a vytvára skóre kandidátnej dvojice. Tréning vyžaduje definovať pozitívne aj negatívne príklady, pričom chýbajúca hrana nemusí byť skutočne negatívna. Hodnotenie musí zabrániť úniku budúcich hrán a zohľadniť extrémnu nerovnováhu, preto sa často používajú rankingové metriky a časové splity.

Priemyselná a aplikačná AI

Predikcia výťažnosti alebo výnosu

Yield prediction

Yield prediction je modelovanie budúceho podielu použiteľných výstupov, množstva produkcie alebo ekonomického výnosu z procesných, environmentálnych a historických premenných. Význam slova yield závisí od domény, v polovodičoch ide o podiel funkčných čipov, vo výrobe o bezchybnú produkciu a v poľnohospodárstve o úrodu na plochu. Model môže byť regresný, probabilistický alebo časovo priestorový. Dôveryhodné použitie vyžaduje presnú definíciu menovateľa, horizont predikcie, dostupnosť vstupov v čase rozhodnutia a oddelenie predikcie od kauzálneho tvrdenia.

Priemyselná aplikačná AI

Prediktívna údržba

Predictive maintenance

Predictive maintenance využíva senzorové dáta, prevádzkové záznamy, servisnú históriu a modely degradácie na odhad pravdepodobnosti poruchy, zdravotného stavu zariadenia alebo zostávajúcej životnosti. Cieľom je plánovať zásah podľa skutočného rizika namiesto pevného intervalu alebo čakania na haváriu. Pipeline zahŕňa synchronizáciu signálov, tvorbu príznakov, labelovanie udalostí, detekciu zmeny režimu a prepojenie predikcie s rozhodnutím o údržbe. Úspech sa nemeria iba accuracy, ale aj odstávkami, nákladmi, kvalitou výroby a bezpečnostným dopadom.

Transfer learning a reprezentácie

Predtrénovanie bez ručne pridelených cieľov

Unsupervised pretraining

Unsupervised pretraining je úvodná fáza učenia, v ktorej model získava všeobecné reprezentácie z veľkého množstva neoznačených dát pred dolaďovaním na konkrétnu úlohu. Historicky sa používali autoencodery a restricted Boltzmann machines, pri jazyku predikcia tokenov a pri obraze rekonštrukčné alebo kontrastívne ciele. Pojem sa dnes často prekrýva so self-supervised pretrainingom. Prínos závisí od zhody korpusu s cieľovou doménou, kvality pomocného cieľa a rizika prenesenia biasov, memorovania či nežiaducich schopností. Predtréningové a cieľové dáta sa kontrolujú na kontamináciu testu, aby sa prenos nezamenil za zapamätanie benchmarku.

Životný cyklus základných modelov

Predtrénovanie modelu

Pretraining

Pretraining je prvá rozsiahla fáza učenia modelu na všeobecnom alebo široko pokrývajúcom korpuse pred adaptáciou na konkrétnu úlohu. Model sa učí reprezentácie pomocou self-supervised, supervised alebo multimodálnych cieľov, napríklad predikcie ďalšieho tokenu, maskovanej jednotky alebo zhody obrazu s textom. Výsledkom je základ, ktorý možno používať priamo, dolaďovať, inštruovať alebo prepájať s retrievalom. Kvalitu určujú dáta, deduplikácia, kurikulum, architektúra a výpočtový rozpočet. Predtrénovanie môže zároveň absorbovať bias, citlivé údaje a nežiaduce korelácie.

Konverzačné a informačné vyhľadávanie

Preformulovanie dopytu

Query rewriting

Query rewriting transformuje pôvodnú požiadavku na novú formuláciu alebo štruktúru, ktorá sa dá spoľahlivejšie vykonať. Môže opravovať pravopis, dopĺňať vynechaný kontext, normalizovať entity, prevádzať prirodzený jazyk na filtre alebo vytvoriť samostatne zrozumiteľnú otázku z konverzácie. Prepis má zachovať informačný zámer a bezpečnostné obmedzenia. Ak systém potichu zmení osobu, časový rozsah alebo negáciu, retrieval môže byť presný voči nesprávnej otázke.

Generalizácia predtrénovaných modelov

Prenos na úlohu bez cieľového tréningu

Zero-shot transfer

Zero-shot transfer je použitie modelu na novej úlohe, datasete, doméne alebo množine tried bez ďalšieho učenia na označených cieľových príkladoch. Prenos môže byť sprostredkovaný prirodzeným jazykom, spoločným embeddingovým priestorom, multitask predtrénovaním alebo univerzálnym rozhraním vstup a výstup. Hodnotenie musí oddeliť skutočný transfer od možnej kontaminácie tréningových dát a má merať výkon na distribúcii, ktorú model pri príprave neoptimalizoval.

NLP a znalostné bázy

Prepájanie entít

Entity linking

Entity linking je úloha, ktorá priraďuje textovú zmienku ku konkrétnemu identifikátoru entity v znalostnej báze alebo registri. Systém najprv vytvorí kandidátov podľa názvu a aliasov a potom využije lokálny kontext, typ entity, popularitu alebo vzťahy na rozlíšenie významu. Výsledkom nie je iba štítok osoba či organizácia, ale jednoznačný odkaz na záznam. Dôležitou súčasťou je NIL rozhodnutie, keď vhodná entita v báze neexistuje, a správa zmien identifikátorov v čase. Kvalita závisí aj od pokrytia a aktuálnosti znalostnej bázy.

AI agenti a nástrojové používanie

Prepojenie uvažovania a konania

ReAct

ReAct je agentný vzor, v ktorom jazykový model strieda kroky plánovania alebo pracovného uvažovania s akciami vykonanými v externom prostredí a s pozorovaniami ich výsledkov. Akciou môže byť vyhľadanie, volanie API, čítanie databázy alebo manipulácia so stavom úlohy. Pozorovanie následne upraví ďalší krok. ReAct nie je samostatný model ani záruka správnosti, ale orchestrácia slučky reason, act, observe. Bez obmedzení nástrojov môže šíriť chyby, zacykliť sa alebo reagovať na škodlivý obsah.

Kompresia a riedkosť neurónových sietí

Prerezávanie modelu

Pruning

Pruning odstraňuje alebo maskuje parametre, neuróny, kanály, attention hlavy či iné štruktúry modelu, ktoré sa podľa zvoleného kritéria považujú za menej dôležité. Unstructured pruning vytvára jednotlivé nulové váhy, structured pruning odstraňuje celé bloky kompatibilné s hustými výpočtami. Metóda môže prebehnúť jednorazovo, iteratívne alebo počas tréningu a často po nej nasleduje fine-tuning. Cieľom je menší model, nižšia latencia alebo energetická úspora, no teoretická riedkosť sa zrýchlením prejaví iba vtedy, keď ju podporuje formát, kernel a cieľový hardvér.

Kompresia a efektívna inferencia

Prerezávanie váh modelu

Weight pruning

Weight pruning je odstránenie alebo maskovanie parametrov, ktorých príspevok sa podľa zvoleného kritéria považuje za postrádateľný. Neštrukturálny pruning nulujeme jednotlivé prvky tenzora, štrukturálny odstraňuje celé kanály, hlavy, neuróny alebo bloky. Prerezávanie môže prebehnúť jednorazovo, iteratívne, počas tréningu alebo po ňom a často ho nasleduje dolaďovanie. Počet núl nie je automaticky rovný zrýchleniu, pretože reálny prínos závisí od formátu sparsity, kernelov, hardvéru a nákladov na indexovanie. Kvalita sa musí hodnotiť po exporte na cieľovej platforme.

Generalizácia a regularizácia

Preučenie modelu

Overfitting

Overfitting nastáva, keď model prispôsobí parametre tréningovým dátam vrátane šumu, náhodných korelácií alebo detailov konkrétneho zberu natoľko, že sa zhorší výkon na nových prípadoch z cieľovej distribúcie. Typickým signálom je pokračujúci pokles tréningovej straty pri stagnácii alebo raste validačnej chyby. Príčiny zahŕňajú vysokú kapacitu, malý alebo nereprezentatívny dataset, únik informácií a nadmerné ladenie podľa jednej validačnej množiny. Ochrana využíva správne rozdelenie dát, regularizáciu, augmentáciu, early stopping a externý test.

Nasadenie a inferenčná infraštruktúra

Prevádzkové sprístupnenie modelu

Model serving

Model serving je prevádzková vrstva, ktorá načíta konkrétnu verziu modelového artefaktu a sprístupní jeho inferenciu aplikáciám, používateľom alebo dávkovým procesom. Zahŕňa validáciu vstupnej schémy, predspracovanie, prideľovanie výpočtových zdrojov, smerovanie požiadaviek, tvorbu dávok, postprocessing, zdravotné kontroly a zber telemetrie. Serving nie je totožný s tréningom ani s celým nasadením produktu. Jeho správnosť závisí od konzistentnej verzie váh, kódu, slovníkov, prahov a rozhraní.

Podmienená vizuálna transformácia

Prevod obrazu na obraz

Image-to-image translation

Image-to-image translation je úloha, v ktorej model mapuje vstupný obraz z jednej vizuálnej domény alebo reprezentácie na zodpovedajúci obraz v druhej. Príkladom je prevod mapy na satelitnú snímku, dennej scény na nočnú, náčrtu na fotografiu, hlučného obrazu na vyčistený alebo masky na realistický vzhľad. Pri párovanom tréningu sú dostupné korešpondujúce dvojice, pri nepárovanom sa používa cyklická konzistencia alebo iné obmedzenia. Dobrá transformácia má zachovať identitu a geometriu, ktoré sa meniť nemajú, a upraviť iba cieľové vlastnosti. Generátor môže vytvoriť presvedčivý, ale fakticky nepravdivý detail.

Adaptívne strojové učenie

Priebežné učenie z prichádzajúcich dát

Online learning

Online learning je režim, v ktorom sa parametre modelu aktualizujú postupne po jednotlivých príkladoch alebo malých dávkach namiesto jednorazového tréningu na celom datasete. Umožňuje spracovať dátový tok, obmedziť pamäť a reagovať na meniacu sa distribúciu. Aktualizačné pravidlo musí riadiť learning rate, poradie dát, oneskorené labely a ochranu pred katastrofickým zabúdaním alebo kontamináciou. Online učenie nie je totožné s online inferenciou, ktorá môže používať úplne nemenný model a iba odpovedať v reálnom čase.

Regresné metriky a stratové funkcie

Priemerná absolútna chyba

Mean absolute error

Mean absolute error, MAE, je priemer absolútnych rozdielov medzi skutočnými a predikovanými číselnými hodnotami. Každá chyba prispieva lineárne podľa svojej veľkosti, bez ohľadu na znamienko. Metrika má rovnakú jednotku ako cieľová premenná a minimum nula. V porovnaní s kvadratickou chybou je menej citlivá na jednotlivé extrémne odchýlky. Pri použití ako tréningová strata zodpovedá optimalizácii podmieneného mediánu a má nediferencovateľný bod pri nulovej reziduálnej chybe.

Regresné metriky a optimalizácia

Priemerná kvadratická chyba

Mean squared error

Mean squared error, MSE, je priemer druhých mocnín rozdielov medzi skutočnými a predikovanými hodnotami. Umocnenie odstráni znamienko a zväčší relatívny vplyv veľkých reziduí, preto metrika výrazne penalizuje extrémne omyly. MSE má jednotku cieľovej premennej na druhú a minimum nula. Ako stratová funkcia je hladká a pri štandardných predpokladoch súvisí s maximálnou vierohodnosťou pri gaussovskom šume. Minimalizácia MSE vedie k odhadu podmieneného priemeru.

Optimalizácia a stabilizácia modelov

Priemerovanie váh modelu

Weight averaging

Weight averaging je postup, pri ktorom sa parametre viacerých checkpointov alebo po sebe nasledujúcich stavov tréningu skombinujú do jedného modelu aritmetickým, exponenciálnym alebo inak váženým priemerom. Metóda pracuje priamo v priestore parametrov, nie priemerovaním výstupov samostatných modelov. Stochastic Weight Averaging zbiera body z tréningovej trajektórie a často smeruje k širšej oblasti nízkej straty. Exponential Moving Average uprednostňuje novšie stavy. Výsledok môže zlepšiť stabilitu, no iba pri kompatibilnej architektúre a zmysluplne zarovnaných parametroch.

Geometria reprezentácií

Priestor embeddingov

Embedding space

Embedding space je mnohorozmerný vektorový priestor, v ktorom sú objekty umiestnené embedding modelom a ich vzťahy sa vyhodnocujú z geometrie. Blízkosť môže reprezentovať sémantickú podobnosť, funkčnú zameniteľnosť alebo inú vlastnosť určenú tréningovým cieľom. Priestor charakterizuje dimenzia, hustota, anisotropia, lokálne susedstvá a použitá metrika. Jeho osi nemožno automaticky chápať ako pomenované koncepty a dvojrozmerná vizualizácia môže skresliť vzdialenosti pôvodného vysokorozmerného priestoru.

Interpretovateľnosť modelov

Priradenie príspevku vstupným vlastnostiam

Feature attribution

Feature attribution je vysvetľovacia technika, ktorá priraďuje jednotlivým vstupným vlastnostiam číselný príspevok k určitej predikcii alebo výstupu modelu. Metódy sa líšia referenčným bodom, spôsobom perturbácie, využitím gradientov a predpokladmi o modeli. SHAP, Integrated Gradients, saliency mapy či occlusion preto nemusia vytvoriť rovnaké poradie. Atribúcia opisuje správanie modelu v zvolenom výpočtovom rámci, nie automaticky kauzálny vplyv feature na jav v reálnom svete.

Architektúra neurónovej siete

Príznaková chrbtica modelu YOLO

YOLO backbone

YOLO backbone je časť detekčnej siete, ktorá premieňa vstupný obraz na hierarchiu príznakových máp. Skoršie vrstvy zachytávajú lokálne hrany a textúry, hlbšie vrstvy agregujú väčší kontext a sémantické vzory. Backbone odovzdáva reprezentácie necku alebo priamo detekčnej hlave, často na viacerých priestorových mierkach. Jeho návrh ovplyvňuje presnosť, výpočtovú náročnosť, pamäť, receptive field aj vhodnosť pre edge zariadenia. Názvy blokov a spojení sa medzi generáciami YOLO výrazne líšia.

Interakcia s generatívnou AI

Prompt pre generatívny model

Prompt

Prompt je vstupný kontext, ktorý usmerňuje generatívny model pri vytváraní ďalších tokenov, obrazových prvkov, akcií alebo štruktúrovaného výstupu. Môže obsahovať inštrukciu, otázku, príklady, dáta, pravidlá formátu, definície nástrojov, históriu konverzácie a systémové obmedzenia. Model nevykonáva prompt ako deterministický program, ale podmieňuje ním pravdepodobnostnú generáciu. Výsledok závisí od poradia, presnosti, konfliktov medzi vrstvami, context window a parametrov dekódovania. Citlivé alebo nedôveryhodné dáta v prompte treba oddeliť od autoritatívnych inštrukcií.

Riadenie generatívnych modelov

Promptovanie bez demonštračných príkladov

Zero-shot prompting

Zero-shot prompting je zadanie úlohy predtrénovanému generatívnemu modelu iba prostredníctvom inštrukcie a vstupných dát, bez priložených ukážok správneho vstupu a výstupu. Model využíva schopnosti získané počas predtrénovania a prípadného instruction tuning. Výkon ovplyvňuje presnosť cieľa, kontext, výstupný kontrakt, obmedzenia a jednoznačnosť pojmov. Označenie zero-shot neznamená, že model nikdy nevidel podobný obsah, iba že v aktuálnom kontexte nedostal demonštračný príklad.

Promptovanie a riešenie viacstupňových úloh

Promptovanie reťazca uvažovania

Chain of thought prompting

Chain of thought prompting je technika, pri ktorej prompt obsahuje alebo vyžaduje medzikroky prirodzeného jazyka pred konečnou odpoveďou, aby model lepšie riešil viacstupňové aritmetické, logické alebo symbolické úlohy. Môže používať demonštrácie s vyriešenými postupmi alebo krátku inštrukciu na rozklad problému. Vygenerovaný reťazec nie je spoľahlivým záznamom interného výpočtu ani dôkazom správnosti. Medzikroky môžu byť presvedčivé, no chybné, preto sa výsledok overuje nezávislou kontrolou, nástrojom alebo testom.

In-context learning jazykových modelov

Promptovanie s k ukážkami

K-shot prompting

K-shot prompting je nastavenie promptu, v ktorom sa modelu pred cieľovou požiadavkou poskytnú k demonštračných dvojíc vstup a požadovaný výstup. Model nemení parametre, ale počas inferencie využíva vzory z kontextu na pochopenie úlohy, formátu, rozhodovacích hraníc alebo štýlu. Kvalita závisí od výberu, poradia, rozmanitosti a reprezentatívnosti ukážok, od dĺžky kontextu a od toho, či demonštrácie neobsahujú chyby alebo skryté skratky. Demonštrácie sú súčasťou riadenia správania, preto sa verzujú rovnako ako systémová inštrukcia.

Semi-supervised learning

Propagácia štítkov

Label propagation

Label propagation je transduktívna metóda semi-supervised learningu, ktorá vytvorí graf podobnosti medzi označenými a neoznačenými vzorkami a šíri známe labely cez hrany grafu. Predpokladá, že blízke alebo silne spojené body majú podobné ciele. Výsledok závisí od voľby jadra, škály vzdialenosti, počtu susedov a štruktúry dát. Algoritmus typicky odhaduje labely pre konkrétnu dostupnú množinu bodov, nie všeobecnú parametrickú funkciu použiteľnú na ľubovoľný nový vstup.

Reinforcement learning a stabilné aktualizácie

Proximálna optimalizácia politiky

Proximal Policy Optimization

Proximal Policy Optimization, skrátene PPO, je on-policy actor-critic algoritmus, ktorý aktualizuje politiku pomocou surrogate objective a obmedzuje príliš veľkú zmenu pravdepodobností akcií medzi starou a novou politikou. Najznámejšia clipped verzia oreže pomer pravdepodobností mimo intervalu okolo jednej, čím znižuje motiváciu robiť deštruktívne kroky. PPO často používa generalized advantage estimation, value loss a entropy bonus. Je jednoduchšie implementovateľné než trust region metódy, ale zostáva citlivé na learning rate, počet epoch, clipping, normalizáciu rewardu a kvalitu batchov.

Posilňované učenie

Q-učenie

Q-learning

Q-learning je bezmodelový off-policy algoritmus posilňovaného učenia, ktorý odhaduje optimálnu akčnú hodnotovú funkciu. Po prechode zo stavu s do stavu s2 po akcii a aktualizuje Q(s,a) smerom k súčtu odmeny a diskontovaného maxima Q(s2,a2). Cieľová politika je chamtivá voči naučeným hodnotám, aj keď dáta môže zbierať prieskumná politika. V konečnom Markovovom rozhodovacom procese konverguje za podmienok dostatočného navštívenia dvojíc stav-akcia a vhodne klesajúcich krokov učenia.

Evaluácia sumarizácie a generovaného textu

Recall-Oriented Understudy for Gisting Evaluation

ROUGE

ROUGE je rodina automatických metrík, ktoré porovnávajú systémový súhrn s jedným alebo viacerými referenčnými súhrnmi podľa prekrytia textových jednotiek. ROUGE-N pracuje s n-gramami, ROUGE-L s najdlhšou spoločnou podsekvenciou a ďalšie varianty so skip-bigramami. Výsledok možno uvádzať ako recall, precision alebo F1 podľa implementácie. Metrika zachytáva lexikálnu podobnosť, nie úplnú sémantickú správnosť, faktickosť, štruktúru ani užitočnosť. Hodnoty závisia od tokenizácie, stemmingu a počtu referencií.

Dáta, anotácia a evaluácia

Referenčná pravda

Ground truth

Ground truth je referenčný údaj, label alebo meranie, ktoré sa v konkrétnom procese používa ako cieľ pre tréning alebo hodnotenie modelu. Môže vzniknúť priamym meraním, odbornou anotáciou, adjudikáciou viacerých posudzovateľov alebo neskorším potvrdeným výsledkom. Označenie neznamená absolútnu a bezchybnú pravdu. Referencia môže obsahovať meraciu chybu, nejednoznačnosť, zmenu definície a systematický bias. Kvalitná knowledge base preto eviduje pôvod labelu, pokyny, mieru zhody, neistotu, verziu a čas platnosti, nie iba finálnu hodnotu.

Evaluácia a experimentovanie

Referenčný model

Baseline model

Baseline model je jednoduchý alebo existujúci model, ktorého výkon tvorí referenčný bod pre posúdenie nového riešenia. Môže ísť o pravidlo väčšinovej triedy, lineárny model, aktuálny produkčný systém, ľudský proces alebo predchádzajúcu verziu. Baseline musí používať rovnakú definíciu úlohy, dátové rozdelenie, metriky a prevádzkové obmedzenia ako kandidát. Jeho úlohou nie je byť slabý, ale určiť, či zložitejšie riešenie prináša merateľný a prakticky významný prínos oproti primeranej alternatíve.

MLOps a správa artefaktov

Register modelov

Model registry

Model registry je riadené úložisko evidujúce verzie modelových artefaktov, ich metadáta, pôvod, metriky, stav schválenia a väzbu na nasadenia. Umožňuje sledovať, ktorá verzia je kandidát, schválená, produkčná alebo archivovaná, a prepája model s experimentom, datasetom, kódom a vlastníkom. Register nemusí uchovávať všetky binárne súbory priamo, môže odkazovať na objektové úložisko. Dôležité sú nemenné identifikátory, prístupové práva, audit zmien a reprodukovateľné prechody medzi stavmi.

Prediktívne modelovanie

Regresia

Regression

Regression je rodina štatistických a strojovo učiacich metód, ktoré odhadujú spojitú cieľovú hodnotu alebo inú podmienenú charakteristiku rozdelenia na základe vstupných premenných. Model môže byť lineárny, stromový, neurónový, kernelový alebo pravdepodobnostný. Tréning minimalizuje zvolenú stratu, napríklad MSE, MAE, Huberovu alebo kvantilovú stratu. Kvalita sa posudzuje na nevidených dátach a musí sa rozlišovať interpolácia od extrapolácie. Logistická regresia napriek názvu rieši klasifikáciu.

Generalizácia a kontrola zložitosti

Regularizácia

Regularization

Regularization označuje postupy, ktoré obmedzujú efektívnu zložitosť modelu alebo zavádzajú preferenciu jednoduchších a stabilnejších riešení, aby sa zlepšila generalizácia mimo tréningových dát. Môže mať podobu penalizácie parametrov, obmedzenia normy, dropout, dátovej augmentácie, šumu, early stoppingu alebo architektonického obmedzenia. Regularizačný účinok zvyšuje systematické skreslenie, ale môže znížiť rozptyl. Jeho sila sa volí na validačných dátach a nesmie sa posudzovať iba podľa tréningovej straty.

Robustnosť a hladkosť neurónových sietí

Regularizácia Jacobiho matice

Jacobian regularization

Jacobian regularization pridáva k tréningovej strate člen, ktorý penalizuje vybranú normu derivácií modelového výstupu podľa vstupu, reprezentácie alebo parametrov. Cieľom je obmedziť nadmernú lokálnu citlivosť, zväčšiť klasifikačné okraje alebo stabilizovať naučenú dynamiku. Penalizácia môže pracovať s Frobeniovou normou celého Jacobianu, spektrálnou normou alebo stochastickým odhadom cez smerové súčiny. Príliš silná váha vedie k podučeniu a môže potlačiť legitímne ostré zmeny, preto sa musí validovať na relevantných perturbáciách.

Regularizácia sekvenčných modelov

Regularizácia rekurentných sietí Zoneout

Zoneout

Zoneout je stochastická regularizačná technika pre rekurentné neurónové siete, pri ktorej sa náhodne vybrané zložky skrytého alebo bunkového stavu v danom časovom kroku nemenia a preberú hodnotu z predchádzajúceho kroku. Na rozdiel od dropout ich nenahrádza nulou. Mechanizmus vytvára náhodné časové cesty identity, podporuje zachovanie informácie a pri tréningu simuluje súbor mierne odlišných rekurentných dynamík. Pri inferencii sa používa očakávané správanie podľa implementácie.

Sekvenčné neurónové architektúry

Rekurentná neurónová sieť

Recurrent neural network

Recurrent neural network, RNN, spracúva sekvenciu tak, že v každom kroku kombinuje aktuálny vstup s vnútorným stavom preneseným z predchádzajúceho kroku. Rovnaké parametre sa používajú naprieč časom, čo umožňuje modelovať poradie a kontext premenlivej dĺžky. Tréning typicky používa backpropagation through time. Základné RNN trpia miznúcimi a explodujúcimi gradientmi, preto sa často používajú LSTM alebo GRU. Rekurentný výpočet je prirodzene sekvenčný a horšie sa paralelizuje než Transformer.

Formálne modelovanie významu

Reprezentácia znalostí

Knowledge representation

Knowledge representation je oblasť a súbor formálnych prostriedkov na zápis entít, vlastností, vzťahov, udalostí, pravidiel, neistoty a kontextu tak, aby s nimi mohol výpočtový systém pracovať. Používa logiky, ontológie, pravidlové systémy, rámce, sémantické siete, grafy, probabilistické modely alebo vektorové reprezentácie. Každý jazyk určuje, čo možno vyjadriť a aké odvodenia sú platné. Silnejšia expresivita môže zvyšovať cenu inferencie a náročnosť správy konzistencie. Voľba formalizmu je preto architektonické rozhodnutie medzi expresivitou, výkonom a auditovateľnosťou.

Orchestrácia generatívnych workflowov

Reťazenie promptov

Prompt chaining

Prompt chaining je rozdelenie komplexnej úlohy na sekvenciu modelových volaní, v ktorej výstup jedného kroku vstupuje do ďalšieho. Jednotlivé kroky môžu extrahovať fakty, plánovať, vyhľadávať, overovať, prepisovať alebo formátovať výsledok. Reťazec zlepšuje kontrolovateľnosť a umožňuje samostatné testovanie medzivýstupov, no zvyšuje latenciu, cenu a počet miest, kde sa môže chyba preniesť. Každé rozhranie potrebuje schému, validáciu, limit kontextu a pravidlo zotavenia. Chaining sa odlišuje od jedného dlhého promptu aj od autonómneho agenta s dynamickým plánovaním.

Počítačové videnie a konvolučné siete

Reziduálna neurónová sieť

ResNet

ResNet je rodina konvolučných neurónových sietí založených na reziduálnych blokoch so skratkovými spojeniami. Pôvodné varianty, napríklad ResNet-18, ResNet-50 a ResNet-152, organizujú bloky do stupňov s postupným zmenšovaním priestorového rozlíšenia a zvyšovaním počtu kanálov. Hlbšie modely používajú bottleneck bloky s konvolúciami 1 x 1, 3 x 3 a 1 x 1. Architektúra zásadne uľahčila tréning veľmi hlbokých CNN a dodnes sa používa ako backbone, referenčný model a zdroj predtrénovaných vizuálnych reprezentácií.

Architektúry hlbokých neurónových sietí

Reziduálne alebo skratkové spojenie

Residual connection

Residual connection prenáša vstup bloku priamou skratkou a kombinuje ho s transformáciou vypočítanou vrstvami, typicky vo forme y = F(x) + x. Blok sa tak učí reziduálnu zmenu voči identite namiesto úplne novej transformácie. Skratka zlepšuje tok gradientu a uľahčuje optimalizáciu veľmi hlbokých sietí. Ak sa rozmery nezhodujú, používa sa projekcia alebo iná úprava. Residual connection je všeobecný architektonický prvok, nie synonymum konkrétnej rodiny ResNet.

Governance a riadenie rizík AI

Riadenie modelov

Model governance

Model governance je súbor rolí, politík, kontrol a rozhodovacích práv, ktoré riadia výber, vývoj, schvaľovanie, nasadenie, zmeny, monitorovanie a vyradenie modelov. Definuje vlastníka, nezávislú validáciu, klasifikáciu rizika, povinnú dokumentáciu, prístupové oprávnenia, výnimky a eskaláciu incidentov. Governance sa nevzťahuje iba na regulované skórovacie modely, ale aj na predtrénované, generatívne a externé modely. Úroveň kontroly má byť primeraná dopadu a kontextu použitia.

Efektívne transformery a dlhý kontext

Riedka pozornosť

Sparse attention

Sparse attention je mechanizmus pozornosti, ktorý nepočíta interakciu medzi každou dvojicou tokenov, ale používa obmedzený vzor povolených spojení. Vzor môže byť lokálny, blokový, dilatovaný, globálny alebo dynamicky vybraný podľa obsahu. Cieľom je znížiť časovú a pamäťovú náročnosť plnej pozornosti pri dlhých sekvenciách. Úspora nie je automatická, pretože nepravidelná riedkosť môže byť pre hardvér neefektívna a nesprávny vzor môže odstrániť dôležitú závislosť. Maska riedkosti môže byť pevná pre architektúru alebo vypočítaná osobitne pre každý vstup.

Kompresia a efektívnosť modelov

Riedky model

Sparse model

Sparse model je model, v ktorom je veľká časť parametrov, aktivácií, expertov alebo spojení nulová či neaktívna pre daný výpočet. Riedkosť môže vzniknúť pruningom, regularizáciou, top-k routovaním alebo štruktúrovaným návrhom. Znižuje teoretický počet operácií a veľkosť uloženia, ale reálne zrýchlenie závisí od formy riedkosti a podpory hardvéru. Neštruktúrované nuly sa komprimujú ľahšie, než sa efektívne vykonávajú na bežných akcelerátoroch. Riedkosť sa dokumentuje pre parametre aj skutočne vykonané operácie, pretože tieto čísla sa môžu líšiť.

Dôveryhodnosť, testovanie a prevádzka

Robustnosť AI systému

Robustness

Robustness je schopnosť AI systému udržať prijateľné správanie a výkon pri vopred špecifikovaných zmenách podmienok, napríklad pri šume, chýbajúcich údajoch, distribučnom posune, adversariálnych vstupoch, variácii hardvéru alebo zlyhaní komponentu. Nie je absolútnou vlastnosťou modelu, ale tvrdením viazaným na množinu perturbácií, toleranciu, metriky a kontext použitia. Robustnosť sa overuje stresovými testami, segmentovou analýzou, OOD scenármi a monitoringom po nasadení. Vysoká priemerná accuracy ju sama nepreukazuje.

Hodnotenie vysvetliteľnosti

Robustnosť vysvetlení AI

XAI robustness

XAI robustness je odolnosť vysvetľovacej metódy voči malým, významovo nepodstatným alebo zámerne zvoleným zmenám vstupu, modelu či implementácie. Robustné vysvetlenie nemá dramaticky meniť zdôvodnenie, keď sa predikcia a relevantný význam prípadu zachovajú. Testuje sa perturbáciami, opakovaným tréningom, zmenou seedu a útokmi na vysvetlenie. Robustnosť nie je totožná s vernosťou. Stabilne nesprávne vysvetlenie môže byť robustné a verné vysvetlenie môže oprávnene reagovať na zmenu blízko rozhodovacej hranice.

Distribučná sémantika a NLP

Rodina metód na učenie slovných vektorov

Word2Vec

Word2Vec je rodina plytkých neurónových tréningových cieľov na učenie statických word embeddingov z lokálneho kontextu. Continuous Bag of Words predikuje cieľové slovo z okolitých slov, skip-gram predikuje okolité slová z centrálneho slova. Praktické implementácie používajú negative sampling alebo hierarchický softmax, subsampling častých slov a pohyblivé kontextové okno. Výsledkom je jedna tabuľka vektorov pre slovník, nie generatívny jazykový model schopný vytvárať text. Reprezentácie zachytávajú distribučné pravidelnosti korpusu, ale nerozlišujú význam slova podľa vety a slabo spracúvajú neznáme alebo veľmi zriedkavé výrazy.

Automatický prepis a preklad reči

Rodina modelov OpenAI na rozpoznávanie reči

Whisper

Whisper je rodina encoder-decoder transformerov na automatické rozpoznávanie reči, identifikáciu jazyka, časové značky a preklad reči do angličtiny. Model prijíma log-Mel spektrogram zvukových úsekov a autoregresívne generuje text spolu so špeciálnymi tokenmi určujúcimi úlohu. Pôvodná rodina bola trénovaná na 680 000 hodinách viacjazyčných a viacúlohových dát získaných z webu. Jednotlivé checkpointy sa líšia veľkosťou, rýchlosťou a presnosťou. Whisper nie je názov všeobecnej cloudovej služby ani záruka správneho prepisu, pretože výkon závisí od jazyka, šumu, hovoriaceho, segmentácie a dekódovania.

Klasifikácia

Rozhodovacia hranica

Decision boundary

Decision boundary je množina bodov vo vstupnom alebo reprezentančnom priestore, na ktorej klasifikačný model mení priradenú triedu. Pri binárnom lineárnom klasifikátore môže byť hranicou priamka alebo nadrovina, pri nelineárnych modeloch má zložitý zakrivený tvar. Poloha hranice vyplýva z naučených parametrov, loss funkcie, regularizácie a dát. Jej vzdialenosť od príkladov súvisí s rezervou rozhodnutia, citlivosťou na šum a odolnosťou voči malým zmenám vstupu.

Viackrokové vyhľadávanie a reasoning

Rozklad zložitého dopytu

Query decomposition

Query decomposition rozdeľuje komplexnú informačnú potrebu na menšie podotázky, ktorých výsledky sa získajú a následne spoja. Podotázky môžu byť nezávislé alebo postupné, keď neskoršia závisí od predchádzajúcej odpovede. Metóda zlepšuje dohľadateľnosť dôkazov a umožňuje použiť odlišné zdroje, no pridáva miesta pre chybný rozklad, prenos nepresnosti a nesprávne zloženie. Každá podotázka má zachovať obmedzenia pôvodného dopytu, najmä čas, entitu a negáciu.

Kontext, náklady a riadenie požiadaviek

Rozpočet tokenov

Token budget

Token budget je plánovaný alebo technicky vynútený počet tokenov dostupných pre vstup, systémové inštrukcie, históriu, retrieval, nástroje a generovaný výstup v jednej požiadavke alebo procese. Musí rešpektovať kontextové okno modelu, rezervu na odpoveď a prípadné interné formáty. Rozpočet ovplyvňuje náklady, latenciu a kvalitu kontextu. Jeho prekročenie môže viesť k odmietnutiu, orezaniu skorších správ alebo strate podstatných dôkazov. Rozpočet sa testuje aj pri najdlhšej histórii, najväčšom retrieval výsledku a maximálnom povolenom výstupe.

Spracovanie prirodzeného jazyka

Rozpoznávanie entít

Entity recognition

Entity recognition, často named entity recognition alebo NER, je úloha identifikovať v texte súvislé úseky, ktoré označujú entity, a priradiť im kategóriu, napríklad osobu, organizáciu, lokalitu, produkt alebo dátum. Model rozhoduje o hraniciach zmienky aj jej type. Tradičné NER zvyčajne vytvára neprekrývajúce sa span-y a neurčuje, ku ktorému konkrétnemu záznamu entita patrí. Výkon závisí od anotovanej schémy, tokenizácie, domény, jazyka a pravidiel pre vnorené či nejednoznačné entity.

Počítačové videnie a biometria

Rozpoznávanie tváre

Face recognition

Face recognition je biometrické spracovanie, pri ktorom sa obraz tváre porovnáva s referenčnou šablónou alebo databázou s cieľom overiť tvrdenú identitu, prípadne vyhľadať kandidátov. Režim one-to-one rozhoduje, či dve reprezentácie patria tej istej osobe. Režim one-to-many hľadá najpodobnejšie záznamy v galérii. Systém zahŕňa detekciu, kontrolu kvality, zarovnanie, tvorbu biometrického vektora, výpočet podobnosti a prahové rozhodnutie. Prevádzkový protokol musí rozlišovať automatický verdikt od zoznamu kandidátov určeného človeku.

Robustná klasifikácia neznámych tried

Rozpoznávanie v otvorenom priestore tried

Open set recognition

Open set recognition je klasifikačné nastavenie, v ktorom sa počas inferencie môžu objaviť aj triedy, ktoré neboli zastúpené v tréningu. Model má správne rozpoznať známe triedy a zároveň odmietnuť alebo označiť neznámy vstup namiesto núteného priradenia k najbližšej známej kategórii. Metódy používajú prahy skóre, modelovanie hraníc tried, prototypy, extrémne hodnoty alebo samostatné reprezentácie neznáma. Hodnotenie musí merať kompromis medzi uzavretou klasifikáciou a detekciou neznámych pri realistickej miere openness.

Informačné vyhľadávanie

Rozšírenie dopytu

Query expansion

Query expansion pridáva alebo prevažuje termíny, entity či vektorové reprezentácie s cieľom nájsť relevantné dokumenty, ktoré nepoužívajú pôvodné slová. Rozšírenie môže vychádzať zo slovníka, znalostného grafu, embeddingov, používateľského profilu alebo pseudo-relevance feedbacku z prvých výsledkov. Typicky zvyšuje recall, ale môže spôsobiť query drift, keď pridané významy odvedú hľadanie od pôvodného zámeru. Pôvodná query, zdroj rozšírenia a váhy sa majú uchovať pre diagnostiku.

Optimalizácia modelov

Rýchlosť učenia

Learning rate

Learning rate je hyperparameter, ktorý určuje mierku aktualizácie parametrov pri optimalizácii. V najjednoduchšom gradientnom kroku násobí odhad gradientu pred odčítaním od aktuálnych váh. Príliš vysoká hodnota môže preskakovať minimum, rozkmitať stratu alebo spôsobiť divergenciu, príliš nízka vedie k pomalému postupu a môže uviaznuť v nevhodnej oblasti. Efektívna veľkosť kroku závisí aj od optimalizátora, batch size, normalizácie, precision, gradient clippingu a škálovania straty.

Tréning a reprezentácie

Samoučenie bez ručných anotácií

Self-supervised learning

Self-supervised learning je učenie, pri ktorom sa cieľový signál vytvorí automaticky zo samotných neanotovaných dát. Model môže predpovedať skryté časti textu, ďalší token, chýbajúci úsek obrazu alebo zhodu medzi dvoma transformovanými pohľadmi na ten istý príklad. Takto sa naučí všeobecné reprezentácie, ktoré sa neskôr prispôsobia konkrétnej úlohe. Označenie self-supervised neznamená, že dáta sú bez ľudského pôvodu, bez výberu alebo bez skrytých predsudkov. Úspech sa hodnotí prenosom na downstream úlohy, nie iba stratou použitej predúlohy.

Spracovanie reči a self-supervised learning

Samoučený model rečových reprezentácií

Wav2Vec 2.0

Wav2Vec 2.0 je architektúra na samoučenie reprezentácií reči z neoznačeného zvuku. Konvolučný encoder premieňa waveform na latentnú sekvenciu, z ktorej sa časti maskujú, transformer vytvára kontextové reprezentácie a kontrastný cieľ rozlišuje správne kvantizované latentné ciele od negatívnych kandidátov. Po predtrénovaní sa model dolaďuje na transkribovaných dátach, často s CTC stratou. Názov označuje rodinu checkpointov a tréningový rámec, nie univerzálny systém s rovnakým jazykom, licenciou alebo presnosťou.

Produkčná inferencia a kompilácia

SDK na optimalizáciu inferencie NVIDIA

TensorRT

TensorRT je softvérová vývojová súprava spoločnosti NVIDIA na optimalizáciu a vykonávanie inferencie neurónových sietí na GPU NVIDIA. Importuje alebo zostavuje sieť, vyberá implementácie operátorov, spája vrstvy, optimalizuje pamäť a môže použiť zníženú numerickú presnosť. Výsledkom je engine viazaný na podporovaný hardvér, verziu knižníc a zvolené profily tvarov. Zrýchlenie nie je automatické, pretože závisí od pokrytia operácií, dávok a nákladov na presuny dát. Optimalizovaný engine sa verzuje spolu s modelom, kalibračnými dátami, profilmi tvarov a cieľovou platformou.

Transformer a kontextové reprezentácie

Sebapozornosť

Self-attention

Self-attention je mechanizmus, pri ktorom sa každá pozícia sekvencie porovnáva s ostatnými pozíciami tej istej sekvencie a vytvára reprezentáciu váženú podľa ich relevantnosti. Dopyty, kľúče a hodnoty vznikajú z rovnakého vstupu, hoci používajú odlišné naučené projekcie. Mechanizmus zachytáva závislosti bez rekurentného prechodu token po tokene. Samotná attention vrstva však nepozná poradie, preto transformery pridávajú pozičnú informáciu. Reziduálne spojenia a následné vrstvy ďalej menia informáciu, ktorú pozornosť vytvorila.

Medicínska segmentácia obrazu

Segmentácia anatómie alebo nálezov na röntgene

X-ray segmentation

X-ray segmentation je pixelová alebo oblastná predikcia hraníc anatomických štruktúr, prístrojov alebo patologických nálezov na röntgenovej snímke. Výstup môže byť binárna maska pľúc, viac tried kostí, kontúra srdca alebo oblasť infekcie. Úloha je náročná pre projekčný charakter obrazu, prekrývanie tkanív, slabý kontrast a variabilnú kvalitu anotácií. Hodnotenie používa Dice, IoU, citlivosť hraníc a klinicky relevantné merania. Vysoké prekrytie nemusí zachytiť malú kritickú léziu a maska nesmie automaticky slúžiť ako diagnóza.

Interaktívna a otvorená segmentácia obrazu

Segmentácia bez tréningu na cieľových triedach

Zero-shot segmentation

Zero-shot segmentation vytvára pixelovú masku objektu alebo oblasti bez dolaďovania modelu na anotovaných maskách konkrétnej cieľovej triedy. Zadanie môže mať formu bodu, rámca, hrubej masky alebo textového opisu. Foundation model pre segmentáciu využíva široké predtrénovanie na všeobecnú schopnosť oddeliť vizuálny objekt od okolia. Označenie zero-shot sa musí uvádzať s typom promptu, pretože segmentácia z presného boxu je inak náročná než textové vyhľadanie neznámej kategórie.

Masky objektov a obrazová analýza

Segmentácia objektov pomocou modelov YOLO

YOLO segmentation

YOLO segmentation je rozšírenie detekčného modelu, ktoré ku každému nájdenému objektu predikuje pixelovú masku jeho viditeľnej oblasti. Najčastejšie ide o instance segmentation, kde samostatné objekty rovnakej triedy dostanú oddelené masky. Implementácia môže kombinovať prototypové masky s koeficientmi predikovanými pre každú detekciu a následne masky škálovať na pôvodný obraz. Kvalita sa hodnotí maskovým mAP alebo IoU, nie iba rámcovou presnosťou. Výsledok závisí od rozlíšenia maskovej vetvy a kvality anotovaných hraníc.

Pixelová analýza a lokalizácia vizuálnych oblastí

Segmentácia obrazu

Image segmentation

Image segmentation rozdeľuje obraz na priestorovo súvislé oblasti alebo priraďuje štítok jednotlivým pixelom. Sémantická segmentácia označí všetky pixely rovnakej triedy bez rozlíšenia konkrétnych kusov, instance segmentation oddeľuje jednotlivé objekty a panoptická segmentácia kombinuje objekty s plošnými kategóriami pozadia. Model vytvára masku v rozlíšení vstupu alebo ju dopočíta z hrubšej mapy príznakov. Presnosť hraníc závisí od anotácie, mierky a predspracovania. V medicíne, mapovaní či kontrole výroby treba hodnotiť nielen priemerný IoU, ale aj malé štruktúry a dôsledok vynechania.

Vyhľadávanie a retrieval

Sémantické vyhľadávanie

Semantic search

Semantic search je vyhľadávanie, ktoré porovnáva význam dotazu a dokumentov, nie iba doslovnú zhodu slov. Typický systém vytvorí embedding dotazu, nájde najbližšie vektory dokumentov a výsledky môže ďalej preusporiadať presnejším rerankerom. Dokáže nájsť synonymá a parafrázy, no môže prehliadnuť presné identifikátory, negácie alebo zriedkavé odborné výrazy. Produkčné riešenia preto často kombinujú vektorové a lexikálne skórovanie. Indexovanie, filtrácia metadát a oprávnenia musia zostať konzistentné s vektorovým retrievalom.

Vektorové reprezentácie významu

Sémantický embedding

Semantic embedding

Semantic embedding je hustý číselný vektor vytvorený tak, aby vzdialenosť alebo podobnosť vektorov približne zodpovedala významovej príbuznosti reprezentovaných objektov. Objektom môže byť slovo, veta, dokument, obraz, produkt alebo používateľ. Vektor vzniká embeddingovým modelom a jeho geometria závisí od tréningového cieľa, dát a metriky podobnosti. Embedding neukladá význam ako slovníkovú definíciu a jeho súradnice nemajú samostatne stabilnú ľudskú interpretáciu. V produkcii sa sleduje aj drift geometrie po výmene modelu alebo indexovaných dát.

Vysvetliteľnosť modelov

Shapley Additive Explanations

SHAP

SHAP je rodina metód vysvetliteľnosti, ktorá priraďuje vstupným vlastnostiam príspevky odvodené zo Shapleyho hodnôt kooperatívnej teórie hier. Predikcia sa rozkladá na základnú hodnotu a súčet príspevkov vlastností pre konkrétny príklad. Výpočet presných hodnôt je spravidla drahý, preto implementácie používajú aproximácie alebo algoritmy špecializované pre typ modelu. Výsledok závisí aj od voľby referenčného rozdelenia a spôsobu práce so závislými vlastnosťami. Pri publikovaní vysvetlenia sa uvádza verzia modelu, pozadie a presný SHAP explainer.

Kontrakty dátových rozhraní AI aplikácií

Schéma na opis a validáciu JSON dát

JSON Schema

JSON Schema je deklaratívny jazyk na opis štruktúry, typov, povolených hodnôt a validačných obmedzení JSON inštancií. Kľúčové slová definujú objekty, vlastnosti, povinné polia, polia položiek, číselné rozsahy, regulárne výrazy a kompozíciu subschém. Dialekt sa identifikuje cez $schema a opakovateľné definície cez $defs a $ref. V AI aplikáciách schéma formalizuje výstup nástroja, payload API, konfiguráciu pipeline alebo očakávaný štruktúrovaný výsledok modelu. Validná inštancia však nemusí byť vecne správna a podpora jednotlivých draftov sa líši medzi validátormi.

Metrické učenie a porovnávanie

Siamská neurónová sieť

Siamese network

Siamese network je architektúra s dvoma alebo viacerými vetvami, ktoré zdieľajú rovnaké parametre a prevádzajú vstupy na porovnateľné reprezentácie. Tréningová strata upravuje priestor tak, aby podobné páry mali blízke vektory a nepodobné páry boli oddelené. Používa sa pri overovaní identity, vyhľadávaní podobnosti, deduplikácii a few-shot klasifikácii. Výkon závisí od výberu pozitívnych a negatívnych párov, metriky a stratégie ťažby náročných príkladov. Učený priestor sa má testovať aj na identitách alebo triedach, ktoré tréning vôbec neobsahoval.

Dátová kvalita a zodpovedná AI

Skreslenie merania

Measurement bias

Measurement bias je systematická odchýlka medzi javom, ktorý chce systém poznať, a hodnotou, ktorou ho dataset alebo senzor v skutočnosti meria. Vzniká nevhodným proxy ukazovateľom, rozdielnou presnosťou zariadení, procesom zberu, formuláciou otázky alebo nerovnakou dostupnosťou záznamov medzi skupinami. Na rozdiel od náhodného šumu sa chyba opakuje určitým smerom a model ju môže stabilne reprodukovať. Odstránenie modelového biasu preto nemusí pomôcť, ak je skreslený samotný cieľ alebo vstupné meranie.

Dôveryhodná a zodpovedná AI

Skreslenie v AI

Bias

Bias v AI označuje systematickú odchýlku, ktorá môže vzniknúť v dátach, meraní, anotáciách, výbere cieľa, modeli, hodnotení alebo spôsobe nasadenia. Pojem má viac významov a netreba ho zamieňať s bias parametrom neurónu ani so štatistickým biasom odhadu. V spoločenskom kontexte môže skreslenie viesť k rozdielnym chybám alebo dopadom medzi skupinami. Posúdenie vyžaduje určiť, voči čomu je výsledok odchýlený, kto nesie následky a či rozdiel vzniká z legitímnej vlastnosti úlohy alebo z nevhodného procesu.

Architektúra neurónových sietí

Skrytá vrstva

Hidden layer

Hidden layer je vrstva neurónovej siete umiestnená medzi vstupnou a výstupnou vrstvou, ktorej aktivácie nie sú priamo zadanými dátami ani konečnou predikciou. Transformuje predchádzajúcu reprezentáciu pomocou váh, biasov a nelinearity, prípadne normalizácie, pozornosti alebo reziduálneho spojenia. Skladanie skrytých vrstiev umožňuje modelu vytvárať hierarchické príznaky a aproximovať zložité funkcie. Označenie skrytá neznamená tajná ani nepozorovateľná, aktivácie možno zaznamenať. Ich význam však nie je automaticky ľudsky interpretovateľný a jednotlivá jednotka nemusí zodpovedať jedinému pojmu.

Pravdepodobnostné sekvenčné modely

Skrytý Markovov model

Hidden Markov model

Hidden Markov model je generatívny pravdepodobnostný model sekvencie, v ktorom pozorované hodnoty vznikajú z nepozorovaných diskrétnych stavov. Stav v čase závisí podľa Markovovho predpokladu iba od predchádzajúceho stavu a každé pozorovanie závisí od aktuálneho skrytého stavu. Model určujú počiatočné pravdepodobnosti, prechodová matica a emisné rozdelenia. Forward algoritmus počíta pravdepodobnosť pozorovaní, Viterbi hľadá najpravdepodobnejšiu stavovú cestu a Baum-Welch odhaduje parametre bez známych stavov. Obmedzením je krátka pamäť a pevný počet stavov.

Dátovo orientované strojové učenie

Slabý dohľad pri tvorbe tréningových štítkov

Weak supervision

Weak supervision je spôsob tvorby tréningových štítkov z lacnejších, nepresných alebo čiastočných zdrojov namiesto individuálneho ručného označenia každého príkladu. Zdrojom môžu byť pravidlá, databázové väzby, heuristiky, existujúce modely, vzdialený dohľad alebo ľudské označenia s rôznou spoľahlivosťou. Programatické prístupy modelujú presnosť a závislosti labelovacích funkcií a vytvárajú pravdepodobnostné štítky. Metóda zrýchľuje pokrytie dát, no chyby zdrojov, korelované pravidlá a systematické slepé miesta sa môžu preniesť do výsledného modelu.

Analýza videa a časová asociácia

Sledovanie objektov

Object tracking

Object tracking je proces odhadovania polohy a identity cieľového objektu naprieč po sebe idúcimi snímkami. Single-object tracking sleduje zadaný cieľ, multi-object tracking súčasne vytvára trajektórie viacerých inštancií a rieši priradenie nových detekcií k existujúcim stopám. Tracker kombinuje pohybový model, vizuálnu podobnosť, časové obmedzenia a pravidlá vzniku alebo zániku stopy. Kľúčové chyby sú strata cieľa, prepnutie identity a fragmentácia trajektórie, najmä pri zakrytí, rýchlom pohybe a podobnom vzhľade objektov.

Video analytika

Sledovanie objektov s detekciami YOLO

YOLO tracking

YOLO tracking je video pipeline, ktorá kombinuje detekcie objektov s trackerom prideľujúcim dočasné identity naprieč snímkami. Detektor poskytuje rámce, triedy a skóre, zatiaľ čo algoritmy ako ByteTrack alebo BoT-SORT používajú pohyb, prekrytie a prípadne vzhľadové embeddingy na asociáciu trajektórií. YOLO samo nemusí určovať identitu osoby v biometrickom zmysle. Výsledok ovplyvňuje frekvencia snímok, výpadky detekcie, zakrytie, pohyb kamery, prahy trackera a pravidlá zániku či opätovného vytvorenia stopy.

Tokenizácia a jazykové modely

Slovník tokenov

Vocabulary

Vocabulary v jazykovom modeli je konečná množina tokenov, ktorým tokenizer priraďuje celočíselné identifikátory a model embeddingové alebo výstupné parametre. Môže obsahovať celé slová, subword jednotky, bajty, interpunkciu a špeciálne tokeny. Je výsledkom algoritmu tokenizácie, tréningového korpusu, normalizácie a pravidiel pre coverage. Vocabulary neurčuje význam slov ako lexikografický slovník, ale základné symboly výpočtu. Zmena poradia alebo obsahu tokenov bez úpravy váh poškodí kompatibilitu checkpointu.

Orchestrácia vyhľadávania a modelov

Smerovanie dopytu

Query routing

Query routing je rozhodovanie, ktorý index, model, nástroj, región alebo spracovateľská cesta má obslúžiť konkrétny dopyt. Router môže používať pravidlá, klasifikátor zámeru, metadáta, odhad nákladov alebo skúsenosť s predchádzajúcimi výsledkami. Cieľom je zvoliť zdroj s vhodnými znalosťami, oprávnením, latenciou a cenou. Routing sa líši od sieťového load balancingu, ktorý rozdeľuje rovnakú službu podľa kapacity. Chybná trasa môže vrátiť nerelevantné údaje alebo obísť doménové kontroly.

Trénovanie neurónových sietí

Spätné šírenie chyby

Backpropagation

Backpropagation je výpočtový postup na získanie gradientov stratovej funkcie podľa parametrov neurónovej siete. Po doprednom výpočte predikcie sa chyba šíri výpočtovým grafom opačným smerom pomocou reťazového pravidla diferenciálneho počtu. Výsledné parciálne derivácie hovoria optimalizátoru, ako citlivo strata reaguje na zmenu každého parametra. Backpropagation sama neurčuje veľkosť aktualizácie váh, tú vykonáva optimalizačný algoritmus podľa gradientov, rýchlosti učenia a ďalších pravidiel.

Pravdepodobnostné modelovanie viacerých premenných

Spoločné pravdepodobnostné rozdelenie

Joint distribution

Joint distribution opisuje pravdepodobnosť alebo hustotu všetkých kombinácií hodnôt dvoch či viacerých náhodných premenných. Z nej možno marginalizáciou získať rozdelenie jednej premennej a podmienením rozdelenie pri známej hodnote inej premennej. Spoločné rozdelenie zachytáva závislosti, ktoré samostatné marginálne rozdelenia neurčujú. V AI sa používa v generatívnych modeloch, Bayesovských sieťach, latentných modeloch a pri formulácii učenia z párovaných dát. Pri vysokom počte premenných sa explicitná tabuľka stáva neúnosnou, preto sa rozdelenie faktorizuje alebo aproximuje.

Latentné reprezentácie naprieč zdrojmi dát

Spoločné učenie reprezentácií

Joint representation learning

Joint representation learning je učenie latentných znakov, ktoré sú súčasne informatívne pre viac modalít, pohľadov, domén alebo úloh. Model môže vytvárať jeden zdieľaný vektor, koordinované modality-špecifické vektory alebo rozklad na spoločnú a súkromnú zložku. Ciele zahŕňajú koreláciu, kontrastívne párovanie, rekonštrukciu, predikciu a regularizáciu nezávislosti. Úspech znamená prenositeľnosť a zachovanie relevantnej spoločnej informácie, nie iba nízku tréningovú stratu. Nadmerné zosúladenie môže odstrániť unikátny signál jednej modality alebo zosilniť spoločnú skratku.

Viacúlohové a end-to-end učenie

Spoločné učenie viacerých cieľov alebo komponentov

Joint learning

Joint learning je tréningová formulácia, v ktorej sa viac súvisiacich úloh, modalít alebo komponentov učí v jednom optimalizačnom probléme a zdieľa časť reprezentácie alebo parametrov. Celková strata kombinuje jednotlivé ciele, prípadne obsahuje väzby medzi ich výstupmi. Spoločné učenie môže zlepšiť dátovú efektívnosť a induktívny prenos, ak úlohy využívajú kompatibilné znaky. Pri konflikte gradientov alebo rozdielnych škálach strát však jedna úloha poškodzuje inú. Návrh preto zahŕňa váženie cieľov, sampling, architektúru zdieľania a samostatné metriky pre každú úlohu.

Multimodálne reprezentácie

Spoločné vektorové vnorenie viacerých modalít alebo pohľadov

Joint embedding

Joint embedding je reprezentácia, v ktorej sa objekty z rôznych modalít, domén alebo pohľadov mapujú do zdieľaného vektorového priestoru tak, aby sémanticky súvisiace položky ležali blízko. Typickým príkladom sú páry obrázok a text, používateľ a položka alebo otázka a odpoveď. Enkodéry môžu byť odlišné, no tréningový cieľ zosúlaďuje ich výstupy kontrastívnou, metrickou alebo predikčnou stratou. Geometria priestoru umožňuje cross-modal retrieval a zero-shot prenos. Kvalita závisí od párovania dát, negatívnych príkladov, normalizácie a významu použitej vzdialenosti.

Optimalizačný postup pre zložené AI systémy

Spoločný tréning prepojených modelových častí

Joint training

Joint training je praktický tréningový režim, v ktorom sa parametre viacerých modulov alebo cieľov aktualizujú v spoločnom optimalizačnom cykle. Gradient môže prechádzať cez celý zložený systém, napríklad retriever a generátor, enkóder a dekóder alebo viac výstupných hláv. Režim sa odlišuje od oddeleného predtrénovania a následného zmrazenia komponentov. Výhodou je prispôsobenie modulov spoločnému cieľu, nevýhodou nestabilita, veľké pamäťové nároky a možnosť, že jeden modul využije skratku na úkor druhého. Harmonogram môže striedať fázy spoločných a samostatných aktualizácií.

Jazykové technológie

Spracovanie prirodzeného jazyka

Natural language processing

Natural language processing, skrátene NLP, je interdisciplinárna oblasť, ktorá vyvíja metódy na výpočtové spracovanie ľudského jazyka v textovej alebo rečovej forme. Zahŕňa reprezentáciu jazyka, analýzu štruktúry a významu, extrakciu informácií, vyhľadávanie, preklad, klasifikáciu, sumarizáciu, dialóg aj generovanie. NLP spája lingvistiku, štatistiku a strojové učenie. Konkrétny systém nemusí jazyku rozumieť ľudským spôsobom, môže iba spoľahlivo vykonávať úzko definovanú transformáciu.

Robustné počítačové videnie

Spracovanie zakrytia objektu

Occlusion handling

Occlusion handling označuje metódy, ktorými systém počítačového videnia rozpoznáva a kompenzuje čiastočné alebo úplné zakrytie objektu iným objektom, hranicou obrazu alebo vlastnou časťou. Model môže využívať viditeľné fragmenty, kontext, hĺbku, časovú kontinuitu, amodálnu reprezentáciu a pamäť predchádzajúceho vzhľadu. Pri detekcii ide o zachovanie správnej lokalizácie, pri trackingu o udržanie identity počas neviditeľnosti. Systém musí zároveň odlíšiť zakrytie od odchodu zo scény, čo bez ďalších senzorov nemusí byť jednoznačné.

Dôveryhodná a zodpovedná AI

Spravodlivosť AI

Fairness

Fairness v AI je kontextová vlastnosť systému, pri ktorej sa skúma, či jeho návrh, dáta, rozhodovacie pravidlá a používanie nevytvárajú neodôvodnené alebo škodlivé rozdiely medzi jednotlivcami či skupinami. Neexistuje jedna univerzálna matematická definícia spravodlivosti. Požiadavky môžu vychádzať z rovnosti zaobchádzania, rovnosti príležitostí, proporcionality, procesnej spravodlivosti alebo právnych noriem. Posúdenie preto spája štatistické meranie s analýzou dopadov a kontextu.

Reprodukovateľnosť vysvetľovacej vrstvy

Stabilita vysvetlení AI

XAI stability

XAI stability vyjadruje, do akej miery vysvetľovacia metóda poskytuje konzistentné výsledky pri opakovanom výpočte, podobných vstupoch alebo porovnateľných verziách modelu. Stabilita sa hodnotí voči presne určenej zmene, napríklad náhodnému seedu explaineru, bootstrapovej vzorke alebo malému posunu vstupu. Nevyžaduje absolútnu zhodu, ale primeranú kontinuitu vzhľadom na zmenu predikcie. Vysoká stabilita sama nepreukazuje správnosť ani kauzálnosť vysvetlenia.

Optimalizácia modelov

Stochastický gradientný zostup

Stochastic gradient descent

Stochastic gradient descent je iteratívna optimalizačná metóda, ktorá aktualizuje parametre pomocou gradientu straty vypočítaného z jedného príkladu alebo malej náhodnej dávky namiesto celého datasetu. Odhad gradientu je šumový, no lacný a umožňuje škálovať učenie na veľké dáta. Rýchlosť učenia, poradie príkladov, veľkosť dávky, momentum a plánovanie kroku ovplyvňujú konvergenciu. V hlbokom učení sa názov SGD často používa aj pre mini-batch variant. Reprodukovateľnosť vyžaduje zaznamenať seed, poradie dávok, paralelizáciu a presnosť výpočtu.

Optimalizácia detektora

Stratová funkcia pri tréningu YOLO

YOLO loss function

YOLO loss function je zložený tréningový cieľ, ktorý kombinuje chybu lokalizácie rámca, klasifikácie a podľa architektúry aj objektovosti, distribúcie súradníc alebo ďalších pomocných úloh. Lokalizačná zložka často využíva variant IoU straty, klasifikácia binárnu krížovú entropiu alebo príbuzný cieľ a váhy jednotlivých častí určujú ich relatívny gradientový vplyv. Konkrétna formula sa medzi verziami YOLO mení. Hodnotu celkovej straty preto nemožno porovnávať medzi implementáciami bez znalosti normalizácie a priradenia pozitívnych vzoriek.

Súkromie, bezpečnosť a správa modelov

Strojové odúčanie

Unlearning

Unlearning je súbor metód, ktorých cieľom je odstrániť alebo podstatne obmedziť vplyv určených tréningových dát, používateľov, tried alebo znalostí z už natrénovaného modelu. Exact unlearning má viesť k výsledku ekvivalentnému pretrénovaniu bez odstránených dát, approximate unlearning hľadá lacnejšiu aproximáciu. Úspech nemožno posúdiť iba tým, že model prestane reprodukovať jeden text. Potrebné sú testy členstva, memorovania, výkonu, vedľajších škôd a opakovaného učenia odstráneného obsahu. Požiadavka na odstránenie sa viaže na identifikátory dát, všetky derivované artefakty, modelové verzie a dôkaz vykonania.

Základné disciplíny umelej inteligencie

Strojové učenie

Machine learning

Machine learning je oblasť umelej inteligencie, v ktorej sa výpočtový systém učí pravidelnosti z dát, skúseností alebo spätnej väzby namiesto toho, aby boli všetky rozhodovacie pravidlá naprogramované ručne. Učenie mení parametre, reprezentácie alebo politiku systému tak, aby zlepšil výkon podľa zvoleného cieľa. Patrí sem učenie s učiteľom, bez učiteľa, samoučenie aj posilňované učenie. Výsledok závisí od dátovej distribúcie, cieľovej funkcie, architektúry, optimalizácie a spôsobu evaluácie.

Súkromie, bezpečnosť a governance dát

Strojové učenie chrániace súkromie

Privacy-preserving machine learning

Privacy-preserving machine learning zahŕňa techniky a procesy, ktoré obmedzujú odhalenie osobných alebo citlivých informácií počas zberu dát, tréningu, inference, zdieľania modelu a vyhodnocovania. Patrí sem diferenciálne súkromie, federated learning, secure aggregation, homomorfné šifrovanie, trusted execution environments, syntetické dáta a minimalizácia príznakov. Každá technika chráni iný povrch hrozby a prináša kompromis medzi presnosťou, výkonom, auditovateľnosťou a zložitosťou. Ochrana modelu nenahrádza právny základ, účelové obmedzenie ani riadenie prístupu.

Spracovanie prirodzeného jazyka

Strojový preklad

Machine translation

Machine translation je automatická transformácia textu alebo reči zo zdrojového jazyka do cieľového jazyka pri zachovaní významu, komunikačného zámeru a primeranej jazykovej formy. Moderné systémy používajú neurónové sekvenčné alebo transformerové modely, často trénované na paralelných korpusoch a doplnené viacjazyčným predtréningom. Kvalita sa neobmedzuje na slovnú zhodu, zahŕňa terminológiu, kontext, štýl, pomenované entity, gramatiku a vhodnosť pre konkrétnu doménu.

Nízkozdrojové a viacjazyčné NLP

Strojový preklad bez paralelných dát jazykového páru

Zero-resource machine translation

Zero-resource machine translation označuje preklad medzi zdrojovým a cieľovým jazykom bez priameho paralelného korpusu pre daný jazykový pár. Systém môže využiť pivotný jazyk, viacjazyčný model, monolingválne korpusy, spätný preklad, spoločný subword priestor alebo lexikálne zarovnanie. V prísnom zero-resource nastavení neexistujú párové vety pre cieľovú dvojicu, no model stále využíva dáta v jednotlivých jazykoch alebo v iných pároch. Kvalitu obmedzuje doména, písmo, typologická vzdialenosť a nerovnováha zdrojov.

Dopredná automatická diferenciácia

Súčin Jacobiho matice s vektorom

Jacobian-vector product

Jacobian-vector product, JVP, je súčin J_f(x)v, ktorý vyjadruje smerovú deriváciu vektorovej funkcie f v bode x pozdĺž vektora v. Výpočet poskytne zmenu všetkých výstupov pri infinitesimálnej zmene vstupu v zadanom smere bez potreby materializovať celý Jacobian. JVP je prirodzeným primitívom forward-mode automatickej diferenciácie a je výhodný, keď je počet vstupných smerov menší než počet výstupov. Používa sa pri diferenciálnych rovniciach, meta-učení, implicitných modeloch, odhadoch stôp a analýze lokálnej dynamiky siete.

Dáta, súkromie a simulácia

Syntetické dáta

Synthetic data

Synthetic data sú umelo vytvorené záznamy, obrazy, texty, signály alebo scenáre, ktoré napodobňujú vybrané vlastnosti reálnych dát alebo vznikajú zo simulácie. Používajú sa na rozšírenie vzácnych tried, testovanie, ochranu súkromia a tréning v situáciách, kde reálne dáta chýbajú. Syntetickosť sama osebe nezaručuje anonymitu, reprezentatívnosť ani absenciu autorských a licenčných problémov. Hodnotí sa užitočnosť, podobnosť distribúcií, memorovanie a riziko úniku. Dôležitý je aj podiel syntetických príkladov, pretože príliš veľa generovaných dát môže zúžiť variabilitu.

Rečové technológie

Syntéza reči z textu

Text-to-speech

Text-to-speech je technológia, ktorá premieňa text na zvukový signál reči. Typický systém spracuje text, určí výslovnosť, rytmus a intonáciu, vytvorí akustickú reprezentáciu a vocoderom ju prevedie na zvuk. Neurónové modely môžu napodobniť konkrétny hlas alebo riadiť štýl prejavu. Kvalita sa neposudzuje iba prirodzenosťou, ale aj zrozumiteľnosťou, správnou výslovnosťou mien a čísel, stabilitou dlhého textu, latenciou a oprávnením používať hlasový profil. Hlasový model sa testuje osobitne na skratkách, jednotkách, adresách, cudzích menách a dlhých číselných reťazcoch.

Riadenie konverzačných a agentných systémov

Systémový prompt

System prompt

System prompt je nadradená inštrukčná vrstva od poskytovateľa alebo prevádzkovateľa aplikácie, ktorá nastavuje rolu, pravidlá, hranice, dostupné nástroje a očakávaný spôsob správania jazykového modelu. V chatových rozhraniach býva oddelená od používateľského vstupu a má vyššiu prioritu podľa konkrétnej hierarchie správ. Nie je bezpečnostnou hranicou sama osebe, pretože môže byť neúplná, konfliktne navrhnutá alebo obchádzaná nepriamou inštrukciou z externého obsahu. Jeho verzia musí byť súčasťou logu a evaluačného výsledku, aby sa správanie dalo spätne vysvetliť.

Výkon modelov a plánovanie výpočtu

Škálovací zákon

Scaling law

Scaling law je empirický vzťah opisujúci, ako sa chyba alebo iná metrika modelu mení s veľkosťou modelu, množstvom tréningových dát a výpočtovým rozpočtom. V jazykových modeloch sa často pozorujú približné mocninové závislosti v určitom rozsahu experimentov. Zákon nie je univerzálnou zárukou rastu schopností. Platí pre konkrétnu architektúru, dátový režim, optimalizáciu a metriku a môže sa porušiť pri nedostatku kvalitných dát alebo zmene úlohy. Samostatne sa overuje, či pokles straty prináša zlepšenie používateľsky dôležitých schopností.

Transformer a mechanizmy pozornosti

Škálovaná pozornosť skalárnym súčinom

Scaled dot-product attention

Scaled dot-product attention počíta zhodu medzi dopytmi Q a kľúčmi K pomocou skalárnych súčinov, výsledky delí odmocninou rozmeru kľúča a po aplikácii softmaxu nimi váži hodnoty V. Škálovanie obmedzuje príliš veľké skóre pri vysokom rozmere, ktoré by nasýtilo softmax a zhoršilo gradienty. Mechanizmus môže používať masku, napríklad na zákaz pohľadu na budúce tokeny. Je základným výpočtom mnohých transformerových architektúr. Pri multi-head variante sa tento výpočet opakuje v niekoľkých projekčných podpriestoroch.

Optimalizácia inferencie jazykových modelov

Špekulatívne dekódovanie

Speculative decoding

Speculative decoding je technika zrýchlenia autoregresívneho generovania, pri ktorej menší alebo lacnejší draft model navrhne viac tokenov a cieľový model ich overí paralelne v jednom alebo menšom počte krokov. Ak sa použije správny akceptačný algoritmus, výsledné rozdelenie môže zostať zhodné s bežným vzorkovaním cieľového modelu. Zrýchlenie závisí od ceny draftu, miery prijatia tokenov, hardvéru, dĺžky návrhu a režimu dávkovania. Meranie musí oddeliť čas do prvého tokenu, rýchlosť pokračovania a správanie pri súbežných požiadavkách.

Integrácia LLM a dátové kontrakty

Štruktúrovaný výstup

Structured output

Structured output je výstup generatívneho modelu, ktorý musí zodpovedať vopred určenému strojovo čitateľnému formátu, napríklad JSON objektu, XML dokumentu, tabuľke alebo volaniu nástroja. Súlad možno podporiť promptom, následným parserom alebo vynútiť constrained decodingom podľa gramatiky či schémy. Syntaktická validita nepotvrdzuje faktickú správnosť ani oprávnenosť hodnoty. Produkčný systém preto osobitne overuje schému, typy, rozsahy, väzby a doménové pravidlá. Verzia schémy je súčasťou API kontraktu a zmena povinného poľa môže byť nekompatibilná.

Kvalita dát a robustné učenie

Šum v cieľových štítkoch

Label noise

Label noise označuje nesúlad medzi zaznamenaným cieľovým štítkom a latentným alebo zamýšľaným cieľom úlohy. Chyby môžu byť náhodné, triedovo asymetrické alebo závislé od konkrétnej vzorky, napríklad keď sú hraničné prípady častejšie označené nesprávne. Zdrojom býva nejednoznačné zadanie, automatické slabé označovanie, chyba merania, zmena taxonómie alebo rozdielne úsudky anotátorov. Hlboké siete dokážu nesprávne labely memorovať, preto treba sledovať čistotu dát aj robustnosť tréningu.

Tabuľkové posilňované učenie

Tabuľka Q-hodnôt

Q-table

Q-table je explicitná tabuľková reprezentácia akčnej hodnotovej funkcie pre konečný alebo diskretizovaný priestor stavov a akcií. Riadok zvyčajne zodpovedá stavu, stĺpec akcii a bunka obsahuje odhad očakávaného návratu. Hodnoty sa aktualizujú pri učení, napríklad pravidlom Q-learningu. Tabuľka umožňuje priamu kontrolu a reprodukciu, no jej veľkosť rastie súčinom počtu stavov a akcií. Neposkytuje prirodzenú generalizáciu medzi podobnými stavmi.

Dátové štruktúry a podniková analytika

Tabuľkové dáta

Tabular data

Tabular data sú údaje usporiadané do riadkov a stĺpcov, kde riadok zvyčajne predstavuje pozorovanie a stĺpec konkrétnu vlastnosť. Stĺpce môžu obsahovať čísla, kategórie, dátumy, textové identifikátory alebo chýbajúce hodnoty. Pri strojovom učení je rozhodujúca sémantika stĺpcov, jednotky, čas vzniku a pravidlá výberu riadkov. Samotná obdĺžniková forma nezaručuje nezávislosť záznamov ani vhodnosť náhodného delenia dát. Pri audite sa kontroluje aj granularita riadka, aby jeden záznam nepredstavoval raz osobu a inokedy udalosť.

Distribuovaný tréning a inferencia

Tensorový paralelizmus

Tensor parallelism

Tensor parallelism rozdeľuje výpočet jednej vrstvy a jej parametre medzi viac akcelerátorov, typicky delením matíc po riadkoch alebo stĺpcoch. Každé zariadenie spracuje iba časť násobenia, po ktorej nasleduje kolektívna komunikácia na zostavenie výsledku. Umožňuje prevádzkovať model, ktorého vrstvy sa nezmestia na jeden čip, no pridáva synchronizáciu a závisí od rýchlej prepojovacej siete. Líši sa od data parallelismu, kde každé zariadenie drží kópiu modelu. Plán delenia sa optimalizuje spolu s veľkosťou siete, sekvenciou a topológiou prepojenia medzi zariadeniami.

Dekódovanie a kalibrácia

Teplota pravdepodobnostného rozdelenia

Temperature

Temperature je kladný parameter, ktorý pred softmaxom škáluje logity modelu a tým mení ostrosť výsledného pravdepodobnostného rozdelenia. Hodnota menšia než jedna zvýrazní rozdiely medzi kandidátmi, vyššia hodnota rozdelenie sploští. Pri generovaní ovplyvňuje variabilitu vzorkovania, nie množstvo vedomostí ani pravdivosť modelu. Pri kalibrácii sa temperature scaling používa ako naučená transformácia logits na validačných dátach, čo je odlišný účel od kreatívneho dekódovania. Hodnota parametra sa uvádza spolu s modelom, seedom a ostatnými logits procesormi, inak experiment nemožno zopakovať.

Jazykové dáta a znalostné zdroje

Textový alebo multimodálny korpus

Corpus

Corpus je systematicky zhromaždená kolekcia jazykových alebo multimodálnych dát určená na výskum, tréning, evaluáciu alebo vyhľadávanie. Môže obsahovať dokumenty, prepisy reči, dialógy, anotácie, obrázky s popismi a metadáta o pôvode, jazyku, čase a licencii. Korpus nie je iba priečinok súborov, jeho použiteľnosť závisí od kritérií výberu, reprezentatívnosti, deduplikácie, kvality anotácií a dokumentácie. Rovnaký obsah môže byť vhodný pre fulltext, ale nevhodný na tréning modelu pre právne, súkromné alebo metodické obmedzenia.

Predspracovanie textu

Tokenizer

Tokenizer je komponent, ktorý normalizuje a segmentuje text na tokeny, mapuje ich na identifikátory a vytvára pomocné údaje, napríklad attention masku, offsety alebo špeciálne tokeny. Jeho slovník a algoritmus, napríklad BPE, WordPiece, Unigram alebo bajtové kódovanie, sú súčasťou modelového kontraktu. Tokenizer ovplyvňuje dĺžku sekvencie, spracovanie jazykov, hranice slov a spätné dekódovanie. Nekompatibilný tokenizer môže úplne znehodnotiť modelové váhy. Verzia tokenizéra, normalizačné pravidlá a súbory slovníka patria do rovnakého artefaktu ako modelové váhy.

AI hardvér a infraštruktúra

TPU, špecializovaný akcelerátor Google

Tensor Processing Unit

Tensor Processing Unit je aplikačne špecifický integrovaný obvod navrhnutý spoločnosťou Google na zrýchlenie úloh strojového učenia, najmä rozsiahlych maticových operácií. TPU systémy spájajú výpočtové jednotky, vysokorýchlostnú pamäť a prepojovaciu sieť do konfigurácií pre tréning aj inferenciu. Výkon závisí od podporovaných operácií, dátových typov, tvarov tensorov a kompilácie grafu. TPU nie je všeobecná náhrada CPU alebo GPU pre každý algoritmus. Výkonové tvrdenia sa majú viazať na konkrétnu generáciu TPU, presnosť, framework a veľkosť úlohy.

Architektúry počítačového videnia

Transformer pre počítačové videnie

Vision transformer

Vision Transformer, ViT, spracúva obraz ako sekvenciu patchov. Každý patch sa lineárne mapuje na token, doplní sa pozičná informácia a séria transformerových blokov používa self-attention na modelovanie vzťahov medzi oblasťami. Pôvodný ViT dosiahol silný výkon pri veľkom predtrénovaní, no mal menší zabudovaný priestorový bias než CNN. Moderné varianty menia veľkosť patchov, hierarchiu, lokálne okná alebo token pooling. Výpočtová náročnosť attention rastie s počtom vizuálnych tokenov, teda aj s rozlíšením.

Architektúry hlbokého učenia

Transformerová neurónová architektúra

Transformer

Transformer je neurónová architektúra založená na attention mechanizmoch, pozičnej informácii, dopredných blokoch, reziduálnych spojeniach a normalizácii. Spracúva vzťahy medzi pozíciami bez rekurencie a umožňuje paralelný tréning sekvencií. Môže mať encoder, decoder alebo obe časti a používa sa pre text, obraz, zvuk aj multimodálne dáta. Štandardná self-attention má kvadratické nároky podľa dĺžky sekvencie, preto dlhý kontext vyžaduje veľkú pamäť alebo upravené attention metódy. Konkrétny transformer sa opisuje počtom vrstiev, skrytým rozmerom, typom attention, pozičným kódovaním a kontextom.

Kompresia modelov

Tréning so simulovanou kvantizáciou

Quantization-aware training

Quantization-aware training, skrátene QAT, simuluje numerické účinky budúcej kvantizácie počas tréningu alebo dolaďovania. Do výpočtového grafu vkladá fake-quantization operácie, ktoré zaokrúhľujú a orezávajú hodnoty ako nízkobitová aritmetika, no gradienty sa prenášajú aproximovaným spôsobom. Model sa tak môže prispôsobiť chybám kvantizácie skôr, než sa exportuje do skutočného integer formátu. QAT nezaručuje zrýchlenie a podporované vrstvy, rozsahy aj formát musia zodpovedať cieľovému backendu.

Optimalizácia modelu

Tréningová stratová funkcia a jej hodnota

Training loss

Training loss je hodnota cieľovej funkcie vypočítaná na tréningových príkladoch, ktorú optimalizátor používa na aktualizáciu parametrov. Môže byť priemerom cross-entropy, regresnej chyby, kontrastívnej straty alebo kombinácie viacerých členov a regularizácií. Pokles tréningovej straty znamená lepšie prispôsobenie použitým dátam podľa zvoleného cieľa, nie automaticky lepší výkon na nových dátach. Interpretácia vyžaduje validačnú stratu, škálu, spôsob agregácie a zloženie dávok. Graf straty sa interpretuje spolu s learning rate, gradient normou, priepustnosťou a validačnými checkpointmi.

Dáta, učenie a riadenie pôvodu

Tréningové dáta

Training data

Training data sú príklady použité na odhad parametrov modelu alebo na prispôsobenie jeho správania. Môžu obsahovať vstupy, štítky, preferencie, páry otázka a odpoveď, simulácie alebo neoznačený obsah pre self-supervised učenie. Ich význam určuje nielen objem, ale aj pôvod, licencia, reprezentatívnosť, kvalita anotácie, časové obdobie a spôsob vzorkovania. Tréningové dáta musia zostať oddelené od validačných a testovacích dát, inak sa výkon nadhodnotí. Verzia datasetu sa viaže na konkrétny tréningový beh a obsahuje zoznam vylúčení, opráv a známych medzier.

Dátová príprava a modelovanie

Tvorba a úprava vstupných vlastností

Feature engineering

Feature engineering je proces navrhovania, transformácie a kódovania vstupných vlastností tak, aby reprezentácia údajov zodpovedala modelu a riešenej úlohe. Zahŕňa napríklad škálovanie, logaritmické transformácie, časové okná, agregácie, kategóriové kódovanie, interakcie a doménové ukazovatele. Postup sa musí učiť iba z tréningovej časti a následne aplikovať identicky na validáciu aj produkciu. Dôležité sú verzovanie, časová korektnosť, reprodukovateľnosť a ochrana pred leakage.

Mechanizmy pozornosti a sekvenčné rozhodovanie

Tvrdá pozornosť

Hard attention

Hard attention je mechanizmus, ktorý z množiny možných častí vstupu vyberie jednu položku alebo malý diskrétny podmnožinový výrez a ďalší výpočet vykoná iba nad ním. Na rozdiel od mäkkej pozornosti nevytvára vážený priemer všetkých prvkov. Diskrétny výber môže znížiť výpočtové náklady a priniesť zrozumiteľnú stopu zamerania, no operácia výberu spravidla nie je priamo diferencovateľná. Tréning preto používa odhady gradientu, reinforcement learning, Gumbel-Softmax alebo inú relaxáciu. Zvolená oblasť nemusí predstavovať úplné kauzálne vysvetlenie predikcie.

Paradigmy strojového učenia

Učenie bez cieľových štítkov

Unsupervised learning

Unsupervised learning je učenie modelu z dát bez explicitne poskytnutej cieľovej premennej pre každý príklad. Algoritmus hľadá štruktúru podľa vlastného cieľa, napríklad minimalizuje rekonštrukčnú chybu, zoskupuje podobné body, odhaduje hustotu alebo učí latentnú reprezentáciu. Výsledné zhluky a osi nemajú automaticky ľudský význam ani správny počet kategórií. Hodnotenie preto používa stabilitu, interné kritériá, rekonštrukciu, downstream úlohy a odbornú interpretáciu, nie klasickú accuracy bez referenčných štítkov. Výstup sa musí porovnať s jednoduchými alternatívami, pretože zložitá latentná mapa nemusí priniesť lepšie rozhodnutie.

Reprezentačné učenie a podobnosť

Učenie metriky

Metric learning

Metric learning je učenie reprezentácie alebo vzdialenostnej funkcie tak, aby geometrická blízkosť zodpovedala požadovanej sémantickej podobnosti. Tréning využíva páry, trojice alebo skupiny príkladov a straty, ktoré priťahujú súvisiace vzorky a oddeľujú nesúvisiace. Výsledkom môže byť lineárna Mahalanobisova metrika alebo neurónový embedding. Úspech závisí od stratégie výberu pozitívnych a negatívnych príkladov, definície podobnosti, normalizácie vektorov a evaluácie na nových identitách či triedach.

Vedecké strojové učenie

Učenie operátorov

Operator learning

Operator learning je oblasť strojového učenia, ktorá aproximuje mapovanie medzi funkčnými priestormi, teda operátor, namiesto mapovania konečne rozmerného vektora na iný vektor. Vstupom môže byť celé pole počiatočných podmienok, koeficientov alebo zdrojov a výstupom riešenie diferenciálnej rovnice ako funkcia priestoru a času. Architektúry ako DeepONet alebo Fourier Neural Operator sa učia rodinu riešení naprieč mnohými inštanciami problému. Generalizácia závisí od diskretizácie, pokrytia funkcií, fyzikálnych obmedzení a stability mimo tréningového rozsahu.

Stratégie tréningu a poradie príkladov

Učenie podľa kurikula

Curriculum learning

Curriculum learning je tréningová stratégia, pri ktorej sa poradie alebo výber príkladov mení od jednoduchších či spoľahlivejších k náročnejším, podobne ako učebné kurikulum. Obtiažnosť môže určiť človek, heuristika alebo model a plán môže meniť dáta, úlohy, šum či dĺžku sekvencie. Cieľom je zlepšiť optimalizáciu, rýchlosť alebo generalizáciu tým, že model najprv získa stabilné reprezentácie. Nesprávne kurikulum môže vytvoriť bias, oneskoriť dôležité hraničné prípady alebo viesť k zabudnutiu, preto sa porovnáva s náhodným poradím.

Príznaky, embeddingy a prenos učenia

Učenie reprezentácií

Representation learning

Representation learning je učenie transformácie, ktorá prevádza surové dáta na interné príznaky alebo embeddingy vhodné pre jednu či viac následných úloh. Reprezentácia môže vzniknúť supervised, self-supervised, unsupervised alebo kontrastívnym tréningom. Dobrá reprezentácia zachytáva relevantné faktory variability, potláča rušivé zmeny a umožňuje jednoduchšiemu downstream modelu využiť informáciu s menším množstvom labelov. Kvalita však závisí od cieľovej úlohy, dátovej distribúcie a toho, ktoré invariancie tréning podporil.

Kvalita dát a robustné učenie

Učenie s chybnými anotáciami

Noisy label learning

Noisy label learning skúma tréning modelov v situácii, keď časť cieľových označení je nesprávna, nejednoznačná alebo nekonzistentná. Šum môže byť náhodný, závislý od skutočnej triedy, vstupu, anotátora alebo zberového procesu. Metódy využívajú robustné straty, odhad prechodovej matice, výber malých strát, co-teaching, korekciu labelov alebo semi-supervised učenie. Kľúčové je rozlíšiť chybné označenie od ťažkého, ale legitímneho príkladu, inak čistenie odstráni dôležitú hranicu rozhodovania.

Prenos znalostí na nevidené triedy

Učenie s nulovým počtom príkladov cieľovej triedy

Zero-shot learning

Zero-shot learning je rámec, v ktorom model počas tréningu nedostane označené príklady jednej alebo viacerých cieľových tried, ale pri inferencii ich má rozpoznať pomocou pomocnej sémantickej informácie. Tou môžu byť atribúty, textové opisy, názvy tried, znalostný graf alebo spoločný embedding. Klasické nastavenie oddeľuje seen a unseen triedy, generalizované nastavenie testuje obe skupiny naraz. Úspech závisí od kvality sémantického mosta a od obmedzenia biasu smerom k známym triedam.

Tréning sekvenčných modelov

Učenie s referenčným predchádzajúcim tokenom

Teacher forcing

Teacher forcing je tréningový postup pre autoregresívny dekóder, pri ktorom model pri predikcii ďalšieho kroku dostáva ako predchádzajúci vstup správny referenčný token, nie vlastnú skoršiu predikciu. Uľahčuje optimalizáciu a umožňuje paralelnejšie spracovanie cieľovej sekvencie. Vzniká však rozdiel medzi tréningom a inferenciou, pretože pri nasadení model pokračuje z vlastných výstupov. Skorá chyba sa potom môže kumulovať spôsobom, ktorý počas tréningu nezažil. Pomer referenčných a modelových tokenov je súčasťou tréningového protokolu a musí byť reprodukovateľný.

Posilňované učenie a odhad hodnôt

Učenie z časového rozdielu

Temporal-difference learning

Temporal-difference learning, skrátene TD learning, aktualizuje odhad hodnoty zo súčtu okamžitej odmeny a diskontovaného odhadu nasledujúceho stavu. Rozdiel medzi týmto bootstrapovým cieľom a aktuálnym odhadom sa nazýva TD error. Metóda sa môže učiť po každom kroku bez čakania na koniec epizódy a tvorí základ algoritmov SARSA, Q-learning a actor-critic. Pretože cieľ sám závisí od odhadu modelu, kombinácia aproximácie funkcie, off-policy dát a agresívnych aktualizácií môže viesť k nestabilite.

Učenie s veľmi malým počtom ukážok

Učenie z jedného príkladu

One-shot learning

One-shot learning je nastavenie, v ktorom má model rozpoznať alebo osvojiť novú triedu, objekt či úlohu z jedinej označenej ukážky na triedu, pričom využíva reprezentáciu naučenú z iných dát. Bežné prístupy používajú metrické učenie, prototypy, siamské siete, generatívne rozšírenie alebo silný predtrénovaný model. Nejde o tréning komplexného modelu od nuly na jednom zázname. Hodnotenie musí oddeliť triedy použité na metaučenie od nových tried a opakovať epizódy s rôznymi support a query príkladmi.

Adaptácia jazykových modelov bez zmeny váh

Učenie z kontextu

In-context learning

In-context learning je schopnosť modelu prispôsobiť svoje správanie na základe inštrukcie a príkladov vložených priamo do aktuálneho vstupu bez aktualizácie parametrov. Prompt môže obsahovať opis úlohy, niekoľko dvojíc vstup a výstup, formát odpovede alebo pracovné pravidlá. Model využije vzory naučené počas predtrénovania a v rámci kontextového okna odhadne požadované zobrazenie. Nejde o trvalé doučenie, preto sa informácia po skončení požiadavky sama nezapíše do váh. Výsledok je citlivý na výber príkladov, ich poradie, formuláciu, konflikty a dĺžku kontextu. Schopnosť môže napodobňovať učenie, hoci mechanizmus zostáva inferenčný.

Adaptácia modelov a generatívna AI

Učenie z malého počtu príkladov

Few-shot learning

Few-shot learning je rodina postupov, ktorých cieľom je zvládnuť novú triedu alebo úlohu z malého počtu označených príkladov. V klasickom ML môže využívať meta-learning, metric learning, prototypové reprezentácie alebo prenos z predtrénovaného modelu. Pri generatívnych modeloch sa výraz často používa aj pre few-shot prompting, kde sa niekoľko demonštrácií vloží do kontextu bez aktualizácie parametrov. Výsledok závisí od podobnosti úloh, výberu príkladov, poradia a pokrytia variantov.

Režimy učenia a kvalita označení

Učenie zo slabých anotácií

Weakly supervised learning

Weakly supervised learning je širšia trieda metód, ktoré trénujú model z neúplných, nepresných alebo hrubých anotácií namiesto plne spoľahlivých štítkov požadovaných cieľovou úlohou. Slabosť môže znamenať šum v triedach, iba obrazové štítky pri požadovanej segmentácii, čiastočne označené príklady, párové obmedzenia alebo nepresnú lokalizáciu. Algoritmus využíva štruktúru dát, regularizáciu, latentné premenné alebo pomocné úlohy na odvodenie detailnejšieho cieľa. Výkon závisí od mechanizmu chýb a od toho, či je slabý signál identifikovateľný.

Retrieval a faktické podloženie odpovedí

Ukotvenie odpovede vo webových zdrojoch

Web grounding

Web grounding je proces, pri ktorom generatívny systém získava aktuálne alebo overiteľné informácie z webových zdrojov a viaže na ne tvrdenia vo výstupe. Pipeline zahŕňa formuláciu dotazu, retrieval, výber stránok, extrakciu relevantných pasáží, posúdenie dôveryhodnosti, syntézu a citovanie. Ukotvenie znižuje závislosť od parametrových znalostí, ale nezaručuje pravdivosť, pretože web môže byť chybný, zastaraný alebo manipulovaný. Kvalita sa hodnotí podľa podpory tvrdení, aktuálnosti, pokrytia a presnosti atribúcie.

RAG, generatívna AI a dôveryhodnosť

Ukotvenie vo dôkazoch

Evidence grounding

Evidence grounding je vlastnosť alebo návrhový postup, pri ktorom majú faktické tvrdenia generovaného výstupu oporu v explicitne dostupných zdrojoch, dátach alebo pozorovaniach. V RAG systéme zahŕňa získanie relevantných pasáží, ich poskytnutie modelu, obmedzenie odpovede na podporovaný obsah a overenie väzby medzi tvrdením a dôkazom. Samotné pripojenie citácie grounding nezaručuje, pretože zdroj môže byť nerelevantný alebo tvrdenie podporovať iba čiastočne. Hodnotí sa na úrovni jednotlivých claimov.

Generatívna AI a práca so zdrojmi

Ukotvenie výstupu

Grounding

Grounding je naviazanie výstupu AI na konkrétny overiteľný kontext, autoritatívne dáta, nástroj alebo stav prostredia. V generatívnych systémoch sa realizuje napríklad retrievalom dokumentov, citáciami, databázovým dotazom, volaním funkcie alebo obmedzením odpovede na poskytnuté dôkazy. Cieľom je znížiť nepodložené tvrdenia a zabezpečiť aktuálnosť či doménovú presnosť. Grounding však nie je záruka pravdy. Zdroj môže byť nesprávny, neaktuálny alebo zle interpretovaný a model môže citovať text, ktorý jeho záver v skutočnosti nepodporuje.

MLOps a dátová infraštruktúra

Úložisko a správa vstupných vlastností

Feature store

Feature store je infraštruktúrna vrstva na definovanie, výpočet, katalogizáciu, verziovanie a poskytovanie features pre tréning aj online inferenciu. Zvyčajne prepája offline store s historickými hodnotami, online store s nízkou latenciou, registry metadát a materializačné procesy. Kľúčovou funkciou je časovo korektné zostavenie tréningových dát a konzistentná implementácia tej istej feature v produkcii. Feature store nerieši automaticky kvalitu, oprávnenosť ani význam údajov.

Aplikačná AI a infraštruktúra

Umelá inteligencia na okraji siete

Edge AI

Edge AI označuje vykonávanie AI funkcií na zariadení alebo na výpočtovom uzle blízko miesta, kde dáta vznikajú, namiesto výlučného odosielania do vzdialeného cloudu. Môže ísť o lokálnu inferenciu, priebežnú adaptáciu alebo časť distribuovaného tréningu. Návrh musí zohľadniť obmedzený výkon, pamäť, spotrebu, teplotu, konektivitu a bezpečné aktualizácie. Prínosom býva nižšia latencia, menší objem prenášaných dát a schopnosť fungovať aj pri prerušení siete. Nasadenie musí mať aj fallback pre prekročenie lokálnych limitov.

Redukcia rozmernosti a vizualizácia

Uniform Manifold Approximation and Projection

UMAP

UMAP je nelineárna metóda redukcie rozmernosti založená na aproximácii lokálnej varietnej štruktúry dát a jej reprezentácii pomocou váženého grafu susedností. Najprv odhaduje lokálne vzťahy vo vysokom rozmere, potom optimalizuje nízkorozmerné uloženie tak, aby podobné body zostali blízko. Parametre n_neighbors a min_dist riadia kompromis medzi lokálnymi zhlukmi a širšou štruktúrou. Výsledná mapa je užitočná, ale vzdialenosti a veľkosti zhlukov sa nesmú interpretovať ako presné meranie pôvodného priestoru. Reprodukovateľnosť vyžaduje uložiť metriku, seed, počet susedov, minimálnu vzdialenosť aj verziu implementácie.

Tokenizácia a jazykové modelovanie

Unigramový pravdepodobnostný model segmentácie

Unigram language model

Unigram language model v tokenizácii predpokladá, že text vzniká postupnosťou subword jednotiek, z ktorých každá má vlastnú pravdepodobnosť nezávislú od susedov. Tréning začína veľkým kandidátskym slovníkom a opakovane odstraňuje jednotky s malým prínosom k pravdepodobnosti korpusu, kým nedosiahne cieľovú veľkosť. Jedna veta môže mať viac platných segmentácií a algoritmus vyberie najpravdepodobnejšiu alebo vzorkuje alternatívy. Nejde o klasický n-gram model ďalšieho slova. Tokenizačný model sa verzuje spolu s normalizáciou a slovníkom, pretože zmena segmentácie mení všetky vstupy neurónovej siete.

Dátová integrita a evaluácia

Únik cieľovej informácie

Label leakage

Label leakage vzniká, keď sa informácia o cieľovom výsledku dostane do vstupných príznakov, procesu predspracovania alebo delenia dát spôsobom, ktorý nebude dostupný v okamihu reálnej predikcie. Môže ísť o priamy identifikátor výsledku, údaj vytvorený po udalosti, agregáciu vypočítanú aj z validačnej množiny alebo proxy premennú tak tesne previazanú s labelom, že obchádza zamýšľanú úlohu. Leakage vedie k nadhodnoteným metrikám a často sa prejaví až prudkým poklesom výkonu po nasadení.

Dôvernosť generatívnych aplikácií

Únik promptu alebo skrytého kontextu

Prompt leakage

Prompt leakage je nechcené odhalenie systémového promptu, skrytých inštrukcií, interného kontextu, príkladov, nástrojových schém alebo citlivých údajov vložených do kontextového okna. Môže vzniknúť explicitným útokom na prompt extraction, nepriamou otázkou, chybou v logovaní, debug výstupom alebo tým, že model reprodukuje obsah, ktorý mal iba použiť. Systémový prompt nemožno považovať za bezpečný trezor, preto v ňom nemajú byť heslá ani dlhodobé tajomstvá. Ochrana zahŕňa minimalizáciu kontextu, oddelené secret storage, redakciu výstupov, access control a testovanie extrakcie.

Bezpečnosť a robustnosť modelov

Univerzálna adversariálna perturbácia

Universal adversarial perturbation

Universal adversarial perturbation je jediný malý vzor úpravy vstupu, ktorý po pridaní k veľkému podielu rôznych príkladov spôsobí chybnú predikciu modelu. Na rozdiel od útoku optimalizovaného pre jeden obraz sa perturbácia učí tak, aby fungovala naprieč datasetom alebo triedami. Môže odhaliť spoločné zraniteľné smery rozhodovacej hranice. Úspešnosť závisí od normového obmedzenia, modelu, dát a transferu medzi architektúrami. Vizuálna nenápadnosť neznamená fyzickú realizovateľnosť ani rovnaký dopad v produkcii. Bezpečnostný report musí rozlíšiť digitálny útok, transformovaný vstup a fyzický experiment na reálnom senzore.

Textové embeddingy

Univerzálny encoder viet

Universal Sentence Encoder

Universal Sentence Encoder je rodina predtrénovaných modelov spoločnosti Google, ktoré mapujú vety alebo kratšie texty do pevných hustých vektorov určených pre prenos medzi NLP úlohami. Pôvodné varianty využívali transformer alebo Deep Averaging Network a učili sa na kombinácii konverzačných, inferenčných a ďalších jazykových cieľov. Vektory možno použiť na podobnosť, klasifikáciu, zhlukovanie alebo retrieval bez tréningu veľkého encoderu od nuly. Označenie universal neznamená rovnakú kvalitu pre každý jazyk, doménu a dĺžku textu. Model, modul, normalizácia a spôsob dávkovania sa ukladajú ako jedna verzovaná embeddingová pipeline.

Regularizácia a optimalizátory

Útlm váh počas optimalizácie

Weight decay

Weight decay je mechanizmus, ktorý pri každom optimalizačnom kroku zmenšuje vybrané parametre smerom k nule. Pri klasickom SGD je často algebraicky ekvivalentný L2 penalizácii pridanej k strate, no pri adaptívnych optimalizátoroch sa tieto formulácie môžu správať rozdielne. AdamW oddeľuje útlm parametrov od gradientovej aktualizácie. Cieľom je obmedziť nekontrolovaný rast váh a podporiť jednoduchšie riešenie, nie automaticky vytvoriť riedky model. Koeficient treba voliť spolu s learning rate, plánom tréningu a výnimkami pre biasy alebo normalizačné parametre.

Adversariálne strojové učenie a bezpečnosť

Útok s úplnou znalosťou cieľového modelu

White-box attack

White-box attack je adversariálny útok, pri ktorom útočník pozná alebo môže priamo používať vnútorné informácie cieľového systému, napríklad architektúru, parametre, gradienty, tréningový postup alebo obranné mechanizmy. Táto znalosť umožňuje optimalizovať vstup, poisoning stratégiu alebo extrakčný cieľ priamo voči modelu. V evasion scenári sa často počíta gradient straty podľa vstupu a hľadá sa perturbácia v povolenom priestore. White-box označuje úroveň znalosti a prístupu, nie konkrétny algoritmus ani automaticky najsilnejší realistický útok. Hodnotenie musí uviesť normu, rozpočet, počet krokov a adaptáciu na obranu.

Bezpečnosť AI a adversariálne strojové učenie

Útok so zadnými vrátkami

Backdoor attack

Backdoor attack je útok, pri ktorom útočník spôsobí, že model reaguje neželaným, vopred určeným spôsobom iba pri výskyte konkrétneho spúšťača. Spúšťač môže byť obrazový vzor, fráza, token, vlastnosť súboru alebo iný signál, ktorý sa pri bežnom testovaní nemusí objaviť. Zadné vrátka sa často implantujú otravou tréningových dát, zásahom do modelu alebo kompromitovanou dodávateľskou reťazou. Bez spúšťača môže model pôsobiť presne a bezpečne, čo sťažuje detekciu.

Adversariálne testovanie jazykových modelov

Útok zameraný na obídenie obmedzení modelu

Jailbreak attack

Jailbreak attack je zámerne zostavený priamy promptingový útok, ktorého cieľom je prinútiť generatívny model porušiť bezpečnostnú alebo behaviorálnu politiku. Útočník môže používať role-play, transformácie textu, tokenové obfuskácie, viac-krokové rozkladanie úlohy, konfliktné inštrukcie alebo optimalizované sufixy. Útok sa hodnotí podľa cieľa, znalosti systému, rozpočtu dotazov, prenositeľnosti a dosiahnutého porušenia. Pri autorizovanom red teamingu ide o test, pri neoprávnenom použití o bezpečnostnú hrozbu.

Typológia systémov umelej inteligencie

Úzka alebo slabá umelá inteligencia

Weak AI

Weak AI je neformálne označenie systému navrhnutého na obmedzený súbor úloh bez tvrdenia, že disponuje všeobecným porozumením, vedomím alebo ľudskou šírkou kognitívnych schopností. Pojem sa často používa ako synonymum narrow AI, pričom slabá neznamená nízky výkon. Systém môže v špecifickej oblasti prekonať človeka a zároveň zlyhať mimo tréningového alebo návrhového rozsahu. Termín nie je presnou regulačnou kategóriou, preto sa pri odbornom použití musí doplniť účel, doména, povolené vstupy a hranice generalizácie.

Reprezentačné učenie a architektúra

Úzka vrstva

Bottleneck layer

Bottleneck layer je vrstva alebo reprezentácia s obmedzenou kapacitou, cez ktorú musí prejsť informácia medzi širšími časťami modelu. Obmedzenie môže mať podobu menšieho počtu dimenzií, nižšej priepustnosti, kvantizácie alebo iného informačného limitu. V autoencoderoch núti encoder vytvoriť kompaktný latentný kód potrebný na rekonštrukciu. V residual architektúrach môže bottleneck znižovať výpočtovú cenu pomocou projekcií. Úzka vrstva sama nezaručuje užitočnú alebo sémantickú reprezentáciu, jej vlastnosti určujú cieľ, dáta, regularizácia a kapacita decoderu.

Parametre modelu

Váha neurónovej siete

Weight

Weight je učený číselný parameter, ktorý určuje silu a smer vplyvu jednej zložky reprezentácie na ďalší výpočet modelu. V lineárnej vrstve váhy tvoria maticu násobenú vstupom, v konvolúcii jadro zdieľané naprieč pozíciami a v attention projekčné matice pre dotazy, kľúče, hodnoty a výstup. Tréning mení váhy podľa gradientov a optimalizátora tak, aby znižoval cieľovú stratu. Samotná hodnota nemá univerzálny význam, pretože jej účinok závisí od architektúry, škály aktivácií a ostatných parametrov.

Kontrola konfigurácie

Validácia dát zapísaných v YAML

YAML schema validation

YAML schema validation je overenie, či dátová štruktúra načítaná z YAML spĺňa externé pravidlá pre typy, povinné polia, rozsahy, enumerácie, vzájomné závislosti a neznáme kľúče. YAML špecifikácia sama neposkytuje univerzálny aplikačný kontrakt, preto sa používajú mechanizmy ako JSON Schema, OpenAPI, Kubernetes schémy alebo typové modely knižníc. Validácia má prebehnúť po bezpečnom parsovaní a pred spustením tréningu či nasadenia. Syntakticky platný YAML totiž môže predstavovať vecne neplatnú konfiguráciu.

Evaluácia a výber modelu

Validačná množina

Validation set

Validation set je oddelená časť dostupných dát používaná počas vývoja na výber hyperparametrov, prahov, architektúry alebo okamihu ukončenia tréningu. Model sa na jej príkladoch priamo neučí aktualizáciou váh, no opakované rozhodovanie podľa validačných výsledkov prenáša informáciu z tejto množiny do vývojového procesu. Preto nesmie nahrádzať nezávislý testovací súbor. Rozdelenie musí rešpektovať čas, skupiny, entity a zdroj dát, inak môže vzniknúť leakage a nerealistický odhad generalizácie.

Tréning a diagnostika modelu

Validačná stratová funkcia

Validation loss

Validation loss je hodnota stratovej funkcie vypočítaná na validačných dátach pri modelových parametroch získaných z tréningu. Vyjadruje, ako dobre optimalizovaný cieľ funguje na príkladoch mimo aktualizácie váh. Sleduje sa po epochách pri early stoppingu, porovnávaní konfigurácií a diagnostike preučenia. Jej absolútna hodnota má význam iba spolu s konkrétnou stratou, škálou cieľa, váhami tried a spôsobom agregácie. Nízka validačná strata navyše nemusí znamenať dobrú kalibráciu, férovosť ani obchodný úžitok.

Bayesovské modelovanie a aproximácia posterioru

Variačná inferencia

Variational inference

Variational inference je metóda aproximácie zložitého posteriorného rozdelenia pomocou jednoduchšej parametrickej rodiny rozdelení. Inferencia sa prevedie na optimalizáciu, pri ktorej sa hľadá rozdelenie q najbližšie k skutočnému posterioru podľa zvolenej divergencie. Bežne sa maximalizuje evidence lower bound, skrátene ELBO, ktorý spája očakávanú logaritmickú vierohodnosť a penalizáciu odchýlky od prioru. Výsledná aproximácia môže byť rýchla, no obmedzená rodina q môže podhodnotiť neistotu alebo vynechať viaceré módy.

Generatívne modelovanie

Variačný autoenkóder

Variational autoencoder

Variational autoencoder, VAE, je latentný generatívny model, ktorý encoderom odhaduje parametre pravdepodobnostného rozdelenia latentnej premennej a decoderom rekonštruuje alebo generuje dáta. Tréning maximalizuje evidence lower bound, zloženú z rekonštrukčného člena a regularizácie pomocou Kullbackovej-Leiblerovej divergencie voči prioru. Reparameterizačný trik umožní prenášať gradient cez náhodné vzorkovanie. VAE vytvára hladší latentný priestor, no pri silnom decoderi môže trpieť posterior collapse a rozmazanými výstupmi.

Stratové funkcie a nevyvážené triedy

Vážená krížová entropia

Weighted cross-entropy

Weighted cross-entropy je modifikácia krížovej entropie, pri ktorej sa strata príkladov alebo tried násobí vopred určenými váhami. V multiclass klasifikácii sa často priraďuje vyššia váha zriedkavej alebo prevádzkovo nákladnej triede, takže jej chyby viac ovplyvnia gradient. Váhy môžu vychádzať z inverznej frekvencie, efektívneho počtu vzoriek, nákladovej matice alebo validačného cieľa. Metóda nemení množstvo dát a sama neopravuje chybné štítky. Nevhodné váhy môžu zhoršiť kalibráciu, zvýšiť počet falošných pozitív a presunúť rozhodovaciu hranicu spôsobom, ktorý nezodpovedá reálnym nákladom.

Tréning a regularizácia

Včasné zastavenie tréningu

Early stopping

Early stopping je regularizačný postup, pri ktorom sa tréning modelu ukončí podľa výkonu na validačných dátach skôr, než optimalizácia úplne minimalizuje tréningovú loss funkciu. Sleduje sa zvolená metrika, jej najlepšia hodnota, minimálne zlepšenie a počet tolerovaných krokov bez pokroku. Cieľom je zachytiť stav, v ktorom model ešte generalizuje, ale nezačal sa nadmerne prispôsobovať tréningovým príkladom. Správna implementácia uchová a obnoví parametre z najlepšieho validačného bodu.

Retrieval a dátová infraštruktúra

Vektorová databáza

Vector database

Vector database je databázový systém navrhnutý na ukladanie, indexovanie, filtrovanie a vyhľadávanie vysokodimenzionálnych vektorov, často spolu s identifikátorom, metadátami a pôvodným objektom. Podporuje podobnostné metriky, približné nearest-neighbor indexy, aktualizácie, škálovanie a prevádzkové vlastnosti ako replikácia či riadenie prístupu. Nie každé úložisko vektorov je plnohodnotná databáza. Kvalitu riešenia určuje konzistencia embeddingov, recall indexu, filtrácia, latencia, čerstvosť dát a auditovateľné prepojenie na zdroj.

Kompresia a diskrétne reprezentácie

Vektorová kvantizácia

Vector quantization

Vector quantization mapuje spojitý vektor na jeden alebo viac prvkov z konečného codebooku a nahrádza pôvodné hodnoty indexmi alebo centroidmi. Používa sa na kompresiu embeddingov, zrýchlenie podobnostného vyhľadávania a učenie diskrétnych latentných reprezentácií. Product quantization rozdelí vektor na podpriestory a kvantizuje ich samostatne, VQ-VAE učí codebook spolu s encoderom a decoderom. Kvantizácia zavádza distorziu, ktorej vplyv treba merať na recalli, rekonštrukcii alebo downstream úlohe.

Reprezentácie a vyhľadávanie

Vektorová reprezentácia

Embedding

Embedding je hustý číselný vektor, ktorý reprezentuje objekt, napríklad slovo, dokument, obrázok, používateľa alebo produkt, v naučenom priestore vlastností. Hodnoty jednotlivých rozmerov spravidla nemajú samostatný ľudský názov, no geometrické vzťahy medzi vektormi zachytávajú podobnosť relevantnú pre tréningovú úlohu. Embeddingy umožňujú sémantické vyhľadávanie, zhlukovanie, odporúčanie a vstup do ďalších modelov. Ich význam závisí od modelu, dát, normalizácie a zvolenej metriky vzdialenosti.

Neurónové vyhľadávanie

Vektorová reprezentácia dopytu

Query embedding

Query embedding je vektor vytvorený z používateľského dopytu tak, aby sa dal porovnávať s reprezentáciami dokumentov, položiek alebo odpovedí. Model môže používať spoločný encoder alebo asymetrické encodery, pretože krátka otázka a dlhý dokument majú odlišnú distribúciu. Tréning využíva pozitívne páry a informatívne negatívy. Kvalita závisí od jazyka, domény, normalizácie a spôsobu indexovania. Blízkosť v priestore nie je dôkaz pravdivosti ani oprávnenia sprístupniť dokument.

Vizuálne reprezentácie a multimodálne vyhľadávanie

Vektorová reprezentácia obrázka

Image embedding

Image embedding je číselný vektor, ktorý komprimuje vizuálne vlastnosti obrázka do latentného priestoru vhodného na porovnávanie, klasifikáciu alebo vyhľadávanie. Enkóder mapuje pixely na pevný alebo štruktúrovaný počet hodnôt tak, aby sémanticky podobné obrazy mali podľa zvolenej metriky blízke reprezentácie. Embedding môže opisovať celý obrázok, jednotlivý región alebo patch. Jeho význam závisí od tréningového cieľa, dát a normalizácie. Vektor nie je univerzálny popis reality, môže zvýrazňovať objekty, štýl, textúru či textový súlad a zároveň potláčať detaily dôležité pre inú úlohu.

Odporúčacie a personalizačné systémy

Vektorová reprezentácia používateľa

User embedding

User embedding je hustý vektor, ktorý reprezentuje používateľa na základe jeho interakcií, atribútov, sekvencie správania alebo spoločného učenia s položkami. Model umiestňuje používateľov s podobnými preferenciami do blízkych oblastí latentného priestoru a používa vektor na ranking, retrieval, segmentáciu či predikciu ďalšej akcie. Embedding nie je stabilná identita ani úplný profil človeka. Mení sa s dátami a cieľom, môže zachytiť citlivé korelácie a pri cold starte potrebuje obsahové príznaky alebo priemernú inicializáciu. Identifikátor používateľa a vektor majú oddelený retention režim, pričom výmaz musí zasiahnuť cache, indexy aj tréningové príklady.

Reprezentácia prirodzeného jazyka

Vektorová reprezentácia slova

Word embedding

Word embedding je hustý numerický vektor priradený slovu alebo slovníkovej jednotke tak, aby sa jeho poloha učila z distribučných vzorov v texte alebo z cieľovej úlohy. Statické embeddingy poskytujú jednému slovu rovnaký vektor vo všetkých vetách, zatiaľ čo kontextové modely vytvárajú reprezentáciu tokenu podľa okolia. Blízkosť vo vektorovom priestore môže zachytiť syntaktickú alebo sémantickú podobnosť, ale nie je priamym dôkazom synonymie, pravdivosti ani kauzálneho vzťahu. Kvalitu ovplyvňuje korpus, tokenizácia, dimenzia, tréningový cieľ a frekvencia slov. Embedding môže reprodukovať spoločenské skreslenia zdrojových dát.

Reprezentácie a vyhľadávanie

Vektorová reprezentácia textu

Text embedding

Text embedding je hustý číselný vektor vytvorený modelom tak, aby zachytával vybrané významové alebo funkčné vlastnosti textu. Používa sa na podobnosť, vyhľadávanie, zhlukovanie, klasifikáciu a retrieval. Význam vzdialenosti závisí od tréningového cieľa, modelu, poolingu a normalizácie. Embedding nie je jednoznačný odtlačok významu ani dôkaz faktickej zhody. Pri zmene modelu sa vektorový priestor zmení a uložený index sa spravidla musí prepočítať. Retrieval test má obsahovať synonymá, negácie, čísla, skratky aj veľmi podobné, ale nesprávne dokumenty.

Vstupná reprezentácia neurónovej siete

Vektorová reprezentácia tokenu

Token embedding

Token embedding je naučený vektor priradený identifikátoru tokenu v slovníku modelu. Tvorí základnú numerickú reprezentáciu pred spracovaním kontextovými vrstvami a často sa kombinuje s pozičnou alebo segmentovou informáciou. Rovnaký token začína s rovnakým vstupným embeddingom bez ohľadu na vetu, no jeho neskoršia kontextová reprezentácia sa mení podľa okolia. Embeddingová matica patrí medzi parametre modelu a môže byť zdieľaná s výstupnou projekciou logits. Pri rozšírení slovníka treba inicializovať nové riadky embeddingovej matice a zachovať správne ID špeciálnych tokenov.

Jazykové reprezentácie

Vektorová reprezentácia vety

Sentence embedding

Sentence embedding je vektor pevnej dĺžky reprezentujúci význam vety, otázky alebo krátkeho textového úseku. Vzniká poolingom tokenových reprezentácií alebo modelom trénovaným priamo na podobnosť viet, kontrastívne páry či retrieval. Umožňuje rýchle porovnávanie veľkého množstva textov, klasifikáciu a zhlukovanie. Jeden vektor však komprimuje poradie, detaily a viacero tém, preto môže byť nedostatočný pre presné logické, numerické alebo právne porovnanie. Pri porovnávaní sa musí zachovať rovnaká verzia modelu, normalizácia a poolingový postup.

Učené reprezentácie entít a vzťahov

Vektorové vnorenie znalostného grafu

Knowledge graph embedding

Knowledge graph embedding je naučené zobrazenie entít a často aj vzťahov znalostného grafu do nízkorozmerných vektorov alebo tenzorov. Skórovacia funkcia priraďuje vyššiu kompatibilitu platným trojiciam než negatívnym kandidátom a umožňuje link prediction, entity alignment, klasifikáciu alebo retrieval. Rodiny modelov používajú translácie, bilineárne operácie, rotácie či neurónové siete. Embedding komprimuje graf, ale môže stratiť logické obmedzenia, provenance a presný význam zložitých relácií. Vyhodnotenie sa má rozdeliť podľa typov relácií, pretože priemerné skóre skryje slabé kritické väzby.

Sémantický retrieval

Vektorové vyhľadávanie

Vector search

Vector search je proces vyhľadania položiek, ktorých vektorové reprezentácie sú podľa zvolenej metriky najbližšie k vektoru dotazu. Môže používať presné porovnanie alebo approximate nearest-neighbor index a často sa kombinuje s metadátovými filtrami, lexikálnym retrievalom a rerankingom. Výsledok závisí od embeddingového modelu, spôsobu tvorby dotazu, chunkingu, metriky a parametrov indexu. Geometrická blízkosť neoveruje faktickú správnosť ani oprávnenie používateľa pristupovať k nájdenému obsahu.

Retrieval a vyhľadávacie štruktúry

Vektorový index

Vector index

Vector index je dátová štruktúra, ktorá zrýchľuje vyhľadanie najbližších vektorov bez úplného porovnania dotazu so všetkými položkami. Používa napríklad graf HNSW, inverted file, produktovú kvantizáciu alebo stromové delenie priestoru. Väčšina produkčných indexov je približná a vymieňa recall za latenciu, pamäť a čas zostavenia. Index má vlastné hyperparametre, režim aktualizácií a podporované filtre. Jeho kvalita sa hodnotí voči exact search na reprezentatívnych dotazoch, nie iba priemerom času odozvy.

Návrh tokenizerov a modelov

Veľkosť slovníka tokenov

Vocabulary size

Vocabulary size je počet rozlišovaných tokenov vrátane špeciálnych symbolov, pre ktoré model udržiava riadky vstupnej embeddingovej a často aj výstupnej projekčnej matice. Väčší slovník môže skrátiť sekvencie a zachytiť časté morfémy alebo celé slová, no zväčšuje počet parametrov a vytvára riedko pozorované tokeny. Menší slovník zvyšuje počet tokenov na text a náklady attention, ale zlepšuje zdieľanie medzi tvarmi. Optimálna veľkosť závisí od jazykov, domény, modelu a výpočtového rozpočtu.

Generatívna a aplikačná AI

Veľký jazykový model

Large language model

Large language model, LLM, je jazykový model s vysokou kapacitou, trénovaný na rozsiahlych textových alebo multimodálnych korpusoch tak, aby sa dal použiť na široké spektrum jazykových úloh. Súčasné LLM často využívajú transformerovú architektúru, tokenizáciu a pretrénovanie s následnou inštrukčnou alebo preferenčnou adaptáciou. Veľkosť sa nedá určiť jediným univerzálnym počtom parametrov. LLM generuje výstupy z naučených distribúcií a kontextu, nie spoľahlivým vyhľadávaním v databáze pravdivých faktov.

Metriky vysvetliteľnosti

Vernosť vysvetlenia správaniu modelu

XAI fidelity

XAI fidelity vyjadruje, do akej miery vysvetlenie zachytáva skutočné správanie vysvetľovaného modelu v určenej oblasti vstupov. Pri lokálnom surrogate modeli sa môže merať zhoda jeho predikcií s pôvodným modelom v okolí konkrétneho prípadu. Pri atribúciách sa skúma zmena výstupu po odstránení alebo perturbácii označených prvkov. Fidelity nehovorí, či je pôvodný model pravdivý, spravodlivý alebo kauzálny. Vysoká vernosť znamená iba to, že vysvetlenie presne opisuje zvolený model podľa definovaného testu.

Teória neurónových sietí

Veta o univerzálnej aproximácii

Universal approximation theorem

Universal approximation theorem označuje rodinu výsledkov dokazujúcich, že neurónová sieť s vhodnou nelineárnou aktiváciou a dostatočným počtom jednotiek dokáže na kompaktnej oblasti aproximovať širokú triedu spojitých funkcií s ľubovoľne malou chybou. Veta je existenčná, neurčuje potrebnú šírku, množstvo dát, algoritmus učenia ani schopnosť generalizovať. Neznamená ani presnú reprezentáciu nekonečnej domény či efektívne nájdenie parametrov. Praktický výkon preto závisí od architektúry, optimalizácie a induktívneho biasu. Pri citovaní treba uviesť konkrétnu verziu teorémy, typ funkcie, doménu a podmienky aktivačnej funkcie.

Numerická reprezentácia a výpočet

Viacrozmerné pole hodnôt

Tensor

Tensor je dátová štruktúra predstavujúca n-rozmerné pole prvkov rovnakého dátového typu spolu s tvarom, rozložením v pamäti a často aj informáciou o zariadení a potrebe gradientu. Skalár je tensor rádu nula, vektor rádu jedna a matica rádu dva. V AI sa tensory používajú na vstupy, parametre, aktivácie aj gradienty. Matematický pojem tensor je širší, zatiaľ čo knižnice strojového učenia týmto slovom často označujú praktické viacrozmerné pole. Operácie s broadcastom musia byť skontrolované, pretože platný tvar môže vytvoriť numericky nesprávny výsledok bez chyby runtime.

Jazykové modely a parameterová efektívnosť

Viazanie dvoch množín váh

Weight tying

Weight tying je obmedzenie, pri ktorom dve logicky odlišné operácie používajú tú istú maticu parametrov alebo jej presne definovanú transformáciu. V jazykových modeloch sa často viaže vstupná embeddingová tabuľka s výstupnou projekciou z hidden state na logits slovníka. Tým sa znižuje počet parametrov a zavádza spoločná geometria pre čítanie a predikciu tokenov. Viazanie vyžaduje kompatibilné rozmery a mení tok gradientov, pretože jedna matica dostáva signál z oboch rolí. Môže zlepšiť perplexitu a veľkosť modelu, ale tiež vytvoriť konflikt medzi potrebami vstupnej reprezentácie a výstupnej klasifikácie.

Generatívne video

Videodifúzny model

Video diffusion model

Video diffusion model vytvára sekvenciu snímok tým, že sa naučí reverzný proces k postupnému pridávaniu šumu do videa, často s podmienkou vo forme textu, obrazu alebo pohybového signálu. Oproti obrazovej difúzii musí modelovať aj temporal coherence, pohyb objektov, kameru a identitu naprieč časom. Architektúra môže používať priestorovo-časové attention bloky, latentný priestor alebo kaskádu rozlíšení. Kvalita sa neposudzuje iba ostrosťou snímok, ale aj fyzikálnou konzistenciou, kontinuitou a zhodou s promptom.

Sekvenčné modely a dekódovanie

Viterbiho algoritmus

Viterbi algorithm

Viterbi algorithm je dynamický programovací postup na nájdenie najpravdepodobnejšej sekvencie skrytých stavov v modeli s Markovovou štruktúrou, najmä v hidden Markov modeloch. V každom časovom kroku uchováva najlepšie skóre pre každý stav a backpointer na predchádzajúce rozhodnutie, namiesto enumerácie všetkých možných ciest. Časová zložitosť je približne lineárna v dĺžke sekvencie a kvadratická v počte stavov pri plných prechodoch. Algoritmus vracia jednu MAP cestu, nie marginálne pravdepodobnosti jednotlivých stavov.

Multimodálne porozumenie

Vizuálne ukotvenie

Visual grounding

Visual grounding spája jazykový výraz s konkrétnou oblasťou, objektom alebo časovým úsekom vo vizuálnom vstupe. Model môže pre opis vrátiť bounding box, masku, bod, region token alebo segment videa. Úloha vyžaduje nielen rozpoznať kategóriu, ale aj rozlíšiť referenčné vlastnosti a vzťahy, napríklad druhý červený pohár vľavo od knihy. Grounding sa používa pri interaktívnej segmentácii, robotike a vysvetlení multimodálnych odpovedí. Pozornosť modelu sama o sebe nie je dôkaz správneho groundingového rozhodnutia.

Rozhrania a komunikácia modelov

Vizuálne zobrazenie vysvetlenia AI

XAI visualization

XAI visualization je vizuálna reprezentácia modelového správania alebo vysvetlenia, napríklad saliency mapa, atribučný graf, partial dependence krivka, rozhodovací strom, prototyp, attention mapa alebo kontrafaktuálna trajektória. Vizualizácia je komunikačná vrstva, nie dôkaz správnosti metódy. Farebná škála, normalizácia, prahovanie, agregácia a výber referencie môžu zásadne meniť interpretáciu. Kvalitný návrh uvádza cieľový výstup, jednotky, baseline, neistotu a obmedzenia. Pri obrazoch musí lokalizácia prejsť sanity checks, inak môže zvýrazňovať štruktúru nezávislú od naučených váh.

Multimodálna AI

Vizuálno-jazykový model

Vision-language model

Vision-language model, VLM, spracúva obrazové a jazykové vstupy v spoločnom systéme a učí sa ich prepájať pre úlohy ako captioning, otázky nad obrazom, retrieval, grounding alebo multimodálny dialóg. Architektúra môže používať dva encodery s kontrastívnym cieľom, cross-attention fusion alebo vision encoder pripojený k veľkému jazykovému modelu. Schopnosť pomenovať objekt neznamená presné priestorové meranie ani spoľahlivú kauzálnu interpretáciu scény. Výkon závisí od vizuálneho rozlíšenia, prepojenia modalít a dátových párov.

Počítačové videnie a multimodalita

Vizuálny encoder

Vision encoder

Vision encoder je neurónová sieť, ktorá premieňa obraz alebo video na reprezentáciu vhodnú pre klasifikáciu, retrieval, detekciu, segmentáciu alebo multimodálne spájanie. Môže vytvoriť jeden globálny embedding, mriežku lokálnych tokenov alebo viacúrovňové feature maps. Používa konvolučnú sieť, Vision Transformer alebo hybridnú architektúru a môže byť trénovaný so štítkami, self-supervised cieľom či kontrastívne s textom. Informácia zachovaná v reprezentácii závisí od rozlíšenia, patchingu, augmentácií a tréningovej úlohy.

Bezpečnosť generatívnych systémov

Vloženie škodlivej inštrukcie do promptu

Prompt injection

Prompt injection je útok alebo neželaná manipulácia, pri ktorej obsah dodaný modelu mení jeho správanie tak, aby ignoroval alebo prekonal pôvodný zámer aplikácie. Pri direct prompt injection vloží pokyn používateľ, pri indirect prompt injection sa škodlivá inštrukcia nachádza v dokumente, webovej stránke, emaile alebo inom zdroji, ktorý systém spracuje. Zraniteľnosť vzniká, pretože model prijíma inštrukcie a dáta v spoločnom kontexte. Ochrana vyžaduje izoláciu dôvery, minimálne oprávnenia nástrojov, validáciu výstupov, schvaľovanie citlivých akcií a adversariálne testovanie.

AI agenti a aplikačná integrácia

Volanie funkcií modelom

Function calling

Function calling je integračný vzor, pri ktorom model na základe používateľského vstupu vyberie vopred definovaný nástroj a vytvorí štruktúrované argumenty podľa jeho schémy. Samotný model zvyčajne funkciu nevykoná. Aplikačný kód musí validovať argumenty, overiť oprávnenie, zavolať externý systém a vrátiť výsledok do konverzácie. Schéma obmedzuje formát, nie pravdivosť zámeru ani bezpečnosť operácie. Kritické akcie preto potrebujú potvrdenie, idempotenciu, audit a kontrolu výstupu.

Dáta a reprezentácie

Vstupná vlastnosť

Feature

Feature je merateľná alebo odvodená vstupná premenná, ktorú model používa pri tréningu alebo inferencii. Môže ísť o pôvodnú hodnotu zo zdroja, kategóriu, časový údaj, pixel, token, štatistický súhrn alebo naučenú reprezentáciu. Jednotlivý príklad je opísaný súborom feature hodnôt, často usporiadaných do vektora alebo tenzora. Užitočnosť feature závisí od informačného vzťahu k cieľu, dostupnosti v čase predikcie, stability, kvality merania a rizika úniku cieľovej informácie.

Aktívne učenie

Výber príkladov komisiou modelov

Query-by-committee

Query-by-committee je stratégia aktívneho učenia, ktorá udržiava viacero modelov alebo hypotéz kompatibilných s doteraz označenými dátami a vyberá na anotáciu príklady, pri ktorých sa najviac nezhodnú. Nesúhlas sa meria hlasovacou entropiou, divergenciou predikčných rozdelení alebo variabilitou parametrov. Cieľom je získať štítky s vysokou informačnou hodnotou. Ak členovia komisie zdieľajú rovnaké skreslenie alebo sú takmer totožní, ich zhoda môže vytvoriť falošný pocit istoty.

Aktívne učenie

Výber príkladov podľa neistoty

Uncertainty sampling

Uncertainty sampling je stratégia active learningu, ktorá na označenie vyberá neoznačené príklady, pri ktorých si aktuálny model najmenej verí. Neistota sa môže merať najnižšou maximálnou pravdepodobnosťou, malým rozdielom medzi dvoma najlepšími triedami, entropiou alebo nesúhlasom ensemble. Cieľom je získať čo najviac informatívnych štítkov za obmedzený rozpočet. Samotná neistota však môže uprednostniť šum, odľahlé body alebo opakované prípady, preto sa kombinuje s rozmanitosťou a kontrolou kvality. Anotátorovi sa ukladajú aj dôvody neistoty a čas označenia, aby sa odlíšil náročný prípad od chybnej taxonómie.

Dátová príprava a modelovanie

Výber vstupných vlastností

Feature selection

Feature selection je postup, ktorý z pôvodnej množiny vlastností vyberá podmnožinu pre tréning a inferenciu bez vytvárania nových kombinovaných rozmerov. Filter metódy používajú štatistické skóre nezávislé od finálneho modelu, wrapper metódy opakovane hodnotia rôzne podmnožiny a embedded metódy vyberajú počas učenia, napríklad cez regularizáciu alebo stromové rozdelenia. Výber môže znížiť šum, výpočet a riziko preučenia, no musí byť vykonaný vnútri validačného procesu.

Indexovanie, ranking a vyhľadávacie systémy

Vyhľadávanie informácií

Information retrieval

Information retrieval je disciplína návrhu systémov, ktoré z veľkej kolekcie vyberú a zoradia dokumenty alebo objekty relevantné k informačnej potrebe používateľa. Pipeline zahŕňa spracovanie dotazu, index, výpočet zhody, ranking, prípadné rerankovanie a prezentáciu výsledkov. Lexikálne metódy pracujú s výskytom slov, husté vyhľadávanie porovnáva embeddingy a hybridný prístup kombinuje oba signály. Relevantnosť nie je totožná s pravdivosťou ani autoritou, preto ranking potrebuje ďalšie kritériá. Hodnotenie používa anotované dotazy a metriky ako precision, recall, MRR alebo nDCG, pričom produkčný systém musí sledovať čerstvosť, diverzitu a správanie používateľov.

Vektorové vyhľadávanie a indexovanie

Vyhľadávanie k najbližších susedov

K-nearest neighbor search

K-nearest neighbor search je výpočtová úloha nájsť pre dotazový bod k objektov s najmenšou vzdialenosťou alebo najväčšou podobnosťou v referenčnej kolekcii. Presné riešenie garantuje skutočných susedov podľa danej metriky, aproximované riešenie obetuje časť recallu za nižšiu latenciu a pamäť. Implementácia môže používať brute force, stromové indexy, grafové štruktúry, kvantizáciu alebo kombinované filtre. Top k je definované voči konkrétnemu indexu, metrike a verzii vektorovej reprezentácie.

Informačné vyhľadávanie a knowledge systems

Vyhľadávanie relevantných položiek

Retrieval

Retrieval je proces identifikácie a zoradenia položiek z korpusu podľa ich relevancie k dopytu alebo informačnej potrebe. Zahŕňa vytvorenie indexu, reprezentáciu dopytu, matching, scoring a výber top-k kandidátov. Lexikálne metódy pracujú s termínmi a štatistikou výskytu, dense retrieval s embeddingmi, hybridné systémy kombinujú oba signály. Retrieval sa líši od generovania, pretože vracia existujúce dokumenty alebo objekty. Kvalitu určujú pokrytie korpusu, čerstvosť indexu, filtre, relevance judgments a latencia.

Získavanie relevantného dôkazu pre AI

Vyhľadávanie znalostí

Knowledge retrieval

Knowledge retrieval je proces identifikácie a načítania faktov, dokumentov, pasáží, grafových prvkov alebo záznamov, ktoré sú relevantné pre konkrétnu znalostnú potrebu. Zahŕňa formuláciu dotazu, výber kolekcie, kandidátne vyhľadávanie, filtrovanie, reranking a zostavenie kontextu. Na rozdiel od generovania má vrátiť dôkaz alebo jeho adresu. Kvalitu určuje recall relevantných zdrojov, presnosť poradia, aktuálnosť, oprávnenia, rozmanitosť a vhodná granularita. Výsledkom môže byť prázdna množina, ak žiadny kandidát neprejde minimálnym prahom dôvery.

Regularizácia klasifikácie

Vyhladzovanie štítkov

Label smoothing

Label smoothing nahrádza pri tréningu ostrý one-hot cieľ mäkšou distribúciou, v ktorej časť pravdepodobnostnej hmotnosti zostáva správnej triede a zvyšok sa rozdelí podľa zvoleného prioru medzi ostatné triedy. Znižuje tlak na nekonečne veľké logity a môže obmedziť prehnanú sebaistotu modelu. Ovplyvňuje však geometriu reprezentácií, kalibráciu aj prenos znalostí pri distilácii. Miera smoothingu je hyperparameter a jej účinok závisí od počtu tried, šumu a stratovej funkcie.

Optimalizácia autoregresívnej inferencie

Vyrovnávacia pamäť kľúčov a hodnôt

Key-value cache

Key-value cache, KV cache, v transformerovom dekódovaní uchováva key a value tenzory vypočítané v attention vrstvách pre predchádzajúce tokeny. Pri generovaní ďalšieho tokenu model znovu počíta reprezentáciu nového tokenu, ale nemusí prepočítavať K a V celej minulosti. Tým znižuje opakovanú prácu a zrýchľuje sekvenčné dekódovanie. Pamäť rastie s počtom vrstiev, dĺžkou kontextu, počtom hláv, rozmerom a batchom, preto môže byť hlavným limitom servingu. Cache nemení pravdepodobnostný model odpovede, ak je implementovaná presne a bez kvantizačnej odchýlky.

Regulácia, zhoda a riadenie rizík

Vysokorizikový systém AI

High-risk AI system

High-risk AI system je právna kategória podľa nariadenia Európskej únie 2024/1689, nie všeobecné označenie každého nebezpečného modelu. Systém sa považuje za vysokorizikový najmä vtedy, keď je bezpečnostným komponentom regulovaného výrobku podľa článku 6 ods. 1, alebo patrí do použitia uvedeného v prílohe III a spĺňa podmienky článku 6 ods. 2 a 3. Klasifikácia sa viaže na zamýšľaný účel a konkrétne použitie, nie iba na technológiu. Poskytovateľ musí plniť požiadavky na riadenie rizík, dáta, dokumentáciu, záznamy, transparentnosť, ľudský dohľad, presnosť, robustnosť a kybernetickú bezpečnosť.

Dátové reprezentácie a štatistické učenie

Vysokorozmerné dáta

High-dimensional data

High-dimensional data sú dáta s veľkým počtom príznakov vzhľadom na počet pozorovaní, dostupný výpočet alebo efektívne množstvo informácie. Vo vysokom rozmere rastie priestor exponenciálne, body bývajú riedke a rozdiel medzi najbližšou a vzdialenou položkou sa môže zmenšovať. Odhad parametrov preto vyžaduje viac dát a metriky podobnosti môžu stratiť rozlišovaciu schopnosť, čo sú prejavy curse of dimensionality. Nie každý veľký vektor je však rovnako problematický, pretože dáta môžu ležať na nízkorozmernej štruktúre. Pomáha regularizácia, výber príznakov, redukcia rozmernosti a doménová metrika.

Vysvetľovanie jednotlivých rozhodnutí

Vysvetlenie jednej predikcie alebo prípadu

XAI local explanation

XAI local explanation opisuje faktory a modelové vzťahy relevantné pre konkrétny vstup, predikciu alebo malé okolie vstupného priestoru. Používa sa napríklad lokálny surrogate model, atribúcie, kontrastívne dôvody, najbližšie prototypy alebo citlivostná analýza. Výsledok sa nesmie automaticky zovšeobecniť na celý model. Lokálnosť musí byť definovaná metrikou, kernelom, množinou perturbácií alebo porovnávacím prípadom. Ak je rozhodovacia hranica nepravidelná, dve blízke pozorovania môžu mať odlišné vysvetlenia.

Dôveryhodnosť a ľudský dohľad

Vysvetliteľná umelá inteligencia, XAI

Explainable AI

Explainable AI, XAI, označuje systémy a metódy, ktoré poskytujú ľuďom dôvody alebo informácie umožňujúce porozumieť výstupu, správaniu či obmedzeniam AI. Vysvetlenie môže byť globálne, lokálne, kontrafaktuálne, príkladové alebo procesné a musí byť prispôsobené používateľovi a účelu. NIST zdôrazňuje poskytnutie vysvetlenia, jeho zmysluplnosť, presnosť voči skutočnému procesu a rešpektovanie znalostných limitov. Pekne formulovaný príbeh nie je vysvetlením, ak nezodpovedá mechanizmu systému.

Generovanie a dekódovanie

Vzorkovanie výstupu

Sampling

Sampling je spôsob generovania, pri ktorom model vyberá ďalší token náhodným výberom z pravdepodobnostného rozdelenia namiesto vždy najpravdepodobnejšej možnosti. Rozdelenie možno meniť teplotou, top-k, top-p alebo ďalšími pravidlami, ktoré zužujú množinu kandidátov. Vzorkovanie zvyšuje variabilitu a umožňuje viac platných pokračovaní, zároveň však môže zvýšiť faktické chyby, nestabilitu formátu a rozdiely medzi opakovanými behmi. Použitá konfigurácia dekódovania je preto súčasťou reprodukovateľného záznamu experimentu.

Dekódovanie generatívnych modelov

Vzorkovanie z k najlepších tokenov

Top-k sampling

Top-k sampling je dekódovacia metóda, ktorá v každom kroku ponechá iba k tokenov s najvyššou pravdepodobnosťou, ostatným nastaví pravdepodobnosť na nulu, zvyšné hodnoty renormalizuje a z nich vzorkuje. Pevná veľkosť kandidátnej množiny obmedzuje veľmi nepravdepodobné pokračovania, ale nereaguje na tvar distribúcie. Pri istej predikcii môže byť k zbytočne veľké, pri plochej distribúcii zasa príliš malé. Výsledok závisí aj od teploty a ďalších filtrov logits. Hodnota k sa nehodnotí iba na priemernej kvalite, ale aj na najhorších bezpečnostných a formátových zlyhaniach.

Pravdepodobnosť a porovnávanie distribúcií

Wassersteinova vzdialenosť

Wasserstein distance

Wasserstein distance je metrika medzi pravdepodobnostnými rozdeleniami založená na minimálnych nákladoch potrebných na presun pravdepodobnostnej hmoty z jedného rozdelenia do druhého. Náklady kombinujú množstvo presúvanej hmoty a vzdialenosť presunu v základnom priestore. Na rozdiel od divergencií, ktoré môžu zostať konštantné pri neprekrývajúcich sa podporách, Wassersteinova vzdialenosť zachytáva aj geometriu ich vzájomnej polohy. Výsledok závisí od zvolenej metrike, rádu p a od existencie príslušných momentov.

Hodnotenie automatického rozpoznávania reči

WER, miera chybovosti slov

Word error rate

Word error rate je metrika pre prepis reči vypočítaná ako súčet substitúcií, vynechaní a vložení delený počtom slov v referenčnom prepise. Počty chýb vznikajú z minimálnej editovacej vzdialenosti medzi normalizovanou referenciou a hypotézou. WER môže presiahnuť 100 percent, ak systém vloží veľa nadbytočných slov. Hodnota závisí od pravidiel tokenizácie, interpunkcie, čísiel, veľkých písmen, diakritiky a od toho, čo sa považuje za slovo. Metrika váži všetky slovné chyby rovnako, preto nemusí vyjadrovať významovú závažnosť, správnosť mien ani použiteľnosť pre konkrétny proces.

Generatívne adversariálne modely

WGAN

Wasserstein GAN

Wasserstein GAN je variant generatívnej adversariálnej siete, ktorý nahrádza klasifikačný diskriminátor kritikom odhadujúcim rozdiel medzi reálnou a generovanou distribúciou pomocou Wassersteinovho cieľa. Kritická funkcia musí spĺňať Lipschitzovo obmedzenie, pôvodne aproximované orezávaním váh, neskôr najmä gradient penalty alebo spektrálnou normalizáciou. Cieľ poskytuje zmysluplnejší tréningový signál aj pri neprekrývajúcich sa distribúciách, no sám osebe negarantuje stabilitu, rozmanitosť ani kvalitu vzoriek.

Viacjazyčné reprezentácie textu

XLM-RoBERTa viacjazyčný encoder

XLM-R

XLM-R, celým názvom XLM-RoBERTa, je transformerový encoder predtrénovaný masked language modelingom na filtrovaných CommonCrawl dátach v sto jazykoch. Nepoužíva paralelné vety ani translation language modeling ako pôvodný XLM. Zdieľaný SentencePiece slovník a spoločná kapacita umožňujú cross-lingual transfer, ale vytvárajú kompromis medzi pozitívnym prenosom a capacity dilution. Model je určený najmä na porozumenie textu, klasifikáciu, NER alebo extrakciu po fine-tuningu. Nie je autoregresívnym generátorom a jeho výsledky sa medzi jazykmi výrazne líšia.

Dátové kontrakty a validácia

XSD schéma pre validáciu XML

XML Schema

XML Schema, často označovaná XSD, je jazyk W3C na definovanie povolenej štruktúry, typov a obmedzení XML dokumentov. Schéma určuje elementy, atribúty, poradie, cardinality, jednoduché a komplexné typy, namespaces, patterny alebo numerické hranice. Validácia vytvorí informáciu, či dokument spĺňa kontrakt, a môže pridať typové anotácie do dátového modelu. XSD nekontroluje všetku obchodnú logiku ani faktickú správnosť. Pri AI integrácii je užitočná na vstupné anotácie a výstupné správy, no generovaný dokument sa musí parsovať a validovať mimo modelu.

Knowledge base a obsahové pipeline

YAML metadáta v hlavičke dokumentu

YAML front matter

YAML front matter je blok metadát umiestnený na začiatku textového dokumentu, obyčajne medzi oddeľovačmi s tromi spojovníkmi. Nie je súčasťou jadrovej špecifikácie YAML ako dokumentový formát, ale konvenciou používanou generátormi webov, publikačnými systémami a obsahovými pipeline. V GEO knowledge base môže niesť identifikátor pojmu, autora, dátum revízie, jazyk, taxonómiu, kanonickú URL, zdroje, stav schválenia alebo pravidlá chunkovania. Jeho význam určuje konkrétny spracovateľ.

Konfigurácia a výmena dát

YAML, jazyk serializácie dát

YAML

YAML je textový jazyk na serializáciu dát, ktorý reprezentuje skalárne hodnoty, sekvencie a mapovania pomocou odsadenia a jednoduchej syntaxe. Špecifikácia YAML 1.2.2 definuje prezentačný prúd, serializačný strom a reprezentačný graf, pričom JSON je kompatibilnou podmnožinou jadrovej schémy. V AI systémoch YAML často opisuje konfiguráciu tréningu, parametre experimentu, dátové pipeline, nasadenie modelu alebo deklaratívne pracovné postupy. Samotný formát však neurčuje význam polí ani ich povolené hodnoty.

Predspracovanie numerických dát

Yeo-Johnsonova mocninová transformácia

Yeo-Johnson transformation

Yeo-Johnson transformation je parametrická monotónna mocninová transformácia určená na zníženie šikmosti a stabilizáciu rozptylu numerickej premennej. Na rozdiel od Box-Coxovej transformácie je definovaná aj pre nulové a záporné hodnoty, pričom používa rozdielne vetvy podľa znamienka vstupu a hodnoty parametra lambda. Parameter sa často odhaduje maximalizáciou vierohodnosti. Transformácia môže pomôcť lineárnym a štatistickým modelom, nevytvára však normalitu z každej distribúcie a musí byť fitovaná iba na tréningových dátach.

Distribuované výpočty a MLOps

Yet Another Resource Negotiator

YARN

YARN je vrstva správy zdrojov a plánovania aplikácií v ekosystéme Apache Hadoop. Oddeľuje globálne prideľovanie výpočtovej kapacity, ktoré riadi ResourceManager, od koordinácie konkrétnej aplikácie prostredníctvom jej ApplicationMaster. Úlohy sa vykonávajú v kontajneroch pridelených NodeManagermi na jednotlivých uzloch. Pri AI a dátových pipeline môže YARN prideľovať CPU, pamäť a ďalšie zdroje pre distribuované predspracovanie, Spark úlohy alebo dávkové učenie, nejde však o tréningový algoritmus ani modelový register.

Detekcia objektov v reálnom čase

You Only Look Once

YOLO

YOLO označuje rodinu jednopriechodových modelov počítačového videnia, ktoré predikujú polohu a triedu objektov z obrazu v jednej integrovanej neurónovej sieti. Pôvodná práca formulovala detekciu ako regresiu z pixelov na ohraničujúce rámce a pravdepodobnosti tried. Neskoršie implementácie menili backbone, detekčnú hlavu, prácu s kotvami, stratové funkcie aj postprocessing a rozšírili rodinu na segmentáciu, pózu či orientované rámce. Názov YOLO preto nie je jedna nemenná architektúra a technická dokumentácia musí uviesť konkrétnu verziu a implementáciu.

Metriky binárnej klasifikácie

Youdenov index

Youden index

Youden index, označovaný J, je súčet senzitivity a špecificity mínus jedna. Nadobúda hodnoty od mínus jedna do jedna, pričom nula zodpovedá výkonu bez užitočného rozlíšenia pri danom prahu a jedna dokonalej separácii. Často sa používa na výber prahu, ktorý maximalizuje vertikálnu vzdialenosť bodu ROC krivky od diagonály. Index dáva senzitivite a špecificite rovnakú váhu a nezahŕňa prevalenciu, náklady chýb ani kalibráciu pravdepodobností, preto nemusí určovať ekonomicky alebo klinicky optimálne rozhodnutie.

Mocninové rozdelenia a frekvencie

Yuleova-Simonova distribúcia

Yule-Simon distribution

Yule-Simon distribution je diskrétne pravdepodobnostné rozdelenie na kladných celých číslach s ťažkým mocninovým chvostom, parametrizované kladným parametrom rho. Vzniká v modeloch preferenčného pripájania, kde sa nové typy objavujú s určitou pravdepodobnosťou a existujúce typy získavajú ďalšie výskyty úmerne svojej doterajšej frekvencii. V NLP môže približovať nerovnomerné frekvencie slov alebo entít, v sieťach distribúciu popularity. Nie je totožné so Zipfovým zákonom a jeho vhodnosť sa musí testovať na chvoste aj voči alternatívnym rozdeleniam.

Časové rady a autoregresné modely

Yuleove-Walkerove rovnice

Yule-Walker equations

Yule-Walker equations vyjadrujú vzťah medzi autokovarianciami stacionárneho autoregresného procesu a jeho koeficientmi. Pre AR model rádu p vytvárajú lineárny systém s Toeplitzovou kovariančnou maticou, z ktorého možno odhadnúť parametre a rozptyl inovácie. Odhad používa vzorkové autokovariancie, preto je citlivý na voľbu rádu, stacionaritu, dĺžku série a spôsob odhadu kovariancie. V aplikačnej AI sa využíva pri klasickom modelovaní signálov, predikcii časových radov a ako referenčný baseline voči zložitejším sekvenčným modelom.

Priestorové indexovanie dát

Z-krivka alebo Mortonovo poradie

Z-order curve

Z-order curve je mapovanie viacrozmerných celočíselných súradníc na jednorozmerný Mortonov kód vytvorený prekladaním bitov jednotlivých osí. Zachováva priestorovú lokalitu iba približne, ale umožňuje ukladať body, dlaždice alebo voxely v obyčajnom zoradenom indexe. V AI systémoch sa využíva pri organizácii bodových mračien, sparse voxel grids, geodát, cache-friendly spracovaní a výbere blokov z rozsiahlych viacrozmerných polí.

Štatistické testovanie a experimenty

Z-test štatistickej hypotézy

Z-test

Z-test je parametrický test hypotézy, ktorého testovacia štatistika má pri platnosti nulovej hypotézy štandardné normálne rozdelenie alebo sa k nemu dostatočne približuje. Používa sa napríklad pri testovaní priemeru so známym populačným rozptylom, rozdielu dvoch priemerov vo veľkých vzorkách alebo rozdielu podielov. V AI experimentoch môže porovnávať miery úspešnosti či konverzie, ale iba vtedy, keď sú splnené podmienky nezávislosti, vhodnej aproximácie a správne definovanej jednotky analýzy.

Riadenie kvality a dôveryhodnosti

Zabezpečovanie kvality AI

Quality assurance for AI

Quality assurance for AI je plánovaný súbor procesov, zodpovedností a dôkazov, ktorými organizácia vytvára primeranú istotu, že AI systém spĺňa určené požiadavky počas celého životného cyklu. Zahŕňa kvalitu dát, návrhové kontroly, verifikáciu, validáciu, bezpečnostné testy, dokumentáciu, riadenie zmien, monitoring a reakciu na incident. QA je procesne orientované a preventívne. Neobmedzuje sa na finálnu metriku modelu ani na jednorazovú kontrolu pred vydaním.

Jazykové modely a tokenizácia

Základná jednotka spracovania modelu

Token

Token je diskrétna jednotka, na ktorú tokenizer prevedie vstup pred spracovaním modelom. Môže predstavovať celé slovo, časť slova, znak, bajt alebo špeciálny symbol. Každý token sa mapuje na celočíselný identifikátor a následne na embedding. Počet tokenov nie je totožný s počtom slov ani znakov a závisí od konkrétneho slovníka a pravidiel tokenizácie. Limity kontextu, výpočtové náklady aj účtovanie API sa preto často vyjadrujú v tokenoch. Počet tokenov sa meria rovnakou verziou tokenizéra, akú používa produkčný model a konkrétny endpoint.

Generatívna AI a prenos učenia

Základný model

Base model

Base model je model, ktorý slúži ako východiskový artefakt pre ďalšiu adaptáciu, integráciu alebo odvodené modely. Pri generatívnej AI ide často o rozsiahlo predtrénovaný model bez úzko špecializovanej konfigurácie pre konkrétnu organizáciu. Následné úpravy môžu zahŕňať supervised fine-tuning, instruction tuning, adaptér, LoRA, kvantizáciu, bezpečnostné vrstvy alebo napojenie na externé znalosti. Pojem nehovorí, že model je neutrálny, bezpečný alebo vhodný na priame použitie, iba opisuje jeho úlohu v rodokmeni riešenia.

Generatívna AI a modelové ekosystémy

Základný model

Foundation model

Foundation model je model trénovaný na rozsiahlych a rozmanitých dátach, spravidla pomocou self-supervised učenia, ktorý možno adaptovať na široké spektrum následných úloh. Adaptácia môže prebiehať promptovaním, retrievalom, fine-tuningom, nástrojmi alebo pridaním špecializovaných hláv. Šírka použitia vytvára spoločný technologický základ pre viac aplikácií, ale aj prenášanie rovnakých chýb, obmedzení a systémových rizík. Pojem neznamená, že model je univerzálny, spoľahlivý alebo vhodný bez kontextového testovania.

Dekorelácia a predspracovanie obrazu

ZCA bielenie dát

ZCA whitening

ZCA whitening, nazývané aj zero-phase component analysis whitening, je lineárna transformácia centrovaných dát, ktorá odstráni korelácie a nastaví kovariančnú maticu približne na jednotkovú. Na rozdiel od PCA whitening výsledok spätne otočí do pôvodnej súradnicovej orientácie, takže transformované vzorky zostávajú v euklidovskom zmysle čo najbližšie pôvodným dátam. Stabilitu riadi regularizačný člen pridaný k vlastným hodnotám, pretože veľmi malé variancie by inak nadmerne zosilnili šum.

Architektúra a efektívnosť modelov

Zdieľanie parametrov medzi výpočtami

Weight sharing

Weight sharing je návrhový princíp, pri ktorom sa ten istý parameterový tenzor používa na viacerých miestach výpočtového grafu. Konvolučná vrstva aplikuje spoločné jadro na rôzne priestorové pozície, rekurentná sieť opakuje rovnakú transformáciu v časových krokoch a niektoré viacvrstvové modely zdieľajú bloky naprieč hĺbkou. Zdieľanie znižuje počet voľných parametrov a vnáša predpoklad, že rovnaká operácia má byť užitočná v rôznych kontextoch. Nie je totožné s weight tying, ktorý zvyčajne označuje konkrétne vynútenie rovnosti medzi dvoma pomenovanými maticami. Nevhodné zdieľanie môže obmedziť kapacitu.

Tvarové príznaky v počítačovom videní

Zernikeho momenty obrazu

Zernike moments

Zernike moments sú komplexné projekčné koeficienty obrazu alebo binárneho tvaru na ortogonálne Zernikeho polynómy definované na jednotkovom disku. Absolútne hodnoty momentov možno použiť ako príznaky invariantné voči rotácii, zatiaľ čo fáza nesie informáciu o orientácii. Rád polynómu určuje úroveň zachyteného detailu. V rozpoznávaní tvarov, biometrii, kontrole povrchov a medicínskom obraze poskytujú kompaktný globálny opis kontúry alebo intenzitnej štruktúry.

Nesupervidované učenie a segmentácia

Zhlukovanie

Clustering

Clustering je skupina nesupervidovaných metód, ktoré rozdeľujú príklady do zhlukov podľa podobnosti alebo hustoty bez vopred daných cieľových štítkov. Algoritmy ako k-means, hierarchické zhlukovanie, DBSCAN alebo Gaussian mixture používajú odlišnú predstavu o tvare a vzdialenosti skupín. Výsledok nie je objektívne odhalená pravda, ale štruktúra závislá od príznakov, škálovania, metriky, počtu zhlukov a parametrov. Kvalita sa posudzuje internými metrikami, stabilitou a najmä použiteľnosťou v doménovej úlohe.

Robustné zhlukovanie

Zhlukovanie metódou k-medoidov

K-medoids clustering

K-medoids je zhlukovací prístup, v ktorom každý z k zhlukov reprezentuje medoid, teda skutočný dátový bod s minimálnou celkovou nepodobnosťou voči členom skupiny. Optimalizácia vyberá reprezentantov a priraďuje k nim ostatné body podľa zvolenej vzdialenosti. Na rozdiel od k-means nevyžaduje aritmetický priemer a môže používať všeobecnú maticu nepodobností, preto býva robustnejší voči extrémom, ale výpočtovo náročnejší. Cieľová funkcia minimalizuje súčet nepodobností k vybraným reprezentantom, nie rozptyl okolo priemeru.

Neučiteľské učenie a segmentácia

Zhlukovanie metódou k-priemerov

K-means clustering

K-means je centroidový zhlukovací algoritmus, ktorý rozdelí n pozorovaní do k disjunktných skupín minimalizovaním súčtu štvorcov vzdialeností medzi bodmi a centroidom ich priradeného zhluku. Iteruje medzi priradením bodov k najbližšiemu centroidu a prepočtom centroidov ako aritmetických priemerov. Výsledok závisí od škálovania príznakov, inicializácie, zvoleného k a vhodnosti euklidovskej geometrie pre dané dáta. Konvergencia znamená stabilný lokálny výsledok, nie dôkaz globálne najlepšieho rozdelenia.

Štatistika jazyka a dát

Zipfov zákon frekvencie slov

Zipf's law

Zipf's law je empirická regularita, podľa ktorej je frekvencia prvku približne nepriamo úmerná jeho poradiu v rebríčku frekvencií. V prirodzenom jazyku sa niekoľko slov objavuje veľmi často a veľké množstvo slov tvorí dlhý chvost zriedkavých položiek. V log-log zobrazení má stredná časť rozdelenia približne lineárny priebeh, hoci exponent a odchýlky závisia od korpusu, tokenizácie a jazyka. Zákon ovplyvňuje slovníky, sampling, kompresiu, vyhľadávanie aj učenie embeddingov.

Post hoc vysvetľovanie

Zjednodušený model napodobňujúci black box

XAI surrogate model

XAI surrogate model je interpretovateľnejší model natrénovaný tak, aby aproximoval predikcie zložitého modelu. Lokálny surrogate opisuje správanie v okolí jedného vstupu, globálny sa snaží zachytiť širšiu distribúciu. Cieľové hodnoty pre učenie často neposkytuje realita, ale pôvodný black box. Surrogate preto vysvetľuje jeho reakcie, vrátane chýb. Výber architektúry, vzorkovania, váhovania a rozsahu určuje, čo aproximácia zachytí. Povinnou súčasťou je meranie fidelity na relevantných prípadoch a označenie oblastí, kde zjednodušenie zlyháva.

Multimodálna AI

Zjednotený multimodálny model

Unified multimodal model

Unified multimodal model je systém, ktorý spracúva viac modalít a viac úloh v spoločnom modelovom alebo tokenovom rámci namiesto samostatnej siete pre každú kombináciu vstupu a výstupu. Text, obraz, zvuk, video či štruktúrované signály prevádza do kompatibilných reprezentácií a používa spoločné parametre, rozhranie alebo dekóder. Zjednotenie môže podporiť prenos znalostí a jednoduchšiu integráciu, ale neznamená rovnakú kvalitu v každej modalite. Kľúčové sú zarovnanie, dátová rovnováha a jasné evaluačné protokoly. Model card má uvádzať podporované kombinácie modalít, maximálne veľkosti a kvalitu pri chýbajúcom alebo poškodenom vstupe.

Škálovanie neurónových architektúr

Zmes expertov

Mixture of experts

Mixture of experts, MoE, je architektúra pozostávajúca z viacerých špecializovaných podsietí a smerovacieho mechanizmu, ktorý pre každý vstup alebo token vyberá jedného či niekoľkých expertov. Pri sparse MoE sa aktivuje iba malá časť celkových parametrov, čo umožňuje zvýšiť kapacitu modelu bez úmerného rastu výpočtu na jeden príklad. Tréning potrebuje vyvažovanie zaťaženia, kapacitné limity a stabilnú routovaciu stratu, aby sa experti nezrútili na rovnakú funkciu alebo neboli nerovnomerne používaní.

Návrh generatívnych systémov a riadenie rizík

Zmierňovanie halucinácií

Hallucination mitigation

Hallucination mitigation označuje opatrenia, ktoré znižujú pravdepodobnosť, rozsah alebo následok nepodloženého výstupu. Zahŕňa kvalitnejšie dáta a tréning, retrieval augmented generation, volanie overených nástrojov, obmedzenie odpovede na dostupný kontext, požiadavku na citácie, kalibrované odmietnutie, postprodukčnú verifikáciu a ľudské schválenie. Nejde o jednu techniku ani o úplné odstránenie javu. Účinnosť sa musí merať pre konkrétnu doménu, typ otázky a model, pretože zásah môže znižovať halucinácie, ale súčasne zhoršiť úplnosť, tvorivosť alebo používateľskú užitočnosť.

Riadený zdroj explicitných znalostí

Znalostná báza

Knowledge base

Znalostná báza je spravovaná kolekcia faktov, pravidiel, dokumentov, definícií alebo prípadov, ktorú systém používa na vyhľadávanie, odvodzovanie alebo podporu odpovedí. Môže mať relačnú, dokumentovú, grafovú, ontologickú alebo hybridnú štruktúru. Od bežného úložiska sa odlišuje dôrazom na význam, kurátorstvo, pôvod, vzťahy a použiteľnosť pre znalostnú úlohu. Jej kvalita zahŕňa správnosť, úplnosť, aktuálnosť, konzistenciu, prístupové práva a dohľadateľnosť zmien. Každý objekt má mať identifikátor a vlastníka, aby sa dala vykonať oprava bez nejasného dopadu.

Grafová reprezentácia entít a vzťahov

Znalostný graf

Knowledge graph

Znalostný graf je štruktúrovaná reprezentácia, v ktorej uzly označujú entity, koncepty alebo hodnoty a hrany pomenované vzťahy medzi nimi. Tvrdenia sa často zapisujú ako trojice subjekt, predikát, objekt a dopĺňajú sa identifikátormi, typmi, ontológiou, kontextom a provenance. Graf podporuje prepájanie heterogénnych zdrojov, dotazovanie a odvodenie nových vzťahov. Jeho spoľahlivosť závisí od entity resolution, schémy, kvality tvrdení a správy konfliktov. Časové a kontextové tvrdenia často vyžadujú reifikáciu, named graphs alebo samostatný model udalosti.

Nevyvážené dáta a resampling

Zníženie počtu príkladov väčšinovej triedy

Undersampling

Undersampling je postup, pri ktorom sa z tréningovej množiny odstráni časť príkladov, najčastejšie z väčšinovej triedy, aby sa zmenil pomer tried alebo znížila výpočtová záťaž. Výber môže byť náhodný, založený na vzdialenosti, klastroch, hranici rozhodovania alebo čistení prekrývajúcich sa bodov. Metóda môže zlepšiť citlivosť na minoritu, no zároveň zahodiť informatívne prípady a skresliť prirodzené prevalencie. Validačné a testovacie dáta sa preto zvyčajne ponechávajú v pôvodnom rozdelení. Použitý algoritmus, seed a identifikátory ponechaných riadkov patria do reprodukovateľnej tréningovej stopy.

Bezpečnosť, etika a riadenie AI

Zosúladenie hodnôt

Value alignment

Value alignment je miera, do akej ciele, správanie a dôsledky AI systému zodpovedajú relevantným ľudským hodnotám, právam, pravidlám a zámeru používateľa v konkrétnom kontexte. Problém zahŕňa formuláciu cieľa, získanie preferencií, konflikt medzi zainteresovanými stranami, neistotu o normách aj kontrolu vedľajších účinkov. Alignment nie je jednorazová vlastnosť modelu ani synonymum poslušnosti. Systém môže presne plniť pokyn a pritom poškodiť verejný záujem, menšinu alebo dlhodobý cieľ organizácie.

Sémantická interoperabilita

Zosúladenie ontológií

Ontology alignment

Ontology alignment je proces identifikácie a vyjadrenia korešpondencií medzi entitami dvoch alebo viacerých ontológií, napríklad ekvivalencie tried, širšieho alebo užšieho významu, kompatibilných vlastností či transformačného pravidla. Metódy porovnávajú názvy, definície, grafovú štruktúru, inštancie a externé znalosti. Výstupom býva mapovanie so skóre istoty a typom vzťahu, nie nevyhnutne zlúčená ontológia. Nesprávna ekvivalencia môže preniesť logické dôsledky medzi systémami, preto sa kritické mapovania kontrolujú doménovo a verziujú.