Odborná definícia
Odborná definícia
Dátový únik vzniká, keď sa počas tréningu alebo prípravy modelu dostane do vstupov informácia, ktorá by pri reálnom použití nebola dostupná, prípadne keď sa obsah validačnej alebo testovacej množiny nepriamo využije na učenie. Môže ísť o budúcu hodnotu, premennú odvodenú z výsledku, normalizáciu vypočítanú nad celým datasetom alebo duplicity medzi rozdeleniami. Únik vytvára umelo vysoký výkon v experimente, pretože model rieši jednoduchšiu úlohu než tú, ktorú bude riešiť v prevádzke.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si model, ktorý má pri prijatí pacienta odhadnúť riziko hospitalizácie. Ak mu omylom dáte premennú vytvorenú až pri prepustení, test vyzerá výborne, pretože vstup už obsahuje časť odpovede. V prevádzke však táto informácia v okamihu rozhodnutia neexistuje. Dátový únik je ako skúška, pri ktorej žiak nevedomky dostal riešenie v zadaní. Najťažšie prípady nie sú priame, ale vznikajú cez agregácie, časové okná, deduplikáciu alebo opakované ladenie na rovnakom teste.
Časté otázky
Časté otázky
Aký je rozdiel medzi target leakage a test leakage?
Target leakage znamená, že vstup obsahuje informáciu odvodenú od cieľa alebo budúcnosti. Test leakage vzniká, keď sa testovacie dáta použijú pri učení, výbere alebo ladení modelu.
Môže únik vzniknúť pri štandardizácii dát?
Áno. Ak sa priemer a odchýlka vypočítajú z celého datasetu pred rozdelením, tréning získava informáciu o validačných a testovacích príkladoch.
Ako sa únik odhaľuje?
Kontroluje sa časová dostupnosť premenných, pôvod feature, pipeline po rozdelení dát, duplicity entít a neprimerane vysoký výkon podozrivých atribútov.
Prečo je časové rozdelenie často bezpečnejšie?
Pri predikcii budúcnosti zachováva poradie udalostí. Tréning používa iba minulosť a test simuluje neskoršie obdobie, čím obmedzuje prenikanie budúcich informácií.
Môže byť únik aj medzi dokumentmi pre RAG?
Áno. Ak hodnotiace otázky alebo ich odpovede preniknú do indexu, promptov alebo tréningových dát, benchmark meria zapamätanie namiesto schopnosti vyhľadávať a odpovedať.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.