Vysokorozměrná data | AI slovník

Odborná definice

High-dimensional data jsou data s velkým počtem příznaků vzhledem na počet pozorování, dostupný výpočet nebo efektivně množství informace. Ve vysokém rozmere roste prostor exponenciálne, body bývají řídké a rozdíl mezi najbližšou a vzdialenou položkou se může zmenšovat. Odhad parametrů proto vyžaduje více dat a metriky podobnosti mohou stratit rozlišovaci schopnost, co jsou prejavy curse of dimensionality. Ne každý velký vektor je však stejně problematický, protože data mohou ležet na nízkorozmernej štruktúre. Pomáhá regularizace, výběr příznaků, redukce rozměrnosti a doménová metrika.

Srozumitelné vysvětlení

V dvojrozmernej mape lze body pokrýt relativně malým počtem buniek. Pokud však pridáte stovky nezávislých osí, stejná hustota by vyžadovala astronomické množství pozorování. Večšina prostoru zůstane prázdna a nový bod může být daleko od všech tréninkových dat. Zároveň může mít každý objekt tisíce měření, ale pouze několik skutečných faktorů, například tému, styl a čas. Úlohou modelu je najít tuto užitočnou strukturu a ignorovat šum. Samotný počet stlpců tedy neříká, či problém zvládnete, rozhoduje i redundance, sparsity a počet vzorků.

Časté otázky

Kdy je dataset vysokorozmerný?

Neexistuje univerzální hranice. Důležitý je poměr rozměrů k vzorkám, typ modelu, sparsity a množství nezávislej informace. Tisíc příznaků může být zvládnutelných při miliónoch dat, ale kritických při stovke pacientů.

Co je curse of dimensionality?

Je to soubor javů, při kterých s rastom rozmeru prudko roste potřebné pokrytí prostoru, vzdálenosti se koncentrují a lokálně odhady strácají oporu. Důsledok závisí na distribuce a vnitřní dimenze dat.

Proč může k-nearest neighbors selhat?

Pokud jsou všechny body v použitom rozmere podobně daleko, najbližší soused není výrazně informatívnejší než ostatní. Nevhodné škálování a množství irelevantných příznaků tento efekt ještě zosilnia.

Jako pomáhá redukce rozměrnosti?

PCA, autoenkóder nebo náhodná projekce vytvoří menší reprezentaci, která zachovává vybranou strukturu. Redukce může odstranit šum a zrychlit model, ale může stratit zriedkavý signál důležitý pro cíl.

Je embedding automaticky řešením vysokého rozmeru?

Ne. Embedding může zhustit původní data, ale jeho rozměry a geometrie jsou naučené podle tréninkového cíle. Pokud cíl neodpovídá nové úloze, menší vektor může odstranit právě potřebnou informaci.

Související pojmy

Zdroje a redakční stopa

Bellman, Dynamic Programming (press.princeton.edu)
scikit-learn, Random Projection (scikit-learn.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.