Odborná definícia
Odborná definícia
Latent representation je interné číselné vyjadrenie vstupu, ktoré model vytvára v skrytej vrstve alebo enkóderi. Namiesto pôvodných pixelov, slov či meraní obsahuje transformované črty užitočné pre rekonštrukciu, predikciu, podobnosť alebo generovanie. Jednotlivé rozmery nemusia mať samostatne pomenovateľný význam a informácia môže byť distribuovaná medzi mnoho komponentov. Kvalita latentnej reprezentácie sa posudzuje podľa cieľovej úlohy, invariancií, separácie, robustnosti a zachovania relevantnej informácie.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Fotografia môže mať milión hodnôt, no model si ju vnútorne zhrnie do vektora, ktorý zachytáva tvary, objekty, štýl alebo iné vlastnosti potrebné na úlohu. Tento vektor je latentná reprezentácia. Nie je to skrytý zoznam ľudských pojmov, v ktorom má každá pozícia jasný názov. Význam býva rozdelený naprieč celým vektorom a mení sa podľa tréningového cieľa. Reprezentácia vhodná na rozpoznávanie tváre preto nemusí byť vhodná na odhad osvetlenia alebo na vyhľadávanie podľa umeleckého štýlu.
Časté otázky
Časté otázky
Je latentná reprezentácia to isté ako embedding?
Embedding je typ latentnej reprezentácie, zvyčajne s dôrazom na použiteľnosť vektorovej vzdialenosti. Nie každá aktivácia skrytej vrstvy je navrhnutá ako embedding.
Ako sa overuje, čo latent obsahuje?
Používajú sa linear probes, vizualizácie, intervenčné testy, retrieval a meranie výkonu na downstream úlohách. Jedna metóda neposkytuje úplnú interpretáciu.
Môže latentná reprezentácia obsahovať citlivé údaje?
Áno. Aj keď sa citlivý atribút netrénuje priamo, môže byť predikovateľný z korelovaných čŕt. Preto sa testuje leakage atribútov a členstvo v datasete.
Čo znamená disentangled representation?
Ideál, pri ktorom samostatné faktory variability zodpovedajú oddeleným komponentom reprezentácie. V praxi závisí od dát, inductive bias a spôsobu hodnotenia.
Prečo sa latent mení po fine-tuningu?
Aktualizované váhy menia transformáciu vstupu. Aj pri rovnakom rozmere môže nová reprezentácia posunúť susedstvá, separáciu tried a význam jednotlivých smerov.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Bengio et al., Representation Learning: A Review and New Perspectives
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.