Latentní reprezentace | AI slovník

Odborná definice

Latent representation je interní číselné vyjadrení vstupu, které model vytváří v skrytej vrstvě nebo enkóderi. Místo původných pixelů, slov či měření obsahuje transformované črty užitečné pro rekonštrukci, predikci, podobnost nebo generování. Jednotlivé rozměry nemusí mít samostatně pomenovatelný význam a informace může být distribuovaná mezi mnoho komponentů. Kvalita latentní reprezentace se posuzuje podle cílové úlohy, invariancií, separace, robustnosti a zachování relevantnej informace.

Srozumitelné vysvětlení

Fotografie může mít milión hodnot, ale model si ji vnútorne shrne do vektora, který zachycuje tvary, objekty, styl nebo jiné vlastnosti potřebné na úlohu. Tento vektor je latentní reprezentace. Není to skrytý seznam lidských pojmů, ve kterém má každá pozíce jasný název. Význam bývá rozdělený napříč celým vektorem a mění se podle tréninkového cíle. Reprezentace vhodná na rozpoznávání tváře proto nemusí být vhodná na odhad osvetlení nebo na vyhledávání podle umeleckého štýlu.

Časté otázky

Je latentní reprezentace to jisté jako embedding?

Embedding je typ latentní reprezentace, obvykle s důrazem na použitelnost vektorovej vzdálenosti. Ne každá aktivace skrytej vrstvy je navržená jako embedding.

Jak se ověřuje, co latent obsahuje?

Používají se linear probes, vizualizace, intervenčné testy, retrieval a měření výkonu na downstream úlohách. Jedna metoda neposkytuje úplnou interpretaci.

Může latentní reprezentace obsahovat citlivé údaje?

Ano. I když se citlivý atribút netrénuje přímo, může být predikovatelný z korelovaných črt. Proto se testuje leakage atributů a členstvo v datasete.

Co znamená disentangled representation?

Ideál, při kterém samostatné faktory variability odpovídají oddeleným komponentem reprezentace. V praxi závisí na dat, inductive bias a způsobu hodnocení.

Proč se latent mění po fine-tuningu?

Aktualizované váhy mění transformaci vstupu. I při stejném rozmere může nová reprezentace posunout susedstvá, separaci tříd a význam jednotlivých smerů.

Související pojmy

Zdroje a redakční stopa

Bengio et al., Representation Learning: A Review and New Perspectives

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.