Odborná definícia
Význam a odborné vymedzenie pojmu
Latent diffusion model, LDM, vykonáva difúzny proces nie priamo v pixelovom priestore, ale v komprimovanej latentnej reprezentácii vytvorenej autoenkóderom. Tréning sa učí odstraňovať šum z latentov v postupných časových krokoch. Podmienky, napríklad text, maska alebo trieda, sa môžu pripájať cez cross-attention. Po dokončení denoisingu dekóder prevedie latent späť na obraz. Kompresia znižuje výpočtovú náročnosť, no kvalitu a typ artefaktov ovplyvňuje aj autoenkóder.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Namiesto toho, aby generátor upravoval milióny pixelov, najprv pracuje s menšou mapou, ktorá zachytáva podstatné vizuálne črty. Z náhodného šumu v tejto mape opakovane odoberá šum podľa textového zadania. Až na konci preloží výslednú latentnú reprezentáciu späť na obrázok. Tento postup je lacnejší než difúzia v plnom rozlíšení. Zároveň znamená, že drobné textúry, písmo alebo presné tvary môžu byť limitované tým, čo kompresný dekóder dokáže verne obnoviť.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo sa difúzia presúva do latentného priestoru?
Znižuje priestorové rozmery a počet výpočtov. Model môže venovať kapacitu významovej štruktúre bez denoisingu každého pixelu v plnom rozlíšení.
Akú úlohu má autoenkóder?
Encoder prevedie obraz na latent a decoder ho rekonštruuje. Jeho kompresný pomer a kvalita určujú, aké detaily zostanú dostupné difúznemu modelu.
Je textový encoder súčasťou difúzie?
Je súčasťou podmieneného systému, ale môže byť samostatne predtrénovaný. Jeho embeddingy vstupujú do denoising siete, často cez cross-attention.
Čo je classifier-free guidance?
Pri generovaní kombinuje podmienenú a nepodmienenú predikciu šumu. Vyššia guidance posilní súlad s promptom, no môže znížiť prirodzenosť alebo rozmanitosť.
Prečo LDM zle kreslí malé písmo?
Presné znaky vyžadujú jemnú priestorovú štruktúru a konzistentnú sekvenciu. Kompresia aj generatívny cieľ uprednostňujú vizuálnu pravdepodobnosť pred typografickou správnosťou.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.