Hierarchické shlukování | AI slovník

Odborná definice

Hierarchical clustering je metoda shlukování, která vytváří vnorenou postupnost skupin reprezentovanou dendrogramom. Aglomeratívny variant začíná jednotlivými body a opakovaně spojuje nejbližší zhluky, divizívny začíná celou množinou a postupně ji rozděluje. Výsledek závisí na metriky vzdálenosti a linkage pravidla, například single, complete, average nebo Ward. Počet shluků se nemusí zadať před tréninkem, vybere se rezom stromu. Hierarchie však není automaticky objektívna taxonomie a časné chybné spojení se v běžném aglomeratívnom postupe už neopraví.

Srozumitelné vysvětlení

Představte si, že triedite dokumenty nejprve do velmi úzkych skupin podle podobných formulací, potom tyto skupiny spájate do širších tém a nakonec do několika hlavních oblastí. Dendrogram ukáže každou úroveň spájání. Pokud strom prerežete nízko, dostanete mnoho detailných shluků, vyšší řez vytvoří méně všeobecných kategorií. Výsledek se však může dramaticky změnit podle toho, či za vzdálenost dvou skupin považujete najbližšiu, najvzdialenejšiu nebo průměrnou dvojicu. Strom proto vizualizuje rozhodnutí algoritmu, ne jedinou prirodzenou strukturu sveta.

Časté otázky

Co znamená linkage při hierarchickom zhlukování?

Je to pravidlo na výpočet vzdálenosti mezi dvěma zhlukmi. Single linkage používá najbližšiu dvojicu, complete najvzdialenejšiu, average průměr a Ward minimalizuje nárast vnútrozhlukovej variability.

Jak se určí počet shluků?

Dendrogram se prereže při zvolené výške nebo se použije kritérium vzdálenosti, stability či doménové interpretovatelnosti. Silueta může pomoci, ale sama neurčuje, která úroveň je obchodne nebo vedecky správná.

Proč single linkage vytváří řetězce?

Stačí, aby každý nový bod byl blízko aspoň jednomu členu zhluku. Postupně může spojit dlouhý pás bodů, ačkoli jeho vzdálené konce si nejsou podobné, co se označuje jako chaining effect.

Je hierarchické shlukování vhodné pro velké datasety?

Klasické algoritmy často potřebují kvadratickou paměť nebo čas na matici vzdáleností. Při velkých datech se používá vzorkování, aproximace, omezení susedstva nebo nejprve redukce počtu reprezentantů.

Jako citlivé je na škálování příznaků?

Velmi, pokud metrika používá numerické vzdálenosti. Příznak s velkým rozsahem může dominovat stromu, proto se škáluje podle významu, robustne normalizuje nebo nahrazuje vhodnou doménovou metrikou.

Související pojmy

Zdroje a redakční stopa

scikit-learn, Hierarchical clustering (scikit-learn.org)
SciPy, hierarchical clustering (docs.scipy.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.