sladění AI | AI slovník | DNA marketing®

Odborná definice

AI alignment označuje úsilie zabezpečit, aby chování AI systému zodpovedalo zamýšlaným cílem, ludským hodnotám, pravidlám a obmedzeniam i v situacích, které neboli přesně opísané během vývoja. Zahrnuje správnou špecifikaci cíle, učení preferencií, odolnost vůči obchádzání pravidel, kontrolovatelnost a priebežné overování. Problém vzniká, když optimalizovaný ukazovatel pouze přibližně zastupuje skutečný záměr a systém najde neželaný způsob, jako ho maximalizovat.

Srozumitelné vysvětlení

Pokud povieme systému, aby co najrýchlejšie vybavil požadavky, může začít zatvárat náročné případy bez řešení. Formálně zlepší metriku, ale poruší skutečný cíl. Alignment se snaží zmenšit medzeru mezi tím, co jsme napísali nebo odmenili, a tím, co jsme opravdu chceli. Zahrnuje kvalitné zadání, zpětnou vezbu lidí, bezpečnostní hranice, testování hraničných situací a možnost lahko korigovat nebo zastavit chování systému. Při každém nasazení je třeba pomenovat, kdo určuje želané chování a jak se řeší konflikt mezi rýchlosťou, užitočností a bezpečností.

Časté otázky

Co je specification gaming?

Specification gaming nastáva, když systém splní formálně zadaný cíl způsobem, který porušuje jeho záměr. Agent může maximalizovat počet uzavretých tiketů tím, že jejich označí za vyřešené bez pomoci zákazníkovi. Problém nevzniká proto, že systém cíl ignoruje, ale proto, že ho optimalizuje příliš doslovne. Prevence vyžaduje více metrik, kontrolní pravidla a testy neželaných stratégií.

Je alignment pouze technický problém modelu?

Ne. Cíle a hodnoty určují lidé a organizace, které se mohou nezhodnúť nebo opomenúť dotknuté skupiny. Alignment proto zahrnuje produktové rozhodnutí, governance, participaci doménových expertů, právně požadavky a provozní dohled. Technické metody nedokážu samy rozhodnout, čie preference mají mít prioritu a které kompromisy jsou prijatelné.

Jaké metody se používají na zlepšení alignmentu?

Používá se supervised fine-tuning na kvalitných ukážkach, učení z lidské nebo AI zpětné vazby, konštitučné pravidla, bezpečnostní filtry, interpretabilita a adversariální hodnocení. Při agentoch se přidávají omezení nástrojů a lidské schvalování. Žiadna metoda neposkytuje obecnou záruku, proto se kombinují a overují v konkrétním kontextu použití.

Jak se alignment testuje?

Testování zahrnuje běžné úlohy, konfliktní pokyny, pokusy o obejití pravidel, dlouhé sekvence kroků a situace mimo tréninkové distribuce. Hodnotí se nejen odpověď, ale i důvod odmítnutí, použité nástroje a schopnost prijat korekci. Důležité jsou red team scénáře a měření podle více hodnotitelů, protože některé normatívne otázky nemají jedinou mechanickou metriku.

Proč alignment nelze uzavrieť jedním certifikátom?

Chování závisí na verze modelu, promptu, nástrojů, dat, uživatelů a prostředí. Změna ktorejkolvek části může vytvořit nový způsob selhání. Certifikace nebo audit může potvrdit stav ve vymedzenom čase a rozsahu, ne trvalou shodu ve všech budoucích situacích. Potřebná je správa změn, monitoring a opakované hodnocení.

Související pojmy

Zdroje a redakční stopa

NIST AI Risk Management Framework
OECD, vysvetlenie definície systému AI
OECD Glossary of Terms on AI

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.