Etika umelej inteligencie, riziká, transparentnosť a zodpovednosť

Etika umelej inteligencie sa začína skôr, než vznikne prvý model. Začína sa otázkou, či je AI pre daný problém vôbec vhodná, aký cieľ má optimalizovať a koho bude výsledok ovplyvňovať. Pokračuje pri výbere dát, metrík, architektúry, dodávateľa, používateľského rozhrania a pravidiel ľudského dohľadu. Nekončí nasadením, pretože skutočné dôsledky sa často ukážu až v prevádzke, pri zmene populácie, procesu alebo správania používateľov.

Čo je etika umelej inteligencie

UNESCO opisuje etiku AI ako systematickú normatívnu reflexiu, ktorá má viesť spoločnosti pri zodpovednom zaobchádzaní so známymi aj neznámymi dopadmi AI na ľudí, spoločnosť a životné prostredie. Základným kompasom sú ľudská dôstojnosť, blahobyt a predchádzanie škode [1]. Etika teda neodpovedá iba na otázku, či systém funguje. Pýta sa, či má byť použitý, za akých podmienok, s akými hranicami a s akou možnosťou nápravy.

Technicky presný model môže byť eticky zlý, ak optimalizuje nevhodný cieľ, používa údaje získané bez primeraného oprávnenia, systematicky znevýhodňuje určitú skupinu alebo vytvára rozhodnutia, proti ktorým sa človek nevie odvolať. Naopak, eticky dobre navrhnutý proces nemôže ignorovať technickú kvalitu. Neplatný, nepresný alebo nezabezpečený systém ohrozuje ľudí aj vtedy, keď bol vytvorený s dobrým úmyslom.

Etika, právo, governance a bezpečnosť nie sú to isté

Právo určuje záväzné povinnosti a zákazy. Etika posudzuje širšie otázky dobrého a spravodlivého konania aj tam, kde zákon ponecháva priestor. Governance vytvára organizačné pravidlá, roly, procesy, evidenciu a kontrolu. Bezpečnosť sa sústreďuje na prevenciu škôd, útokov, zlyhaní a nežiaduceho správania. V praxi sa tieto oblasti prekrývajú, no nesmú sa zameniť.

Systém môže byť formálne legálny a zároveň neprimerane invazívny, manipulatívny alebo sociálne škodlivý. Môže byť eticky dobre mienený, ale právne nepovolený. Môže spĺňať bezpečnostné testy, no stále byť nespravodlivý. Zrelá organizácia preto nepoužíva compliance ako náhradu za etické rozhodovanie a etický manifest ako náhradu za technické testovanie.

Tabuľka 1: Rôzne rámce sa neprekrývajú úplne. Spolu vytvárajú normatívnu, organizačnú, technickú a právnu vrstvu.

AI je sociotechnický systém

Model nie je izolovaný objekt. Je súčasťou procesu, v ktorom ľudia definujú cieľ, zbierajú a označujú dáta, nastavujú prahy, interpretujú výstupy, prideľujú zdroje a rozhodujú o výnimkách. NIST preto upozorňuje, že škodlivý bias nevzniká iba v tréningových dátach alebo algoritme. Môže vychádzať zo širšieho spoločenského kontextu, inštitucionálnych pravidiel a spôsobu použitia [6].

Pri náborovom modeli napríklad nestačí preveriť, či dátová tabuľka neobsahuje pohlavie. Historické názvy pozícií, kariérne prestávky, lokalita, typ školy alebo jazyk životopisu môžu fungovať ako zástupné premenné. Navyše samotná definícia úspešného zamestnanca môže kopírovať minulé rozhodnutia firmy. Etická analýza preto musí skúmať celý reťazec od organizačného cieľa po reálny dopad na uchádzača.

Schéma 1: Etické riadenie AI počas celého životného cyklu. Schéma je syntézou princípov UNESCO, OECD, NIST, Rady Európy a požiadaviek Aktu o umelej inteligencii.

Základné princípy etiky AI

Ľudská dôstojnosť a autonómia

Človek nemá byť iba zdrojom dát alebo objektom optimalizácie. Systém má rešpektovať jeho schopnosť rozhodovať, rozumieť podstatným následkom a brániť svoje záujmy. Autonómia je ohrozená pri skrytej manipulácii, nátlaku, neprimeranom profilovaní alebo v situácii, keď človek nemá reálnu možnosť odmietnuť automatizovaný proces.

Oznámenie, že sa používa AI, samo osebe nestačí. Informácia musí byť zrozumiteľná a relevantná pre rozhodnutie používateľa. Pri citlivom procese má človek vedieť, akú úlohu systém plní, ktoré údaje ovplyvňujú výsledok, čo môže urobiť pri chybe a či existuje ľudská alternatíva.

Spravodlivosť a nediskriminácia

Spravodlivosť nie je jedna technická metrika. Môže znamenať rovnaké zaobchádzanie, rovnakú príležitosť, podobnú chybovosť medzi skupinami, primerané zohľadnenie rozdielnych potrieb alebo zákaz používania určitej vlastnosti. Tieto predstavy sa môžu dostať do konfliktu. Výskum ukazuje, že niektoré populárne metriky skupinovej spravodlivosti nemožno pri rozdielnych základných mierach vždy splniť súčasne [7].

Z toho nevyplýva, že spravodlivosť je nemožná. Vyplýva z toho, že organizácia musí vopred pomenovať, aký druh nespravodlivosti chce zabrániť, prečo zvolila konkrétnu metriku a aké kompromisy akceptuje. Rozhodnutie nemá zostať iba na dátovom tíme. Potrebuje doménových odborníkov, právnikov, zástupcov dotknutých ľudí a vlastníka procesu.

Transparentnosť, vysvetliteľnosť a zrozumiteľnosť

Transparentnosť znamená, že organizácia dokáže primerane opísať účel systému, jeho vlastníka, zdroje dát, limity, spôsob testovania a rolu v rozhodovaní. Vysvetliteľnosť sa týka toho, či možno objasniť, ako alebo prečo vznikol konkrétny výstup. Interpretovateľnosť opisuje, do akej miery človek rozumie vnútornému správaniu modelu alebo vzťahu medzi vstupmi a výstupom.

Tieto vlastnosti nie sú totožné a ani jedna automaticky nezaručuje pravdivosť, bezpečnosť alebo spravodlivosť. NIST výslovne upozorňuje, že transparentný systém nemusí byť presný, bezpečný ani férový [5]. Organizácia má preto vysvetľovať to, čo človek potrebuje pre konkrétne rozhodnutie, nie zahltiť ho technickým dokumentom, ktorý nedokáže použiť.

Súkromie a správa dát

Etické spracovanie dát sa nezačína súhlasom v podmienkach používania. Pýta sa, či sú údaje potrebné, primerané, aktuálne a získané spôsobom, ktorý ľudia mohli rozumne očakávať. Zahŕňa minimalizáciu, obmedzenie účelu, prístupové práva, retenčné lehoty, pôvod dát, kvalitu označení a ochranu pred zneužitím.

Pri generatívnej AI sa pridáva riziko vloženia osobných údajov alebo obchodného tajomstva do externého systému, neúmyselného sprístupnenia informácií cez retrieval, zapamätania citlivých vzorov a vytvárania presvedčivých odvodených údajov. Praktická etika preto potrebuje dátovú klasifikáciu, schválené nástroje, obmedzenie prístupov a testovanie únikov.

Bezpečnosť, robustnosť a odolnosť

Bezpečný systém má fungovať v povolených podmienkach, rozpoznať hranice a zlyhať spôsobom, ktorý minimalizuje škodu. Robustnosť sa týka správania pri zmene vstupu, šume, útoku alebo odlišnej populácii. Odolnosť zahŕňa schopnosť zotaviť sa, zachovať kritické funkcie a reagovať na incident.

NIST medzi vlastnosti dôveryhodnej AI zaraďuje validitu a spoľahlivosť, bezpečnosť, zabezpečenie a odolnosť, zodpovednosť a transparentnosť, vysvetliteľnosť, ochranu súkromia a spravodlivosť so zvládnutým škodlivým biasom [5]. Dôležité je slovo spolu. Optimalizácia jednej vlastnosti nemá zakryť zlyhanie ostatných.

Zodpovednosť, napadnuteľnosť a náprava

Zodpovednosť znamená, že organizácia vie, kto schválil účel, kto vlastní dáta, kto testoval model, kto monitoruje prevádzku a kto môže systém vypnúť. Nemá sa rozplynúť medzi dodávateľa, vývojára, manažéra a používateľa. Každá kritická činnosť potrebuje konkrétneho vlastníka a záznam rozhodnutia.

Človek ovplyvnený systémom potrebuje možnosť požiadať o preskúmanie, opraviť nesprávne údaje, podať sťažnosť a získať účinnú nápravu. Rámcový dohovor Rady Európy zdôrazňuje procesné práva, prístup k informáciám, možnosť napadnúť rozhodnutie a účinné sťažnosti [4]. Bez nápravy sa transparentnosť mení na jednostranné oznámenie bez reálnej moci.

Environmentálna a spoločenská udržateľnosť

Etické hodnotenie má zohľadniť spotrebu energie, vody, hardvéru a materiálov, ale aj širší sociálny dopad. Patrí sem kvalita práce ľudí, ktorí označujú dáta alebo moderujú obsah, koncentrácia moci, dostupnosť technológie, kultúrna a jazyková rozmanitosť a vplyv na informačné prostredie. OECD pri aktualizácii princípov v roku 2024 posilnila dôraz na environmentálnu udržateľnosť a informačnú integritu [2].

Ako vzniká bias v AI

Bias sa často prekladá ako zaujatosť alebo skreslenie. Nie každá odchýlka je automaticky morálnym zlyhaním, no škodlivý bias môže viesť k systematicky horším výsledkom pre určitých ľudí. Dôležité je nehľadať jediného vinníka. Bias môže vzniknúť pred tréningom, počas neho aj po nasadení.

Tabuľka 2: Typické zdroje škodlivého biasu a praktické opatrenia počas životného cyklu.

Prečo odstránenie citlivej premennej nestačí

Odstrániť pohlavie, vek alebo etnicitu z datasetu môže byť potrebné, ale nie je to univerzálne riešenie. Iné premenné môžu citlivú vlastnosť nepriamo rekonštruovať. Navyše bez primeraného prístupu k údajom o skupinách nemusí byť možné odhaliť rozdielnu chybovosť. Organizácia potrebuje právne a eticky primeraný spôsob testovania, ktorý neprevedie ochranu súkromia na slepotu voči diskriminácii.

Priemer môže zakryť problém

Model s vysokou celkovou presnosťou môže mať výrazne horšie výsledky pri malej skupine. Preto sa výkon hodnotí podľa relevantných podskupín, typov chýb a kontextov. Pri zdravotníckom triage môže byť falošne negatívny výsledok podstatne závažnejší než falošne pozitívny. Pri moderovaní obsahu môže byť kritická rozdielna chybovosť medzi jazykmi. Etická metrika musí odrážať následok, nie iba matematickú pohodlnosť.

Transparentnosť bez predstierania istoty

Používateľovi nepomôže veta, že rozhodnutie vytvoril pokročilý algoritmus. Potrebuje vedieť, čo systém skutočne robí. Pri odporúčacom modeli môže byť relevantné vysvetlenie hlavných kategórií údajov a možnosti zmeniť preferencie. Pri úverovom alebo náborovom procese je potrebné podstatne presnejšie vysvetlenie faktorov, zdrojov údajov a postupu preskúmania.

Vysvetlenie má byť pravdivé voči skutočnému systému. Post hoc príbeh, ktorý iba znie zrozumiteľne, môže vytvoriť falošný pocit kontroly. Ak organizácia nevie spoľahlivo vysvetliť individuálny výstup, má to uviesť ako limit a upraviť rolu modelu. Niekedy je eticky lepšie použiť jednoduchší, interpretovateľnejší model než presnejší model, ktorého chyby nemožno v danom procese bezpečne riadiť.

Ľudský dohľad musí byť skutočný

Formulácia „výstup kontroluje človek“ nič negarantuje. Dohľad je účinný iba vtedy, keď má človek potrebné vedomosti, čas, informácie, právomoc a rozhranie. Musí rozumieť typickým chybám, vidieť zdroje a mieru neistoty, vedieť výstup odmietnuť a nesmie byť trestaný za oprávnené spomalenie procesu.

Akt o umelej inteligencii vyžaduje, aby vysokorizikové systémy mohli byť počas používania účinne kontrolované fyzickými osobami a aby dohľad smeroval k prevencii alebo minimalizácii rizík pre zdravie, bezpečnosť a základné práva [3]. To je právna požiadavka pre konkrétnu kategóriu systémov, no etický princíp má širší význam. Čím závažnejší následok, tým menší priestor má slepé potvrdenie odporúčania modelu.

Etické riziká generatívnej AI

Generatívna AI pridáva k tradičným rizikám strojového učenia schopnosť vytvárať presvedčivý obsah vo veľkom objeme. Môže zosilniť dezinformácie, podvody, vydávanie sa za inú osobu, nežiaduce stereotypy, neoprávnené použitie chráneného obsahu a závislosť používateľov od syntetického poradcu. Plynulosť výstupu môže viesť k vyššej dôvere než jeho faktická kvalita.

Etické opatrenia preto musia zahŕňať overovanie zdrojov, označovanie a informovanie podľa kontextu, obmedzenie citlivých úloh, ochranu identity, monitoring zneužitia, red teaming a pravidlá pre publikovanie. Pri emocionálne citlivých alebo zdravotných témach je dôležité nepodporovať predstavu, že generatívny systém rozumie človeku rovnakým spôsobom ako kvalifikovaný odborník.

Posudzovanie etických rizík a dopadov

Posúdenie nemá začínať zoznamom technických hrozieb. Najprv sa popíše účel, rozhodnutie a skupiny, ktoré môžu byť priamo alebo nepriamo ovplyvnené. Následne sa identifikujú možné prínosy, škody, nerovnomerné rozdelenie dopadov, zneužitie a podmienky, v ktorých sa systém nemá používať. Hodnotenie sa aktualizuje pri zmene modelu, dát, dodávateľa, procesu alebo populácie.

Rada Európy požaduje iteratívne posudzovanie rizík a dopadov na ľudské práva, demokraciu a právny štát, spolu s preventívnymi a zmierňujúcimi opatreniami [4]. NIST organizuje riadenie rizík do funkcií Govern, Map, Measure a Manage, pričom governance preniká ostatnými funkciami [5]. Akt o umelej inteligencii zároveň pri niektorých nasadeniach vysokorizikových systémov vyžaduje posúdenie dopadu na základné práva [3].

Schéma 2: Kvalitatívna matica etického rizika. Nejde o namerané údaje, ale o pomôcku na zdokumentovanie proporcionality opatrení.

Praktický postup pre firmu alebo organizáciu

Prvým krokom je pomenovať rozhodnutie, nie technológiu. Organizácia má vedieť, či systém iba pripravuje návrh, odporúča poradie, prideľuje skóre, komunikuje s človekom alebo priamo vykonáva operáciu. Rovnaký model môže mať pri rôznych rolách úplne odlišný etický profil.

Druhým krokom je určiť dotknutých ľudí a možné asymetrie moci. Zamestnanec, žiak, pacient, uchádzač o prácu alebo klient verejnej služby nemá rovnakú vyjednávaciu pozíciu ako používateľ dobrovoľného kreatívneho nástroja. Čím slabšia možnosť odmietnuť systém, tým prísnejšie musia byť záruky.

Tretím krokom je stanoviť dôkazy potrebné pred nasadením. Patrí sem validačná sada, výkon podľa relevantných skupín, analýza typov chýb, bezpečnostné testy, pôvod dát, dokumentované limity a skúška ľudského dohľadu. Etická komisia bez merateľných podkladov nemá čo posudzovať.

Štvrtým krokom je navrhnúť nápravu. Organizácia má vopred vedieť, ako sa opraví chybný údaj, kto preskúma sťažnosť, ako sa rozhodnutie pozastaví a ako sa človek vráti do stavu pred škodlivým zásahom. Piatym krokom je monitoring skutočného používania. Sledujú sa incidenty, obchádzanie pravidiel, drift, rozdielne dopady, sťažnosti a zmeny dodávateľa.

Tabuľka 3: Minimálny etický kontrolný rámec pred nasadením a počas prevádzky.

Príklady etických problémov v praxi

Nábor a riadenie ľudí

Model môže zoradiť životopisy alebo odporučiť kandidátov. Etický problém vzniká, ak sa historická podobnosť s úspešnými zamestnancami zmení na skrytú preferenciu rovnakého profilu. Organizácia musí skúmať proxy premenné, rozdielnu chybovosť, prístup k preskúmaniu a to, či náborár modelu slepo dôveruje. Automatizácia nesmie odstrániť individuálny kontext, ktorý má pre pracovnú schopnosť legitímny význam.

Školstvo

AI môže personalizovať cvičenia, pomáhať pri spätnej väzbe alebo odhaľovať riziko neúspechu. Zároveň môže fixovať nízke očakávania, nesprávne označiť žiaka, zbierať neprimerané údaje alebo nahradiť pedagogický úsudok. Pri maloletých je potrebná zvýšená opatrnosť, zrozumiteľná komunikácia, kontrola učiteľom a zákaz rozhodnutí, ktoré dieťa nevie napadnúť.

Zdravotníctvo

Diagnostická alebo triážna podpora môže upozorniť na nález, no zlyhanie môže mať vážny následok. Etika vyžaduje externú validáciu, výkon podľa relevantných populácií, sledovanie falošne negatívnych výsledkov, jasnú rolu lekára a dokumentované limity. Pacient nemá niesť riziko iba preto, že systém dosiahol dobrý priemer na inom pracovisku.

Marketing a zákaznícka komunikácia

Personalizácia môže zvýšiť relevanciu, ale aj manipulovať zraniteľného človeka alebo využívať citlivé odvodené vlastnosti. Chatbot môže zrýchliť podporu, no nesmie predstierať človeka, vytvárať neexistujúce záruky alebo sťažovať prístup k pracovníkovi. Etická hranica nie je iba v obsahu správy, ale aj v tom, ako systém používa asymetriu informácií a pozornosti.

Najčastejšie zlyhania etického governance

Prvým zlyhaním je univerzálny etický kódex bez vlastníkov a dôkazov. Druhým je kontrola až tesne pred nasadením, keď sú dáta, dodávateľ a proces už uzamknuté. Tretím je sústredenie výlučne na model a ignorovanie rozhrania, pracovných cieľov, incentív a správania ľudí. Štvrtým je priemerná presnosť bez segmentácie a analýzy závažnosti chýb.

Piatym zlyhaním je formálny human-in-the-loop, ktorý nemá reálnu možnosť zásahu. Šiestym je presvedčenie, že dodávateľská certifikácia presúva zodpovednosť z používajúcej organizácie. Siedmym je chýbajúci proces sťažností a nápravy. Ôsmym je etický audit bez opakovania po zmene modelu, dát alebo kontextu.

Najčastejšie otázky o etike umelej inteligencie

Je etika AI dobrovoľná, keď existuje AI Act

Nie v praktickom zmysle. Právne povinnosti sú záväzné v rozsahu, ktorý určuje legislatíva. Etické riadenie však pokrýva aj širšie otázky primeranosti, dôstojnosti, distribúcie prínosov, informačnej integrity a dôvery. Organizácia potrebuje oboje, pretože zákon neurčuje každý detail konkrétneho použitia.

Dá sa bias úplne odstrániť

Nie všeobecným technickým zásahom. Možno znižovať konkrétny škodlivý bias, meniť cieľ, dáta, prahy, proces a dohľad. Najprv však treba pomenovať, aký typ nespravodlivosti riešime a voči komu. Niektoré fairness metriky sa môžu dostať do konfliktu, preto musí byť voľba zdôvodnená.

Je vysvetliteľný model automaticky etický

Nie. Jednoduchý a zrozumiteľný model môže používať nevhodné údaje alebo nespravodlivý cieľ. Vysvetliteľnosť pomáha odhaliť a napadnúť problém, ale nenahrádza správnosť účelu, kvalitu dát, bezpečnosť ani nápravu.

Kto nesie zodpovednosť za chybu AI

Zodpovednosť závisí od právneho a organizačného kontextu, no nesmie zostať neurčitá. Organizácia má vopred rozdeliť roly medzi vlastníka procesu, dodávateľa, dátový tím, bezpečnosť, právnikov, používateľov a vedenie. Konečné rozhodnutie o nasadení musí mať menovaného vlastníka.

Kedy je správne AI nepoužiť

Keď nie je jasný účel, chýbajú vhodné dáta, následok chyby nemožno primerane riadiť, dotknutý človek nemá nápravu, ľudský dohľad je iba formálny alebo jednoduchšie riešenie prináša podobnú hodnotu s menším rizikom. Odmietnutie nevhodného použitia je legitímny výsledok etického posúdenia.

Záver

Etická AI nevzniká tým, že sa k technickému projektu pridá zoznam hodnôt. Vzniká vtedy, keď sa hodnoty premietnu do účelu, dát, metrík, rozhrania, právomocí, testov, monitoringu a nápravy. Každá dôležitá zásada musí mať vlastníka, dôkaz a mechanizmus zásahu.

Najťažšia etická otázka často neznie, ako model spraviť presnejší. Znie, či organizácia optimalizuje správnu vec, či rozumie nerovnomerným následkom a či je pripravená niesť zodpovednosť aj vtedy, keď technológiu dodal niekto iný. Etika umelej inteligencie je preto disciplína rozhodovania pod neistotou, nie dekorácia okolo inovácie.

Použité zdroje

[1] UNESCO. Recommendation on the Ethics of Artificial Intelligence, prijatá v roku 2021. Otvoriť zdroj

[2] OECD. AI Principles, prijaté v roku 2019 a aktualizované v roku 2024. Otvoriť zdroj

[3] Európsky parlament a Rada. Nariadenie EÚ 2024/1689, Akt o umelej inteligencii, najmä články 14 a 27. Otvoriť zdroj

[4] Rada Európy. Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law, CETS No. 225. Otvoriť zdroj

[5] NIST. Artificial Intelligence Risk Management Framework 1.0 a AI RMF Core. Otvoriť zdroj

[6] Schwartz, R. a kol. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence. NIST SP 1270, 2022. Otvoriť zdroj

[7] Pleiss, G. a kol. On Fairness and Calibration. NeurIPS, 2017. Otvoriť zdroj

[8] OECD. Evolving with innovation, the 2024 OECD AI Principles update. Otvoriť zdroj

[9] Rada Európy. Informácia o ratifikácii rámcového dohovoru Európskou úniou, 15. máj 2026. Otvoriť zdroj

[10] NIST. Challenges to the Monitoring of Deployed AI Systems, NIST AI 800-4, 2026. Otvoriť zdroj