Dne 2. února 2025 se naplno rozjel dlouho očekávaný proces postupného nabývání účinnosti evropského nařízení o umělé inteligenci („AI Act“). Na poskytovatele, dodavatele i uživatele systémů AI se počínaje tímto datem vztahují povinnosti prvních dvou kapitol AI Actu, tedy „Obecná ustanovení“ (čl. 1–4) a „Zakázané postupy v oblasti umělé inteligence“ (čl. 5). Ač se jedná pouze o prvních pět článků, z nichž konkrétní povinnosti obsahují pouze čl. 4 a 5, jejich dosah zdaleka přesahuje jejich rozsah.
Zakázané praktiky vymezené v čl. 5 a dále upřesněné pokyny Evropské komise k zakázaným praktikám vydanými dne 4. února 2025[1] zahrnují především databáze pro rozpoznávání obličejů vytvořené shromažďováním obrazů z internetu nebo prostřednictvím bezpečnostních záznamů, biometrické údaje používané k určení totožnosti osoby, manipulační techniky ovlivňující chování, sociální skórování, software pro předpověď trestné činnosti, technologie pro detekci emocí ve školách a na pracovištích a systémy, které využívají věk, postižení nebo socioekonomickou situaci osoby k ovlivnění jejího chování.
Kromě těchto zakázaných praktik platí nově také ustanovení čl. 4, tedy povinnost poskytovatelů systémů AI a subjektů zavádějících AI, aby v co největší možné míře zajistili dostatečnou úroveň gramotnosti v oblasti AI u svých zaměstnanců i u všech dalších osob, které se jejich jménem zabývají provozem a používáním systémů AI, včetně například obchodních nebo vázaných zástupců.
Povinnost tohoto článku tak není stanovena absolutně, tedy nezbytná úroveň gramotnosti v oblasti AI („AI gramotnost“) nebude stejná u všech subjektů, ani u všech zaměstnanců daného subjektu. V konkrétních případech je potřeba vždy zvážit kdo využívá daný systém AI (úroveň technických znalostí, předchozí zkušenosti, vzdělání), kde je systém AI využíván (v jakém kontextu a k jakému účelu) a vůči komu (kdo jsou uživatelé, klienti, zákazníci).
Ohledně tohoto článku je především důležité uvést, že na něj nedopadají sankce v podobě vysokých pokut uvedené v čl. 99 až 101 AI Actu. I přesto ale hraje zajištění AI gramotnosti důležitou roli, a to jednak protože AI gramotnost je nezbytným předpokladem pro zajištění plnění povinností AI Actu, ale také proto, že AI gramotnost je nebo brzy bude součástí povinnosti jednat s odbornou péčí tam, kde dochází k využití systémů AI. Oba body jsou zásadní zejména pro subjekty vysoce regulovaného finančního trhu podléhajícího přísnému dohledu dozorových orgánů. Obecný dozorový orgán pro oblast umělé inteligence není na vnitrostátní úrovni v současné době určen, nicméně lhůta pro určení dozorových orgánů členskými státy je stanovena na 2. srpna 2025.
Definice a rozsah pojmu gramotnosti v oblasti AI
Gramotnost v oblasti AI je definována jako „dovednosti, znalosti a chápání, které poskytovatelům, zavádějícím subjektům a dotčeným osobám umožňují, aby s přihlédnutím k jejich příslušným právům a povinnostem v souvislosti s tímto nařízením zaváděli systémy AI informovaným způsobem a aby si byli vědomi možností a rizik spojených s AI i možných škod, které může způsobit.“ Subjekty využívající systémy AI by tak prostřednictvím gramotnosti v oblasti AI měly především získat nezbytné povědomí, které jim umožní činit ohledně systémů AI informovaná rozhodnutí.
AI gramotnost jako nezbytný předpoklad pro plnění povinností AI Actu
AI gramotnost zahrnuje soubor znalostí, dovedností a kompetencí, které umožňují jednotlivcům a organizacím porozumět principům fungování umělé inteligence, rozpoznávat potenciální rizika a správně hodnotit dopady jejích aplikací. To je nezbytné nejen pro efektivní implementaci a správu systémů AI, ale také pro zajištění, že rozhodnutí založená na těchto technologiích jsou transparentní a v souladu s právními normami.
Ve finančním sektoru, kde se technologie prolínají s otázkami důvěry a bezpečnosti, hrají tyto dovednosti klíčovou roli při ochraně zájmů klientů a zajišťování integrity celého trhu. Dostatečná AI gramotnost umožní správně rozpoznat rizika plynoucí z nasazení daných technologií, a následně zavést opatření k minimalizaci rizik. Bez zabezpečení dostatečné úrovně AI gramotnosti hrozí, že nedostatky v chápání technologie AI povedou k chybám v rozhodovacích nebo kontrolních procesech, což může mít závažné právní a reputační dopady. To se týká například požadavku lidského dohledu u vysoce rizikových systémů AI. Ve vztahu k subjektům finančního trhu jsou relevantní zejména ty vysoce rizikové systémy AI určené k použití za účelem hodnocení úvěruschopnosti fyzických osob nebo jejich úvěrového bodování a systémy AI určené k použití za účelem posuzování rizik a stanovování cen ve vztahu k fyzickým osobám v případě životního a zdravotního pojištění. U těchto kategorií AI systémů je vždy nutné, aby byly navrženy a vyvinuty takovým způsobem, aby na ně mohly během období, kdy jsou používány, účinně dohlížet fyzické osoby. Požadavek lidského dohledu má za cíl zajistit prevenci a minimalizaci rizik plynoucích z nasazení vysoce rizikových systémů AI. Je zřejmé, že zjištění AI gramotnosti u těchto osob bude nezbytné pro zajištění souladu s povinnostmi AI Actu.
AI gramotnost jako součást odborné péče ve finančním sektoru
Zajišťování náležité úrovně AI gramotnosti je zásadní také pro subjekty využívající systémy AI, na které navíc dopadá základní povinnost jednat s odbornou péčí. Tato povinnost dopadá na v podstatě veškeré finanční subjekty dohlížené ze stran ČNB: banky, pojišťovny, investiční společnosti, platební instituce, obchodníky s cennými papíry a investiční zprostředkovatele, nebo provozovatele platebního systému s neodvolatelností zúčtování a další.
Odbornou péčí se rozumí nejvyšší možný standard péče, který završuje pomyslnou posloupnost „běžná péče – péče řádného hospodáře – odborná péče“. Naplnění požadavku jednat s odbornou péčí se tak primárně v oblasti finančního sektoru týká povinnosti zavést a udržovat systém správy a řízení k zajištění účinného a obezřetného řízení. V praxi to tedy v případně AI gramotnosti znamená zabezpečit, aby příslušní pracovníci měli znalost relevantních právních předpisů (odbornost) a věděli, jak jednat v souladu s těmito předpisy, včetně jejich povinnosti předcházet škodám.[2] S větší mírou zapojení systémů AI do rozhodovacích a řídících procesů v podobě podpory či zefektivnění procesů hodnocení rizik, AML, posuzování úvěruschopnosti nebo správy investičních portfolií tak nabývá na důležitosti i adekvátní porozumění fungování systémů AI a jejich právní úpravy.
AI systémy mohou totiž produkovat výstupy, které nejsou vždy zcela jasné, nebo mohou obsahovat systematické chyby či zkreslení. Bez zajištění adekvátní úrovně AI gramotnosti nepůjde naplno realizovat princip odborné péče a tedy účinného a obezřetného řízení daného finančního subjektu v podobě například správné identifikace a řešení souvisejících rizik. Povinnosti AI je nadto nutné postupně začleňovat do interních kontrolních mechanismů a procesů, což bude vyžadovat specifické znalosti a porozumění oblasti AI.
AI compliance – praktická doporučení
AI gramotnost je nezbytným předpokladem pro zajištění řádného plnění právních povinností plynoucích nejen z AI Actu, ale také z právních předpisů stanovujících požadavek odborné péče. Zajištění adekvátní úrovně AI gramotnosti tak bude prvním krokem v procesu zajišťování souladu s právní regulací umělé inteligence. Kromě AI gramotnosti bude dále žádoucí:
Zavést řízení a zásady AI
Účelem bude zvýšit úroveň znalostí a dovedností (alespoň) vedoucích osob a osob zodpovědných za využití a implementaci AI systémů. K tomu je možné zavést školicí programy na zvýšení AI gramotnosti napříč organizací, které zajistí, že všichni zaměstnanci pochopí své role při udržování souladu s právními předpisy.
Provádět hodnocení rizik AI
Důkladný audit současných systémů umělé inteligence umožní identifikovat vysoce riziková místa a případné mezery v dodržování právních předpisů. Bude potřeba zejména implementovat robustní ochranná opatření a kontrolní mechanismy k prevenci zakázaných praktik podle čl. 5 AI Actu.
Průběžné monitorovat dodržování interních postupů a právních předpisů:
Průběžným hodnocením rizik a revizí řídících a kontrolních opatření bude možné zajišťovat dlouhodobý soulad s povinnostmi v oblasti AI. S rychlým rozvojem na poli AI a postupně nastupující regulací bude potřeba nejen zajišťovat aktuálnost vnitřních předpisů, ale také úrovně znalostí a dovedností vybraných osob skrze kontinuální udržování adekvátní úrovně AI gramotnosti. K tomu mohou pomoct i postupně vydávaná doporučení a pokyny evropských orgánů jako například repozitář poskytující příklady současných postupů v oblasti AI gramotnosti nedávno publikovaný Úřadem pro AI – Living repository to foster learning and exchange on AI literacy.
Závěr
Nedodržení povinnost zajistit určitou úroveň AI gramotnosti nevystavuje daný subjekt riziku sankce v podobě vysokých pokut za porušení AI Actu. AI gramotnost je nicméně nezbytným předpokladem pro úspěšné zajišťování souladu využívání systémů AI. Obzvlášť v případě finančního sektoru, kde se ve větší míře uplatňuje povinnost jednat s odbornou péčí, bude nedostatečná úroveň AI gramotnosti představovat riziko pro všechny subjekty využívající systémy AI. V závislosti na rozsahu, povaze a složitosti poskytovaných služeb ze strany finančního subjekty pak i riziko značné.
Přemýšlíte nad nasazením systému AI ve Vaší organizaci nebo takový systém využíváte a chcete zajistit soulad s právní úpravou? Obraťte se na nás a sjednejte si s námi schůzku, kde probereme, jak tento soulad zajistit.
[1] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act). Dostupné na: https://digital-strategy.ec.europa.eu/en/library/guidelines-prohibited-artificial-intelligence-practices.
[2] Šovar, J., Králík, A., Beran, J., Doležalová, D. a kol. Zákon o investičních společnostech a investičních fondech: Komentář.
