Nové evropské nařízení o umělé inteligenci (tzv. „AI Act“) bude zřejmě vůbec první komplexní regulací systémů umělé inteligence na světě. Tato legislativa bude mít nepochybně velké dopady i v oblasti finančního odvětví, které již delší dobu AI nástroje hojně používá.
Přístup založený na různé úrovni rizika
Nařízení stanoví různé úrovně regulace pro AI technologie, a to v závislosti na míře rizika, které je s nimi spojené. V tomto smyslu tedy bude možné rozdělit AI systémy do několika kategorií:
1) Zakázané postupy v oblasti umělé inteligence
Jedná se o systémy, jejichž používání je považováno za nepřijatelné zejm. z důvodu rozporu s hodnotami EU. Například v důsledku porušování základních práv. To se týká např. postupů založených na biometrické identifikaci nebo kategorizaci osob dle citlivých dat (politické, náboženské vyznání, sexuální orientace, rasa, apod.), sociálních scoringových systémů vyžívajících klasifikaci lidí dle jejich chování a dle socioekonomického statusu, nebo např. systémů rozeznávání obličejů v reálném čase.
Takové využití AI bude zakázáno, neboť vytváří nepřijatelnou míru rizika. Výjimkou bude užití pro potřeby státních orgánů, které by však mělo podléhat specifickým bezpečnostním opatřením.
2) Vysoce rizikové AI systémy
Systémy, které představují vysoké riziko pro zdraví a bezpečnost nebo pro základní práva fyzických osob, nařízení klasifikuje jako vysoce rizikové. Tyto budou povoleny. Budou však muset splňovat řadu přísných požadavků. V seznamu takových systémů se objevují AI technologie v oblasti kritické infrastruktury, vzdělávání nebo odborné přípravy, vymáhání práva nebo například v rámci přístupu k základním veřejným a soukromým službám. Zde je výslovně zmíněna i problematika posuzování úvěruschopnosti.
Pravidla spojená s touto kategorií zahrnují např. požadavky na systém řízení rizik v souvislosti s AI, povinné posuzování souladu s právními předpisy, registraci v příslušné databázi EU nebo opatření zajišťující lidský dohled.
3) Systémy s omezenou mírou rizika a minimální riziko
Kategorie AI technologií s omezenou mírou rizika bude podléhat pouze základním požadavkům na transparentnost a informování uživatelů (zejm. o skutečnosti, že uživatel komunikuje s AI). Naopak systémy s tzv. minimálním rizikem podléhat zvláštním povinnostem nebudou vůbec.
Jak dopadne AI Act na banky, pojišťovny a jiné finanční instituce?
Nařízení o umělé inteligenci nepochybně dopadne také na finanční sektor. Finanční odvětví, včetně bankovnictví nebo pojišťovnictví, ostatně nástroje založené na AI začalo používat již mnohem dříve, než došlo k masivní adopci AI technologií napříč obecnou populací. Jejich používání se přitom dále rozmáhá.
Některá využití AI v oblasti financí naplní znaky vysoce rizikových AI systémů. To se může týkat např. posuzování úvěruschopnosti žadatelů o úvěrové produkty s využitím AI, nebo třeba AI nástrojů zapojených do posuzování pojistného rizika u pojistných produktů. Finanční instituce i fintechoví hráči používající takové postupy budou muset zohlednit komplexní požadavky AI nařízení ve svých vnitřních procesech a zavést odpovídající technická opatření.
Stejně tak bude třeba posoudit dopady nové legislativy na subjekty, které outsourcují AI nástroje při takových procesech, a to i v kontextu související regulace dopadající na informační a komunikační technologie (IKT) – nařízení DORA (nařízení o digitální odolnosti). Řadu požadavků přitom dotvoří teprve vznikající prováděcí legislativa a navazující stanoviska dotčených orgánů.
Sankce za neplnění, AI office
Neplnění povinností vyplývajících z nařízení o AI povede zejména k finančním sankcím, která budou nastavena podobně citelně jako např. v případě GDPR. V krajním případě bude možné uložit pokuty v desítkách milionů EUR, resp. ve výši stanoveného procenta z globálního obratu subjektu.
Nařízení by mělo současně zřídit nový evropský orgán – Úřad pro umělou inteligenci (AI Office), který bude mimo jiné vydávat stanoviska a pokyny k nařízení a bude sledovat účinné a jednotné uplatňování nařízení v členských státech.
Přijetí a aplikace nařízení o AI
Nařízení o AI je aktuálně stále ve fázi návrhu. Finální verze tedy ještě může doznat změn. Očekává se však, že přijetí a účinnost nařízení nastane ještě v tomto roce. Většina povinností přitom bude aplikovatelná po 2 letech od jeho účinnosti.
Autorem právního okénka Ondřej Mikula, AK FINREG PARTNERS
