Odgovornost pri uporabi umetne inteligence

Informacijski pooblaščenec (v nadaljevanju: IP) je prejel vaše zaprosilo za mnenje glede odgovornosti pri uporabi umetne inteligence. Zanima vas, kdo nosi odgovornost, kadar pride do negativnih posledic, nejasnih, nepreverjenih, škodljivih informacij s strani umetne inteligence, predvsem v primerih, v katerih napačna ali zavajajoča informacija povzroči hudo škodo ali celo smrt, na primer na področju zdravja, uporabe zdravil in varnosti.

Na podlagi informacij, ki ste nam jih posredovali, vam v nadaljevanju skladno z osmim odstavkom 70. člena Uredbe (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 (Akt o umetni inteligenci) in prvim odstavkom 10. člena Zakona o izvajanju uredbe (EU) o določitvi harmoniziranih pravil o umetni inteligenci (Uradni list RS, št. 85/25, ZIUDHPUI) ter v skladu s 5. točko prvega odstavka 55. člena Zakona o varstvu osebnih podatkov (Uradni list RS, št. 163/22, ZVOP-2), 58. členom Uredbe (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter razveljavitvi Direktive 95/46/ES (Splošna uredba) ter 2. členom Zakona o informacijskem pooblaščencu (Uradni list RS, št. 113/05 in 51/07 – ZUstS-A, ZInfP) posredujemo naše neobvezujoče mnenje v zvezi z vašim dopisom.

1. Vprašanja odškodninske in kazenske odgovornosti ureja nacionalna zakonodaja, zanje pa so pristojna sodišča.

2. Na ravni EU pa je bil leta 2024 sprejet Akt o umetni inteligenci, ki določa obveznosti za različne kategorije sistemov umetne inteligence. Kategorije so določene glede na tveganja, ki jih določen sistem predstavlja za varnost, zdravje in temeljne pravice.

3. Dodatno izpostavljamo, da se za sisteme UI, ki obdelujejo osebne podatke, uporabljajo tudi vsa pravila varstva osebnih podatkov.

O b r a z l o ž i t e v

IP uvodoma pojasnjuje, da izven postopka inšpekcijskega nadzora oziroma drugega upravnega postopka nima zakonskih pooblastil za presojo skladnosti konkretnih sistemov umetne inteligence z določbami Akta o umetni inteligenci. V nadaljevanju vam zato podajamo splošna pojasnila glede pristojnosti, ki jih ima Informacijski pooblaščenec glede sistemov umetne inteligence.

Vprašanje (kazenske in odškodninske) odgovornosti za umetno inteligenco je del širšega vprašanja regulacije umetne inteligence. Z namenom zagotavljanja pravne varnosti in preprečevanja vrzeli glede odškodnin v primerih, ko se uporabljajo sistemi umetne inteligence (v nadaljevanju: sistemi UI), je bila na ravni Evropske unije predlagana Direktiva o prilagoditvi pravil o nepogodbeni civilni odgovornosti umetni inteligenci (direktiva o odgovornosti na področju umetne inteligence), vendar pa je bil zakonodajni predlog leta 2025 umaknjen.

Vendar pa to ne pomeni, da sistemi UI sploh niso regulirani: vprašanja odškodninske in kazenske odgovornosti ureja nacionalna zakonodaja, zanje pa so pristojna sodišča. Na ravni EU pa je bil leta 2024 sprejet Akt o umetni inteligenci, ki določa obveznosti za različne kategorije sistemov umetne inteligence. Kategorije so določene glede na tveganja, ki jih določen sistem UI predstavlja za varnost, zdravje in temeljne pravice.

Vsaka izmed kategorij vsebuje določen sklop pravnih obveznosti ali omejitev, ki je prilagojen naravi konkretnih tveganj. Najbolj tvegani sistemi, ki predstavljajo nesprejemljivo tveganje, so prepovedani. Visokotvegani sistemi UI se sicer lahko uporabljajo, vendar le, če izpolnjujejo zahteve Akta. Glede določenih sistemov UI, ki predstavljajo omejeno tveganje oziroma tveganje za preglednost, veljajo dodatne zahteve glede preglednosti.

Posebej glede pravnih posledic v primeru, da napačna ali zavajajoča informacija podana s strani UI povzroči hudo škodo ali celo smrt, IP pojasnjuje, da gre lahko pri določenih tovrstnih primerih za prepovedano prakso UI. Skladno s točko (a) prvega odstavka 5. člena Akta o umetni inteligenci je prepovedano dajanje na trg, dajanje v uporabo ali uporaba sistema UI, ki uporablja manipulativne ali zavajajoče tehnike z namenom izkrivljanja vedenja oseb.

Vendar pa navedeni člen pa ne prepoveduje uporabe vseh sistemov UI, ki uporabljajo manipulativne ali zavajajoče tehnike, temveč morajo biti za to, da je sistem UI prepovedan, izpolnjeni vsi naslednji pogoji:

a.     praksa mora pomeniti dajanje na trg, dajanje v uporabo ali uporabo sistema UI;

b.     sistem UI uporablja subliminalne (presegajo zavest osebe), namerno manipulativne oziroma zavajujoče tehnike;

c.     tehnike, ki jih uporablja sistem UI, bi morale imeti cilj ali učinek bistvenega izkrivljanja vedenja osebe ali skupine oseb. Izkrivljanje mora znatno zmanjšati njihovo sposobnost, da sprejmejo informirano odločitev, zaradi česar zadevna oseba ali skupina oseb sprejme odločitev, ki je sicer ne bi sprejela;

d.     izkrivljeno vedenje mora navedeni osebi, drugi osebi ali skupini oseb povzročiti znatno škodo ali bi morala zanj obstajati razumna verjetnost, da bo povzročilo znatno škodo.

Komisija je v Smernicah o prepovedanih praksah umetne inteligence dodatno pojasnila, da mora obstajati tudi verjetna vzročna zveza med uporabljenimi tehnikami, bistvenim izkrivljanjem vedenja osebe in znatno škodo, ki je zaradi tega vedenja nastala ali za katero obstaja razumna verjetnost, da bo zaradi tega vedenja nastala. Če so izpolnjeni vsi zgoraj navedeni pogoji, uporaba takšnega sistema UI ni dovoljena.

Nadzor nad izvajanjem Akta o umetni inteligenci v Sloveniji izvaja pet organov za nadzor trga, poleg Informacijskega pooblaščenca so to še Agencija za komunikacijska omrežja in storitve (AKOS), Banka Slovenije, Agencija za zavarovalni nadzor in Tržni inšpektorat  (TIRS).

Informacijski pooblaščenec je pristojen za nadzor na tistih področjih, kjer so tveganja za temeljne pravice, največja, in sicer nadzoruje prepovedane prakse UI ter visoko tvegane sisteme na področju biometrije, izobraževanja, preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, mej, migracij in azila ter pravosodja in demokratičnih procesov.

Več o Aktu o umetni inteligenci si lahko preberete na: https://www.ip-rs.si/umetna-inteligenca/pogosta-vpra%C5%A1anja/.

Dodatno izpostavljamo, da se za sisteme UI, ki obdelujejo osebne podatke, uporabljajo tudi vsa pravila varstva osebnih podatkov. Obdelava osebnih podatkov mora med drugim temeljiti na ustrezni pravni podlagi, omejena mora biti zgolj na tiste podatke, ki so res potrebni glede na namen obdelave, določen mora biti rok hrambe in zagotovljena varnost osebnih podatkov. V skladu z 82(1) členom Splošne uredbe o varstvu podatkov ima vsak posameznik, ki je utrpel premoženjsko ali nepremoženjsko škodo kot posledico kršitve navedene uredbe, tudi pravico, da od upravljavca ali obdelovalca dobi odškodnino za nastalo škodo.

V upanju, da ste dobili odgovor na vaša vprašanja, vas lepo pozdravljamo.

Pripravil/a:

dr. Pika Šarf, vodja področja umetne inteligence

dr. Jelena Virant Burnik,

informacijska pooblaščenka