EU-kommisjonen foreslår nye regler og tiltak for bruk av kunstig intelligens (AI), og vil forby bruk av AI for masseovervåkning og sosiale poengsystemer.

I februar 2020 publiserte EU kommisjonen en hvitbok som redegjorde for EUs tilnærming til kunstig intelligens og regulering av såkalt høy risiko kunstig intelligens. Dette arbeidet er nå tatt et steg videre med EU-kommisjonens forslag til en AI-forordning [1], som ble lagt frem 21. april 2021.

Kunstig intelligens kan øke konkurranseevnen for private selskaper og forbedre tjenester innenfor både offentlig og privat sektor. Forslaget har som mål å gi AI-utviklere, leverandører, distributører og brukere klare krav og forpliktelser.

Forslaget vil få betydning innenfor mange samfunnsområder, både offentlig og privat, for eksempel:

• Chatroboter må informere brukerne om at de samhandler med et AI-system.
• Bruk av AI til å vurdere og sile kandidater ved rekruttering vil underlegges omfattende regulering som høyrisiko AI.
• Bruk av AI for å avgjøre en persons tilgang til offentlige tjenester og goder, men også essensielle private tjenester omfattes.
• Bruk av inngripende teknologi som ansiktsgjenkjenning i sanntid i det offentlige rom av politiet vil være streng regulert og kun tillatt i enkelte sammenhenger.

EU-kommisjonen har i forslaget forsøkte å balansere behovet for å tilrettelegge for teknologisk utvikling og innovasjon, samtidig som det adresserer risiko og negative følger ved bruk av AI. Kommisjonen foreslår en risikobasert tilnærming når det gjelder ulike AI-systemer, hvor systemer med uakseptabel eller høy risiko enten er forbudt eller strengt regulert.

Og eventuelle brudd på forordningen vil utgjøre en høy forretningsmessig risiko:

I likhet med personvernforordningen foreslår kommisjonen at brudd på forordningen kan sanksjoneres med svært store bøter. Brudd på reglene kan sanksjoneres med bøter på inntil 20 millioner euro, eller hvis overtredelsen er begått av et selskap, opp mot 4% av årlig global omsetning. Brudd på forbudsbestemmelsen kan etter forslaget sanksjoneres med inntil 30 millioner euro eller 6%.

Forbud mot bruk i «social scoring»

En stor endring fra dagens situasjon er at EU-kommisjonen foreslår å forby enkelte bruksområder. En viktig forutsetning for bruk av AI er at systemene skal utvikles og brukes innenfor rammene av EUs fundamentale rettigheter [2], blant annet respekt for menneskets integritet og retten til et privatliv. Forslaget omfatter blant annet et forbud mot:

• AI som manipulerer menneskets opptreden, meninger og beslutninger til skade for en person eller andre personer
• AI som utnytter sårbarheter til en spesifikk gruppe av personer på grunn av alder, fysisk eller psykisk funksjonsnedsettelse, for å påvirke en persons opptreden slik at det kan påføre denne eller andre personer skade. Dette forbudet vil være relevant for utviklingen av AI som er rettet mot barn, f.eks. leker med stemmeassistanse som oppfordrer til uønsket adferd
• AI som benyttes av offentlige myndigheter for «social scoring», hvor dette kan føre til skadelig eller ugunstig behandling av visse fysiske personer eller grupper uavhengig av sammenhengen dataene ble innhentet; eller som er grunnløs eller uforholdsmessig
• Bruk av biometriske identifikasjonssystemer i sanntid i det offentlige rom for håndheving av lover og regler, typisk masseovervåkning i regi av politiet. Det er enkelte unntak, blant annet for målrettet søk etter spesifikke ofre for kriminalitet, inkludert savnede barn.

Særlige krav til høyrisiko-systemer

EU-kommisjonen foreslår streng regulering av såkalte høyrisiko AI-systemer. Hva som er høyrisiko er definert i et vedlegg til lovforslaget. Slike systemer finnes på alle samfunnsområder og omfatter blant annet:

• AI-systemer for biometrisk identifisering og kategorisering av personer i sanntid og ettertid
• AI som sikkerhets komponenter i kritisk infrastruktur som vei, vann og energi
• Visse typer bruk av AI i utdanning, blant annet ved opptak og vurdering av studenter
• AI som avgjør tilgang til offentlige tjenester og fordeler, men også essensielle private tjenester som lån

Også innenfor arbeidsliv er det eksempler på AI-systemer kan bli vurdert som høyrisiko. Dette gjelder for eksempel bruk av AI for å vurdere kandidater ved rekruttering og beslutninger om forfremmelse eller avslutning av arbeidsforhold.

Innenfor politi og annen myndighetsutøvelse vil bruk av AI på noen områder være definert som høyrisiko. Det gjelder for eksempel bruk av AI til individuelle risikovurderinger av enkeltpersoner, «profiling» av personer for prediksjon av fremtidige mulige forbrytelser, grensekontroll, men også bruk av AI i domstolene kan etter omstendighetene omfattes.

For slike systemer foreslår EU-kommisjonen at det må etableres et system for håndtering av risiko i hele livssyklusen til systemet, som blant annet omfatter krav til utvikling, testing, evaluering og implementering av risikoreduserende tiltak. Videre stilles det krav til dokumentasjon, kvalitetssystem, logging, informasjon til brukerne, menneskelig kontroll, sikkerhet mm. Et nytt grep som EU-kommisjonen foreslår er at leverandører av høyrisiko AI-systemer er forpliktet til å gjennomføre en «conformity assessement», altså en vurdering av om AI-systemet er i tråd med regelverket, før det kan leveres eller brukes i markedet.

Transparens for roboter og «deep fakes»

Forslaget pålegger strenge transparenskrav knyttet til høyrisiko AI. Brukere skal bl.a. informeres om treffsikkerhet, risiko for helse og sikkerhet, og informasjon om testing, herunder hvilke datasett som er benyttet.

Alle AI-systemer som er tiltenkt brukt i interaksjon med mennesker skal designes og utvikles slik at personene er informert om at de samhandler med et AI-system, med mindre dette er åpenbart ut fra situasjonen og sammenhengen systemet brukes i. Det stilles også krav om at AI systemer som genererer eller manipulerer bilder, lyd eller videoinnhold skal klargjøre at innholdet er kunstig generert eller manipulert. Formålet med dette er å bevisstgjøre brukerne på såkalte deep fakes, som blant annet kan brukes til å påvirke adferd, opinion mm.

Kilder:

[1]  Proposal for a Regulation on a European approach for Artificial Intelligence | Shaping Europe’s digital future (europa.eu)

[2] Se Charter of fundamental rights of the European Union https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:12012P/TXT