Sort boks, stor magt: Hvorfor AI skal lære at forklare sig selv

Når du besøger et hospital, kan AI-modeller hjælpe lægerne ved at analysere billeder eller forudsige patientsvar baseret på tidligere og historiske data.

Hvis du ansøger om et job, kan AI-algoritmer bruges til at screene CV'er, rangordne kandidater til jobbet og endda stå for de indledende samtaler.

Når du vil se en film på Netflix, forudsiger en anbefalingsalgoritme baseret på dine seervaner, hvilke film du sandsynligvis vil kunne lide.

Selv når du kører, arbejder prædiktive navigationsapps som Waze og Google Maps med at optimere ruten og forudsige trafikmønstre, for at sikre at du når hurtigst muligt frem.

På arbejdspladsen bruger mange AI-værktøjer som ChatGPT og GitHub Copilot til at skrive e-mails og kode samt automatisere gentagne opgaver. Studier peger på, at AI vil kunne automatisere op til 30 procent af arbejdstimerne i 2030.

Men fælles for alle disse AI-systemer er, at deres indre funktioner ofte er komplekse at forstå – ikke kun for den brede offentlighed, men også for eksperter!

Det begrænser, måden vi bruger AI-værktøjer i praksis. For at løse dette problem og tilpasse sig stadig flere lovgivningsmæssige krav er der opstået et forskningsfelt kendt som 'forklarlig AI'.

AI og maskinlæring

Nu hvor kursen er sat mod integration af AI i organisationer og den udbredte mediatisering af den kunstige intelligens potentiale, altså indtog i alle samfundets sektorer, er det let at blive forvirret. Især med så mange termer, der bruges til at betegne AI-systemerne; blandt andet maskinlæring, 'deep learning' og store sprogmodeller for blot at nævne et par stykker.

Med en simpel forklaring henviser AI til udviklingen af computersystemer, der udfører opgaver, som kræver menneskelig intelligens, som problemløsning, beslutningstagning og sprogforståelse.

Det omfatter forskellige underområder som robotik, naturlig sprogforståelse og 'computer vision' (computervidenskaben, der fokuserer på at gøre det muligt for computere at identificere og forstå objekter og personer på billeder og i videoer, red.).

En vigtig del af AI er maskinlæring, som gør det muligt for computere at lære af data i stedet for at være eksplicit programmeret til hver opgave. Maskinen ser på mønstre i datamængden og bruger så disse mønstre til at foretage forudsigelser eller beslutninger, for eksempel i et spamfilter i en email.

Systemet er trænet med tusindvis af eksempler på både spam og ikke-spam. Over tid lærer systemet mønstre som specifikke ord, sætninger eller afsenderdetaljer, der ofte forekommer i spam.

Deep learning, endnu en undergruppe af maskinlæring, bruger komplekse neurale netværk med flere lag til at lære endnu mere sofistikerede mønstre.

Deep learning, som har vist sig at være helt enestående, når man arbejder med billed- eller tekstdata, er kerneteknologien bag forskellige værktøjer til billedgenkendelse eller store sprogmodeller som for eksempel ChatGPT.

Styring og kontrol af AI

Eksemplerne ovenover viser, hvor vidt og bredt kunstig intelligens bliver brugt på tværs af forskellige industrier.

Flere af disse scenarier, som at foreslå film på Netflix, er forholdsvis uskadelige. Men andre, som rekruttering, vurdering af den enkelts kreditværdighed eller medicinsk diagnostik, kan have store konsekvenser for en persons liv, så det er afgørende, at de sker på en måde, der er i overensstemmelse med vores etiske målsætninger.

Derfor foreslog EU-parlamentet den såkaldte 'AI Act' (AI-forordningen på dansk), som blev godkendt i marts 2024.

Dette selvstændige rammeværk for kunstig intelligens kategoriserer anvendelsen af AI i fire forskellige risikokategorier:

• Uacceptabel
• Høj
• Lav/minimal
• Afhængigt af den potentielle indvirkning på samfundet og enkeltpersoner.

Hvert niveau er underlagt forskellige grader af regler og krav:

• AI-systemer med uacceptabel risiko, som systemer, der bruges til 'social scoring' (e.g. sociale pointsystemer, som man ser det i Kina) eller 'predictive policing' (systemer, hvor algoritmer forudser kriminalitet) er forbudt i EU, da de udgør en væsentlig trussel mod menneskerettighederne.
• Højrisiko-AI-systemer er tilladt, men de er underlagt den strengeste regulering, da de potentielt kan forårsage betydelig skade, hvis de fejler eller misbruges, herunder i omgivelser som retshåndhævelse, rekruttering og uddannelse.
• AI-systemer med begrænset risiko, som chatbots eller systemer til genkendelse af følelser, indebærer en vis risiko for manipulation eller bedrag. Her er det vigtigt, at mennesker er informeret om deres interaktion med AI-systemet.
• AI-systemer med minimal risiko er alle andre AI-systemer, som spamfiltre, som kan implementeres uden yderligere begrænsninger.

Behovet for forklaring

Mange forbrugere er ikke længere villige til at acceptere, at virksomhederne skyder skylden for deres beslutninger på 'black box'-algoritmer, altså de skjulte processer i det selvlærende kunstige intelligens-system.

Et eksempel er Apples betalingskort AppleCard, som blev beskyldt for at anvende en algoritme ti lat vurdere kreditværdighed, der er diskriminerende mod kvinder.

AppleCard tilbød manden i ægteskabet 20 gange større kredit end kvinden på trods af fælles økonomi. Det skabte store overskrifter, at Apple ikke var i stand til at forklare begrundelsen bag algoritmens beslutning.

Dette eksempel fremhæver det voksende behov for forklarlighed i AI-drevne beslutninger; ikke kun for at sikre kundetilfredshed, men også for at forhindre negativ offentlig opfattelse.

For højrisiko-AI-systemer etablerer artikel 86 i AI-forordningen retten til at anmode om en forklaring på beslutninger truffet af AI-systemer, hvilket er et væsentligt skridt mod at sikre algoritmisk gennemsigtighed.

Men ud over overholdelse af lovgivningen tilbyder gennemsigtige AI-systemer adskillige andre fordele for både ejerne af modellerne og personer, der bliver berørt af systemernes beslutninger.

Gennemsigtig AI

For det første skaber gennemsigtighed tillid: Når brugere forstår, hvordan et AI-system fungerer, er der større sandsynlighed for, at de vil have noget at gøre med det.

For det andet kan det forhindre fordomsfulde, forudindtagede resultater, samt give tilsynsmyndighederne mulighed for at kontrollere, om en model uretfærdigt favoriserer specifikke grupper.

Endelig muliggør gennemsigtighed den løbende forbedring af AI-systemer ved at løfte sløret for fejl eller uventede mønstre.

Men hvordan skaber vi gennemsigtighed i AI?

Der er overordnet to tilgange til at gøre AI-modellerne mere gennemsigtige:

For det første kunne man bruge simple modeller som beslutningstræer eller lineære modeller til at lave forudsigelser. Disse modeller er nemme at forstå, fordi deres beslutningsproces er ligetil. For eksempel kan en lineær regressionsmodel bruges til at forudsige huspriser baseret på informationer eller funktioner som antallet af soveværelser, kvadratmeter og beliggenhed.

Enkelheden ligger i, at hver funktion er tildelt en vægt, og forudsigelsen er simpelthen summen af disse vægtede funktioner. Det betyder, at man tydeligt kan se, hvordan hver funktion bidrager til den endelige forudsigelse af boligpriserne.

Men efterhånden som datamængden bliver mere kompleks, vil de simple modeller muligvis ikke længere fungere godt nok. Det er grunden til, at udviklere ofte gør brug af mere avancerede 'black-box-modeller', som dybe neurale netværk, der kan håndtere større og mere komplekse data, men som er svære at fortolke.

For eksempel kan et dybt neuralt netværk med millioner af parametre præstere på et meget højt niveau, men den måde, systemet når frem til sine beslutninger, er ikke forståelig for mennesker, fordi dets beslutningsproces er for stor og kompleks.

Forklarlig AI

En anden mulighed er at bruge disse kraftfulde 'black box'-modeller sideløbende med en separat forklaringsalgoritme for at forklare modellen eller dens beslutninger.

Denne tilgang, kendt som 'forklarlig AI', giver os mulighed for at benytte kraften i de komplekse modeller, samtidig med at den stadig tilbyder en vis grad af gennemsigtighed.

En velkendt metode er kontrafaktisk forklaring. En kontrafaktisk forklaring forklarer en models beslutning ved at identificere minimale ændringer i inputfunktionerne, der ville føre til en anden beslutning.

Hvis et AI-system for eksempel giver afslag på et lån, kan en kontrafaktisk forklaring informere ansøgeren: »Hvis din indkomst var 50.000 kroner højere, ville dit lån være blevet godkendt«.

Det gør beslutningen mere forståelig, selvom den benyttede maskinlæringsmodel stadig kan være meget kompleks. En ulempe er dog, at forklaringerne er tilnærmelser, hvilket betyder, at der kan være flere måder at forklare den samme beslutning på

Vejen frem

Efterhånden som AI-modellerne bliver mere og mere komplekse, vokser deres potentiale for at transformere og forvandle – men det gør risikoen for, at de begår fejl også.

For at AI virkelig kan være effektiv og pålidelig, skal brugerne forstå, hvordan modellerne træffer beslutninger.

Gennemsigtighed er ikke kun et spørgsmål om at opbygge tillid, men er også afgørende for at opdage fejl og sikre retfærdighed.

I for eksempel selvkørende biler kan forklarlig AI hjælpe ingeniørerne med at forstå, hvorfor bilen fejlfortolkede et stopskilt eller ikke kunne se en fodgænger.

På samme måde kan en forståelse af, hvordan et AI-system rangerer jobkandidater ved ansættelser hjælpe arbejdsgiverne med at undgå forudindtagede valg og fremme diversitet.

Ved at fokusere på gennemsigtige og etiske AI-systemer kan vi sikre, at teknologien tjener både individer og samfundet på en positiv og retfærdig måde.

Denne artikel er oprindeligt publiceret hos The Conversation og er oversat af Stephanie Lammers-Clark.