Kan en ‘diskriminerende’ algoritme være fair?
En omstridt algoritme kritiseres for at racediskriminere. Debatten viser, at vi først må afklare, hvad algoritmisk fairness er.
Forestil dig, at du har gjort noget ulovligt, og er blevet kendt skyldig.
Når dommeren skal bestemme din straf, har risikoen for, om du kunne finde på at begå kriminalitet igen, indflydelse på, hvor hård straffen bliver.
Hvor stor den risiko er, vurderes i dag ved mange amerikanske domstole af en algoritme.
Tidligere var det dommeren, som foretog den vurdering.
Problemet var bare, at dommere dels kan have svært ved overskue store mængder information, dels kan have forudindtagethed i form af eksempelvis racistiske holdninger.
Der er i princippet ingen øvre grænser for, hvor mange informationer man kan fodre en algoritme med, ligesom algoritmer ikke kan have racistiske holdninger.
Så umiddelbart synes det at være et fremskridt, at forudsigelser af fremtidig kriminalitet, der tidligere blev foretaget af dommere, nu i højere grad foretages af algoritmer.
Annonce:
En meget omdiskuteret amerikansk sag viser dog, at denne optimistiske holdning er for simpel. For selvom algoritmer ikke kan have racistiske holdninger, kan de i en eller anden forstand alligevel diskriminere efter race.
COMPAS forudsiger, om du begår kriminalitet igen
Det var en artikel i magasinet 'Pro Publica' i 2016, der fik interessen for såkaldt ’algoritmisk diskrimination’ til at eksplodere blandt filosoffer og den mere humanistiske del af computerscience.
Med afsæt i en analyse af retsafgørelser fra 2013-2014 i Broward County, Florida, satte journalisterne bag artiklen fokus på mange amerikanske domstoles brug af COMPAS (Correctional Offender Management Profiling for Alternative Sanctions).
Den særlige algoritme kan forudsige, hvorvidt lovovertrædere vil begå lovovertrædelser i fremtiden, altså ’recidivere’.
COMPAS udregner en risikoscore på baggrund af blandt andet lovovertræderens uddannelse og jobsituation, om hvorvidt forbryderens forældre er tidligere straffede, eller om nogle af dennes venner tager ulovlige stoffer.
Blandt disse informationer indgår ikke forbryderens race.
Den højeste score (10) udtrykker, at COMPAS anser fremtidig kriminalitet for meget sandsynlig, mens den laveste score (1) afspejler, at COMPAS finder det meget usandsynligt.
Annonce:
Scorerne 2 til 9 afspejler varierende sandsynligheder derimellem.
\ Serie: Er AI vores ven, fjende eller både-og?
Hvad gør kunstig intelligens ved vores samfund? AI bliver brugt i mobiltelefoner, ChatGPT, selvkørende biler, røntgenundersøgelser og meget, meget mere.
Men tager AI vores arbejde, eller kan AI hjælpe os til et bedre samfund? Skal vi være fascinerede, begejstrede eller nervøse? Hvilke dilemmaer følger med udbredelsen af AI?
I denne artikelserie angriber en række forskere AI fra hver deres forskningsfelt. Se alle artikler i serien her.
Algoritmens forudsigelse har indflydelse på din straf
COMPAS’ forudsigelser har stor betydning for forbryderen. Hvis forbryderen vurderes som farlig, vil vedkommende typisk idømmes en strengere straf.
Dette sker blandt andet ud fra en tanke om, at det er vigtigt at holde farlige forbrydere bag tremmer for at forebygge ny kriminalitet.
Farlige forbrydere vil også skulle stille større kaution mod løsladelse, og vil have sværere ved at få forkortet deres fængselsstraf.
At forbrydere klassificeres efter farlighed er ikke en nyskabelse, og dommere har altid gjort sådan i både amerikansk og dansk retshistorie.
Det nye er, at klassificeringen (delvist) foretages algoritmisk og ikke alene af dommeren, eventuelt med hjælp fra en retspsykiater.
COMPAS laver to typer fejl
Det lyder jo alt sammen fint. COMPAS ved ikke noget om forbryderens hudfarve, og i modsætning til en dommer kan en algoritme ikke foretage forudsigelser, der for eksempel er forudindtagede af algoritmens modvilje mod bestemte grupper.
Annonce:
Men ligesom dommeres vurderinger af lovovertræderes farlighed er fejlbarlige, er COMPAS’ forudsigelser det også.
Her er grundlæggende to typer af fejltagelser:
- Falske positiver: Et tilfælde, hvor COMPAS (eller dommeren) forudsiger, at forbryderen vil begå fornyet kriminalitet (høj risikoscore), men vedkommende ikke gør det.
- Falske negativer: Et tilfælde, hvor COMPAS forudsiger, at forbryderen ikke vil begå fornyet kriminalitet (lav risikoscore), men hvor vedkommende faktisk gør det.
Fejlvurderinger fordeler sig forskelligt afhængig af hudfarve
Det bemærkelsesværdige ved COMPAS er, at algoritmen har to forskellige egenskaber, som, man umiddelbart kunne tro, var uforenelige.
Den første egenskab er, at COMPAS’ falske positiver og falske negativer fordelte sig forskelligt over hvide og sorte forbrydere.
Hvide forbrydere, som begik fornyet kriminalitet, havde en større chance for fejlagtigt at blive vurderet som værende ufarlige og dermed for at få mildere fængselsstraffe end sorte forbrydere, som begik tilsvarende fornyet kriminalitet.
Omvendt havde sorte forbrydere, der ikke begik fornyet kriminalitet, dobbelt så stor risiko for fejlagtigt at blive vurderet som værende farlige end tilsvarende hvide forbrydere, der ikke begik fornyet kriminalitet.
COMPAS er ’farveblind’ ifølge udviklerne
Umiddelbart kunne det se ud, som om sorte forbrydere har en større risiko end hvide forbrydere for at blive idømt en urimelig streng straf, når COMPAS anvendes.
Annonce:
Af selvsamme grunde anklagede journalisterne bag Pro Publica-artiklen COMPAS for at udgøre algoritmisk racediskrimination mod sorte.
En fair algoritme måtte have ens falsk-positive og ens falsk-negative rater over sorte og hvide forbrydere, mente de.
Det er firmaet Northpointe, der har udviklet COMPAS, og firmaet afviste kritikken. Og her kommer COMPAS’ anden egenskab ind i billedet, som jeg nævnte i forrige afsnit.
Ser vi på gruppen af forbrydere med en given risikoscore, eksempelvis 8, og deler dem op i sorte og hvide forbrydere, så vil en lige stor andel fra de to grupper begå fornyet kriminalitet.
Det er altså ikke sådan, at en sort forbryder med scoren 8 er mere eller mindre tilbøjelig til at begå kriminalitet igen end en hvid forbryder med samme score.
En given risikoscore betyder med andre ord det samme, uanset om forbryderen er hvid eller sort. COMPAS er, som det hedder, velkalibreret og i den forstand ’farveblind’.
Dette var Northpointes argument for, at COMPAS ikke diskriminerede på baggrund af race.
Derfor laver COMPAS flere falsk positive svar for sorte
Spørgsmålet er nu, hvordan COMPAS både kan være ’farveblind’ i netop nævnte forstand og samtidigt indebære en større risiko for fejlagtigt at forudsige, at en sort end en hvid forbryder vil begå ny kriminalitet.
Svaret er, at sorte amerikanske forbrydere oftere end hvide forbrydere begår (eller i det mindste dømmes for) fornyet kriminalitet.
Det kan der være mange årsager til. Det er ikke det afgørende her. Det afgørende er, at sorte forbrydere hyppigere dømmes for kriminalitet igen end hvide.
Det betyder også, at hvide og sorte forbrydere er ujævnt fordelt over COMPAS’ risikoscorer.
Der er en større andel af forbrydere med høje risikoscores, som er sorte, end andelen af sorte udgør af alle forbrydere. Og omvendt: Andelen af forbrydere med lave risikoscorer, som er hvide, er større, end andelen af hvide udgør af alle forbrydere.
Det betyder, at når COMPAS foretager fejlagtige forudsigelser, så vil den hyppigere producere falske positiver, når forbryderen er sort, end når forbryderen er hvid.
Det vil den, fordi andelen der begår kriminalitet igen, er højere blandt sorte forbrydere end blandt hvide forbrydere.
Derfor vil en større andel af de fejl, COMPAS laver, være falske positiver ved sorte end ved hvide forbrydere.
Skal COMPAS være ’fair’?
Den matematisk set eneste mulige måde at undgå ulighed i hyppigheden af falske positiver på, er ved at risikoscorer betyder noget forskelligt på tværs af hvide og sorte forbrydere.
Mere konkret: Det kræver flere indikationer på fremtidig kriminalitet for sorte end for hvide forbrydere for, at disse får en høj risikoscore.
Men derved havner vi i det, som mange teoretikere (se 1, 2, 3, 4) ser som et centralt problem for algoritmisk fairness:
At algoritmisk fairness kræver både ens falsk-negative og falsk-positive rater og velkalibrering.
Men i realistiske situationer, hvor vores algoritme ikke er perfekt (altså laver fejlagtige forudsigelser), og hvor to gruppers hyppighed (i dette tilfælde for at begå kriminalitet igen) er uens, må vi vælge mellem de to.
Vi kan af rent matematiske grunde ikke have begge dele.
Et udbredt samfundsproblem
Dette dilemma forekommer særligt presserende, når vi taler straf.
Men COMPAS rejser også et helt generelt problem om algoritmisk diskrimination.
Forskelle mellem hvor hyppigt bestemte egenskaber findes hos medlemmer af grupper, ses inden for alle mulige andre emner end kriminalitet, og for alle mulige andre grupper end hvide og sorte amerikanske forbrydere.
Og eftersom vi i disse år ser en stadig stigende anvendelse af algoritmer i alle mulige sammenhænge, eksempelvis låntagning, forsikringer og sundhedssektoren, er dilemmaet i virkeligheden en langt mere omfattende samfundsmæssig udfordring.
Det er derfor bemærkelsesværdigt, at de teoretikere, som har forholdt sig til dilemmaet, har givet ret forskellige bud på, hvordan vi skal forholde os til dilemmaet.
Men mange af dem glemmer at forholde sig til, hvordan vi tænker om fairness i andre situationer.
\ Auditstudier og unfair diskrimination på arbejdsmarkedet
Tag såkaldte auditstudier af diskrimination. Et auditstudie kan for eksempel bestå i, at nogle forskere laver to jobansøgninger med den eneste forskel at navnet på den ene indikerer, at ansøgeren er en mand, mens navnet på den anden fortæller, at vedkommende er en kvinde. Forskerne sender så de to uopfordrede jobansøgninger til et stort antal arbejdsgivere og sammenligner derefter, hvor hyppigt arbejdsgiveren vender tilbage afhængigt af den fiktive ansøgers køn.
Hvis der ingen forskel er på hvor ofte mænd og kvinder kontaktes, konkluderes det, at eftersom køn ingen rolle spiller, så er der ingen kønsdiskrimination. Hvis omvendt der er en forskel, konkluderes det, at der foregår unfair kønsdiskrimination. Mænd og kvinder har jo for så vidt angår informationerne i deres ansøgninger samme kvalifikationer, men ikke desto mindre forskellige chancer for at blive kaldt til samtale.
Det bemærkelsesværdige er, at førstnævnte situation er forenelig med miskalibrering. Antag at arbejdsgivere indimellem laver fejl i forhold til om en ansøger er kvalificeret, og antag (gentager: antag) alene for illustrationens skyld at kvindelige ansøgere sjældnere er kvalificerede end mandlige. Det sidste kunne eksempelvis være fordi, at kvinder tidligere er blevet nægtet adgang til de relevante jobs og derfor generelt har mindre relevant joberfaring.
Hvis et auditstudie viser, at ansøgerens køn i den situation ingen indflydelse har på om ansøgeren kaldes til samtale, så betyder det, at arbejdsgiverens vurdering af om ansøgeren er kvalificeret er miskalibreret. Hvis en ansøger vurderes som værende kvalificeret, så er sandsynligheden for at vedkommende faktisk er kvalificeret nemlig alt andet lige større givet den antagne forskel i hvor hyppigt mænd og kvinder er kvalificerede, hvis ansøgeren er mand end hvis ansøgeren er kvinde. I mit tænkte eksempel betyder ’kvalificeret’ noget forskelligt alt efter om ansøgeren er mand eller kvinde. På samme måde som risikoscoren ’otte’ betyder noget forskelligt, hvis sorte forbrydere med den score med mindre sandsynlighed vil recidivere end hvide forbrydere.
Måske skal COMPAS være ’dårligt kalibreret’
Det er derfor værd at minde om, at vi i nogle ikke-algoritmiske sammenhænge mener, at kalibrering ikke er en nødvendig betingelse for fairness.
Det ses eksempelvis i audit-studier af diskrimination på arbejdsmarkedet.
Antag eksempelvis at arbejdsgivere indimellem begår fejl i forhold til, om en ansøger er kvalificeret, og antag (gentager: antag), at kvindelige ansøger sjældnere er kvalificerede end mandlige.
Hvis et studie viser, at ansøgerens køn ingen indflydelse har på, om ansøgeren kaldes til samtale, så betyder det, at arbejdsgiverens vurdering af ansøgerens kvalifikation er miskalibreret. Læs mere om eksemplet i boksen ovenfor.
Arbejdsgiveren kigger med andre ord blot på informationer på ansøgerens CV med mere, uden at skele til køn, herunder det hypotetiske faktum, at mandlige ansøgere hyppigere end kvindelige ansøgere er kvalificerede.
Den centrale pointe er, at vi her, i en almindelig, ikke-algoritmisk situation, ikke opfatter velkalibrering som en nødvendig betingelse for fairness.
Vi synes nemlig ikke, at det er unfair diskrimination, at en arbejdsgiver alene vurderer mandlige og kvindelige ansøgere på deres kvalifikationer, som disse fremgår af deres ansøgninger, og ser bort fra statistisk baggrundsinformation, eksempelvis som i mit fiktive eksempel at mandlige ansøgere hyppigere er kvalificerede end kvindelige.
Måske vi derfor heller ikke bør gøre det i en algoritmisk sammenhæng?
Måske brugen af COMPAS ikke kan forsvares med, at algoritmen er fair, bare fordi alle forbrydere med en score på otte har lige stor risiko for at begå kriminalitet igen, når den fejlagtigt placerer flere sorte end hvide med en høj risiko for at begå ny kriminalitet?
Kasper Lippert-Rasmussen er leder af grundforskningscenteret ’Center for Eksperimentel-Filosofiske Studier af Diskrimination’, som er støttet af Danmarks Grundforskningsfond.
\ Kilder
'Inherent Trade-Offs in the Fair Determination of Risk Scores', Arxiv.org (2016)
Læs om brug og viderebringelse af Videnskab.dk's artikler.
