Det er menneskeligt at fejle – derfor gør teknologier det også
KOMMENTAR: Algoritmer tilegner sig ofte fejl, baseret på skævheder i de input, de trænes ud fra. Løsningen er både menneskelig og teknisk.
algoritme_bias_google_lolsovs_gorilla_diskrimination_unconsciousbias_sådan

I dag kan man godt billedgoogle ’gorilla’, men i 2015 blev der lukket for den søgemulighed i Google Photos, fordi algoritmen bag denne app ikke kunne finde ud af at skelne mellem gorillaer og mennesker med mørk hud. Årsagen: Menneskene bag teknologien var ikke opmærksomme på bias i input-data (Foto: Google/Videnskab.dk)

I dag kan man godt billedgoogle ’gorilla’, men i 2015 blev der lukket for den søgemulighed i Google Photos, fordi algoritmen bag denne app ikke kunne finde ud af at skelne mellem gorillaer og mennesker med mørk hud. Årsagen: Menneskene bag teknologien var ikke opmærksomme på bias i input-data (Foto: Google/Videnskab.dk)

Når du går ind i et fyldt lokale, tænker du næppe over det, hvis alle i rummet ligner dig. I hvert fald ikke, hvis du er en hvid, ciskønnet person i Danmark.

Og hvis nogen så påpeger ligheden, vil mange nok svare, at den er tilfældig.

Men i alle sammenhænge, hvor der er en overvægt af mennesker med en bestemt hudfarve, et bestemt køn, samme alder eller andre ligheder, vil der være bias.

Det vil sige skævheder, baseret på den dominerende gruppes erfaringer og holdninger, som ikke bliver udfordret, når der er en underrepræsentation af alle andre positioner.

Sådanne bias kommer ikke bare til udtryk i de synspunkter, vi bringer med os ind i alle sociale relationer. De ses også i de resultater, vi producerer igennem vores interaktioner.

Hvis der er flest deltagere fra en bestemt gruppe, så vil de resultater, som deltagerne producerer i fællesskab, være formet af denne gruppes erfaringer – det man kan kalde gruppens sociale og kognitive bias.

Output formes altså af det input, der er til rådighed. Det skaber en række problemer. Ikke mindst når vi bruger data til at træne algoritmer og kunstig intelligens.

Det er de problemer, vi stiller skarpt på i denne artikel.

Fakta
Om Forskerzonen

Denne artikel er en del af Videnskab.dk’s Forskerzonen, hvor forskerne selv formidler deres forskning, viden og holdninger til et bredt publikum – med hjælp fra redaktionen.

Forskerzonen bliver udgivet takket være støtte fra vores partnere: Lundbeckfonden, Aalborg Universitet, Roskilde Universitet og Syddansk Universitet og Region H.

Forskerzonens redaktion prioriterer indholdet og styrer de redaktionelle processer, uafhængigt af partnerne. Læs mere om Forskerzonens mål, visioner og retningslinjer her.

Når lighed skaber bias

Man kan mene, at lighed er en tilfældighed. En normal afspejling af det omkringliggende samfund. Man kan sige, at hudfarve, køn, alder og så videre er ligegyldige faktorer; at vi alle er mennesker og ens indeni.

Man kan fremføre, at vores hjerner fungerer på samme måde og kan producere præcis de samme resultater, uanset vores forskellige kroppe. At det ikke gør nogen forskel, hvem der træffer en beslutning eller finder en løsning på et problem.

Det kan man sige, men det er ikke fakta. Det er en holdning. En holdning, der afspejler, at vi typisk ikke er bevidste om vores bias.

Uanset om vi er bevidste om vores bias eller ej, har det konsekvenser, når sociale ligheder overføres til maskinlæringsalgoritmer.

Det så man for eksempel, da Googles programmører tilbage i 2015 udviklede en applikation til billedgenkendelse, der er blevet berømt – eller snarere berygtet – for at fejlkategorisere folk med mørk hud som gorillaer.

Det skete ikke, fordi programmørerne havde en intention om at diskriminere eller at indlejre en racistisk holdning i app’ens design. De gjorde det ikke med vilje.

Det skete, fordi de ikke havde sikret sig en tilstrækkelig repræsentation af folk med forskellig hudfarve i de data, som app’en var trænet på. Dermed kom der bias i input – og bias i output.

Ingen gorillaer hos Google

Da sagen blev kendt, reagerede Google ved helt at fjerne kategorien ’gorilla’ fra deres app. Nu var der ikke nogen, der fik den mærkat klistret på sig – selv ikke gorillaer. Det løser dog ikke det underliggende problem.

Nok fjernes en konkret form, som problemet tager, men det er ikke en løsning – i bedste fald er det symptombehandling. Og det er ikke kun Google, der begår denne fejl.

Facebook har flere gange sat mærkaten ‘primat’ på folk med mørk hud, og Twitter har tidligere haft tendens til at fravælge eller nedprioritere billeder ud fra samme kriterie. Og det er endda sket for den ene af os i forbindelse med et laboratorieforsøg.

Udstyr virkede kun på hvid hud

Forsøget gik ud på at følge folks øjenbevægelser, mens de læste ægte versus falske nyheder. Formålet var at undersøge, om der er fysiologiske forskelle i, hvordan man aflæser de to slags nyheder.

Til forsøget blev der anskaffet noget særligt udstyr, og forsøgsgruppen blev sammensat på en måde, der skulle sikre, at alle etiske og videnskabelige principper blev overholdt. Herunder princippet om bred repræsentation af forskellige mennesker.

Men det viste sig, at udstyret kun virkede på folk med hvid hud – og at det var umuligt at få det til at virke på andre.

Apparatet var ikke egnet at blive brugt af andre end hvide mennesker, simpelthen fordi der ikke var inkluderet tilstrækkeligt mange mennesker med andre hudfarver i træningen af det.

Sådan spredes bias

Disse eksempler viser nogle af de måder, hvorpå bias overføres fra mennesker til teknologier.

Når data for eksempel ikke er afbalanceret med hensyn til repræsentation, er der altså risiko for, at bias overføres til maskinlæringsalgoritmer. Algoritmerne integrerer bias fra træningsdata i deres beslutningsprocesser og reproducerer dem i deres eget output.

Lad os gentage, at dette ikke er nogens onde plan eller intention – og det gør faktisk problemet endnu sværere at komme til livs.

Googles programmører havde ikke som mål at diskriminere, ligesom det typisk ikke er med vilje, når vi ligner alle dem, vi er i rum med. De forskellige processer er ikke designet sådan; det sker bare.

Sådan er det ofte med bias; de opstår bare. Ofte uden intention, nogle gange uden at vi kan pege på en konkret negativ effekt, og sommetider uden at vi er klar over, at der er bias til stede.

Kommer fra os

Vi har i dag algoritmer, der kan træffe menneskelignende beslutninger for bestemte typer af opgaver. Det er det, vi kalder kunstig intelligens.

Algoritmerne lærer at træffe beslutninger ved at observere beslutninger, som mennesker har truffet, og udlede mønstre og sammenhænge fra dem.

Derfor er det afgørende at undersøge, hvad bias har af betydning for teknologiudviklingen.

Når vi opdager bias i de digitale algoritmer, som i eksemplet med Googles gorillaer, bliver vi bekymrende. Og lad os slå fast: algoritmiske bias er problematiske, og vi skal forsøge at løse problemerne – ingen tvivl om det.

Men hvis vi skal løse problemerne med algoritmernes bias, er vi nødt til at forholde os til, hvor disse bias kommer fra. Og det er altså primært fra os.

Bias kan ikke fjernes helt

Man kan mene, at hvis der er bias i den data, vi træner teknologien på, er det en refleksion af verden. Og input-data bør også reflektere verden.

Hvis vi trænede algoritmer på data, der var blevet justeret og tilpasset, så den var helt uden bias (hvis noget sådant overhovedet var muligt), ville det svare til at lade et barn vokse op i en slags steril boble, hvor de ikke mødte nogen form for modstand.

Både barn og algoritme ville så være fuldstændig ude af stand til at håndtere den virkelige verden, når de på et eller andet tidspunkt blev konfronteret med den.

Men noget skal vi gøre

Det betyder ikke, at vi ikke kan gøre noget ved algoritmers bias. Tværtimod. Men de fleste ting, vi kan gøre for at løse problemet, er grundlæggende begrænset af bias i input-data.

Vi kan justere algoritmen her og der, og vi kan gøre mere for at fange bias, mens teknologierne er under udvikling. Men det er igen symptombehandling.

Ondets rod, den egentlige årsag til problemet, ligger i vores egne menneskelige bias.

Der er initiativer i gang, der skal standardisere, lovgive og helt generelt sætte rammerne for, hvad der skal være tilladt, og hvordan det skal kunne dokumenteres, at en teknologi holder reglerne.

Alle disse initiativer er gode og nødvendige, men de kommer ikke særligt langt, hvis vi ikke træder et skridt tilbage og ser lidt anderledes på sagen.

Monster – eller spejl?

Det er nemt at skyde skylden på de digitale teknologier og sige, at kunstig intelligens er et monster.

At vi håbede på at udvikle teknologier, der kunne hjælpe os med at skabe fremskridt og leve bedre liv, men i stedet har vi skabt teknologier, der nogle gange er diskriminerende.

Et andet perspektiv er, at vi ikke har skabt et monster, men et spejl – et forstørrelsesglas, der viser os, hvem vi er, hvordan vi lever med hinanden, og hvordan vi opfører os i verden.

Forandring bør starte med os selv

Tager vi det alvorligt, så handler de vigtigste forandringer ikke om programmering eller andre tekniske aspekter. Så handler de om os selv.

Først må vi holde op med at forvente, at digitale teknologier kan levere et eller andet objektivt og biasfrit alternativ til os selv og vores egne beslutningsprocesser.

Vi må holde op med at se den teknologiske udvikling som en vej mod perfekte, korrekte, objektive og helt neutrale beslutninger, der er hævet over enhver tvivl og usikkerhed.

Det kan kunstig intelligens ikke. Uanset, om vi kan lide det eller ej, så er det ikke det, den er designet til.

Teknologisk bias er menneskelig bias

Dernæst må vi indse, at vi ikke kan tale om teknologisk bias uden også at tale om vores egne menneskelige bias. De er ikke to forskellige og adskillelige ting, men forbundne.

Tiltagene mod den bias, vi finder i digitale algoritmer, er også visioner for en ny verden. En verden, som ikke kun befolkes af kunstig intelligens, men i hvilken mennesker og teknologi interagerer med hinanden.

Så hvis vi vil træne algoritmer til at blive bedre, skal vi også være villige til at blive bedre selv.

Der er ingen ’quick fixes’ på bias, men et potentiale for, at både teknologier og mennesker reelt bliver mere retfærdige og inkluderende.

Christina Lioma og Sine N. Just er begge forskningsledere i 'Algoritmer, Data & Demokrati' (ADD-projektet), som er et 10-årigt, tværvidenskabeligt forsknings- og formidlingsprojekt. Læs mere om projektet her.

Alle må bruge og viderebringe Forskerzonens artikler

På Forskerzonen skriver forskere selv om deres forskning. Vi mener, det er vigtigt, at alle får mulighed for at læse om forskning fra forskerens egen hånd.

Alle må derfor bruge, kopiere og viderebringe Forskerzonens artikler udfra følgende enkle krav:

  • Det skal krediteres: 'Artiklen er oprindelig bragt på Videnskab.dk’s Forskerzonen, hvor forskerne selv formidler'. Hvis artiklen bringes på web, skal der linkes til artiklen på Forskerzonen.
  • Artiklen må ikke redigeres og skal bringes i fuld længde (medmindre andet aftales med forskeren).
  • Du skal give forskeren besked om, at du genpublicerer.
  • Artikler, som er oversat fra The Conversation, skal have indsat en HTML-kode til indsamling af statistik i bunden. HTML-koden finder du i den originale artikel på The Conversations hjemmeside ved at klikke på knappen "Republish this article" ude til højre, derefter klikke på 'Advanced' og kopiere koden. Du finder linket til artiklen på The Conversation i bunden af Forskerzonens oversatte artikel. 

Det er ikke et krav, men vi sætter pris på, at du giver os besked, hvis du publicerer vores indhold (undtaget indhold fra The Conversation). Skriv til redaktør Anders Høeg Lammers på ahl@videnskab.dk.

Læs mere om Forskerzonen i Forskerzonens redaktionelle retningslinjer.

Ny video fra Tjek

Tjek er en YouTube-kanal om videnskab henvendt til unge.

Indholdet på kanalen bliver produceret af Videnskab.dk's videojournalister med samme journalistiske arbejdsgange, som bliver anvendt på Videnskab.dk.

Ugens videnskabsbillede

Se flere forskningsfotos på Instagram, og læs om de utrolige billeder af Jupiter her.

Videnskab.dk Podcast

Lyt til vores seneste podcast herunder eller via en podcast-app på din smartphone.

Hej! Vi vil gerne fortælle dig lidt om os selv

Nu hvor du er nået helt herned på vores hjemmeside, er det vist på tide, at vi introducerer os.

Vi hedder Videnskab.dk, kom til verden i 2008 og er siden vokset til at blive Danmarks største videnskabsmedie med over en halv million brugere om måneden.

Vores uafhængige redaktion leverer dagligt gratis forskningsnyheder og andet prisvindende indhold, der med solidt afsæt i videnskabens verden forsøger at give dig aha-oplevelser og væbne dig mod misinformation.

Vores journalister fortæller historier om både kultur, astronomi, sundhed, klima, filosofi og al anden god videnskab indimellem - i form af artikler, podcasts, YouTube-videoer og indhold på sociale medier.

Vi stiller meget høje krav til, hvordan vi finder og laver vores historier. Vi har lavet et manifest med gode råd til at finde troværdig information, og vi modtog i 2021 en fornem pris for vores guide til god, kritisk videnskabsjournalistik.

Vores redaktion gør en dyd ud af at få uafhængige forskere til at bedømme betydningen af nye studier, og alle interviewede forskere citat- og faktatjekker vores artikler før publicering.

Hvis du går rundt og undrer dig over stort eller småt, vil vi elske at høre fra dig og forsøge at give dig svar med forskernes hjælp. Send bare dit spørgsmål til vores brevkasse Spørg Videnskaben.

Vi håber, at du vil følge med i forskningens forunderlige opdagelser her på Videnskab.dk.

Få et af vores gratis nyhedsbreve sendt til din indbakke. Du kan også følge os på sociale medier: Facebook, Twitter, Instagram, YouTube eller LinkedIn.

Med venlig hilsen

Videnskab.dk