Nyt værktøj kan hjælpe os med at bruge kunstig intelligens ansvarligt i vores arbejde
Vi skal vænne os til at se kritisk på AI og vurdere, om den egentligt gør sit arbejde. Nyt værktøj hjælper os med at se systemerne efter i sømmene.
Vi skal vænne os til at se kritisk på AI og vurdere, om den egentligt gør sit arbejde. Nyt værktøj hjælper os med at se systemerne efter i sømmene.
Kunstig intelligens (KI) er mange steder blevet en del af vores dagligdag og understøtter både noget så lavpraktisk som støvsugning og tøjvask. Og noget så avanceret som behandlinger på hospitaler og sagsbehandling i den offentlige forvaltning.
Selvom kunstig Intelligens utvivlsomt har potentialet til at gøre en masse godt, er der et betydeligt antal af sager, hvor utilsigtede negative konsekvenser har ført til diskrimination eller gjort skade på mennesker.
Et eksempel kunne være et system, der er skabt til at opdage hudkræft, potentielt ikke virker lige så godt på mennesker med mørk hud, som det gør på mennesker med lysere hudfarver.
Et helt centralt spørgsmål er derfor: Hvordan kan virksomheder og myndigheder udnytte de positive potentialer i kunstig intelligens, samtidig med at de minimerer de utilsigtede negative konsekvenser og gør skade på folk?
For at besvare dette spørgsmål har vi i vores forskningsprojekt udviklet et værktøj, der skal hjælpe virksomheder og organisationer med at bruge nye intelligente systemer på en ansvarlig måde.
Forløbet med at udvikle, bruge og evaluere redskabet gav os mulighed for at supplere vores viden fra eksisterende forskning med erfaringer fra praksis.
For eksempel at det ikke altid er så let at skulle ændre sin adfærd og tage nye redskaber i brug. Derfor undersøgte vi, hvad der skal til for, at virksomheder og myndigheder kan bruge redskabet.
Annonce:
\ Serie: Er AI vores ven, fjende eller både-og?
Hvad gør kunstig intelligens ved vores samfund? AI bliver brugt i mobiltelefoner, ChatGPT, selvkørende biler, røntgenundersøgelser og meget, meget mere.
Men tager AI vores arbejde, eller kan AI hjælpe os til et bedre samfund? Skal vi være fascinerede, begejstrede eller nervøse? Hvilke dilemmaer følger med udbredelsen af AI?
I denne artikelserie angriber en række forskere AI fra hver deres forskningsfelt. Se alle artikler i serien her.
Kunstig intelligens er en hjælp på arbejdet, men ...
Kunstig intelligens (KI) (også kaldet artificial intelligence eller AI) er teknologi, der er i stand til at udføre opgaver, som, vi normalt tænker, kræver menneskelig intelligens at udføre.
Det omfatter maskinlæringsteknologier, som er i stand til at ’lære’, analysere og træffe beslutninger baseret på data.
Denne egenskab gør virksomheder og myndigheder i stigende grad brug af ved at benytte KI til at træffe bedre og hurtigere beslutninger og forbedre arbejdsprocesser.
Erhvervsstyrelsen bruger eksempelvis KI til at hjælpe sagsbehandlere med at opdage svig i regnskaber og hjælpe virksomheder.
Deres KI-systemer er i stand til at fremhæve potentielle tilfælde af svig, fordi teknologien har lært fra data og heriblandt tusindvis af tidligere beslutninger truffet af menneskelige sagsbehandlere, hvordan svigagtige sager typisk ser ud.
Men hvordan kan virksomheder og myndigheder sikre, at deres afdelinger og medarbejder bruger KI på en ansvarlig måde?
X-RAI: En ansvarlig brug af kunstig intelligens
Det er på den baggrund, at vi har udviklet værktøjet X-RAI. Det består af fire værktøjer i spørgeskemaformat, der understøtter, vejleder og dokumenterer procedurerne for virksomheder og myndigheders ansvarlige brug af KI.
Annonce:
Du kan læse om værktøjerne her og her.
X-RAI er et akronym for transparent (X-RAY), altså en forkortelse, hvor hvert bogstav repræsenterer et ord:
- X: Explainable (Forklarlig)
- R: Responsible (Ansvarlig)
- A: Accurate (Præcis)
- AI: Artificial Intelligence (Kunstig Intelligens)
X-RAI skal gøre det så nemt som muligt at have en så ansvarlig som mulig anvendelse af KI igennem hele systemets levetid fra vugge til krukke.
Det handler altså om at give organisationerne nogle værktøjer til, hvordan de kan vurdere, om den måde, de bruger KI på, er ansvarlig.
X-RAI redskabet bruges altså til at vurdere, om KI’en udfører den opgave, den er tiltænkt, og evalueringen skal derfor altid gøres i relation til, hvad KI’en skal bruges til.
For hvad, der er ansvarligt i én sammenhæng, er ikke nødvendigvis ansvarligt i en anden sammenhæng.
Dette er tilsvarende andre teknologier. Det kan for eksempel være ansvarligt at tænde en grill på en grillplads, imens det ville være uansvarligt at tænde den samme grill indenfor eller på en græsplæne under en tørkeperiode.
Annonce:
Sådan fungerer X-RAI
X-RAI består af fire værktøjer, som har hvert deres formål. De kan ses i figuren herover.
De første to benyttes, inden KI-systemet sættes i drift, og de sidste to bruges, når KI’en er taget i brug.
Det første værktøj hedder ’Artificial Intelligence Risk Assessment’ (AIRA) og bruges til at vurdere risikoen ved at bruge KI-systemet, herunder blandt andet hvordan forståelighed, forudindtagethed og træfsikkerhed passer til brugsscenariet.
Dette foregår i en gentagende proces, hvor personer med stor fagviden inden for det område, hvor KI’en skal bruges (såkaldte ’domæneeksperter’), først besvarer spørgsmål om forretningsbehovene.
Derefter bygger tekniske eksperter, såsom data scientists, dataloger eller andre med teknisk ekspertise, KI-systemet. Den tekniske løsning dokumenteres ved hjælp af AIRA-værktøjet.
Når KI-systemet er færdigbygget, indkaldes der til et møde, hvor domæneeksperternes forretningsdel af AIRA sammenholdes med den tekniske del, der er udfyldt af data scientists/datalogerne, og som beskriver den tekniske konstruktion.
Det kan hermed vurderes, om KI-systemet opfylder behovene i brugsscenariet, og hvilke risici der er forbundet med at bruge KI’en.
Annonce:
Der er også en facilitator-del af AIRA, hvor fagfolk (såsom jurister, domæneeksperter, brugere og data etikere) tager stilling til, om redskabet har kvaliteten til at sættes i drift og overholder relevante love, standarder og organisationens etik, politikker og retningslinjer.
\ Faktaboks: Action research-metoden
X-RAI er blevet udviklet ved hjælp af ’action design research’-metoden.
Denne metode giver mulighed for opnå viden, der generaliserer på baggrund af lignende teknologier og kontekster gennem udvikling, afprøvning og evaluering et design artefakt.
Det gøres ved at benytte videnskabelig teori til at designe et artefakt (f. eks. et værktøj som vores X-RAI med dertilhørende proces og spørgeskemaer) med det formål at løse et generelt praktisk problem for en gruppe teknologier.
Artefaktet bliver løbende evalueret i forbindelse med brug. Evalueringerne fungerer som videnindsamling.
Læg en plan for, hvordan I skal holde øje med jeres KI
Verden kan hurtigt ændre sig væk fra det data, som KI-systemet er trænet på, og det kan gøre, at KI-systemet intelligens bliver dårligere med tiden, hvilket kan føre til urigtige beslutninger og gøre skade. Det andet redskab er derfor en evalueringsplan.
Den bruges til at vurdere, om der er ressourcer til at vedligeholde KI-systemet. Samt strukturere den fremadrettede og løbende evaluering, som sikrer, at hvis der opstår fejl eller forudindtagethed i KI’en, kan de blive opdaget.
Der tages stilling til, hvem der skal deltage i evalueringen af KI-systemet, hvordan de skal deltage, hvornår der skal evalueres, og hvilke data der skal danne grundlaget for evalueringen.
Følger din KI med, når der sker forandringer?
De to sidste redskaber, som først kommer i spil, når KI’en er taget i brug, er evalueringssupport-redskabet og gentrænings- og videreudviklingsredskabet.
Med evalueringssupport-redskabet gennemgår domæneeksperter helt konkret et antal bedømmelser eller sager, som KI’en har behandlet, for at vurdere, om KI-systemet holder det krævede kvalitetsniveau.
Denne gennemgang kan suppleres med analyser for eksempel af forudindtagethed. Formålet er at vurdere, om de omgivelser, som KI-systemet fungerer i, har ændret sig for meget fra den verden, som KI systemet er trænet til at fungere i.
Der tages afslutningsvis stilling til, om KI-systemet skal fortsætte i drift, slukkes, gentrænes eller videreudvikles. Processen gentages igen i tilfælde af, at KI-systemet fortsætter i drift.
Det fjerde værktøj, gentrænings- og videreudviklingsredskabet, tages i brug, hvis KI’en skal gentrænes, fordi omgivelserne har ændret sig.
Man beskriver først, hvorfor KI systemet skal tilpasses, og derefter giver man et bud på årsagen til problemerne.
Dermed bliver det håndgribeligt for dem, der skal gentræne eller videreudvikle KI-systemet, hvilke problemer der skal løses.
Klare retningslinjer og en stop-knap: 10 principper for ansvarlig brug af KI
Et fundamentalt princip i brug af KI i offentlige myndigheder i Danmark er menneskeligt tilsyn. Hvilket betyder, at der altid er et menneske, som gennemgår beslutninger af en KI, som har indvirkning på et menneske.
Men menneskeligt tilsyn alene er ikke tilstrækkeligt til at sikre en ansvarlig brug af KI.
Testningen af X-RAI-værktøjet i praksis gav os mulighed for løbende at indsamle og udvikle viden om, hvordan virksomheder rent faktisk kan få gennemført evaluering af sine KI’er.
Det har resulteret i 10 principper, som kan hjælpe virksomheder med en succesfuld kvalitetssikring og et godt evalueringsforløb og dermed minimere risikoen for, at et KI-system laver fejl eller udøver skade via forudindtagethed, når det eksempelvis skal vurdere, hvilke regnskaber der kunne indeholde snyd.
De fem første principper fokuserer på kvalitetssikringen, inden KI-systemet tages i brug, mens de fem sidste fokuserer på sikre kvaliteten, når KI-systemet er i brug.
Du kan se alle principperne i boksen her:
\ 10 principper for ansvarlig brug af KI
Princip 1: Tværfaglig ekspertvurdering. At bruge KI’er er komplekst og kræver derfor et samspil af eksperter fra flere områder, herunder forretning, brug, teknik og jura, for at vurdere om brugen af en KI er ansvarlig.
Princip 2: Struktureret intuition. Der skal være klare retningslinjer for, hvilke aspekter af en KI der skal vurderes, men der skal også være plads til, at eksperterne får frirum til at benytte deres faglighed. Det gør det nemmere at holde retningslinjerne opdaterede og hensigtsmæssige.
Princip 3: Fokus på konsekvens. Nogle forkerte beslutninger (såsom at overse kræft) har større indvirkninger end andre (eksempelvis en unødvendig undersøgelse). Det er derfor vigtigt at vurdere, ikke kun hvor hyppigt en KI tager fejl, men også hvad konsekvenserne er.
Princip 4: Ikke kun præcision. Det er vigtigt ikke kun at se på, hvor ofte KI-systemet har ret. Man skal også kigge på, i hvilke tilfælde KI-systemet har ret og tager fejl, om KI-systemet har problematisk forudindtagethed og diskriminerer, om KI-systemet er retfærdigt, og om KI-systemet er forståeligt nok til brugsscenariet.
Princip 5: Afgræns brug af KI. Ligesom en robotstøvsuger ikke skal begive sig ud i et svømmebassin, skal brugen af en given KI begrænses til de områder, som KI’en er blevet designet og evalueret til. For eksempel skal dens brug ikke udvides til typer af beslutninger, den ikke er trænet til.
Princip 6: Automatisk stop funktion. Verden forandrer sig, mens KI’en er i brug. Hvis en KI ikke er blevet evalueret i for lang tid, skal den slukkes, så den ikke risikerer at gøre skade.
Princip 7: Evalueringsrytme i tråd med omgivelserne. Nogle KI-systemer er brugt i områder med mange forandringer, mens andre bruges til opgaver og data, som ændrer sig sjældent. Derfor skal rytmen af evalueringer bestemmes i henhold til dynamikken i KI’ens omgivelser.
Princip 8: Evaluering som en meningsfulde opgave. Det kan være tungt for en sagsbehandler at vurdere flere hundrede beslutninger truffet af en KI. For eksempel kan evalueringen være en mulighed for at arbejde sammen eller dele viden med kolleger, som normalt ikke arbejder sammen. Så kan denne tunge opgave bliver sjovere.
Princip 9: Synergier mellem evalueringen og andre opgaver. Det er en fordel, hvis evalueringen kan udføres på en måde, så medarbejderne får flere kompetencer, eller der kan komme nye medarbejdere, så man får flere gevinster ud af at gennemgå en KI’s beslutninger.
Princip 10: Digital evaluering. Det kan være svært for en organisation af holde styr på, hvilke KI'er, der er blevet evalueret hvornår og med hvilke resultater. En digital evalueringsløsning kan hjælpe med at effektivisere evalueringer og holde overblikket.
\ Kilder
Læs om brug og viderebringelse af Videnskab.dk's artikler.
