Hvad er en AI’s ‘black box’? 

For mange af os henleder begrebet black box - eller på dansk, 'sort boks' - tankerne på de optageenheder i fly, som indeholder information om hver eneste lille ting, der sker med flyet, mens det er i luften, og som kan være værdifuld, såfremt flyet forulykker.

Andre, der hører begrebet, kommer måske til at tænke på små, minimalistiske teaterscener.

Men en black box er også et vigtigt begreb inden for kunstig intelligens (AI) og en metafor for de utilgængelige udregninger, som kan opstå i AI-netværk.

Når man taler om en AI's black box, refererer det til AI-systemer med interne funktioner, der er usynlige for brugeren. Vi kan fodre dem input og få output, men vi kan ikke undersøge systemets kode eller den logik, der producerede outputtet.

Maskinlæring, som er den dominerende del af kunstig intelligens, ligger til grund for generative AI-systemer som ChatGPT og DALL-E 2. Dette har tre komponenter:

• En algoritme eller et sæt algoritmer
• Træningsdata
• En model

En algoritme er et sæt procedurer. I maskinlæring lærer en algoritme at identificere mønstre efter at være blevet trænet i et stort sæt eksempler - træningsdatamængden.

Når først en maskinlæringsalgoritme er blevet trænet, er resultatet en maskinlæringsmodel, og det er den model, man herefter bruger.

Alle komponenter kan skjules

En maskinlæringsalgoritme kan eksempelvis designes til at identificere mønstre i billeder, og træningsdata kan være billeder af hunde. Den resulterende maskinlæringsmodel vil i så fald være en hundespotter.

Man kan fodre modellen med et billede som input og så få som output, om og hvor i billedet et sæt pixels repræsenterer en hund.

Alle de tre komponenter i et maskinlæringssystem kan imidlertid skjules - for eksempel i en black box.

Ofte er algoritmen offentligt kendt, så derfor er det mindre effektivt at gemme den væk, men for at beskytte deres immaterialrettigheder lægger AI-udviklere ofte modellen i en black box.

Softwareudviklere kan også vælge en anden tilgang, hvor de skjuler de data, der bruges til at træne modellen – med andre ord, lægge træningsdataene i en black box.

Det modsatte af en black box bliver nogle gange kaldt en glasboks. En AI-glasboks er et system, hvor algoritmerne, træningsdata og modellen ligger tilgængeligt for alle, der ønsker at se nærmere på det. Alligevel karakteriserer forskerne aspekter af selv AI-glasbokse som en black box.

Det skyldes, at forskerne ikke fuldt ud forstår, hvordan maskinlæringsalgoritmer, især algoritmer baseret på dybe neurale netværk, såkaldt deep learning, fungerer.

Forskningsfeltet forklarlig kunstig intelligens (på engelsk: explainable AI, eller bare XAI) arbejder med at udvikle algoritmer, som mennesker bedre kan forstå, selvom de ikke nødvendigvis er glasbokse.

Derfor er black boxes så vigtige

I mange tilfælde er der god grund til at være på vagt over for en black box's maskinlæringsalgoritmer og modeller.

Forestil dig, at en maskinlæringsmodel har set på dit helbred og stillet en diagnose. Ville du i det tilfælde foretrække en black box- eller glasboks-model? Hvad med lægen, der skal tage stilling til dit behandlingsforløb? Måske vil hun gerne vide, hvordan modellen nåede frem til sin beslutning.

Eller forestil dig, at din låneansøgning til et erhvervslån bliver afvist af en maskinlæringsmodel, der har til opgave at afgøre, om du er berettiget til lånet - vil du i det tilfælde ikke gerne vide hvorfor?

Får du en begrundelse for afslaget, kan du anke afgørelsen mere effektivt eller gøre noget ved situationen for at øge sandsynligheden for at få et lån næste gang.

Afgørende konsekvenser for softwaresystemernes sikkerhed

Black boxes har også afgørende konsekvenser for softwaresystemernes sikkerhed. I årevis troede mange i IT, at man ved at holde software i en black box kunne forhindre hackere i at nærstudere den, og at det derfor ville være mere sikkert.

Denne antagelse bliver dog i det store hele tilbagevist i og med, at hackere kan benytte sig af reverse engineering – det vil sige bygge et meget lignende system gennem nøje observation af, hvordan et givent stykke software virker – og på den måde afsløre svagheder, der kan udnyttes.

Hvis softwaren i stedet befinder sig i en glasboks, kan softwaretestere og velmenende hackere undersøge det og informere skaberne om svagheder og derved minimere cyberangreb.

Denne artikel er oprindeligt publiceret hos The Conversation og er oversat af Stephanie Lammers-Clark.