Nyt studie: Chatbots er lige så gode til at sætte sig i andres sted som … mennesker

Når vi læser en roman, ser en film eller taler med en ven, sker der noget oven i knolden på os:

Vi bliver medfølende, empatiske og, bevidst eller ubevidst, forsøger vi at sætte os i et andet menneskes sted. Vi prøver at forstå dem, deres følelser, tanker og motiver.

Processen bliver af psykologer kaldt for ‘Theory of Mind’, og det er en evne, der af nogle forskere anses for at være helt særegen for os mennesker. Men den antagelse udfordres nu i et nyt studie, der netop er publiceret i Nature Human Behaviour.

For måske har de AI-drevne sprogmodeller, som ChatGPT og andre chatbots bygger på, samme evner. I al fald er de gode til at efterligne dem.

Forskerne bag studiet konkluderer nemlig, at tre sprogmodeller er i stand til at løse test for graden af ‘Theory of Mind’ lige så godt, og i nogle tilfælde bedre, end de 1.907 mennesker, der også var en del af studiet.

Oh ve, oh skræk! Nu kommer robotterne for alvor, tænker du måske. Men der er ingen grund til panik, forsikrer professor og filosof Anders Søgaard, der forsker i sprogmodeller ved Københavns Universitet:

»Der er altså ikke noget mærkeligt i, at sprogmodellerne lærer ‘Theory of Mind’,« fortæller han til Videnskab.dk.

Ironi, indirekte tale og konspirationsteorier

Helt konkret har forskerne testet sprogmodellerne og de knap 2.000 mennesker i fire forskellige test af ‘Theory of Mind’.

I testene bliver det målt, hvor god man er til at læse og forstå beskrevne situationer, der kræver, at man kan sætte sig i et andet menneskes sted.

Det drejede sig om situationer, hvor der blev udtrykt ironi, indirekte tale, faux pas (en uheldig handling hvormed man krænker nogen) og konspirationsteorier.

Et eksempel fra studiet er følgende historie, der beskriver en situation, der er et udtryk for faux pas, altså en grænseoverskridende handling:

»Jill var lige flyttet ind i et nyt hus. Hun tog på shopping med sin mor og købte nogle nye gardiner. Da Jill lige havde hængt dem op, kom hendes bedste ven Lisa forbi og sagde: ‘Åh, de gardiner er forfærdelige, jeg håber, du skal have nogle nye.’ Jill spurgte: ‘Kan du lide resten af mit soveværelse?’«

I testen bliver man så stillet en række spørgsmål, der giver en indikation af, om man forstår, at situationen er grænseoverskridende for Jill.

Og så videre og så videre. Sprogmodellerne var i alle tilfælde mindst lige så gode som de menneskelige deltagere, og i nogle kategorier bedre, til at forstå og fortolke situationen, hvilket i sidste ende skal ses som et udtryk for ‘Theory of Mind’.

Ikke overraskende

At den sprogkyndige kunstige intelligens scorer højt på test for graden af ‘Theory of Mind’, kommer ikke bag på professor Anders Søgaard.

Sprogmodeller er trænet til at huske uanede mængder af tekst udenad for derefter at blive super-eksperter i med statistisk sandsynlighed hele tiden at gætte det næste ord i en sætning.

Lidt som vi kender det fra kædehistorier på lejrskolen. Som DTU-professor og AI-forsker Søren Hauberg tidligere har forklaret det til Videnskab.dk.

»Hvis jeg siger ‘højt fra træets grønne top’, vil en god sprogmodel gøre min sætning færdig med ‘stråler juleglansen’. Det er det, en sprogmodel gør. Den laver sproglige analyser, der siger, ‘det her ord følger efter det her ord’.«

'Next word prediction' eller bare NLP kalder forskere metoden.

»Selv om sprogmodeller kun er trænet til at huske tekst udenad, er det i deres interesse at lære ‘Theory of Mind’,« forklarer Anders Søgaard:

»Hvis vi læste en Thomas Mann-roman og hele tiden skulle gætte det næste ord, inden vi fik det at se, ville vi tit gøre brug af vores ‘Theory of Mind’. Fordi det er en fordel, hvis man skal gætte, hvad karaktererne i Købmanden i Venedig foretager sig i næste øjeblik.«

Altså er det en nyttig egenskab for en sprogmodel at kende til følelser, tanker og motiver, når de skal generere den bedst mulige tekst til os mennesker, fordi følelser, tanker og motiver sætter sit præg på, hvordan vi mennesker genererer tekst.

Spil for galleriet?

Et andet mere grundlæggende og filosofisk spørgsmål er så, i hvilken grad sprogmodellerne ‘forstår’ de følelser, tanker og motiver, som ligger til grund for at score godt i en test om ‘Theory of Mind’:

»Er det spil for galleriet eller ægte ‘Theory of Mind’?,« som Anders Søgaard spørger.

»Hvis man for eksempel mener, at ‘Theory of Mind’ kræver bevidsthed, sjæl eller fe-støv, er det naturligvis principielt uden for sprogmodellernes rækkevidde.«

»Hvis man ikke tænker 'Theory of Mind' kræver den slags, er det forventeligt, at sprogmodeller før eller siden vil tilegne sig ‘Theory of Mind’,« påpeger KU-professoren.

Spørgsmål om, hvorvidt sprogmodeller har ‘Theory of Mind’, er en del af en større debat blandt AI-forskere. Spørgsmålet blev for alvor introduceret i et arbejdspapir af Stanford-professor Michal Kosinski i marts 2023.

»Han mente at påvise, at store sprogmodeller har ‘Theory of Mind’, men flere forskere skød straks tilbage,« fortæller Anders Søgaard.

Det nye studie er altså vand på hans mølle.