Chatbots er dårlige til at løse problemer og gåder – det vil Google-forskere løse

»Hej! Hvordan har din dag været?«

Spørgsmål som dette kommer som regel fra en ven, kæreste eller forælder. Men i dag kan det også komme fra en chatbot på din smartphone. Nogle af dem udgiver sig for at være din ven, mens andre er en slags avanceret søgemaskine, man fører en samtale med.

Moderne chatbots som ChatGPT, Copilot og Gemini har ændret den måde, vi forholder os til computere. Værktøjerne har gjort det muligt at skrive sammen med en virtuel assistent, ligesom man skriver med et menneske. Det er takket være store sprogmodeller, som er teknologien bag chatbots.

Men det er ikke alt, de er lige gode til. Skoleelever har sikkert opdaget, at ChatGPT nogle gange er dårlig til at ‘hjælpe’ med matematiklektierne. For eksempel når det gælder problemløsning.

Sprogmodeller kan mange imponerende ting, men problemløsning er én af de ting, der volder dem problemer. Det har fået forskere til at lede efter nye måder at træne programmerne på, i håb om at de en dag lærer det.

En af de nye træningsmetoder hedder selvopdagelse (self-discovery), hvor man træner modellen på en masse tekster, der handler om, hvordan man løser problemer. Derefter kan modellen forhåbentlig selv finde ud af (opdage), hvordan den kan gøre det.

Metoden blev udviklet af nogle forskere fra Google, som også har forsøgt at forstå, hvor godt den virker. Men hvordan lærer en sprogmodel at rette op på sine mangler? Jeg forsker selv i kunstig intelligens på Syddansk Universitet og blev nysgerrig efter at have hørt om denne nye idé.

‘Selvopdagelse’ kommer jeg til om lidt. Lad os først lige genopfriske, hvordan en chatbot fungerer.

Sprogmodeller har stadig store mangler

Kernen bag en chatbot er det, der hedder en stor sprogmodel. I løbet af de sidste år er chatbots baseret på sprogmodeller blevet en del af mange populære apps, som for eksempel SnapChat. Hvis du nogensinde har prøvet at skrive med en chatbot, har du sikkert lagt mærke til, at de er rigtig gode til det.

Dog er chatbots ikke nødvendigvis så kloge, som de lader til at være: De kan skrive mange gode sætninger, men de tager også tit fejl, og en gang imellem siger de også helt forkerte ting. Hvorfor det? Fordi statistiske modeller ikke siger noget om, hvad ordenes betydning er.

Derfor kan en chatbot ikke vide, hvad den skriver om. Alligevel er der tit stor sandsynlighed for, at det giver mening.

Det har jeg skrevet mere om i en anden artikel her på Videnskab.dk, som du kan læse her.

Vælg dine data med omhu

Den information, der ligger i en stor sprogmodel, afspejler de tekster, som er blevet brugt til at danne modellen – det vi kalder for ‘træningsdata’.

Mange specialiserede chatbots har fået udvalgt deres træningsdata med omhu, for at prøve at sikre at de kan klare sig inden for et bestemt område. Det kan være alt fra sport til jura eller medicin.

Det er lidt forskelligt, hvor godt chatbots klarer sig i forskellige domæner. De er ret gode, hvis de primært skal gentage fakta eller simple konklusioner (‘Brøndby har vundet fem kampe i træk, de har noget særligt kørende for sig!’).

Men de er ikke så gode til at argumentere eller begrunde det, de siger (‘Den tiltalte har brudt §42 i den danske færdselslov og skal derfor betale 4.000 kroner i bøde baseret på de her relevante tidligere sager.’)

Man kan endda sige, at en chatbot bare opdigter noget, når den bliver bedt om at forklare sig. Hvis du gerne vil forvirre en chatbot, skal du bare spørge: »Hvorfor?«.

Totrinsproces til bedre træning

Mange forskere arbejder på at prøve at få chatbots til at blive bedre til komplicerede opgaver. Formålet er, at de ikke kun skal kunne skrive pænt og gentage fakta – de skal også kunne forklare, hvordan en specifik opgave kan løses.

En mulig tilgang er, at man træner dem med data, der beskriver, hvordan man løser problemer. Idéen er, at når de møder en konkret problemstilling, vil de være bedre til at skrive en tekst om, hvordan problemet kan løses.

Ved at træne en sprogmodel på denne måde kan man faktisk få en chatbot, der er bedre til at løse problemer end eksempelvis ChatGPT.

Dog virker de stadig knap så imponerende, hvis man sammenligner med, hvad et menneske kan. Derfor har nogle forskere taget processen et trin videre: I stedet for at forvente, at chatbotten finder en løsning ved første forsøg, har de udviklet en totrinsproces:

• På det første trin prøver computeren at finde en strategi til at løse problemet
• På det andet trin anvender den strategien, den har fundet

Det svarer egentlig til den måde, mennesker arbejder, når vi skal gøre noget, der ikke er trivielt. Vi laver en plan.

De forskere, der har udviklet denne metode, kalder den for ‘selvopdagelse’. Navnet afspejler, at det er chatbotten selv, der finder ud af, hvordan opgaven skal løses – i stedet for at mennesker fortæller den det.

Chatbots kan blive eksperter i problemløsning

Forestil dig en praktiserende læge, der skal stille en diagnose.

Hun begynder med at kigge på symptomerne, for at bestemme om der skal bestilles nogle prøver, udskrives medicin, eller om patienten skal henvises til en specialist. Først derefter skal hun forholde sig til, hvilke prøver, hvilken medicin eller hvilken specialist.

Til det første trin har forskere trænet en sprogmodel med en masse information om, hvordan man generelt kan løse problemer.

Man kan dele et problem op i flere trin. Man kan lede efter et lignende problem (patienter med lignende symptomer) og løsningen på det (hvilken medicin fik de andre patienter?). Man kan abstrahere og gøre problemet mere generelt - og så videre.

Efterhånden vil chatbotten blive i stand til at tage fat i en konkret problemstilling, anvende de forskellige strategier og fortolke, hvad de betyder for dette konkrete problem. Hvilke trin skal det deles i? Hvilket lignende problem skal der kigges på? Hvordan kan problemet gøres mere generelt?

Svaret fra det første trin bliver igen fodret til chatbotten, der nu skal løse enklere opgaver – forhåbentligt på det niveau, den kan klare. Eksperimenter har vist, at det endelige program kan løse flere opgaver end de systemer, der fandtes i forvejen.

Bedre endnu vil det svar, man får, også beskrive de mellemliggende trin og er derfor mere komplet og gennemskueligt, end når man ‘bare’ beder chatbotten om at løse problemet uden at følge disse to trin.

Forskerne bag studiet er fra Google, og deres artikel er et såkaldt ‘preprint’. Det vil sige, at det er tilgængeligt på nettet og altså ikke udgivet i et tidsskrift. Det betyder også, at det ikke er fagfællebedømt.

Er det her fremtiden?

Det er svært at sige. Der er ingen, der fuldt ud forstår, hvad der foregår i en menneskelig hjerne, og hvordan vi lærer ting.

Vi ved godt, at vi ikke bare gentager ting, vi har hørt – vi kan også forstå dem med vores egne ord og opdage mønstre baseret på det, vi oplever. Men mange af os har svært ved at tro, at vores hjerne egentlig kun består af meget avanceret statistik.

Til gengæld kan man sige, at den nye måde at træne chatbots begynder at ligne den måde, vi forklarer ting til andre mennesker.

Det første trin i problemløsningen, som chatbots trænes på, er ikke så anderledes end det, vi gør i vores uddannelsessystem.

I skolen fortæller vi systematisk elever, hvordan verden fungerer, og hvad de gode teknikker er til at løse problemer inden for forskellige områder. Så måske er det her vejen frem.

Uanset hvor meget den her udvikling betyder for kunstig intelligens’ fremtid, er der noget, vi kan sige med sikkerhed:

Vi har lært endnu en ny ting om chatbots, og vi kan regne med, at der snart kommer nogle nye chatbots, der kan mere end dem, vi har lige nu.