Chatbotter er på kort tid blevet hvermandseje, og mange af os bruger ikke mindst sprogmodellerne som en pålidelig korrekturlæser, der kan hjælpe os med at sætte kommaet rigtigt og dele ordenene korrekt.
Botterne har nemlig ry for at være ekstremt sprogligt kompetente, men forventer man et fejlfrit sprog, når chatbotten har været teksten igennem, kan man godt tro om igen.
Sådan lyder meldingen fra Dansk Sprognævn, der i seneste udgave af tidsskriftet Nyt fra Sprognævnet præsenterer en dugfrisk undersøgelse af flere populære chatbotters sproglige evner.
Her har forskere testet seks forskellige sprogmodeller fra tre forskellige virksomheder: amerikanske OpenAI og Anthropic samt franske Mistral. De seks modeller tæller en større og en mindre udgave af virksomhedernes chatbotter ChatGPT, Claude og Vibe.
I undersøgelsen blev alle modellerne stillet 1.500 sproglige spørgsmål fordelt på 15 kategorier som kommatering, bindestreg og store og små bogstaver. Forskerne stillede hver chatbot spørgsmålene tre gange for at teste, om de var konsistente i deres svar – og det var de.
Udover det viser undersøgelsen, at der er ganske stor forskel på kvaliteten af de forskellige modeller.
Bedst er den betalte version af ChatGPT 5.5 fra OpenAI, der samlet set svarede rigtigt på 82 procent af alle spørgsmål.
I den modsatte ende af skalaen klarede gratisudgaven af Mistrals Vibe-model sig dårligst med en samlet score på 46 procent.
I alle tilfælde klarede de betalte versioner af chatbotterne sig bedre end de frit tilgængelige alternativer.
Undersøgelsen viser også, at chatbotterne generelt er bedst til at finde stavefejl og svare korrekt på spørgsmål om brugen af nutids-r.
Mindre gode er botterne blandt andet til at sætte komma og apostrof og til at afgøre, om der skal bruges små eller store bogstaver.
Kort sagt er der plusser og minusser ved brugen af chatbotter som korrekturlæsere, som Dansk Sprognævn skriver sidst i sin undersøgelse:
»For den almindelige danske bruger er konklusionen derfor, at en chatbot godt kan bruges som sproglig hjælper, men at den ikke bør betragtes som en sproglig facitliste.«
