Verden over har man gjort den erfaring, at infrastrukturprojekter som broer, tunneller og motorveje har en tendens til at ende med at blive dyrere og mindre brugt end forventet.
Denne skuffende systematiske tendens har fået nogle forskere til at konkludere, at der må foregå et udbredt fifleri med prognoserne:
Når prognoserne rammer forkert i gennemsnit, kan det ikke bare skyldes tilfældige fejl, siger de: Det må være bevidst. Disse forskere foreslår, at man imødegår fifleriet ved at stramme kriterierne for udvælgelse af projekter til gennemførelse.
I en ny artikel, som jeg har skrevet sammen med Jonas Eliasson, har jeg vist, at disse konklusioner er forkerte.
Skævheder opstår automatisk
Selvom prognoserne rammer skævt i gennemsnit for de projekter, der blev realiseret, kan man ikke konkludere, at der var noget galt med prognoserne i udgangspunktet.
En skævhed vil nemlig opstå helt automatisk, fordi prognoserne har indflydelse på hvilke projekter, der faktisk gennemføres.
Man vil derfor have en tendens til at gennemføre flere af de projekter, hvor prognosen var til den optimistiske side og færre af de projekter, hvor prognosen var lidt for pessimistisk.
Mekanismen er generel
Når man kigger tilbage på gennemførte projekter, vil man se en pulje af projekter, hvor prognosen var for optimistisk i gennemsnit.
Man kunne måske forledes til at tro, at man skal være noget skrappere i sine udvælgelseskriterier for at undgå skævheden. Det hjælper bare ikke:
Hvis man strammer udvælgelseskriterierne, bliver skævheden blot endnu større. Den samme underliggende mekanisme gør sig gældende i andre sammenhænge.
Tænk for eksempel på købere, der byder på et hus, som sælges til højestbydende. De potentielle købere vurderer på forhånd, hvad huset er værd, men deres vurderinger er usikre.
Der vil da være en tendens til, at den, som ender med at få huset, har været for optimistisk i sin vurdering. Fænomenet kaldes vinderens forbandelse.
Vinderens forbandelse fører til forkerte vurderinger
I statistik giver mekanismen anledning til det, der kaldes ’selektionsbias’. Man kan for eksempel spørge, hvor meget uddannelse betyder for den løn, som man kan opnå på arbejdsmarkedet.
Der er en tendens til, at de personer, som ikke kan få så høj en løn, slet ikke er i arbejde.
Hvis man ikke tager højde for dette i sin statistiske analyse, vil man komme til at undervurdere, hvor meget uddannelse betyder for lønnen.
Det skyldes, at man ikke observerer lønnen for dem som slet ikke er i arbejde, hvilket overvejende er mennesker med kortere eller ingen uddannelse.
Selvovervurdering kan være rationelt forklaret
Man ser også ofte, at mennesker har det med at overvurdere sig selv. De fleste synes for eksempel, at de er bedre bilister end gennemsnittet, hvilket er blevet brugt til at argumentere for, at mennesker er generelt dårlige til at bedømme sig selv.
Der kan imidlertid være en rationel forklaring. Hvis der for eksempel er gode og dårlige bilister, og de dårlige bilister har en større risiko for at komme i et færdselsuheld, så vil bilister som (endnu) ikke har oplevet et færdselsuheld matematisk (i princippet) kunne beregne, at deres sandsynlighed for at være en dårlig bilist er mindre end andelen af dårlige bilister i befolkningen.
Så man kan ikke udlede, at bilister er overoptimistiske, blot fordi der er flere, der tror, de er gode bilister, end der faktisk findes gode bilister.
Ekstrem sekser efterfulgt af mindre ekstrem etter
Et lignende fænomen hedder ’regression mod gennemsnittet’. Hvis man slår med en terning, så vil en sekser som regel blive fulgt af et lavere slag, og en etter vil som regel blive fulgt af et højere slag.
Det gælder i det hele taget som regel, at når der er tilfældig variation, så vil ekstreme observationer have en tendens til at blive efterfulgt af mindre ekstreme observationer.
Hvis man foretager sig noget aktivt i forhold til de ekstreme observationer, kan man let komme til at tro, at ens handlinger har større effekt, end de i virkeligheden har.
Princippet snyder
Hvis man skifter terninger ud med elever, så har de jo gode og dårlige dage og der er tilfældig variation i, hvor godt de præsterer til prøver.
Hvis læreren giver sig til at rose eleverne for overraskende gode præstationer og skælde ud på dem for overraskende dårlige præstationer, så vil læreren opleve, at eleverne reagerer dårligt på ros, men at skældud ser ud til at føre til bedre præstationer.
Princippet går igen i mange sammenhænge, og der er mange, der er blevet snydt af dette i tidens løb.
Når projekter skal besluttes
Infrastrukturprojekter er udsat for en udvælgelsesproces, som forløber i mange stadier. Der er en tidlig, uformel fase, hvor projektidéer genereres i embedsværket, blandt politikere eller i befolkningen.
Der foretages måske uformelle foreløbige vurderinger i embedsværket, hvor nogle projekter sorteres fra.
På et tidspunkt kommer nogle af projekt-ideerne langt nok til, at der bliver udarbejdet egentlige vurderinger af dem.
Senere er der måske en formel udvælgelsesfase, hvor politikere beslutter, hvilke projekter ud af en større liste, der skal gennemføres. Der er således mange tidspunkter, hvor man kan frasortere projekter, som ser dårlige ud i en vurdering, som er behæftet med usikkerhed.
Gode prognoser påvirker positivt
I vores undersøgelse laver vi en lille, men meget generel matematisk analyse af en udvælgelsesproces.
Vi abstraherer fra de fleste specifikke detaljer og holder os til det grundlæggende fænomen.
Vi forestiller os, at der er en række mulige projekter. Hvert projekt har et sandt afkast, men i udgangspunktet er det sande afkast ukendt. I stedet får vi en rimelig prognose, som godt nok er usikker, men rigtig i gennemsnit.
Vi forestiller os, at jo bedre prognosen er, jo større er sandsynligheden for, at vi gennemfører projektet. Vi forudsætter ikke en entydig sammenhæng, men blot at en god prognose påvirker beslutningen i positiv retning.
Optimistiske projekter vælges ud
Man kan så vise, at de gennemførte projekter vil være overvurderede i gennemsnit:
De realiserede afkast vil i gennemsnit være mindre end prognoserne.
Det skyldes, at udvælgelsesproceduren i gennemsnit vil udvælge flere af de projekter, hvor prognoserne var til den optimistiske side og færre af dem, hvor prognoserne var til den pessimistiske side.
Man kan endvidere vise, at det ikke giver mening at stramme udvælgelseskriteriet blot for at rette op på skævheden: Skævheden skyldes jo netop udvælgelsesprocessen, og hvis man gør udvælgelsen skarpere, bliver skævheden bare større.
Prognoser stadig nyttige
Nogen mener, at prognoser er ubrugelige, når de alligevel er usikre og ender med at ramme skævt.
Vores analyse viser, at rimelige prognoser stadig er nyttige:
Projekter, der udvælges ved hjælp af rimelige prognoser er bedre i gennemsnit end de fravalgte projekter. Det gælder, selvom der er støj i prognoserne, bare de er rigtige i gennemsnit for den samlede mængde potentielle projekter.
Fifleri kan ikke påvises
Så vi kan konkludere, at en udvælgelsesproces, som påvirkes af en prognose altid vil producere en systematisk skævhed, når prognosen sammenholdes med det senere udfald.
Det er et ’fact of life’, som man bare må være klar over. Det ændrer ikke på, at det er fornuftigt at benytte rimelige prognoser, når man udvælger projekter.
Vores analyse udelukker ikke, at der faktisk foregår fifleri med prognoser, når det politiske pres er stort nok.
Men man kan ikke påvise, at der fifles, blot fordi man efterfølgende finder, at der har været tendens til, at man har været for optimistisk med de projekter, man endte med at udvælge.
Prognoseskævhed findes også i virksomheder og kapitalfonde
I øvrigt vil man forvente at genfinde fænomenet mange andre steder end lige ved infrastrukturprojekter.
Man kan for eksempel tænke på virksomheden, der skal vælge, hvem der skal ansættes i en given stilling, hvor man kun kan give et usikkert bud på, hvor godt kandidaterne er kvalificerede.
Man må vælge den, der ser bedst ud, men være forberedt på, at man i gennemsnit vil have overvurderet den, man ender med at ansætte.
Et andet eksempel er kapitalfonde, hvor man gerne vil placere sine penge hos en, der er rigtig god til at få pengene til at yngle. Givet at der er en del held involveret i, hvor godt en kapitalfond klarer sig, vil man også i dette tilfælde oftest ende med at blive skuffet.
