»Vi har mistet kontrollen med flyet. Vi forstår ikke noget som helst. Vi har forsøgt alt,« lyder piloten David Roberts sidste ord 1. juni 2009.

Kort efter styrter Air France 447 i havet ud for Brasilien, og alle 228 om bord omkommer.

Forinden havde autopiloten efter talrige fejlmeldinger slået sig selv fra og bedt piloterne om at overtage styringen, men piloterne formåede ikke at navigere igennem de modsætningsfyldte fejlmeldinger og genovertage kontrollen.

Mennesker reduceres til noget sekundært 

Air France-ulykken er et af flere skræmmende eksempler på, hvad der sker, når mennesker omkring automatiserede systemer reduceres til noget sekundært.

Foruroligende nok melder flere piloter, at de i den igangværende overgang fra analoge cockpits til digitaliserede interfaces har svært ved at mærke flyet og forstå, hvorfor det gør, som det gør.

Desuden mister piloterne nemmere koncentrationen, da den stigende automatisering fjerner deres opmærksomhed under flyvningen.

Er vi klar til selvflyvende fly?

Den teknologiske snuptagsløsning ligger lige for, så hvorfor ikke helt droppe piloterne og lade flyene flyve selv?

Allerede i dag står automatpiloten for 95 procent af arbejdet på en to en halv timers indenrigsflyvning i USA, og Boeings chief technology officer, John Tracy, beretter til magasinet 'The Atlantic' om en stigende interesse for selvflyvende fragtfly.

Adspurgt om et selvflyvende passagerfly er muligt, svarer han, at Boeing utvivlsomt kan konstruere et selvflyvende fly, hvis godkendelsesprocedurerne, lovgivningen og den offentlige mening er klar til det.

»Vil passagererne være trygge ved at stige om bord på et fly uden en pilot?,« spørger han.

De fleste vil nok svare nej. USA’s statslige luftfartsmyndigheder (FAA) melder, at de indtil videre ikke har modtaget nogle ansøgninger om godkendelse af selvflyvende fly. Et fuldautomatisk ’take off’ synes altså milevidt ude i horisonten, mens selvkørende biler forventes på vejene snart.

Førende robotforsker advarer mod selvkørende biler

Spørger man i stedet, om passagerer vil være trygge ved at stige ind i en bil uden en fører, er svaret nok mindre entydigt. Det er i hvert fald håbet blandt ingeniørerne hos verdens største bilproducenter, der lige nu har indledt et kapløb om at komme først med verdens første selvkørende bil.

Det drejer sig om de såkaldte niveau 5-biler, hvor passagererne ingen mulighed har for at overtage styringen af bilen under kørslen, men kan læne sig tilbage og lade bilen føre dem derhen, hvor de ønsker.

Den toneangivende robotingeniør, professor Missy Cummings fra Duke University, advarede ved en høring i den Amerikanske Kongres i 2016 mod at lade selvkørende biler befærde motorvejene og mod tanken om at tage bilisten ud af førersædet.

Bilproducenter verden over har indledt et kapløb om at komme først med verdens første selvkørende bil. Men en sådan udvikling er ikke uden problemer, formaner professor og førende robotforsker Missy Cummings. (Foto: Shutterstock)

Der er brug for flere studier af billister

Ifølge professor Cummings er de selvkørende biler absolut ikke klar til at indtage USA’s vidtforgrenede vejnet.

Der er brug for flere studier af, hvad der sker, når mennesker holder hænderne fra rattet, eller hvordan de selvkørende biler vil agere i et ustabilt vejrlig, for eksempel ved oversvømmelser, støvregn, skybrud og snevejr.

Hun nævner også risikoen for, at hackere kan overtage styringen af bilerne, som hun karakteriserer som omstrejfende big data-indsamlings-maskiner, fordi de mange systemer, der styrer bilen, konstant er online for at positionere sig på vejnettet, mens de samtidig indsamler data om bilens færden. Det står endnu uklart, hvem der ejer denne data.

Giver kedsomhed flere ulykker?

En mere menneskenær fare ved de mere eller mindre selvkørende biler er det kedsommelige i at skulle sidde bag rattet, når bilen kører selv. Amerikansk lovgivning kræver, at føreren holder hænderne på rattet, også selv om bilen har indbygget autopilot eller er semiautomatisk.

Mange piloter oplever lettere at blive distraheret, jo mere automatiseret flyvningen bliver. Det var en medvirkende årsag til Air France-ulykken i 2009 og forårsagede samme år, at Northwest Flight 188 forpassede lufthavnen i Minneapolis med over 200 km.

Piloterne havde ikke øjnene rettet mod instrumentbrættet og fløj for langt, men de kunne heldigvis returnere flyet, før brændstoffet slap op.

Professor Cummings advarer mod denne kedsomhed som følge af automatiseringen, da den kan forårsage ulykker og må tænkes ind i designet af fremtidens biler ­- især så længe de endnu ikke er komplet selvkørende.

Selvforskyldt dødsulykke i selvkørende Tesla?

Manglende opmærksomhed var ligeledes en medvirkende årsag til det, som bliver kaldt den første dødsulykke i en selvkørende bil.

7. maj 2016 blev Tesla-testkøreren Joshua Brown dræbt nær Williston i Florida, da sensorerne og kameraerne i hans Tesla Model S overså en lastbil.

Teslaen fortsatte ind under påhængsvognen med 15 kilometer mere i timen end den tilladte fartgrænse på 105 km/t. Den semi-automatiske autopilot var slået til, samt cruise control og autostyringsassistenten, så hvorfor blokkede hverken Brown eller bilen selv bremsen?

Føreren af lastbilen, Frank Baressi, fortalte, at han hørte lyden fra en Harry Potter-film inde i bilvraget, og trafikbetjentene på stedet fandt efterfølgende en bærbar DVD-afspiller.

For meget tiltro til teknologien

Brown havde sandsynligvis været distraheret under kørslen, men derudover var kamerasystemet ifølge producenten ikke trænet til at genkende siden af et vogntog som en fare – noget der blev udbedret umiddelbart efter.

Joshua Brown havde altså for meget tiltro til Teslaens autopilot, der, ifølge kritikerne, var oversolgt af producenten. Efter ulykken udtalte en talsmand fra Tesla, at han ikke tvivlede på, at selvkørende biler ville redde menneskeliv, men at innovation er en ujævn vej.

Flere forskere frygter som Missy Cummings, at Tesla-ulykken kun vil blive én af mange på vejen mod førerløse køretøjer, især i overgangen fra semi-automatiske til fuld-automatiske biler.

Ingen biler uden billister

For nyligt drøftede jeg udviklingen af selvkørende biler med en Massachusetts Institute of Technology (MIT)-forsker, der foretager feltstudier ved et forskningscenter i Sillicon Valley ejet af en førende japansk bilproducent.

Her er udviklingen af selvkørende modeller højeste prioritet. Jeg spurgte, hvordan bilproducenten tog højde for nogle af de mange udfordringer, som Missy Cummings pegede på i høringen i Kongressen.

En bil, der føler sine omgivelser som her illustreret, har potentialet til at blive selvkørende. Men glemmer vi mennesket helt, øger vi også farerne, som et fuldautomatiseret system indeholder. (Illustration: Shutterstock)

Billisten skal ikke være passiv under bilens færdsel

Det ustabile vejrlig er stadig en joker i designprocessen, men bilproducentens ingeniører arbejder tæt sammen med sociologer på at udvikle alle tænkelige testscenarier og løsninger, lød svaret blandt andet.

Man tænker fremtidens kørsel som et samarbejde mellem bilen og føreren, der, i stedet for at føre bilen ved rattet, har opmærksomheden rettet mod mulige ruter, som bilen kan tage på vejen mod målet. Bilisten bliver således engageret undervejs, frem for at være en passiv passager der er sekundær for bilens færdsel.

MIT-forskeren tvivler ikke på, at de fleste bilproducenter har indset, at der er lang vej mod fuldautomatiske biler, fordi lovgivning, godkendelser og infrastrukturen ikke er gearet til dem, hvorfor føreren stadig må tænkes med i designet.

Noget især producentens ansatte sociologer insisterer på med deres fokus på kørsel som social praksis.

Vi interagerer uventet med maskiner

Vi har endnu ikke maskiner, der kan fungere helt uafhængigt af mennesker, selv om mange ingeniører har viet deres arbejdsliv til formålet.

Den anerkendte amerikanske designprofessor på UC San Diego, Don Norman, påpeger, at så længe fuld automatisering ikke er realiseret, skal vi sikre, at systemerne kontinuerligt evner at levere feedback og samarbejder med deres menneskelige operatører på hensigtsmæssige måder.

Samtidig skal det bemærkes, at mennesker i mødet med automatisering aldrig helt interagerer med maskinerne, som designeren oprindeligt havde tænkt. Brugere piller ved, justerer, hacker og opbygger uforudsete rutiner, hvis de ikke ligefrem finder måder at arbejde uden om maskinen i stedet for med den.

Hverken mennesket eller maskinerne er fejlfri. Frem for at designe klodsede systemer, bør ingeniørerne designe holdspillere, der kan fungere sammen med mennesker. (Foto: Shutterstock)

Samarbejde mellem mennesker og maskiner

Systemingeniøren David Woods understreger, at når ingeniører konstruerer automatiserede systemer, designer de i virkeligheden nye måder for mennesker og maskiner at samarbejde på.

Han foreslår, at ingeniører designer holdspillere i stedet for klodsede, tavse, ukontrollérbare systemer.

Det er altså ikke et valg mellem mennesker eller maskiner, men snarere et spørgsmål om at finde de bedst mulige sammensætninger mellem mennesker og maskiner.

Hvis det overhovedet giver mening at adskille de to størrelser, hvorfor ingeniører og designere må blive bedre til at tænke i sociotekniske systemer, altså systemer, der kombinerer menneske og maskine.

De må med andre ord indse, at der altid vil være mennesker omkring teknologien, og det må være styrende for designtænkningen.

Lad lovgivningen følge med teknologien

Den amerikanske teknologi-sociolog Lewis Mumford advarede allerede i midten af det forrige århundrede mod at indrette samfundet på maskinernes bekostning.

Maskinernes natur skal forandres, så de møder aktuelle behov blandt brugerne.

Det kræver selvfølgelig, at man har en forståelse for, hvem brugerne er, og hvordan de mest hensigtsmæssigt kan interagere med maskinerne. Han slutter sit værk 'Kunst og Teknik' fra 1952 således:

»…når vi først er nået til en større selverkendelse, vil vi kun give maskinen, hvad maskinens er, og vi vil atter give livet, hvad der hører livet til – initiativ, valgfrihed, selvbestemmelsesret – kort sagt, frihed og muligheder for at skabe«.

Mennesker skal kunne gøre en forskel

Selvkørende biler kører ikke som mennesker, og når de automatiske systemer kommer til kort, må mennesker gribe ind og handle. I ideelle sammensætninger kan mennesker og maskiner en helt masse sammen.

Det forudsætter, at såvel mennesket som maskinen tages seriøst, og at der fortsat er vilje til at forstå og investere i begge.

På vejen mod den førerløse fremtid, som mange ingeniører ser som uundgåelig, må ansvarlige politikere trække i håndbremsen og insistere på, at vores lovgivning, infrastruktur og samfund kan følge med i producenternes ræs mod fuldautomatiske løsninger.