Death by Driverless Car: Vem är skyldig när robotbilar dödar?

Det är året 2025. Din förarlösa bil har precis kraschat in i ett träd vid 55 km / h eftersom den inbyggda datorn värderade en fotgängares liv över ditt eget. Dina skador är resultatet av några rader kod som hackades ut av en 26-årig programvaruprogrammerare i San Francisco Bay Area under de hårda dagarna 2018. När du väntar på en paramedicinsk drönare som blöder ut vid vägkanten frågar du dig själv - var gick allt fel?

Ovanstående scenario kanske låter fantasifullt, men döden med bil utan bil är inte bara oundviklig - det händer redan. Senast en Uber självkörande bil drabbade och dödade en fotgängare i Arizona, medan i maj 2017 misslyckades semi-autonom programvara i en på samma sätt tragiskt sätt när Joshua Browns Tesla Model S körde under släpvagnen till en 18-hjulig lastbil på en motorväg medan de befann sig i Autopilot läge.

Tesla medger att dess systemsensorer inte kunde skilja den vita trailern mot en ljus himmel, vilket resulterade i en 40-årig Floridians otydliga död. Men Tesla säger också att förare måste hålla händerna på ratten för att förhindra olyckor som detta, även när Autopilot är aktiverad. Trots namnet är det ett semi-autonomt system.

Uber, å andra sidan, kanske inte är fel, enligt en preliminär polisrapport, som lägger skulden på offret.

Det är ett sorgligt faktum att dessa tragedier bara är en smak av vad som kommer. När jag skrev den här artikeln har jag insett hur sorgligt oförberedda vi är för den förarlösa framtiden - förväntat så snart som 2020. Vad som är mer oroande är att den här framtiden redan sprider ut i vår nuvarande, tack vare semi-autonoma system som Teslas Autopilot och Uber (nu stoppade) självkörande biltester.

Morgondagens teknik är här idag, och med frågor som etik och ansvar som nu är omöjliga att undvika kan biltillverkare inte ha råd att inte vara redo.

Vad händer när en förarlös bil orsakar en olycka och, ännu värre, dödar någon?

Förstå döden genom dator

För att ta itu med ansvar måste vi fråga hur och varför en bil utan bilförare kan döda någon. Till skillnad från människor träder bilar inte i trötthet, de upplever inte ilska och de kan inte slå tillbaka sex pints öl innan de kör på motorvägen - men de burk gör fortfarande misstag.

^{Teslas Model S har semi-autonom Autopilot-teknik}

Förmodligen skulle den mest troliga orsaken till "död-för-chaufförlös bil" vara om en bils sensorer skulle tolka data felaktigt och orsaka att datorn fattade ett dåligt körbeslut. Medan varje händelse, dödlig eller på annat sätt, kommer att leda till korrigeringar och förbättringar, skulle det vara en lång och svår juridisk resa att spåra ansvaret. Jag kommer till det senare.

Den andra möjliga orsaken till dödsfall utan bilförare är mycket svårare att lösa, eftersom det handlar om etik.

Föreställ dig detta scenario: Du åker i en bil utan bilförare med din make och reser längs en ensidig, trädkantad B-väg. Det finns dussintals och dussintals B-vägar som detta i Storbritannien. Bilen färdas med 55 km / h, vilket ligger under den nationella hastighetsgränsen på 60 km / h på denna väg.

En blind böj kommer upp, så din bil saktar ner till en mer förnuftig 40 km / h. När du reser runt kurvan ser du att ett barn har sprungit ut på vägen från en allmän gångväg gömd i träden. Hans mamma fick panik och följde honom, och nu är de båda mitt på vägen. Det är en blåsig dag och din bil är elektrisk, så de hörde dig inte komma. Sensorerna på din bil såg inte någon av dem förrän de bara var några meter bort.

Det finns ingen chans att bromsa i tid, så mamman och barnet kommer att dö om din bil inte svänger direkt. Om bilen svänger åt vänster går du off-road och träffar ett träd; om bilen svänger rätt träffar du en autonom lastbil som kommer i motsatt riktning. Det är tomt, så du och din make skulle vara de enda skadade.

I den här situationen tvingas bilen att fatta ett beslut - slår den nästan fotgängarna verkligen dödar dem, eller riskerar det passagerarna med sannolikheten att de kan överleva olycka. Svaren har bestämts månader (eller till och med år) innan algoritmerna ursprungligen programmerades in i din bils datorsystem - och de kan mycket väl sluta ditt liv. Även om bilen inte vet det är detta i själva verket ett etiskt beslut.

För att visa den överväldigande svårigheten med kodetik, ta en tur på Massachusetts Institute of Technology Moralisk maskin. Det är ett frågesport som syftar till att spåra hur människor reagerar på moraliska beslut som fattas av självkörande bilar. Du får en serie scenarier där en förarlös bil måste välja mellan två ondska (dvs. döda två passagerare eller fem fotgängare) och du måste välja vilken du tycker är bäst godtagbar. Som du snabbt kommer att inse är det väldigt svårt.

^{Vilket scenario skulle du välja? MITs Moral Machine är en självkörande mardröm}

Om allt detta skrämmer dig är du inte ensam. I mars avslöjade en undersökning av den amerikanska bilorganisationen AAA att tre av fyra amerikanska förare är "rädda" för att åka i självkörande bilar, och 84% av dem sa att det berodde på att de litade på sina egna körförmåga mer än en dators, trots överväldigande bevis som tyder på att förarlösa bilar är betydligt säkrare - mänskliga fel är den största mördaren på våra vägar, trots allt.

Så varför är vi så rädda? Frågade jag Prof. Luciano Floridi, professor i filosofi och informationsetik vid University of Oxford, just den frågan.

”Jag tror att det är en förfäders rädsla för det okända, rädsla för maskiner. Det var Golem och Frankenstein, och nu är det en teknik som vi inte helt kontrollerar när det gäller förarlösa bilar, säger professor Floridi. ”Det verkar också kanske vara en felförsäljning på branschens sida, där total säkerhet säljs som en möjlighet, vilket vi vet inte är fallet. Ingenting är 100% säkert, du kan bara vara säkrare. ”

Så även om förarlösa bilar är säkrare och minskar en persons chans att dö, kämpar förare för att acceptera tanken att de kan dödas av en maskin snarare än av mänskliga fel.

Ju större nytta mot din säkerhet - vem vinner?

Massachusetts Institute of Technology undersökte nyligen 2000 personer och fann att 76% av respondenterna förväntar mig att en förarlös bil prioriterar säkerheten för en grupp på tio fotgängare framför en enda passagerare. Mycket ädla, eller hur? I etik kallas detta ”utilitarism” - det är förkortning för när beslut fattas för desto större nytta.

Men människor är djur, och det betyder att evolutionen har kopplat oss till att skydda oss själva och de som är viktiga för oss, ofta på bekostnad av det ”större goda”, vad det än kan vara.

Berättande när MIT: s respondenter ombads att betygsätta moral hos samma förarlösa bil - den som skulle krascha och döda dess ägare för att rädda fotgängarna - som om de själva var en passagerare i fordonet sjönk moralens "etiska" bil med en tredje.

Historiens moral är ingen överraskning - vi alla gillar tanken på utilitaristiska förarlösa bilar tills vi måste åka i en. Detta självbevarande trossystem kommer att ha en akut effekt på den förarlösa bilindustrin. Till exempel, om biltillverkare börjar sälja sina fordon på etisk grund? Kunde vissa bilar utformas för att alltid sträva efter ett "största goda" resultat, medan andra är byggda för att agera i förarens eller passagerarnas intresse?

Men medan professor Floridi tror att etik kommer att spela någon roll i marknadsföringen av förarlösa fordon, är han inte övertygad om att de kommer att säljas baserat på deras moraliska kod:

”Det skulle vara ett så dåligt drag på reklamens sida. Vad vi kommer att se är dock en etisk komponent i reklam i stort. Om du kommer ihåg när bilar började annonseras som säkrare på grund av säkerhetsbälten, säger företag att det var så mycket säkrare om du är i en olycka. Det blir så. Inte för att den etiska koden är bättre än den etiska koden. ”

^{Professor Luciano Floridi tycker att etik är en av de största spärrarna för den bilfria framtiden}

Är förarlösa bilar omöjligt komplicerade?

Tyvärr för oss alla, säger Floridi mig, är förarlösa bilar dåligt utrustade för att ta itu med sådana komplexa beslut. Han tror att trots allt forsknings- och utvecklingsarbete fokuserade på att ta med förarlösa bilar på våra vägar kan datorer i sig inte hantera de komplexa moraliska beslut som kör krav.

”Etiken är känslig, för subtil, för öppen för en vanlig förarlös bil”, förklarar han. ”Bilen jag behöver för att åka från landsbygden till London, eller från London tillbaka till Rom, som jag gjorde när jag var en ung kille med inte mycket pengar - kan du föreställa dig den resan? Cirka 2000 mil från Oxford till Rom och tillbaka? I ett sammanhang där allt kan hända är det väldigt svårt att föreställa sig en helt okontrollerad miljö med en förarlös bil som lyckas, utan att jag har en chans att ta upp ratten. ”

Floridi säger att det är "omöjligt" att skapa en algoritm som kan efterlikna mänsklig etik på vägen, eftersom det finns ett oändligt antal möjliga scenarier som kan uppstå när man kör. Han ger exemplet med en katt på vägen:

"Du kan säga" stanna varje gång "det finns en katt - om inte vad? Om inte en stor lastbil kör 70 km / h bakom dig och du har dina barn i bilen. Då säger du ”gå och döda katten”, för din familj är i riskzonen. Du kan multiplicera detta med "bara om" och "om inte" till ett oändligt antal villkor. "

Varför är det så svårt? Det är väldigt enkelt att datorisera en sluten värld där vi kan förstå varje enskilt tillstånd. Men körning är ett öppet scenario där förhållandena är slumpmässiga och omöjliga att förutsäga, vilket gör det väldigt svårt att datorisera. Det är på grund av detta som Floridi tror att det inte finns något hopp för att förarlös bilprogramvara ska vara tillräckligt etiskt kompetent, åtminstone på befintliga vägnät:

"Tänk dig att spela schack med någon som plockar upp en pistol någon gång, ur fickan och säger" du kan inte göra det ", skämtar Floridi. ”Det är en annan typ av schack. Ingen dator kan göra något åt ​​det, oavsett vad vi har lagt i det. ”

Floridi säger att för att ta itu med detta konsulterar bilföretagen redan etikexperter för att se till att deras programvara är moraliskt vattentät. Jag bad om ett exempel, och han berättade för mig att han deltog i ett möte med Audi “där etiska frågor var huvudämnet just på grund av konsekvenserna av förarlösa bilar. Som någon avancerad teknik som vi utvecklar kräver, tvingar den sociala effekten någon gång ett etiskt övervägande. ”

Så vem betalar upp?

Okej, så vi är tillbaka vid vägkanten och paramedicinska drönare har äntligen kommit. Blödningen har slutat, du är klar igen och du är redo att ta itu med frågan om ersättning. Du kraschade inte i din bil; din bil kraschade själv - vem betalar upp?

”Inom straffrätten och civilrätten är det vem som kontrollerar fordonet”, säger Matthew Claxson, en vägskadeadvokat på Slater & Gordon. ”Så operatören kunde säga,” Tja, jag läste en tidning och litade på att datorn skulle ta kontrollen av resan, ”och det skulle finnas ett argument att tillverkaren av bilen skulle ha ansvaret. Huruvida de fortsätter att ansvara för ytterligare anspråk mot programvarutillverkare återstår att se. ”

Relaterad: Apple CarPlay vs Android Auto

Om en bildel - som till exempel en växellåda - misslyckas i Storbritannien idag, förklarar Claxson, och felet var resultatet av tvivelaktig tillverkning, och det bilen fortsätter att döda någon, dödsboet till den person som dog "stämmer vanligtvis bilföraren" eller bilföraren i fallet med en förarlös bil. Förarens försäkringsbolag löser sedan skadeanmälan, men fortsätter sedan med en ytterligare åtgärd mot biltillverkaren "bakom kulisserna för att återkräva sin förlust."

”Det är en av fördelarna med Förenade kungarikets försäkring att den använder de som har skadats allvarligt eller dödats till en ekonomisk uppgörelse som antingen kan hjälpa till med medicinsk behandling eller betala för begravningskostnaderna eller hjälpa de efterlåtna familjerna på något sätt, säger Claxson.

Men det finns en fråga som kastar en nyckel på gång och det är hacking. Tidigare i år upptäcktes att Mitsubishi Outlander-hybrid kunde vara kontrolleras av hackare tack vare en sårbarhet i bilens inbyggda Wi-Fi-system. Och mer nyligen, Fiat Chrysler var tvungen att utfärda en frivillig återkallelse för 1,4 miljoner fordon efter ett hack som kunde döda motorn på distans var upptäckt.

^{Förarlösa bilar kan hackas och krascha - så vem betalar då?}

Så om en förarlös bil dödar någon för att den har hackats, verkar det inte rättvist att sätta ansvar på föraren eller biltillverkaren. Vem betalar i så fall upp? Claxson föreslår följande lösning:

”Vi har en process i detta land där om en bil blir stulen och den dödar eller orsakar skada på någon, så försvinner den tjuven (dvs det är en hit-and-run), har vi en organisation som kallas Motor Insurance Insurance Bureau, som är en sista utvägfond som inrättades av transportsekreteraren i detta land. Det skulle komma in för de drabbade offren och kompensera dem om de är den oskyldiga parten. ”

Han fortsätter: ”Man skulle hoppas att se en liknande mekanism som den i framtiden, att om en bil hackas och det är inte tillverkarens eller chaufförens fel, du hoppas att det skulle finnas en liknande fond för att hjälpa dessa offer. ”

Förarlösa bilar är en mardröm

Meddelandet här är enkelt: Det är ganska lätt att tilldela ansvar när bilar är helt autonoma. Och även vid hacking kan kompensation fortfarande betalas ut. Men vad händer när en bil inte är helt autonom och föraren fortfarande kan styra fordonet?

När allt kommer omkring, när Joshua Brown dog efter att hans bilsensorer misslyckades tidigare i år, påminde Tesla oss snabbt om sitt råd att Autopilot “är en hjälpfunktion som kräver att du håll händerna på ratten hela tiden. ” Tesla tillade också: ”Autopiloten blir bättre hela tiden, men den är inte perfekt och kräver fortfarande att föraren är kvar varna."

Utgångspunkten är att räkna ut exakt hur autonomt ett fordon är. Det finns många olika metoder för att göra detta, men det mest populära (hittills ändå) är SAE-systemet, som har sex olika nivåer av fordonsautomation:
Nivå 0 – Ingen automatisering - Den mänskliga förarens heltidsprestanda av alla aspekter av körning
Nivå 1 – Förarassistans - Det körlägesspecifika utförandet av acceleration, retardation eller styrning med hjälp av miljöinformation
Nivå 2 – Delvis automatisering - Det körlägesspecifika utförandet av ett eller flera förarassistanssystem av både styrning och acceleration / retardation
Nivå 3 – Villkorlig automatisering - Prestanda genom ett automatiserat körsystem av alla aspekter av köruppgiften med förväntan att en mänsklig förare kommer att svara på en begäran om att ingripa
Nivå 4 – Hög automatisering - Prestanda med ett automatiserat körsystem för alla aspekter av körning, även om en mänsklig förare inte svarar på en begäran om att ingripa
Nivå 5 – Full automatisering - Hela tidens prestanda av ett automatiserat körsystem för hela köruppgiften, under alla väg- och miljöförhållanden som kan hanteras av en mänsklig förare

Relaterad: Vad är Tesla Autopilot?

Till och med nya bilar når inte autonomi nivå 5 ännu, och det finns gott om bilar på vägen som fortfarande inte har nått nivå 0. Det betyder att enligt gällande lag, om din bil har en olycka eftersom du inte har händerna på ratten, inte ens i en semi-autonom bil, du är nästan säkert ansvarig, åtminstone enligt Adrian Armstrong, från Collision Investigation-teamet på kriminalteknikföretaget Keith Borer Konsulter:

”För närvarande är det förarens fel. Alla säkerhetsfunktioner som läggs till, ta Tesla till exempel, är utformade för att vara ett tillägg till förarens ingång. De ska inte ersätta förarens medvetenhet. ”

Men som Tesla-fallet har visat, blir det betydligt svårare att tilldela ansvar när bilar blir mer autonoma.

^{Nvidias DRIVEnet-demo, som visar bilsensorer som spårar objekt i realtid}

Storbritanniens transportdepartement föreslår för närvarande att ansvaret för ett fordon i autonomt läge vilar med biltillverkaren, men när föraren har fått tillbaka kontrollen bör föraren ta ansvar istället.

Problemet är att det är svårt för förare att hålla sig mentalt engagerade när de inte är fysiskt engagerade, vilket gör den "överlämningsperioden" svår att lösa när det gäller ansvar. Vissa studier har visat att det kan ta så lång tid som 35 till 40 sekunder för förare att ta effektiv kontroll över en bil när de byter tillbaka från autonomt läge.

Försäkringsbolag är (inte förvånande) mycket angelägna om att ta itu med ansvarsfrågan i besvärliga situationer som överlämnande dilemma. Ett försäkringsföretag som redan har gjort stora framsteg i rymden är AXA, som Daniel O'Byrne, företagets Public Affairs Manager för Storbritannien, förklarar:

”Vi är partner i tre av de statligt finansierade prövningarna som vill förföra förarlösa eller anslutna eller autonoma fordon. Vi tar den modifierade Bowler Wildcat, som redan kan köras under fjärrkontroll, och utvecklades militärt av BAE. Vi försöker ta det till nästa nivå med sensorerna och beslutsprocessen, och där vi kommer in ser vi på det ur ett försäkringsansvarsperspektiv. ”

O'Byrne säger att företaget är särskilt intresserad av hur ansvaret fördelas under överlämningsperioden. När allt kommer omkring säger han till mig att regeringen "så småningom vill att du ska kunna läsa en bok eller kolla e-post på en iPad" och tillägger: "Jag skulle bli mycket förvånad om du 2020 kan inte bara trycka på en knapp i bilen och börja läsa en bok. ” Men det är ett stort problem, för det betyder att "föraren" inte är uppmärksam på vägen miljö:

”Om bilen överlämnar kontrollen till människan, hur länge är det rimligt att låta föraren ta ansvar igen? Kan en förare gå från att läsa en bok till att köra X mil i timmen på fem sekunder? Det är förmodligen orimligt. Vi tittar på den beteendemässiga aspekten, universiteten tittar på psykologin och hur människor reagerar på den överlämnandet. ”

Titta: Autonomt ansvar debatterat

Till skillnad från i USA finns det ingen lag i Storbritannien som säger att du måste hålla händerna på ratten. Vad vi har i Storbritannien är Road Traffic Act, som bara tvingar förare att betala "vederbörlig omsorg och uppmärksamhet." Det låter som frustrerande brett frasering, men O'Byrne anser att denna tvetydighet faktiskt kan ge Förenade kungariket en fördel gentemot andra länder när det gäller att bygga en lagstiftning ramverk.

"Vi undertecknade, men inte ratificerare, av Wienkonventionen", säger O'Byrne och hänvisar till Wienkonventionen om vägtrafik, som säger att förare alltid måste hålla händerna på ratten. ”Och i ett nötskal, medan vägtrafiklagen säger att du måste vara vederbörlig noggrann och uppmärksam, så är vi inte lika receptbelagda som andra länder säger att du måste hålla händerna på ratten hela tiden, vilket potentiellt möjliggör en enklare lagändring än, säg, Tyskland."

Venturer Consortium, som är den förarlösa bilförsöksgruppen som AXA är en del av, testar för närvarande förarens prestanda under överlämningsprocessen i olika scenarier. Resultaten av denna prövning kommer att vara extremt användbara för att ta reda på vem som är ansvarig och kommer förhoppningsvis att avslöja hur länge en förare rimligen måste återfå full kontroll över ett fordon.

När försäkringsbolagen och lagstiftarna kommit fram till en gemensam slutsats om detta bör det vara lättare att fastställa en standardtid för förare att återta kontrollen över ett förarlöst fordon. Det skulle göra det betydligt enklare att avgöra vem som är ansvarig, eftersom övergången från autonoma system till förarkontroll enkelt kan spåras på mjukvarunivå. Och det betyder att det är nästan lika enkelt att tilldela skuld som idag.

^{Bowler Wildcats är för närvarande modifierade för förarlösa biltester i Storbritannien}

Är förarlösa bilar värda allt detta arbete?

Låt oss vara rättvisa: När branschjättar som Tesla, Google och Ford säger att vi blir säkrare med förarlösa bilar, har de helt rätt. När bilar börjar förlita sig mindre på mänsklig insats kommer färre människor att dö på vägar.

Enligt OECD-uppgifter inträffar en dödsfall en gång för varje 53,4 miljoner mil som körs av bilar, som ett genomsnitt i 20 EU-länder som ingick i urvalet. I USA minskar trafiksäkerhetsstandarderna bättre än genomsnittet den siffran till en dödsfall per 94 miljoner mil. Men redan har över 130 miljoner mil körts med Teslas autopilot aktiverad, med bara en enda dödsfall i boken.

En del av lockelsen hos förarlösa bilar är det faktum att den snusar ut mänskliga fel, vilket AXA anser står för 94% av alla körolyckor. CDC säger att över 30% av trafikdödsfall i USA involverar alkohol. Och i Förenade kungariket sätter Department of Transport siffran till cirka var sjätte. Om vi ​​vaknar i morgon och varje bil är autonom försvinner dryckekörningen över natten.

Det blir ännu bättre: Enligt Eno Center for Transportation, om 90% av alla fordon på vägarna in USA var autonoma, antalet trafikolyckor skulle minska från 5,5 miljoner per år till bara 1,3 miljon. Den framtiden är inte heller så avlägsen, med Institute of Electrical and Electronics Engineers som förutspår att år 2040 kommer cirka 75% av alla fordon att vara helt autonoma.

Den största utmaningen för förarlösa bilar som går mainstream är att få allmänheten på sidan. Utan ordentliga lösningar för frågorna kring etik och ansvar är allmänheten säker på att hålla sig frostig inom överskådlig framtid.

Biltillverkare kan prata om tekniken tills de är blåa i ansiktet, men om en tillverkare inte kan berätta för en sorgande fru varför hon makeens hatchback drev honom bara ut ur en klippa - eller till och med hostade upp kompensationen - då kommer förarlösa bilar troligen att vara det passagerarlös också.

Denna artikel publicerades ursprungligen 2016. Vid den tiden svarade Tesla inte på vår intervjuförfrågan.

Skulle du välkomna en bilförare utan framtid? Berätta dina tankar genom att twittra oss @TrustedReviews.