[Voor een eerdere Engelse versie van deze post zie hier – maar het issue is nog steeds actueel, blijkt]
De meesten van u zullen het wel hebben meegekregen; het resultaat van een groot onderzoek van MIT[1] over beslissingen die een Moral Machine zou moeten nemen om aan te sluiten bij wat wij mensen moreel handelen vinden. Nou ja, het ging eigenlijk alleen over een klein, bekend onderdeeltje van moreel redeneren, het trolley problem. Waarin de keuze moet worden gemaakt om een of meerdere mensen om te brengen, om een of (nog-)meerdere anderen te redden. Een besluit is verplicht, nietsdoen is een keuze voor een van beide alternatieven.
Uit het onderzoek kwam van alles naar voren – dat er over de wereld gezien culturele verschillen zijn in de statistisch ‘ideale’ keuzes. Dat het nogal uitmaakt wat er precies aan binaire alternatieven voorhanden is. Dat het uitmaakt wie je het vraagt; ja man/vrouw, jong/oud dat geeft allerlei verschillende maar moeilijk voorspelbare antwoorden. Dat was nog enigszins voorspelbaar. En dat de resultaten desondanks een zware bias hebben doordat de deelnemerspopulatie stevig leunde naar man, hoger opgeleid, welvarend en dus waarschijnlijk meer cosmopolitisch (en dus mogelijk minder religieus), en sowieso deelnemend, dat wordt wel vermeld maar de impact op de resultaten niet (voldoende). Waarmee we dus niet weten of de resultaten bij voldoende bias-correctie wellicht grijs middelmatig vlees noch vis zouden zijn.
Dat het onderzoek beperkt was (is) tot het trolley problem, maakt de resultaten nou ook niet bepaald geschikt voor praktijkgebruik bij bijvoorbeeld zelfrijdende auto’s. Dat is overigens een tautologie; auto als afgeleide van auto-mobiel vertaalt toch naar zelf (voort)bewegend of hoe was het ook alweer. Die Auto’s zullen heus in veel situaties terechtkomen waar wel meer dan twee alternatieve wegen voorwaarts zijn. Dat er wordt geleerd van de praktijk, is niet noodzakelijkerwijs een oplossing, of beter. Neem het geval van de overstekende voetganger met fiets aan de hand – de Auto herkende dit te laat (als obstakel) om nog rustig te kunnen remmen. Exit voetganger, want de Auto had geleerd om vooral niet te gemakkelijk tot remmen te beslissen omdat bumperklevers al zo vaak schade gaven aan de achterbumper; dan maar liever gewaagd om door te rijden tot het echt niet anders kan oftewel het te laat is voor een noodstop. Verkeersdeelnemers die hun leven liever belangrijker zien dan economische argumenten: Het moet niet gekker worden!
Dat was eigenlijk al duidelijk toen bleek dat Auto’s veel defensiever reden dan mensen; er was kennelijk nogal wat te processen aan informatie en better be safe than sorry – voor de Auto’s … Hetgeen overigens de ruimte schiep (schept?) voor fervente automobilisten om dan nog veel meer plezier te beleven aan hun hobby, maar dat terzijde[2].
En er was nog een aspect, dat verder niet aan bod kwam: Het onderzoek vroeg naar de reacties van het (Kahneman’se[3]) System II. U weet wel, het cognitieve, denkende maar vooral ook langzame deel van uw hersenactiviteit waar morele en ethische overwegingen worden geprocesst. Dit blijkt alleen al uit de koppeling met taalverwerking in de beschrijving aan de input-zijde en in de (weergave en selectie) van de keuze aan de output-zijde. En alle tijd werd gegeven voor bewuste oftewel System II overwegingen. Vooral het laatste is hinderlijk als het aankomt op praktische-toepasbaarheid.
Want net als in de menselijke praktijk zullen in Auto’s alleen System I systemen voldoende snel zijn om tijdig morele beslissingen te kunnen nemen én dan hopelijk juist te kunnen ingrijpen. Willen de resultaten van Machine Learning (of wellicht in een veel verdere toekomst (sic) zelfs van AI-systemen …) enig nut hebben, dan zullen ze daartoe moeten worden gereduceerd.
En wat moet er dan aan rules worden ingebouwd? Nou ja, wat in het MIT-onderzoek aan mensen werd gevraagd. Of … zou het niet beter zijn als het onderzoek had getest hoe mensen reageren? Maar hoe dan!? want ook als er een prachtige VR-omgeving zou worden gebruikt, zou een ongeloof, hoe licht ook, de werkelijkheidswaarde van de proefopstelling reduceren. Of we krijgen juist ongemak en slechte resultaten door een uncanny valley.
En uiteindelijk is ‘ik raakte in paniek’ een prima excuus. Voor een mens, omdat het O/S in de bovenkamer op tilt ging, al of niet door ongerijmdheden – geldt dat dan niet ook voor een Auto met bugs en software failures …? Hoe zit dat juridisch?
Ja, mensen paniekeren ook, en reageren intuïtief. Maar werden Auto’s nou net niet getraind om System II beslissingen te nemen voor System II- én System I-situaties? Zo niet, dan moet het hele idee dat Auto’s veiliger zijn dan mensen achter het stuur, worden verlaten. En ziedaar, nog een hele tijd zal praktisch en juridisch verplicht, gelden:
IF SystemIPanic() Then
HandBackControlToCluelessHuman();
Else
NothingInsurmountable();
Mijn cursief. Want vergeet niet: Als Auto’s in steeds meer standaardsituaties zelfstandig kunnen opereren – en niemand wil niet uiteindelijk naar Level 5 onafhankelijkheid[4], dan zullen betreffende chauffeurs-voor-noodgevallen steeds meer alleen nog worden ingeroepen voor steeds extremere System I panieksituaties.
Die dus ook tot volledig Level 5, het stuur en andere controls bij de hand moeten hebben, contra de wens van iedere ontwerper. Maar ook: Steeds meer zal pas op het écht allerlaatste moment naar de mens worden overgeschakeld.
Wat er dan gebeurt, is dat de mens juist des te minder in staat is dan nog wat uit te richten. Niet alleen zal het menselijk System I toch trager zijn dan het Auto System I en dus juist als het alsnog nodig is, te traag of in ieder geval te laat blijken. 0,3 seconden voor een reflex, was het niet? Helaas, da’s te lang als de Auto het normaliter in 0,1 seconde kan [exacte cijfer onbekend; schatting van de auteur] maar nu dus niet binnen die tijd meer kan beslissen en ingrijpen.
Belangrijker nog, de mens zal het eigen System I niet hebben getraind op werkelijke System I respons. Want die komt uit ervaring en als de Auto tot nu toe alle rij-werk deed en zo vele niet-zo-extreme noodsituaties oploste, voordat de tot brei-werk teruggetreden mens[5] een reflex zou hebben kunnen ontwikkelen op basis van what-if. Als dat al zou kunnen; what-if is typisch een System II idee, echte System I reflexen zijn zoveel moeilijker aan te leren.
Waar dat laatste overigens een beetje goed gaat, is in de luchtvaart: Piloten, en ook vliegers[6], moeten liefst in een simulator nog heel veel uren oefenen juist op noodsituaties, opdat eventueel ingrijpen in noodsituaties dan hopelijk op routine kan worden afgehandeld. Train like you fight, then you’ll fight like you trained. Dat werkt, enigszins; er valt niet op te vertrouwen helaas maar we horen wel eens dat het een keertje goed gaat met zulke getrainde reflexen waar overigens alsdan nog heel, heel veel System II denken bij komt kijken omdat daar nog wel een paar seconden of zelfs minuten voor is. Zo niet, dan is het prompt te laat.
Maar als het gaat om wegverkeer … gaan alle bestuurders, die in zo’n Auto willen rijden omdat ze dan zelf niet meer hoeven rijden ergo geen rijlessen meer willen hoeven nemen en zeker geen échte ervaring willen opdoen, zometeen dan massaal juist wél slipcursussen etc.etc. nemen, vaak herhaald, om current te blijven waar ze geen praktijk meer in doen?
Als dat al alles was… Hoe gaan we zometeen om met verzekeringskwesties; kan men de mens in extremis nog de schuld geven de control niet tijdig en juist te hebben aangenomen als bij voorbaat bekend is dat die mens onvoldoende getraind en ervaren is om die taak uit te voeren en ‘we’ die mens alsnog de weg op lieten gaan? Kan de mens de schuld krijgen als de Auto bij voorbaat te laat de control overgaf? Waar ligt de scheidslijn tussen ‘de mens handelde dus is aansprakelijk, op basis van een kennelijke ethische beslissing waardoor morele aansprakelijkheid volgt’ versus ‘Ik raakte in paniek’..?
Dan is de conclusie:
We moeten bij voorbaat bovenstaande
IF SystemIPanic() Then
HandBackControlToCluelessHuman();
Else
NothingInsurmountable();
vervangen door
IF SystemIPanic() Then
GiveUpAlreadyAsTheHumanWillAlsoBeClueless();
Else
NothingInsurmountable();
Wat nu …?
Kinderen inzetten ..?
In ieder geval ook nog even dit stuk bestuderen.
Oh ja: Dit geldt natuurlijk net zo voor algo-trading. Go figure de oorzaak van de volgende flash crash. Nota bene, vele handelshuizen hebben al zo veel algo trading rules in actie, dat ze zélf het overzicht al jaren kwijt zijn. En gewoon fingers crossed vertrouwen op harde grenzen van beurzen et al. – zolang de ‘intelligentie’ te laag is om daar Hiding In Plain Sight doorheen te vliegen. May you live in interesting times… een Chinese verwensing.
[1] https://www.nature.com/articles/s41586-018-0637-6
[2] https://maverisk.nl/bring-on-the-future-it-belongs-to-me/
[3] https://www.bol.com/nl/s/?searchtext=kahneman+thinking+fast+and+slow
[4] https://en.wikipedia.org/wiki/Self-driving_car#Levels_of_driving_automation
[5] https://www.engadget.com/2018/05/17/tesla-crash-autopilot-driver-checking-phone/
[6] https://www.eugeneleeslover.com/aviator_slang.html#D
