Mijn vorige artikel ‘Algoritmes in de context van Quality 4.0’ zou je kunnen lezen als een lofzang op technologische vernieuwing. Hoewel ik ook enkele schaduwkanten van algoritmes schetste, is mijn vooruitgangsgeloof diepgeworteld. Zo geloof ik heilig in data als hét fundament voor betere besluitvorming door intelligente organisaties. Wél denk ik dat machine en mens nog aan elkaar moeten wennen.
“We overschatten altijd veranderingen die binnen twee jaar zullen optreden, en onderschatten veranderingen in de daaropvolgende tien jaar”, zo stelde Bill Gates ooit. Terwijl iedereen de mond vol heeft van de vierde industriële revolutie, het Internet of Things (IoT), Industry 4.0 en in het kielzog daarvan Quality 4.0, krijgen we dagelijks schokkende voorbeelden voorgeschoteld waaruit blijkt dat mens en machine slecht op elkaar zijn ingespeeld. Met name de kwaliteit van de menselijke beslissingen laat sterk te wensen over.
Neem het voorbeeld van crash van vlucht AF447 van Rio de Janeiro naar Parijs in 2009 waarbij 228 dodelijke slachtoffers waren te betreuren. Na tien jaar onderzoek blijkt nu dat de crash het gevolg was van fouten van de piloten. Aanvankelijk werd het ongeluk nog toegeschreven aan een combinatie van technisch en menselijk falen. Nu blijkt dat de bemanning overweldigd is geraakt door de noodsituatie die ontstond door onbetrouwbare snelheidsgegevens als gevolg van een met ijs verstopte pitotbuis. Daarop kwam het toestel, in een stall terecht. De interactie tussen mens en machine faalde vervolgens hopeloos, zo blijkt uit analyses. Het leek wel of de piloten door de automatische piloot het handmatig vliegen waren verleerd. Toegegeven: de 50 alarmlampjes die tegelijkertijd op het dasboard opflikkerden hielpen ook niet echt. Piloten gedragen zich in de cockpit tegenwoordig als passieve “toeschouwers” in plaats van zelfverzekerde macho’s die zich te allen tijde volledig bewust zijn van de situatie waarin ze zich bevinden. Op zich was de situatie nog beheersbaar, maar de slecht getrainde vliegers schatten de noodsituatie waarin ze verkeerden onjuist in, waardoor het toestel in 3,5 minuten naar de bodem van de Atlantische Oceaan dook.
Dichterbij huis worden we ook regelmatig opgeschrikt door curieuze (bijna)ongevallen waarbij ondanks alle beschikbare technologie, kwaliteitshandboeken en dichtgetimmerde procedures fatale menselijke fouten worden gemaakt. Zo vinden in Nederland regelmatig ongevallen met op afstand bediende bruggen plaats. Bij een ongeval in 2018 in Zaandam raakte een ouder echtpaar op de Prins Bernardbrug ernstig gewond. Het meest kritische onderdeel bij het bedienen van bruggen en sluizen is het professioneel schouwen: het gericht scannen, waarnemen en interpreteren van alle gebieden, objecten en (vaar)weggebruikers op, onder en in de omgeving van het te bedienen object. De brugbedienaar merkte tijdens dit schouwen het echtpaar niet op. Het voorval vertoonde gelijkenis met het verongelukken van een vrouw in 2015. Zij stond op de dr. J.M. Den Uylbrug in Zaandam toen deze werd geopend. Van een lerende organisatie lijkt geen sprake te zijn, zo concludeert de Onderzoeksraad voor Veiligheid. Toch zijn er wel lessen te trekken.
De bewuste Prins Bernhardbrug werd op afstand geopend door een servicegerichte, overijverige brugwachter. De voetgangers op hun beurt hadden zich niet gerealiseerd dat zij zich op het bewegende deel van de brug bevonden. Vanaf hun positie waren de signaleringslichten niet zichtbaar en was de brugval niet herkenbaar als het deel van de brug dat zou opengaan.
De ongevallen in Zaandam zijn niet uniek. Op verschillende plaatsen in ons land komen volgens de Onderzoeksraad ongevallen met op afstand bediende bruggen voor. Brugwachters dienen zich te houden aan de procedures van het Kwaliteitshandboek Havens en Vaarwegen. Dit handboek wordt regelmatig geactualiseerd. Ook is er sprake van versiebeheer. Desondanks zijn er in Nederland vreemd genoeg geen vastgestelde landelijke kaderstellende normen voor het bedienen van op afstand bediende bruggen. Dat is vreemd nu de “telekwetsbaarheid” met de opkomst van allerlei IoT-toepassingen alleen maar toeneemt. Sinds kort staan er verkeersregelaars op alle beweegbare bruggen in Zaanstad.
“Als hadden geweest is, is hebben te laat”, zo luidt een spreekwoord. Maar analyses achteraf kunnen wel degelijk leerzaam zijn.
Zo laat Process Mining aan de hand van event logs exact zien waar de processen haperen of afwijken van de procedures uit het kwaliteitshandboek. Zogenoemde time stamps geven de chronologische volgorde van gebeurtenissen (“events”) exact weer.
Zo vertellen de logging data dat het binnenvaartschip de bewuste Prins Bernardbrug naderde met een gemiddelde snelheid van 10 kilometer per uur. Vervolgens wachtte het ruim drie minuten [3’21”] voor de brug. Na de “rood/groen aankondiging” voor het naderende schip zette de brugbedienaar het voorwaarschuwingssysteem voor het landverkeer in werking. Dit systeem laat normaliter de waarschuwingslampen gedurende 40 seconden knipperen, binnen welk tijdsbestek het wegverkeer wordt geacht te stoppen. Na de 40 seconden dalen de aanrijbomen automatisch.
Om ervoor te zorgen dat een optimale doorstroming van het scheepvaartverkeer kon plaatsvinden, en het aanvarende schip geen snelheid te laten minderen, heeft de servicegerichte brugbedienaar echter de 40 seconden niet afgewacht. Hij heeft er volgens de Onderzoeksraad na vier seconden (!) voor gekozen om gebruik te maken van de op deze brug beschikbare versnelde procedure. Hierdoor is de voorwaarschuwingsperiode verkort van 40 naar vier seconden. Na deze handmatige ingreep werd het signaal “landverkeerseinen rood” gestart en sloten de aanrijbomen na 10 seconden verder automatisch. Na het sluiten van de laatste afrijbomen voor het langzaam verkeer heeft het systeem nog dertien seconden nodig voor het ontgrendelen van de brugval en vrijgave in het systeem te genereren om de brug te kunnen openen. Dit tijdspad wordt door de brugbedienaar gebruikt om te schouwen. Die tijd heeft hij zichzelf niet meer gegund. Hoewel de slachtoffers in totaal iets meer dan een minuut op video in beeld zijn geweest, zag de brugwachter in allerlaatste instantie slechts een schim voorbijkomen.
Ongelukken met vliegtuigen en bruggen staan niet op zichzelf. Wat te denken van een dak van een Noord-Hollands voetbalstadion dat “spontaan” instort? En hoe moeten we aankijken tegen een gemeente die jaar in jaar uit een checklist aanvinkt en een veiligheidsverklaring ondertekent waarin staat dat de constructieve veiligheid van het stadion is gecontroleerd, terwijl in werkelijkheid slechts de brandveiligheid is geïnspecteerd en niet de kwaliteit van de dakconstructie en het laswerk? Juridisch kan dit juist zijn, maar met adequate kwaliteitszorg en continu verbeteren heeft dat in ieder geval weinig te maken.
Nog een laatste voorbeeld: de Stint. Dit relatief eenvoudige vervoersmiddel, dat betrokken was bij een drama in Oss waarbij vier kinderen om het leven kwamen, staat nog steeds in de werkplaats. Is het uit oogpunt van de samenwerking tussen mens en machine niet opmerkelijk dat TNO nu adviseert om de automatische parkeerrem weer te vervangen door een handmatig bediende parkeerreminrichting, zodat het voertuig bij stilvallen vrij kan blijven rollen? Nee, dat is niet vreemd, maar voortschrijdend inzicht, dat je liever bij het eerste ontwerp had toegepast. Wellicht dat Design Thinking dit ongeluk had kunnen voorkomen.
De vraag naar aanleiding van bovengenoemde incidenten dringt zich op of aannemers, ontwerpers en dienstverleners de zeven gouden kwaliteitsprincipes uit de ISO 9001 norm nog wel serieus nemen? Is hun focus wel gericht op klanten en belanghebbenden? Hoe staat het met leiderschap en de betrokkenheid van hun mensen? Is er sprake van relatiemanagement, een procesmatige aanpak en nemen ze hun beslissingen altijd op basis van bewijs (data en metingen) en streven ze wel naar continue verbetering?
Daar bestaan inmiddels gerede twijfels over. Of is ons “blinde” vertrouwen in de techniek misschien misplaatst, zoals in de luchtvaart? Of is het misschien juist omgekeerd en wantrouwen mensen de algoritmes, negeren ze de techniek en trekken ze hun eigen plan, zoals de brugwachter in het bovengenoemde voorbeeld, met alle dramatische gevolgen van dien.
In onze samenleving wordt het nemen van complexe en belangrijke beslissingen steeds vaker toevertrouwd aan geautomatiseerde systemen die gebruikmaken van algoritmes. Zo laten verzekeraars claims steeds vaker geautomatiseerd en zonder menselijke tussenkomst afhandelen, laten ziekenhuizen medische onderzoeksresultaten soms ook beoordelen door computers en zet de politie algoritmes in om te voorspellen waar misdrijven zullen gaan plaatsvinden. Elke zichzelf respecterende gemeente doet tegenwoordig aan data analytics en profileert zich als een smart city. Dit toenemend vertrouwen in algoritmes is terecht, omdat algoritmes in zowel test- als live-situaties meestal minder fouten maken dan mensen. Feit is echter dat Nederlandse burgers algoritmes vooralsnog wantrouwen, zo blijkt uit onderzoek van Motivaction.
Er is ook een klein lichtpuntje. Ruim 30 procent van de respondenten is inmiddels van mening dat algoritmes kunnen helpen bij het nemen van de juiste beslissingen. Wél gaan er steeds meer stemmen op dat algoritmes net als mensen (!) hun beslissingen altijd moeten kunnen uitleggen. Van Explainable Artificial Intelligence (XAI) gaan we bijvoorbeeld nog veel horen. Het befaamde DARPA instituut, dat aan de wieg stond van het huidige internet, gaf in 2017 alvast een voorzet. AI-toepassingen moeten veilig en betrouwbaar zijn en binnen ethische kaders opereren. Daarom werkt de Europese Focus Group AI, in opdracht van de Europese Commissie, aan Europese standaarden voor toepassing van AI en big data. Of je daar alle ongelukken mee voorkomt, dat valt nog te bezien…
In het AI-tijdperk eist de samenwerking en communicatie tussen mens en machine onze aandacht op. Mens en machine moeten als een team optrekken. Volgens NEN-EN-ISO 9001 moet iedere organisatie aantonen dat zij in staat is om consequent producten en diensten te leveren die voldoen aan de eisen van de klant en aan de van toepassing zijnde wet- en regelgeving. Of je nu een vliegreis verkoopt, een brug opent of een stadion oplevert. Met de komst van algoritmes is dat echter niet meer toereikend. We zullen aanvullende kwaliteitsnormen en strakke procedures moeten ontwikkelen voor algoritmes en de interactie tussen mens en machine. Hier ligt een schone taak voor innovatieve, nieuwsgierige en veranderingsgezinde kwaliteitsmanagers.
door: Daan van Beek, Eindbaas Passionned Group