Statistiek is een binnen bedrijven veel voorkomend middel om data om te zetten in informatie. Het is echter – zeker ook voor het werkveld kwaliteit - belangrijk om te onthouden dat data niet altijd de volledige waarheid vertellen en dat je statistiek altijd met de juiste kennis moet toepassen. In dit artikel gaan we in op de gevolgen van het foutief gebruiken van data en hoe organisaties zich hiertegen kunnen wapenen.
Er zijn talloze voorbeelden uit de geschiedenis waar foute beslissingen werden genomen op basis van foute data. Een van de bekendste voorbeelden is de ramp met de Space Shuttle Challenger in 1986. De Space Shuttle Challenger explodeerde kort na de lancering, waarbij alle zeven bemanningsleden omkwamen.
Uit onderzoek bleek dat de oorzaak van de ramp lag bij een defect in een van de O-ringen van de raket. Deze O-ringen waren niet bestand tegen de lage temperaturen op de dag van de lancering. De fabrikant van de O-ringen had geadviseerd om de lancering toch door te laten gaan op basis van foutieve data. Uit tests was namelijk gebleken dat de O-ringen bestand waren tegen ‘lage temperaturen’. Wat de fabrikant echter niet wist, was dat de tests waren uitgevoerd bij hogere temperaturen dan op de dag van de lancering.
Een ander voorbeeld is de ramp met de kerncentrale van Tsjernobyl in 1986. Bij deze ramp kwamen tientallen mensen om het leven en raakten duizenden mensen besmet met radioactieve straling. De oorzaak van de ramp lag bij een experiment dat werd uitgevoerd om de veiligheidssystemen van de kerncentrale te testen. Het experiment werd echter uitgevoerd op basis van foutieve data. De wetenschappers die het experiment uitvoerden, hadden geen rekening gehouden met de mogelijkheid dat er een storing zou optreden in het systeem. Toen er inderdaad een storing optrad, was het te laat om de kerncentrale nog te redden.
Een derde voorbeeld is de financiële crisis van 2008. Banken hadden hun risico’s onderschat en waren te afhankelijk geworden van modellen die waren gebaseerd op historische data. Toen de huizenmarkt instortte, bleken deze modellen niet langer te kloppen en kwamen banken in de problemen.
Een laatste voorbeeld. Het lijkt zo simpel om door het nemen van een steekproef inzicht te krijgen in een grote dataset. Echter, als deze methode niet correct wordt toegepast, kan dit leiden tot foutieve data. Bijvoorbeeld als je blindelings uitgaat van de juistheid van de steekproef.
Stel je voor dat je een onderzoek doet naar de gemiddelde lengte van volwassenen in Nederland. Je besluit een steekproef te nemen bij een basketbalclub. Hoewel dit op het eerste gezicht een efficiënte manier lijkt om snel data te verzamelen, introduceert het een grote fout: basketbalspelers zijn over het algemeen langer dan de gemiddelde bevolking. Door deze steekproef blindelings te vertrouwen, zou je kunnen concluderen dat de gemiddelde lengte van een volwassene in Nederland veel hoger is dan in werkelijkheid het geval is.
Dit voorbeeld illustreert het belang van een zorgvuldige steekproefselectie en het kritisch beoordelen van de validiteit van je data. Het niet toetsen van de validiteit van je data kan leiden tot misleidende resultaten en uiteindelijk tot onjuiste conclusies.
Ook de historie kent veel fouten die zijn veroorzaakt door een foute toepassing van statistiek. We kennen natuurlijk allen de zaak Lucia de B. waarin zou zijn berekend dat de kans dat er sprake was van toeval bij een aantal sterfgevallen 1 op 342.000.000 was. Hoewel deze berekening formeel niet werd meegenomen door het Gerechtshof bleef deze gebruikmaken van statistische gegevens en argumentatie: het werd evident geacht dat zoveel incidenten tijdens Lucia's diensten geen toeval kon zijn.
Maar het gaat vaker mis. Een aantal statistische missers heeft zelfs een eigen naam gekregen.
Hierbij is sprake van een fenomeen waarbij een trend of relatie die aanwezig is in verschillende groepen verdwijnt of zelfs omkeert wanneer de groepen worden gecombineerd. Dit kan leiden tot verkeerde conclusies als de groepen niet goed worden geanalyseerd. Een bekend voorbeeld hiervan is de zaak van de Universiteit van Californië, Berkeley, waarbij het leek alsof vrouwen minder kans hadden om toegelaten te worden dan mannen. Echter, toen de gegevens werden opgesplitst per faculteit, bleek dat vrouwen in elke faculteit een hogere kans hadden om toegelaten te worden dan mannen.
Dit is een denkfout waarbij een persoon achteraf een patroon ziet in gegevens die eigenlijk willekeurig zijn. Dit kan leiden tot verkeerde conclusies en onjuiste voorspellingen. De naam komt van een schutter die op een schuur schoot en vervolgens een cirkel om de kogelgaten tekende om te laten zien hoe goed hij was.
Deze benaming duidt op een denkfout waarbij conclusies worden getrokken over individuen op basis van gegevens die zijn verzameld op groepsniveau. Dit kan leiden tot onjuiste generalisaties en verkeerde conclusies. Een bekend voorbeeld hiervan is de conclusie dat arme mensen korter leven dan rijke mensen, terwijl dit niet noodzakelijkerwijs waar is voor individuen.
Dit is een bekende denkfout die ook wel bekend staat als de cum hoc ergo propter hoc-fout, een misvatting waarbij wordt aangenomen dat er een oorzakelijk verband bestaat tussen twee variabelen alleen omdat ze gecorreleerd zijn. Dit kan leiden tot verkeerde conclusies en onjuiste voorspellingen. Een bekend voorbeeld hiervan is de correlatie tussen ijsconsumptie en verdrinkingsdoden. Hoewel deze twee variabelen gecorreleerd zijn, is er geen oorzakelijk verband tussen de twee.
Gelukkig zijn er veel meer voorbeelden van het juist gebruiken van data en statistiek. De ECB gebruikt ze om monetaire beslissingen te nemen1, UPS-chauffeurs kunnen beter zo min mogelijk bochten naar links maken2 en we gebruiken statistiek zelfs om mensenlevens te redden3.
De voorbeelden van waar het mis is gegaan laten dus vooral zien hoe belangrijk het is om data en statistiek op de juiste manier te interpreteren en te gebruiken. En daar kan de hedendaagse kwaliteitskundige een belangrijke rol pakken.
Het werkveld Kwaliteit heeft een steeds breder wordende rol in organisaties. Kwaliteit gaat primair over de kwaliteit van de producten en diensten die we leveren aan onze klanten, maar wordt steeds breder geformuleerd. De kwaliteitsmanager is kennismanager, organisatieadviseur en veranderaar en speelt een belangrijke rol bij het stimuleren van continu verbeteren van processen om de efficiëntie en effectiviteit van de productie en dienstverlening te verbeteren5.
Gegeven een steeds complexer wordende maatschappij wordt daarbij gebruik van data en statistiek steeds belangrijker. Tegelijkertijd beschikken organisaties over steeds meer (big) data die op een kundige manier moeten worden ontsloten.
Wij pleiten hier niet voor een kwaliteitsmanager die tevens data-analist is – hoewel dat uiteraard wel een voordeel is – maar wel voor één die zich bewust is van de groeiende behoefte aan gebruik van data op zo ongeveer alle taken waarmee hij of zij in aanraking komt. En één die dan begrijpt dat er vele statistische mogelijkheden zijn om die data om te zetten in informatie met behulp waarvan adviezen kunnen worden gegeven en besluiten genomen. Of het nu gaat om het duiden van trends, beperken van risico’s, benchmarking of verbeteren van de dienstverlening, gebruik van data en statistiek zijn essentieel.
Tegelijkertijd moet de kwaliteitsmanager zich bewust zijn van de risico’s van het foutief gebruiken van data en dient hij of zij hierop te anticiperen. Los van de eerder genoemde missers zijn redeneerfouten snel gemaakt. Zelfs ‘simpele’ statistiek zoals het bepalen van een gemiddelde wordt regelmatig fout gebruikt. Denk aan een gemiddelde klanttevredenheid van 100 klanten waarbij de helft een 1 scoort en de andere helft een 10. Als je dan rapporteert 'de gemiddelde klant scoort een tevredenheid van 5,5', is dat technisch correct, maar het feit dat de helft van de klanten extreem ontevreden is wordt verdoezeld.
De kwaliteitsmanager moet dus continu alert zijn wanneer gebruik wordt gemaakt van cijfermateriaal. Een van de manieren waarop dit kan is door expertise in te roepen van data-analisten6. Deze zijn expert op het gebied van data-analyse en kunnen organisaties helpen om data op de juiste manier te ontsluiten, te interpreteren en te gebruiken.
Daarnaast is het belangrijk om toe te zien op het juiste gebruik van de statistische tools en technieken. In het boek 'De Kwaliteit van Data' zijn er talloze beschreven, maar niet alle tools en technieken zijn geschikt voor alle soorten data en het gebruik van tools en technieken is tevens afhankelijk van het soort vraag dat je ermee wilt beantwoorden. Ook hier dient de kwaliteitsmanager data-analisten in te schakelen die niet alleen de tools zelf kennen, maar ook hun sterke en zwakke kanten en vooral ook hun valkuilen.
Tenslotte is het belangrijk om ook te blijven investeren in de juiste opleidingen en trainingen voor medewerkers. Als zij beter begrijpen waartoe bepaalde gegevens dienen, zullen zij beter toegerust zijn om die gegevens ook op de juiste manier en in de juiste vorm weer te geven. Medewerkers moeten worden opgeleid om data op de juiste manier te interpreteren en te gebruiken. Dit kan bijvoorbeeld door het aanbieden van cursussen en trainingen op het gebied van data-analyse.
Het zou zo maar kunnen dat, wanneer je alle verschillende lichaamsdelen van deze onfortuinlijke persoon gaat meten, de gemiddelde temperatuur 37˚ C is. En misschien is de mediaan (de middelste waarneming) dat ook wel. En ja, ook de modus (het meest voorkomende meetresultaat) zal ook wel op 37˚ C uitkomen.
Het gebruik van data is een belangrijk onderdeel van het nemen van beslissingen binnen organisaties. Maar het is belangrijk om te onthouden dat data niet altijd de volledige waarheid vertellen. Kwaliteitskundigen moeten zich bewust zijn van de risico’s van het foutief gebruiken van data en moeten hierop anticiperen door expertise in te roepen van data-analisten en de juiste tools en technieken te gebruiken.
Dit artikel is gebaseerd op de hoofdstukken 6 en 7 van het boek 'De Kwaliteit van Data' van de sectie Data & Kwaliteit van het NNK. [1] Waarom zijn statistieken belangrijk? (europa.eu)
[2] Big Data: definitie, voordelen & voorbeelden (4x) | Peter Joosten
[3] Statistiek redt mensenlevens – Blog (vvsor.nl)
[4] https://toolbox.eupati.eu/resources/the-role-of-statistics-in-clinical-trials/
[5] https://www.bernadettevanpampus.nl/publicaties/de-kwaliteitsmanager-als-veranderaar
[6] Denk hierbij ook aan wiskundigen, statistici en (Master) Black Belts
Eric Eggermont is gecertificeerd Master Black Belt Lean Six Sigma en co-founder van Lean Nederland. Het is zijn passie om bedrijven te ondersteunen bij het continu verbeteren van de dienstverlening.
Dit artikel verscheen in Kwaliteit en bedrijf, januari-februari 2024