Ethiek in het tijdperk van dataïsme

Over ethische perspectieven en toepassing van ethiek in systemen

Met de invoering van de AVG is onze datasoevereiniteit[1] gewaarborgd. Dat is in beginsel wel het geval. Maar er is ook een andere aspect aan het gebruik van data. Mogen data – zelfs als ze volledig anoniem zijn – overal voor gebruikt worden? Zijn er ook ethische kanten aan het gebruik van data?

Social media maken gebruik van enorme hoeveelheden data. Hun verdienmodel is erop gebaseerd. Maar de data kunnen ook gebruikt worden om gebruikers te manipuleren. Denk aan de casus Cambridge Analytica. Dat bedrijf speelde de hoofdrol in het manipuleren van Facebookgebruikers tijdens de Amerikaanse presidentsverkiezingen in 2016. Facebook zelf deed dat tijdens de Brexit-discussies in het Verenigd Koninkrijk in 2016. Velen zijn van mening dat hier sprake is van niet-ethisch gebruik van data. 

Responsible AI

De Big Tech bedrijven hebben een aantal jaren geleden ethische of responsible AI teams opgericht om tegemoet te komen aan toenemende kritiek op hun producten. De gebruikers betalen immers met hun data. Inmiddels zijn die teams ook weer min of meer geruisloos opgeheven om kosten te besparen waarmee het ethisch geweten van deze bedrijven gedecimeerd is. 

Het algoritme dat de Belastingdienst gebruikte ten tijde van het Toeslagenschandaal was gebouwd om potentiële fraude met toeslagen aan het licht te brengen zodat ambtenaren gericht onderzoek konden doen. Ten onrechte was het algoritme zo ontworpen dat het bepaalde persoonsgegevens als risicofactor classificeerde en daarmee discriminerende resultaten produceerde. De gebruikers signaleerden dit niet en zo werd het gebruik van het algoritme ethisch gezien ontoelaatbaar. De Autoriteit Persoonsgegevens (AP) heeft hiervoor een boete uitgedeeld. 'Als de overheid persoonsgegevens misbruikt is dat extra pijnlijk', zegt Aleid Wolfsen, voorzitter AP. Het leidt tot een dalend vertrouwen in de overheid waar het gaat over persoonsgegevens.

Dat blijkt uit het Privacy Marktonderzoek 2023 van KPMG. In de afgelopen vijf jaar is het aantal burgers met vertrouwen in de overheid als het gaat om gebruik van persoonsgegevens gedaald van 32% naar 19%. De overheid heeft recent een website (wiegebruiktmijngegevens.nl) opgezet waar te vinden welke persoonsgegevens bewaard worden en welke gegevensstromen er zijn bij en tussen overheidsorganisaties.

Citizin ethics

De vraag naar wat ethisch verantwoord is speelt overal. En langzamerhand komt er meer discussie over die vraag. Zo heeft een aantal gemeentes technisch-ethische commissies ingesteld om over vraagstukken rond technologie en data te reflecteren. Zoals analyseren welke ethische uitgangspunten in het geding zijn bij nieuwe technologieën en welke invloed technologie heeft op mens en maatschappij. Met als primair doel het ondersteunen van de gemeenteraadsleden op het terrein van het ethisch gebruik van data.

Een volgende stap zou kunnen zijn dat burgers zelf worden betrokken bij het identificeren en beantwoorden van ethische vragen, waardoor ethiek ‘van onderaf’ ontstaat en niet ‘van bovenaf’: citizen ethics[2].

In februari 2020 oordeelde de rechtbank dat het Systeem Risico Indicatie (SyRI) – een instrument dat de overheid gebruikt voor bestrijding van fraude op bijvoorbeeld het terrein van uitkeringen, toeslagen en belastingen – niet voldoet aan de regels van het Europees Verdrag voor de Rechten voor de Mens en dus onrechtmatig is.

OpenAI heeft bij het trainen van ChatGPT gebruik gemaakt van bronnen op internet, zoals de Common Crawl dataset en docplayer.nl. Waarschijnlijk is ook materiaal uit boeken en artikelen gebruikt. Hoe zit het dan met auteursrechten en bronvermeldingen? 

Zo zijn er legio voorbeelden van datagebruik en toepassen van algoritmes op data waarbij ethische aspecten een rol spelen en de vraag rijst of daar wel tijdig en voldoende rekening mee is gehouden.

De volgende vraag is of er mogelijkheden zijn om dataverwerkende systemen zo te ontwerpen en te bouwen dat er rekening wordt gehouden met ethische aspecten. Dat vraagt allereerst om een ethisch kader te definiëren waaraan de volgende paragraaf is gewijd. Daarna volgen enkele paragrafen waarin ethische perspectieven verder worden uitgewerkt en toegepast.

Ethische perspectieven

Marc Steen[3] onderscheidt een viertal vormen van ethiek die ons helpen bij het ontwerpen, beoordelen en gebruiken van dataverwerkende systemen.

Plichtethiek

We kennen plichten en rechten. Ontwerpers van systemen hebben plichten en gebruikers hebben rechten. Die plichten en rechten betekenen bijvoorbeeld dat een systeem:

• fair moet zijn (vermijdt bij het nemen van beslissingen of het doen van voorspellingen enige vorm van discriminatie en voorkomt elke vorm van bias);
• accountable (is te allen tijde betrouwbaar en het is mogelijk om vast te stellen wie aansprakelijk is een beslissing genomen door het systeem);
• confidential (is in staat persoonsgegevens zodanig te hanteren dat de privacy beschermd blijft en dat de gegevens beschermd zijn tegen onbedoeld misbruik) en 
• transparant (is in staat beslissingen uitlegbaar te presenteren waardoor er vertrouwen ontstaat in de voorgestelde of genomen beslissing).

Het respecteren van auteursrechten valt ook de plichten van de ontwikkelaars. En wat te denken van de manier waarop een chatbot de klant ‘te woord staat’?

Deugdethiek

Deugdethiek vindt zijn wortels bij Aristoteles. Het gaat om het cultiveren van deugden zodat we goed kunnen samenleven. Een applicatie kan mensen helpen of juist verhinderen om een bepaalde deugd te cultiveren. Wie de hele dag social media gebruikt, ziet zijn vermogen tot zelfbeheersing dalen. Vaak komt er desinformatie voorbij wat eerlijkheid en burgerschap ondermijnt.

Als ontwikkelaar kun je werken aan een app die dat juist bevordert. Zo willen de hoogleraren Bart Jacobs en José van Dijck een publiek – open source – sociaal netwerk ontwikkelen, waar privacy van gebruikers niet misbruikt wordt en waar gebruikers niet gemanipuleerd worden. Zij stellen dat Facebook een onveilige omgeving is. Als eerste stap is het privacy-vriendelijke identiteitsplatform IRMA gelanceerd dat voor authenticatie en ondertekening kan worden gebruikt (privacybydesign.foundation).

Gevolgenethiek

Gevolgenethiek gaat over het in kaart brengen van plussen en minnen. Stel dat je een systeem in de wereld zet, welke voordelen en welke nadelen zal dat opleveren in de wereld? Je kunt de situatie zónder dat systeem vergelijken met de situatie mét dat systeem. Of je kunt verschillende opties met elkaar vergelijken: welke voordelen en welke nadelen hebben de verschillende opties? Je kiest dan de optie met de meeste of grootste voordelen, en met de minste of kleinste nadelen. Dit ethisch perspectief spreekt vaak aan: plussen en minnen als basis voor het maken van keuzes.

Laten we bijvoorbeeld eens kijken naar elektrische auto’s. Het rijden ermee is goed voor het milieu want geen uitstoot van kwalijke stoffen. Bij de bouw ervan zijn accu’s nodig die onder meer lithium als grondstof gebruiken. Wat betekent dat voor de arbeidsomstandigheden van de mijnwerkers en de impact op de natuur? Zijn er alternatieve materialen beschikbaar waarmee accu’s gebouwd kunnen worden?

Een ander voorbeeld: AI-systemen consumeren veelal enorme hoeveelheden energie. Zowel bij de bouw en training ervan als bij het gebruik. Wie zo’n systeem bouwt of gebruikt, dient zich af te vragen of dat energieverbruik opweegt tegen het verkregen resultaat. Wellicht zijn er alternatieven die hetzelfde resultaat opleveren tegen minder energiekosten.

Relatie-ethiek

Met behulp van relatie-ethiek kunnen we kijken naar de invloed van technologie op hoe mensen met elkaar interacteren en communiceren. Een eenvoudige chatbot lijkt met ons te communiceren maar beantwoordt in werkelijkheid alleen een beperkt aantal vragen en kan gemakkelijk in een loop terechtkomen. De meest geavanceerde systemen – denk aan ChatGPT en Copilot – komen uiteindelijk niet verder dan middelmatige teksten die met regelmaat ernstige fouten bevatten omdat deze systemen geen enkel benul van context hebben en slechts beschikbare informatie reproduceren en opnieuw clusteren.

Relatie-ethiek kunnen we ook toepassen op de relatie tussen gebruikers van systemen en de ontwerpers-eigenaren daarvan. We zien dat die eigenaren – de bekende Big Tech bedrijven – over veel macht beschikken en daar veelal misbruik van maken. Wetgeving moet die macht beteugelen.

Ontwerpfase

De ontwerpfase is zoals altijd de meest belangrijke fase in de levenscyclus van een systeem. Hier worden de eigenschappen van het algoritme of AI-systeem bepaald. En dat betekent dat juist hier ethiek een fundamentele rol speelt. Het is met name de plichtethiek: wat zijn de rechten van de gebruiker van het systeem en welke plichten rusten daarmee op de ontwerper. Maar ook de deugdethiek komt hier aan de orde: welke eigenschappen kunnen we het systeem in ontwikkeling meegeven waardoor toepassing ervan bijdraagt aan een betere samenleving.

Veelal zien we opdrachtgevers alleen aandacht hebben voor bepaalde prestatie-eisen en korte doorlooptijden van het ontwikkeltraject. Maar juist hier is aandacht voor ethische aspecten van fundamenteel belang om het vertrouwen van consumenten en burgers te verkrijgen. Dat vraagt om een multidisciplinair projectteam waarin naast de gebruikelijke data scientists en domeinexperts ook ruimte is voor medewerkers die meedenken over bijvoorbeeld de ethische en juridische aspecten van het systeem. Zo kunnen we kokervisie en blinde vlekken voorkomen. Ook een impact assessment – waarover later meer - kan bijdragen aan beter inzicht in risico’s betreffende het systeem in ontwikkeling.

Er zijn deskundigen die pleiten voor certificering van AI-engineers waarbij de nadruk enerzijds ligt op het ontwikkelen van modellen en algoritmen en anderzijds op het ontwikkelen van inzicht in de maatschappelijke gevolgen van de toepassing van het AI-systeem. Anderen pleiten voor onafhankelijke validatie van systemen voordat deze in gebruik worden genomen. Ronald Jeurissen, hoogleraar bedrijfsethiek aan Nyenrode Business Universiteit, is voorstander van de instelling van een Chief Ethical Officer, die een sterk signaal uitzendt naar de werknemers dat wordt opgemerkt en hun gedachten en handelen beïnvloedt.

Impact Assessments

De gevolgenethiek biedt een goede basis voor impact assessments. Dat zijn systematische evaluaties van de risico’s en gevolgen van een nieuw systeem. In een eerder artikel[4] hebben we de DPIA (Data Protection Impact Assessment) behandeld die verplicht van toepassing is als bij gegevensverwerking een hoog privacyrisico voor betrokkenen aanwezig is.

Hier gaan we nader in op de AIIA (AI Impact Assessment), waarvan overigens diverse varianten bestaan. De gemeenschappelijke noemer betreft ethische en juridische aspecten rond toepassing van AI-systemen. De AIIA biedt ook een kader voor het maken van ethische keuzes voor de inzet van AI. Het AIIA-concept is afkomstig van het Engelse Ada Lovelace Institute dat deze assessment gebruikte voor een evaluatie van gebruik van AI in de National Health Service. 

In de EU AI Act – zie ook de laatste paragraaf - is een FRIA (Fundamental Rights Impact Assessment) opgenomen (art. 27) dat bij hoog-risico AI-systemen moet worden toegepast. Deze assessment focust op de risico’s op schade en de gevolgen daarvan voor personen die gebruik maken van het AI-systemen of betrokken zijn bij de toepassing van het systeem. De resultaten van de FRIA worden voorgelegd aan de toezichthouder. 

In 2018 heeft het ECP Platform voor de Informatievoorziening (ecp.nl) een AIIA ontwikkeld om de (maatschappelijke) baten van een AI-toepassing in kaart te kunnen brengen. Deze assessment geeft ook inzicht in betrouwbaarheid, veiligheid en transparantie van het AI-systeem[5]. Het vertrekpunt hierbij is dat een organisatie die een AI-systeem gebruikt, verantwoordelijkheid neemt voor die toepassing. Het assessment geeft zelf geen ethische randvoorwaarden maar vraagt juist aan organisaties om zelf ethische kaders te bepalen. Transparantie bij besluitvorming wordt onderkend als erg belangrijk voor de acceptatie van een AI-systeem. Tegelijkertijd is er het besef dat AI-systemen steeds meer met elkaar verweven raken waardoor de uiteindelijke aanbieder van een dienst niet altijd inzicht heeft in de volledige keten. De vraag is dan welke kennis en organisatorische maatregelen nodig zijn om verantwoordelijkheid te kunnen nemen en ongewenste gevolgen te voorkomen. Zoals bij elke assessment geeft ook deze een momentopname en dient met enige regelmaat te worden herhaald.

Gedragscode

Bij deze AIIA hoort een gedragscode. Deze kent ethische principes (zoals ‘geen inbreuk op de menselijke waardigheid’, ‘respect voor de menselijke autonomie’, ‘waarborgen van de veiligheid en de integriteit van (data van) gebruikers’ en ‘voorkomen schadelijke invloed op het milieu’) en praktijkregels (zoals ‘inzicht geven in de werking en handelingsgeschiedenis van AI-systemen’, ‘zorg dragen voor vertrouwelijkheid van informatie’, ‘zorg dragen voor traceerbaarheid, toetsbaarheid en voorspelbaarheid van AI-handelingen’ en ‘verantwoordelijkheden in de keten helder maken’).

De overheid heeft ook een AIIA ontwikkeld die uitgebreid ingaat op alle aspecten rond een AI-systeem en ook de FRIA afdekt[6]. De toelichting geeft aan dat de AIIA bedoeld is als instrument voor het gesprek en het vastleggen van het denkproces zodat onder andere de verantwoording, kwaliteit en reproduceerbaarheid worden vergroot. De AIIA moet proportioneel worden ingevuld en gereed zijn voordat het systeem in gebruik wordt genomen (feitelijk zo vroeg mogelijk in het ontwerpproces). Ook daarna moet de AIIA regelmatig worden bijgesteld als daartoe aanleiding is. Bij het opstellen van de AIIA speelt het multidisciplinaire team dat we in de vorige paragraaf noemden een belangrijke rol. De toelichting noemt naast de usual suspects de functionaris gegevensbescherming[7], de jurist en de adviseur ethiek.

Verantwoorde AI-systemen

De gevolgenethiek biedt ons ook een basis voor de ontwikkeling van verantwoorde of uitlegbare AI-systemen (explainable AI of XAI) die in de vorige paragraaf al kort genoemd werden. Als de uitkomsten van een AI-systemen niet uitlegbaar zijn is het geen verantwoord systeem en zal de gebruiker ervan of degene over wie het systeem een uitspraak doet er geen vertrouwen in hebben.

Wat kunnen we doen om AI-systemen meer verantwoord te maken?

Het uitvoeren van de impact assessment zoals in de vorige paragraaf beschreven draagt zeker bij tot het ontwikkelen van verantwoorde AI-systemen. Een AIIA is niet sector-specifiek. In bepaalde sectoren kunnen aspecten aan de orde komen die invloed hebben uit de uitlegbaarheid van systemen. Zo heeft de Hogeschool Utrecht onderzoek gedaan naar uitlegbare AI in de financiële sector en daarvoor een checklist opgesteld[8]. Het Centrum Wiskunde & Informatica en het Leidsch Universitair Medisch Centrum hebben hun krachten gebundeld in het ICAI (Innovation Center for Artificial intelligence) Lab ‘Explainable AI for Health’. Het doel van het lab is om nieuwe inherent uitlegbare AI-technieken en -richtlijnen te ontwikkelen en te valideren die kunnen worden gebruikt voor klinische besluitvorming. 

Menselijke maat

AI heeft geen intrinsieke moraliteit of iets van gezond verstand. Een algoritme kan heel goed optimaliseren, maar heeft geen sociaal instinct om een afweging te maken tussen goed en kwaad[9]. Daarom is het beter – als morele of ethische overwegingen een rol spelen – om de finale beslissing altijd aan een mens over te laten. Bij verantwoorde AI-systemen moet de mens en de menselijke maat centraal staan.

De AVG stelt in artikel 22 dat “de betrokkene het recht heeft niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking […] gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft”. Daar zijn wel weer uitzonderingen op te maken, maar in beginsel staat er dat iemand niet akkoord hoeft te gaan met een beslissing van bijvoorbeeld een AI-systeem, maar altijd een behoorlijke uitleg van een verantwoordelijk persoon moet kunnen krijgen (recht op uitleg).

Medewerkers die AI-systemen ontwikkelen en gebruiken, moeten getraind zijn in verantwoord gebruik van AI en zich bewust zijn van mogelijkheden en onmogelijkheden van de technologie. De samenstelling van een integraal ontwikkelteam zoals eerder besproken is hierbij van cruciaal belang om de sociale intelligentie van het team te vergroten.

Om bias in input data te voorkomen, kan een exploratory data analysis worden uitgevoerd. Onderliggende vooroordelen in gegevens komen zo naar voren en mogelijk discriminerende datasets kunnen worden gecorrigeerd. 

Veel AI-systemen zijn in feite black box systemen. Het valt niet na te gaan hoe het geïmplementeerde algoritme exact werkt. Door geavanceerde testen uit te voeren met andere datasets dan waarmee het systeem is ontwikkeld, is het mogelijk inzicht te krijgen in de prestaties van het systeem en daarmee vertrouwen op te bouwen in de resultaten. Er zijn systemen die zo gebouwd zijn dat ze zelf kunnen toelichten op welke wijze een resultaat tot stand is gekomen.

Algoritmes kunnen ook aangeven in welke mate de uitspraak met zekerheid is vastgesteld. Het maakt natuurlijk veel verschil of een uitspraak op basis van vergelijking met soortgelijke input met een betrouwbaarheid van 95% kan worden vastgesteld of er sprake is van slechts 20% zekerheid.

Ethische regelgeving

In deze laatste paragraaf komt de relatie-ethiek aan de orde. En in het bijzonder de relatie tussen gebruikers van systemen en de ontwerpers/leveranciers/eigenaren van die systemen. De individuele gebruiker heeft weinig in te brengen tegen de systeemleverancier. Die partij heeft een enorm machtsoverwicht. Er is maar één manier om die macht enigszins te beteugelen en dat is regelgeving. En die loopt per definitie achter op de ontwikkelingen in de markt.

Gelukkig zien we de laatste tijd veel (Europese) regelgeving van kracht worden die probeert de macht van Big Tech te beteugelen. We noemen er een tweetal.

AI Act

De AI Act (AI Verordening) is op 21 mei 2024 goedgekeurd door Europese Raad en is per 1 augustus 2024 in werking getreden. Lidstaten hebben dan nog twee jaar de tijd om de wet te implementeren. Het doel van deze wet is het bevorderen van betrouwbare AI in Europa en daarbuiten, door ervoor te zorgen dat AI-systemen de grondrechten, veiligheid en ethische beginselen eerbiedigen en door risico’s van zeer krachtige en impactvolle AI-modellen aan te pakken.

De wet maakt onderscheid naar risico.

• Bij minimaal risico, bijvoorbeeld spamfilters, gelden geen regels.
• Bij beperkt risico, bijvoorbeeld chatbots, gelden transparantieverplichtingen.
• Bij hoog risico gelden strikte verplichtingen: een risico assessment, hoge kwaliteit van voedende datasets, loggen van activiteiten om traceerbaarheid van resultaten te waarborgen, hoge mate van robuustheid, veiligheid en nauwkeurigheid, registratie in EU-database, Declaration of Conformity (CE-label). Pas daarna mag een systeem op de markt worden geïntroduceerd.

AI-systemen die leiden tot cognitieve gedrags­manipulatie of social scoring worden verboden in de EU omdat hun risico's onaanvaardbaar worden geacht. De wet verbiedt ook het gebruik van AI voor voorspellend politiewerk op basis van profilering en systemen die biometrische gegevens gebruiken om mensen in te delen in specifieke categorieën op basis van bijvoorbeeld ras, godsdienst of seksuele gerichtheid.

Het Europees AI-bureau, dat in februari 2024 binnen de Commissie is opgericht, houdt toezicht op de handhaving en uitvoering van de AI-wet met de lidstaten. Merk op dat hier een verschil is met de AVG waar toezicht op handhaving primair een taak van de lidstaten is.

DSA

De Europese Digital Services Act (DSA) geldt sinds 17 februari 2024 voor alle onlinemarktplaatsen, sociale netwerken, zoekmachines, cloudaanbieders, online reis- en accommodatieplatforms, internetproviders en platforms om content te delen, zoals videoplatforms. Digitale diensten moeten nu grondrechten van gebruikers beter beschermen, online misleiding en illegale informatie aanpakken en een gelijk speelveld realiseren voor gebruikers.

Via de DSA wordt het online platforms verboden om nog langer advertenties te personaliseren op grond van bijvoorbeeld geloofsovertuiging of seksuele geaardheid. Minderjarigen zijn straks bovendien extra beschermd tegen gepersonaliseerde advertenties. 

Tot slot

In dit artikel hebben we aangegeven dat rond het gebruik van AI-systemen veel ethische en morele kwesties spelen. Een viertal ethische perspectieven – plichtethiek, deugdethiek, gevolgenethiek en relatie-ethiek – biedt mogelijkheden om op een meer gestructureerde wijze naar systemen te kijken en maatregelen te nemen om tijdig (in de ontwerpfase) ethische aspecten te adresseren, om systematisch mogelijke gevolgen van systemen te onderzoeken (impact assessment), om te komen tot uitlegbare systemen en om te voldoen aan specifieke wet- en regelgeving. 

Dit artikel is gebaseerd op delen van de hoofdstukken 10 en 11 van het recent uitgegeven boek ‘De Kwaliteit van Data’ van de sectie Data & Kwaliteit van het NNK. 

In 2018 richtte Arend Oosterhoorn de sectie Data en Kwaliteit van het NNK (Nederlands Netwerk voor Kwaliteitsmanagement) op. Onze missie is het gebruik van data en de bijdrage daarvan aan het leveren van kwaliteit in een snel  veranderende omgeving voort- durend aanjagen en verbeteren. Een van de doelen was het publiceren over onze bevindingen. In de loop van 2020 ontstond het idee het verzamelde materiaal in een boek te verwerken. Arend heeft hieraan een belangrijke bijdrage geleverd. Na zijn overlijden begin 2022 heeft Kees de Vaal samen met de andere leden van de sectie het boek voltooid.

Het boek De Kwaliteit van Data bevat vijf delen: Het veranderende ecosysteem, Data verzamelen en beheren, Data analyseren met statistische methoden, Data analyseren met kunstmatige intelligentie en Data presenteren en duiden.

Het boek is verkrijgbaar via de webwinkel van uitgeverij Boekscout, bol.com, managementboek.nl en de boekhandel (ISBN: 9789464683721). In een reeks artikelen bespreken leden van de NNK-sectie Data en Kwaliteit onderwerpen uit het boek.