Algoritmes worden overal gebruikt, in het bedrijfsleven en binnen de overheid. Online word je, door Facebook, Google of Netflix, de hele dag door gemeten en ingedeeld in een hokje op basis van de gegevens die je achterlaat en de algoritmes die zij daarop loslaten. Maar ook bij alledaagse dingen, zoals shoppen in de supermarkt, rijden in je auto naar het werk, en betalen via de betaal app van je bank doen algoritmes hun werk en wordt op basis daarvan geprobeerd je gedrag te beïnvloeden. Superhandig, dat zeker. Gelukkig gaat het ook heel vaak goed en maakt het ons leven een stuk makkelijker. Maar helaas gaat het soms ook fout. In een tweeluik gaan we in op de voor- en nadelen van het gebruik van algoritmes. In dit eerste deel geven we antwoord op de vraag of algoritmes kunnen discrimineren. Deel twee van de blogreeks wordt op 10 december gepubliceerd. In deel twee schetsen wij het gebruik van algoritmes als criminele tool.
Niet alleen de overheid discrimineert met algoritmes
In de afgelopen maanden zijn er diverse artikelen verschenen over het gebruik van algoritmes en hoe dat een negatieve invloed kan hebben op racisme, seksisme en rechtszekerheid. Zo verscheen er op 29 mei jl. al een artikel op NOS.nl met de titel; ‘Overheid gebruikt op grote schaal voorspellende algoritmes, ‘risico op discriminatie’. In het artikel komt naar voren dat de overheid op grote schaal voorspellende algoritmes gebruikt om bijvoorbeeld fraude op te sporen. Deze hebben echter de schijn van discriminatie en in de gebruikte data zit vaak een vooringenomenheid, zo wordt in het artikel gesteld. Meer recent schrijft de VN-rapporteur voor de mensenrechten Philip Alston de rechtbank in Den Haag aan. Hij waarschuwt in de brief dat het gebruik van het Systeem Risico Indicatie (SyRI), een significante dreiging op het gebied van mensenrechten kan opleveren. SyRI stelt risicoprofielen op, op basis van de gegevens van bestaande fraudeurs en combineert databases met persoonsgegevens van verschillende overheidsinstanties. De gegevens van de Belastingdienst en de gemeenten worden vervolgens vergelijken met de risicoprofielen. Hiermee wordt dan bepaald of een burger mogelijk een hogere kans heeft om fraude te plegen. Vervolgens kan dit tot overheidsoptreden leiden – adressen die afwijken van de norm krijgen een huisbezoek. Toevallig is de inzet van dit systeem louter in armere, etnisch diverse wijken geweest, aldus de NRC. De vraag is hoe er geborgd wordt dat het systeem niet gaat profileren op financiële situatie of etniciteit.
Bias en discriminatie
Bij de toepassing van algoritmes kan er sprake zijn van een zogenaamde bias, vooringenomenheid. Vanuit een juridisch perspectief is discriminatie volgens de Grondwet verboden. Maar bias is een breder aspect. Het gaat immers niet alleen over discriminatie, maar (ook) over de sociaal psychologische effecten die rationele oordeelsvorming of besluitvorming in groepen in de weg kunnen staan. Bias komt in vele vormen voor. De belangrijkste hiervan zijn de zogenaamde confirmation bias en de ingroup bias. Confirmation bias gaat over het menselijke aspect, dat we sociale wezens zijn en graag mensen om ons heen verzamelen die dezelfde meningen en ideeën hebben als wijzelf. Hierdoor kan een tunnelvisie ontstaan. Ingroup bias betreft de neiging van mensen om in te stemmen met de dominante mening van de groep. Deze twee effecten moeten zoveel mogelijk worden voorkomen omdat een vooringenomen algoritme resultaten produceert die afwijken van de realiteit die zij poogt te beschrijven.
De ontwikkelaars van algoritmes kunnen onbedoeld een bepaalde bias inbouwen in het algoritme. Als er bijvoorbeeld een dataset wordt gebruikt om de kans op crimineel gedrag van mensen te voorspellen en in de dataset zitten, om wat voor reden ook, significant veel mensen met groene ogen, dan zal het algoritme al snel mensen met groene ogen als crimineel gaan bestempelen. Dit levert vanzelfsprekend een groot ethisch dilemma op. Hierbij geldt dan ook dat een zo groot mogelijke diversiteit in de (test)data van groot belang is voor een representatief en juist resultaat.
Zouden de ontwikkelaars in het vorige voorbeeld ervoor gekozen hebben om de kleur van de ogen niet mee te wegen in de beoordeling, dan zou er ook geen bias ontstaan zijn – of in ieder geval niet op dit punt. Toch blijkt het in de praktijk vaak lastiger te zijn dan alleen bepaalde wegingsfactoren uit te schakelen.
Hoe voorkom je bias en discriminatie
Maar hoe voorkom je nu, bij de ontwikkeling van een algoritme, dat de bias en discriminatie toch hun werk gaan doen? Om verschillende redenen wil je dat als organisatie natuurlijk voorkomen. Neem ten minste de volgende 3 stappen om je algoritme ethisch verantwoord te laten zijn.
STAP 1: BEPAAL ETHISCHE PRINCIPES VOOR JE DATAPROJECT
Wanneer je start met een data project, bepaal dan vooraf een aantal ethische principes voor je data project. Deze ethische principes zijn in feite je morele kompas gedurende de ontwikkeling van je algoritme. Door periodiek je data project (waaronder het algoritme) te toetsen aan je eigen ethische principes, ben je in staat om je morele kompas tijdig te herijken. Een hulpmiddel om te komen tot ethische principe is De Ethische Data Assistent (DEDA). Met DEDA ontwikkelen wij ethische principes om ethische vraagstukken in innovatieve projecten op te lossen. Meer informatie hierover vind je hier. Zorg dat je de juiste ethische afwegingen maakt en laat jouw organisatie groeien in de digitale volwassenheid.
STAP 2: MITIGEER DE RISICO’S
Uit de DEDA komen zeer waarschijnlijk een aantal project en ethische risico’s. Belangrijk is om deze te kwalificeren en mitigerende maatregelen te bedenken. Het moet voor het hele team duidelijk zijn welke risico’s er spelen en of deze risico’s acceptabel zijn of de implementatie van het algoritme in de weg staat.
STAP 3: HET ALGORiTME KEURMERK
Bij het gebruik van een algoritme is het essentieel dat er (achteraf) getoetst kan worden c.q. verantwoord kan worden of het algoritme goed gebouwd is en goed beheerd en gebruikt wordt. Het Algoritme Keurmerk van VKA en Totta Datalab brengt zekerheid en transparantie. Hiermee kan vooringenomenheid in het algoritme onderkend worden en kunnen algoritmes op een verantwoorde wijze toegepast en verbeterd worden. Als resultaat ontvangt men een duidelijk rapport met de conclusies en verbeterpunten. Meer informatie over het Algoritme Keurmerk vind je hier.