“Zeg eens eerlijk? Wat is nu je grootste angst bij algoritmes? Als ik dit vraag aan mensen is het antwoord vaak ‘Algoritmes discrimineren!’”. En natuurlijk: het is verre van gewenst om te discrimineren, maar hoe zorgen we ervoor dat algoritmes niet discrimineren? Na het lezen van de vorige blogs weet je nu wat bias is en hoe je dat onder controle houdt bij het gebruik van algoritmes. Wetende dat bias onoverkomelijk is, rest ons nog één vraag: “Welke bias is acceptabel?”
Om te bepalen of de bias te accepteren moet je deze allereerst kunnen meten. Daarna moet je je afvragen of de bias passend is voor de context waarin het algoritme wordt gebruikt. Zo stelt Frank van Vonderen over algoritmes met een hoge mate van impact4: “De politiek stelt vragen over dit type algoritmes. En terecht, want uitkomsten van deze algoritmes raken vaak het leven van de burgers: bijvoorbeeld hun eigenwaarde of hun portemonnee.”
Onwetendheid over de intrinsieke bias in de data en gebrek aan mitigerende maatregelen bij het gebruik van algoritmes kan discriminatie in de hand werken. Kijkt het algoritme niet naar de hele populatie, maar naar een steekproef: Hoe willekeurig is het selectieproces verlopen? Is iedere groep uit jouw populatie voldoende vertegenwoordigd in de gekozen steekproef? De complexiteit ligt in de het vertalen van de getallen en keuzes naar de betekenis voor en impact op de betrokkenen. Hoe interpreteer jij de berekende bias uit onderstaand voorbeeld?
Bias in data is het procentuele verschil tussen de verwachte evenredige proportie van een groep en de daadwerkelijke proporties van de groepen in de gegevens. In het geval van ABC Engineering is de daadwerkelijke proportie van vrouwen onder de sollicitanten 1 op de 20, terwijl we bij twee groepen (mannen en vrouwen) verwachten dat de verhouding van vrouwen 1 op 2 had moeten zijn. Dit betekent een bias van maar liefst -90%: er bevinden zich 90% minder vrouwen onder de sollicitanten in vergelijking tot een 50-50 man/vrouw verhouding.
Algoritmebias is het procentuele verschil tussen de daadwerkelijke proporties en de proporties van deze groepen per ingeschatte klasse. Algoritmebias bij ABC Engineering is 0%. Stel dat het algoritme van ABC Engineering suggereert 1 op 10 van haar vacatures te vervullen met een vrouwelijke kandidaat. De daadwerkelijke proportie blijft 1 op 20. De proportie vrouwen in de klasse ‘vacature wél vervullen’ is nu 1 op 10. Dit maakt de algoritmebias +100% tussen de daadwerkelijke 1 op 20 en de 1 op 10 suggestie: het algoritme van ABC Engineering selecteert tweemaal vaker vrouwelijke kandidaten in vergelijking tot het aanbod op de arbeidsmarkt.
In deze voorbeelden gaat het om een duidelijk meetbare bias. Wil je zeker weten of de algoritmebias gegenereerd door het door jou ontwikkelde algoritme duidt op een significant verschil? Met een beetje statistiek, zoals de student’s t-test, kun je hier een goede inschatting van maken. Zoek vooral de formule op of gebruik de functie in je favoriete programmeertaal.
Welke impact heeft de bias in de context van jouw algoritme? Heb jij ervoor gezorgd dat jouw algoritme niet discrimineert?
Dit is het vierde deel uit een blogreeks over discriminatie bij algoritmes, lees ook het eerste deel, het tweede deel en het derde deel uit de reeks.