Algoritmes en Discriminatie

In dit artikel:

De Technische Universiteit Eindhoven deed op verzoek van het College voor de Rechten van de Mens onderzoek naar kwantitatieve fairness-methodes om discriminatie door algoritmes te meten en te voorkomen. Het rapport bekijkt hoe deze technische instrumenten aansluiten bij de juridische normen voor ongelijke behandeling en welke rol zij praktisch kunnen spelen binnen organisaties.

Belangrijkste conclusies: fairness-methodes vertonen overlap met juridische beoordelingskaders, maar zijn op zichzelf niet voldoende om discriminatie juridisch aan te tonen of structureel uit te bannen. Discriminatie blijkt geen louter technisch probleem; effectief toetsen en voorkomen vraagt samenwerking tussen juristen, datawetenschappers en gebruikers, continue monitoring en verankering van toetsen in werkprocessen. Het College biedt daarom handvatten voor organisaties en stelt ondersteuning beschikbaar voor wie hulp wil bij toepassing van deze methodes.

Het rapport maakt een praktisch onderscheid tussen directe en indirecte discriminatie. Directe discriminatie is eenvoudig: een algoritme gebruikt expliciet een beschermde grond (zoals geslacht of nationaliteit) als besliskriterium. Indirecte discriminatie ontstaat wanneer ogenschijnlijk neutrale variabelen ertoe leiden dat bepaalde groepen systematisch anders worden behandeld, zonder objectieve rechtvaardiging. Om dat te detecteren gebruiken onderzoekers vaak group fairness-metrics, zoals selectieratio’s (welke groepen worden vaker geselecteerd) en misclassificatieratio’s (wie vaker ten onrechte wel of niet wordt gekozen; valspositieven/valsnegatieven).

Twee hoofdmechanismen vergroten het risico op discriminatie: (1) ongelijke voorspelkracht van het model voor verschillende groepen — het model presteert bijvoorbeeld slechter voor bepaalde bevolkingsgroepen — en (2) een statistische relatie tussen de doelvariabele en een discriminatiegrond, waardoor een nauwkeurig model bestaande ongelijkheden reproduceren kan. Als voorbeeld noemt het College een 2022-uitspraak waarin antispieksoftware indirect onderscheid op grond van ras kon veroorzaken door slechtere prestaties bij mensen met een donkere huidskleur.

Het volledige onderzoek "Algoritmes en Discriminatie" is beschikbaar via de website van het College voor de Rechten van de Mens.