Artificiële intelligentie (ai)-systemen duiken op in verschillende aspecten van onze maatschappij. We weten echter niet altijd hoe de algoritmes werken en of de keuzes die ze maken wel eerlijk zijn. Voor VUB-ai-specialist dr. Carmen Mazijn reden om een onderzoek te starten met als centrale vraag: hoe kunnen we ai-systemen beter begrijpen zodat ze geen negatieve impact hebben op onze maatschappij door oneerlijke beslissingen te maken en te discrimineren?
Mazijn voerde in het kader van haar PhD interdisciplinair onderzoek, verbonden aan het Data Analytics Laboratory aan de faculteit Sociale Wetenschappen van de Solvay Business School en de onderzoeksgroep Toegepaste Fysica aan de faculteit Wetenschappen en Bio-ingenieurswetenschappen. Ze ging aan de slag met beslissingsalgoritmes: ai-systemen die beslissingen van mensen ondersteunen of zelfs mensen volledig vervangen in het beslissingsproces. Zo kan een ai-model in een selectieprocedure schijnbaar gendergelijke keuzes maken. Neem je het algoritme evenwel onder de loep, dan kunnen die keuzes anders gemotiveerd zijn voor mannen dan voor vrouwen.
Algoritmes kraken
‘Het algoritme kan soms schijnbaar eerlijk beslissen, maar daarom niet altijd om de juiste redenen’, zegt Mazijn. ‘Om zeker te weten of een ai-systeem een bepaalde bias heeft of wel degelijk maatschappelijk aanvaardbare keuzes maakt, moet je het systeem en de algoritmes kraken.’
Mazijn ontwikkelde tijdens haar PhD een detectietechniek, genaamd Lucid, om die ai-algoritmes open te breken en te onderzoeken of het systeem een aanvaardbare logica gebruikt. Het laat toe om te testen of het systeem ook daadwerkelijk in de echte wereld is toe te passen. Tijdens het onderzoek viel bovendien op dat ai-systemen ook makkelijk met mekaar interageren en door bias in één of meerdere van die systemen problematische feedback-loops kunnen ontstaan.
Selffulfilling prophecy
‘Een politiedepartement kan ai gebruiken om te bepalen in welke straten meer patrouilles moeten worden ingezet’, geeft Mazijn als voorbeeld. ‘Door meer patrouilles in te zetten, worden bijgevolg ook meer inbreuken vastgesteld. Wanneer die gegevens terug het ai-systeem worden ingevoerd, wordt een al dan niet aanwezige bias versterkt en krijg je een selffulfilling prophecy.’
De kernboodschap luidt dat er intelligent moet worden omgaan met ai-systemen en ook de langetermijneffecten moeten worden overwogen. Om de resultaten van het onderzoek toegankelijk te maken, stippelde Mazijn ook beleidsadviezen uit om te duiden hoe de technische en sociale inzichten van haar PhD zijn aan te wenden.
Proefschrift
Het proefschrift verscheen op 7 september 2023 onder de titel: ‘Black Box Revelation: Interdisciplinary Perspectives on Bias in AI’ en werd begeleid door Prof. Dr. Vincent Ginis en Prof. Dr. Jan Danckaert.
