Associate professor Virginia Eubanks in Privacyrede: 'Veel mensen afgewezen door een algoritme'

17-01-2019

Amerikaanse algoritmes voor sociale voorzieningen nemen ongewenste beslissingen. Maar dat ligt niet alleen aan de techniek, zo stelde associate professor Virginia Eubanks gisteren tijdens de Privacyrede die SURF mede organiseerde.

Algoritme neemt oneerlijke besluiten

Virginia Eubanks van de New Yorkse University at Albany onderzocht systemen die in Amerika beslissen over het toekennen of afwijzen van sociale bijstand. Ze sprak met vele slachtoffers van deze werkwijze. Zo verloor een vrouw in Indiana haar uitkering, omdat het algoritme concludeerde dat ze niet meewerkte aan de controle. Ze had namelijk een afspraak gemist – maar dat kwam doordat ze in het ziekenhuis lag. Een ander slachtoffer stond op de wachtlijst voor een sociale woning. Hij werd onterecht opgepakt voor een misdaad en later weer vrijgelaten, maar belandde vervolgens lager op de lijst. Het systeem concludeerde dat zijn situatie niet zo urgent meer was want hij had recent nog onderdak gehad: de gevangenis.

Bestaande vooroordelen worden opgepikt

De systemen nemen veel discriminerende beslissingen, maar niet omdat ze zelf vooroordelen ontwikkelen, zo ontdekte Virginia. Die worden opgepikt uit reeds bestaande patronen. Over donkere mensen komen bijvoorbeeld veel vaker klachten binnen dan over blanke mensen en daar baseert het systeem beslissingen op.

Arme mensen de dupe

Virginia kwam tot de conclusie dat met name arme mensen de dupe worden van deze werkwijze. Rijkere mensen kunnen bijvoorbeeld voor private voorzieningen kiezen en hoeven dus geen gebruik te maken van het oneerlijke systeem. Armere mensen zijn aangewezen op overheidsvoorzieningen en hebben dus geen vrije keuze.

Andere keuzes

Een echte oplossing voor het probleem heeft Virginia niet, maar ze wijst er wel op dat het verbeteren van de techniek in elk geval niet afdoende is. Sommige problemen waren zelfs al aanwezig vóórdat het algoritme werd ingevoerd, toen de beslissingen nog door mensen werden genomen. Om dat te veranderen, moet je bewust en structureel andere keuzes maken over je systeem.

Over de Privacyrede

SURF en SETUP nodigden Virginia Eubanks uit voor deze Privacyrede om mensen bewust te maken van de impact van algoritmisch beoordelen. De Privacyrede werd dit jaar voor de vijfde keer gehouden en vond plaats in TivoliVredenburg. Zo’n 350 bezoekers waren kwamen op het evenement af. Vooraf hield SURF een voorprogramma voor bij SURF aangesloten instellingen waarin Naomi Jacobs (Universiteit Eindhoven) betoogde hoe we nieuwe technologieën op een ethische manier kunnen ontwerpen met behulp van 'value sensitive design'. Ook gaf SETUP een demonstratie van een recruitmentalgoritme dat sollicitaties afneemt.

SURF en privacy

SURF hecht zeer aan privacy en zet zich in om het privacybewustzijn te vergroten, bijvoorbeeld door het organiseren van de Privacyrede en Security- en Privacyconferentie. Bij de diensten die we ontwikkelen staan principes als privacy by design voorop en sommige zijn zelfs bedoeld als privacyvriendelijke tegenhanger van commerciële diensten.