Doneer aan de Mr. Hans van Mierlo Stichting

vrijdag 10 augustus 2018

Recensie: Weapons of Math Destruction

Deze boekrecensie is geschreven in het kader van het Van Mierlo Stichting-onderzoek Profiling & Algoritmes.

Door Jurre Honkoop

De intenties van Cathy O’Neil bij het schrijven van Weapons of Math Destruction zijn in de introductie al direct duidelijk. ‘Welcome to the dark side of Big Data’. Dat onheil galmt door in de rest van het boek. O’Neil, een ervaren data scientist bij hedgefunds en online adverteerders, beschrijft hoe Big Data en algoritmes ongelijkheid in de kaart spelen en zo onze democratie in gevaar brengen. Relatief onschuldige wiskundige modellen kunnen onder bepaalde omstandigheden verworden tot Weapons of Math Destruction (WMD’s).

Zoals het een wiskundige betaamt, beargumenteert O’Neil dat vrijwel alle beslissingen in het leven worden genomen door interne ‘wiskundige’ modellen. Wat voor eten moet ik vanavond maken? Waar ga ik heen op vakantie? Op wie ga ik stemmen bij de volgende verkiezingen? Via een algoritme, een voorgeprogrammeerde reeks instructies, redeneert ons brein richting een antwoord op allerlei vragen. Bij het beantwoorden van deze vragen voeden we persoonlijke aannames in ons systeem, wat het model inherent subjectief maakt. Onze doelen en ideologieën worden gespiegeld door onze interne modellen. Dat is op zich geen probleem, zolang we ons bewust zijn van vooroordelen, bij onszelf en bij anderen. Pas als we deze interne besluitvormingsprocessen gaan automatiseren, ontstaan de problemen.

Taxonomie

Wat zijn de Weapons of Math Destruction, waar O’Neil over schrijft? Deze gevaarlijke versies van geautomatiseerde modellen voldoen aan drie criteria: Ze zijn onzichtbaar of ondoorzichtig; ze kunnen uitgroeien tot sectorbrede standaarden; en ze zijn oneerlijk. In de kern van haar boek zoekt O’Neil naar deze drie criteria in modellen in onder meer het schoolsysteem, het rechtssysteem, ons democratisch bestel en in de zakenwereld. Zo geeft ze de schaal van het “probleem” aan .

Neem het voorbeeld van software die gebruikt wordt om criminaliteit te voorspellen, die grootschalig wordt gebruikt in de Verenigde Staten, maar inmiddels ook in Almere, Utrecht en Amsterdam.1 De software bevat modellen die op basis van misdaadstatistieken en omgevingsfactoren voorspellen waar criminaliteit zal plaatsvinden, waardoor de politie effectief kan worden ingezet op ‘gevaarlijke’ locaties. In de meeste van deze modellen zijn alle soorten misdaad van moorden tot openbare dronkenschap opgenomen, onder de assumptie dat kleinschalige ‘criminele ruis’ ook voorspelt waar grotere misdaden zullen plaatsvinden. Zeker in de Verenigde Staten blijkt geografie een effectieve proxy te zijn voor etniciteit en inkomen. Patrouilles worden door de software naar arme en etnisch diverse wijken gestuurd, waar ze misdaden vinden en registreren. De software zal de patrouilles een volgende keer op basis van deze statistieken opnieuw naar deze wijken sturen. Zo wordt het model vanzelf een selffulfilling prophecy. Armen en mensen met een andere afkomst zijn de dupe, omdat zij vaker gecontroleerd worden op basis van een aanvankelijke assumptie. Minder makkelijk te vinden misdadigers, zoals witteboordencriminelen, ontspringen de dans.

De voorspellingssoftware is ondoorzichtig; mensen kunnen de statistieken niet direct inzien en weten niet op welke proxy’s het model precies zijn conclusies baseert. Ook kan het model groeien. Hoe gedetailleerder de statistieken en hoe groter de databank, hoe specifieker politie ingezet kan worden en hoe specifieker ‘gevaar’ gedefinieerd kan worden. Op zijn beurt kunnen de databank en criminaliteitsscore dan weer gebruikt worden voor andere doeleinden. Waarom iemand aannemen uit een criminele wijk? Kunnen we van iemand uit een bepaalde wijk vragen dat hij meer verzekeringspremie betaalt? Moet een rechter met zijn straf rekening houden met de criminaliteit van de wijk waaruit de crimineel komt? O’Neil laat duidelijk zien dat dit soort modellen impliciet discriminatoir zijn en de vrijheid schaden van mensen in bepaalde wijken of straten. Etnisch profileren bij de politie is niks nieuws, maar nu het gebeurt op basis van een computermodel met honderden variabelen, vindt het plaats op een manier die niet transparant en slecht controleerbaar is. Op deze manier wordt een aanname gevalideerd door data.

Efficiëntie

WMD’s creëren voor een deel hun eigen waarheid. Ze verbeteren zichzelf niet als ze te kort door de bocht blijken te zijn, maar blijven net zo lang data binnen harken tot de data bij het verwachte beeld past. Kritiek van buitenaf komt ofwel niet tot stand, omdat mensen niet van het bestaan van het model afweten, ofwel is weinig gericht, omdat mensen de specificaties van het model niet kennen, ofwel wordt afgedaan met ‘zo werkt het model nou eenmaal’. Dit alles uit naam van efficiëntie. Andere maatschappelijke doelen, zoals eerlijkheid, zijn door middel van WMD’s lastig te behalen, omdat zo’n doel lastig kwantificeerbaar is. Productie of besparing, uitgedrukt in geld, zijn gemakkelijkere maatstaven.

Een nieuwe religie

‘Dataisme’ noemt Yuval Harari dit fenomeen in zijn boek Homo Deus: het bijna religieus geloof in het gelijk van en gebrek aan kritische bevraging van wiskundige modellen. Hij schetst een toekomst waarin niet het humanisme en daarmee het geloof in de kracht van de mens centraal staat, maar waar het dataisme, het geloof in de kracht van data, de scepter zwaait. O’Neil lijkt dit schrikbeeld te delen. Frappant dus dat ze in haar boek het menselijk aandeel in de negatieve effecten van Big Data nauwelijks benoemd.

De suggesties die O’Neil aanreikt om de wereld te “ontwapenen” zijn miniem en verzanden grotendeels in platitudes als “we moeten WMD’s overmeesteren, voordat ze ons overmeesteren”. Als er al concrete suggesties naar voren komen, zijn het suggesties die oproepen tot het veranderen van de doelen van algoritmen. Criminaliteitsscores, bijvoorbeeld, zouden niet moeten worden gebruikt voor het informeren van politiepatrouilles, maar voor het informeren van gemeentelijke dienstverlening. De discussie wordt hier bijna semantiek: Is een algoritme dat op basis van dubieuze aannames werknemers een promotie geeft, daadwerkelijk beter dan een algoritme dat op basis van dezelfde aannames besluit een andere werknemer deze promotie niet te geven? Een vraag die hierbij te stellen is, is of het ethisch gezien uitmaakt of een algoritme iemand maakt of breekt. Statistisch twijfelachtige beoordeling speelt in de beide gevallen.

Het lijkt erop dat O’Neil zelf ook begrijpt dat het echte probleem niet de WMD’s zelf zijn, maar de mensen die ze hanteren. Haar cases suggereren dat wiskundige modellen van nature gevaarlijk zijn, terwijl het de beleidsmatige gebruikskeuze van uitkomsten van modellen, en dus het menselijk gebruik ervan is, dat grotendeels het probleem zou kunnen verhelpen. Weapons of Math Destruction lijkt hierdoor minder een aanklacht tegen technologische vooruitgang dan tegen een kapitalistische hang naar efficiëntie en winst, ten koste van rechtvaardigheid en andere sociaal-liberale waarden.

Dezelfde blinde vlek voor humanisme speelt ook op wanneer O’Neil het gebrek aan aanpassingen aan algoritmen blootlegt. Bijvoorbeeld: algoritmen worden gebruikt om risico op recidive te bepalen, en daarmee deels de lengte van een gevangenisstraf. O’Neil’s kritiek is dat het effect van de lengte van de strafmaat op recidive niet wordt meegenomen in deze modellen. Maar als een algoritme niet geprogrammeerd is om dit mee te nemen, is het moeilijk te beschouwen als een argument tegen het gebruik van algoritmes in het algemeen.

Deze meer humanistische interpretatie van het probleem van Weapons of Math Destruction maakt de toekomst iets minder fatalistisch dan de introductie van het boek doet voorkomen. In plaats van ‘the dark side of big data’ zien we de ‘the dark side of capitalism’, die door gebruik van profilering nog iets donkerder is geworden. De belofte van het boek was niet een gebalanceerde beschouwing te geven van het gebruik van algoritmen en big data. Wel beloofde het uit te leggen hoe data gelijkheid in gevaar kan brengen en onze democratie kan schaden. Deze belofte wordt niet (geheel) nagekomen. Het zijn immers mensen die aannames en ideologieën voeden aan modellen. En het zijn nog altijd mensen die bepalen waar resultaten uit modellen voor worden gebruikt.

Jurre Honkoop was stagiair bij de Mr. Hans van Mierlo Stichting en studeerde Governance, Economics & Development aan het Leiden University College.

Voetnoten 

1https://www.groene.nl/artikel/niet-alles-wat-mogelijk-is-moet-je-willen