Doneer aan de Mr. Hans van Mierlo Stichting

vrijdag 14 september 2018

Recensie: The Black Box Society

Deze boekrecensie is geschreven in het kader van het Van Mierlo Stichting-onderzoek Profiling & Algoritmes

Door: Jurre Honkoop

De metafoor van de zwarte doos duidt in de bestuurskunde een situatie aan, waarin het onduidelijk is hoe informatie die aan een systeem gevoed wordt, leidt tot uitkomsten. Ook kan de zwarte doos verwijzen naar de welbekende doos die vluchtinformatie opslaat in een vliegtuig, of dataverzameling in bredere zin. The Black Box Society, geschreven door Frank Pasquale, beargumenteert, in ietwat droge stijl, dat de opslag van data en het gebruik van algoritmen in marketing, zoekmachines en de financiële sector van de maatschappij een zwarte doos maakt. Monitoring en schimmige besluitvormingsprocedures maken steeds meer deel uit van ons leven. Het is onduidelijk welke informatie wordt verwerkt tot welke profielen en scores en hoe deze menselijk handelen beïnvloeden. De belofte, die ‘Big Data’ ooit deed, om licht te brengen in de Black Box is inmiddels veranderd in een Faustiaanse deal: zolang algoritmen ons (lijken) te dienen, stellen we geen vragen. De geheimen van de data-industrie blijven met onze instemming intact. Pasquale pleit voor het intrekken van deze toestemming zolang dataverzamelaars en -verwerkers niet transparant(er) worden.

Informatieassymetrie is krachtig. Google is de grootste zoekmachine geworden door een voorsprong in data op andere zoekmachines. Meer data betekent betere zoekresultaten, wat op zijn beurt weer meer klandizie betekent. Ook in de financiële sector kan het net een milliseconde eerder hebben van bepaalde informatie miljoenen opleveren. Genoeg reden dus voor bedrijven om hun informatie geheim te willen houden. The Black Box van ‘Big data’ wordt op drie manieren uit het licht gehouden: reële geheimhouding, door middel van wachtwoorden en dergelijken, wettelijke geheimhouding, bijvoorbeeld door geheimhoudingsplicht voor bedrijven, en verduistering, moedwillige pogingen om data geheim te houden, zelfs als er geen reële of wettelijke geheimhouding is. Een voorbeeld van deze laatste soort geheimhouding komt naar boven bij Wob-verzoeken. Aangevraagde documenten worden verstopt tussen een groot aantal nutteloze documenten, zodat de gevraagde informatie nagenoeg onvindbaar is. Ook het onnodig complex maken van openbare algoritmes of gebruiksvoorwaarden valt onder verduistering.

In het wereldbeeld van Pasquale bepalen sociale media wie we zijn, zoekmachines wat we willen en de financiële sector wat voor kansen we hebben. Als deze sectoren slagen in hun geheimhouding, stelt hij, leveren we onze fundamentele vrijheden en kansen in aan een ‘waardenvrij’ (lees: gewetenloos) kapitalistisch systeem.

Het boek is niet alleen in het bekritiseren van het gebruik van ‘waardenvrije’ algoritmes. Eerder verscheen op deze website al een recensie van het boek Weapons of Math Destruction dat uitlegt hoe lastig te controleren algoritmes, die inherent politieke keuzes maken, vooringenomen standpunten laten voortduren. Een algoritme dat iemand classificeert als risicoburger op basis van subjectieve criteria, kan ervoor zorgen dat deze burger geen baan of lening krijgt en daarmee buiten de maatschappij komt te staan. Het algoritme legitimeert en handhaaft zichzelf. Dit inzicht is op zichzelf niet nieuw. Waar het boek wel iets toevoegt is in zijn analyse van hoe dit zijn weerslag vindt op de gemeenschap als geheel en de relatie tussen overheid en business in het bijzonder.

Overheden zijn namelijk steeds meer geïnteresseerd in data voor inlichtingen en ‘dienstverlening’. Waar misdaadbestrijding vroeger veelal responsief was, proberen overheden steeds meer te anticiperen op gevaren die nog komen gaan. Opsporing wordt verruild voor inlichting. Een handig hulpmiddel bij het bemachtigen van data zijn de zogenaamde Fusion centers. Bij deze centra kunnen overheden data inkopen en samenvoegen die ze zelf niet zouden mogen verzamelen (private data). Het samenvoegen van publieke en private data is waardevol voor de overheid, maar heeft het gevaar dat de private sector zo ook, via Databrokers, publieke data zou kunnen bemachtigen. Het delen van data en het vervagen van de grens tussen bedrijven en overheden heeft dus voordelen voor de beide partijen, maar regulering van databedrijven blijft hierdoor achter. Data beïnvloeden in deze wel de overheid, maar de overheid beïnvloedt de data-industrie niet of niet voldoende.

Een doemscenario is de situatie waarin de data-industrie en financiële sector “too big to fail” en de overheid “too poor to regulate” is. Google, met een jaarlijks budget groter dan menig land, is zo groot dat het niet te controleren is, zo is de gedachte. De enige oplossing voor ongewenste profilering lijkt zelfhulp te zijn. Door technologische trucjes kan men misschien oneerlijke behandeling door algoritmen voorkomen. Feit is alleen dat slechts een klein deel van de bevolking voldoende technisch onderlegd is om dergelijke trucjes, zoals browser plugins of VPN servers, te begrijpen en gebruiken. Het alternatief is het inzetten van (technologische) middelen, die normaal voor inlichtingen gebruikt zouden worden, voor het controleren van dataverwerkers en daarmee vóór het publiek. Nodig: de overheid. Dezelfde algoritmen die normaal burgers zouden profileren kunnen op die manier gebruikt worden om andere algoritmen te profileren en controleren. Niet alle algoritmen van dataverwerkers hoeven grondig gecontroleerd te worden, alleen de algoritmen die verdachte patronen vertonen. De angst dat overheden too poor to regulate zijn lijkt dus ongegrond. Immers kunnen bestaande middelen worden aangewend en zijn er relatief weinig middelen nodig om een groot aantal algoritmen te controleren. Met de mogelijkheid tot reguleren, is er ook mogelijkheid tot het gelijk maken van het speelveld om zo te voorkomen dat spelers too big to fail worden.

Pasquale lijkt vertrouwen te hebben in het effectief en rechtvaardig gebruik van ‘Big Data’. Een wereld zonder data is volgens hem onwenselijk en onvoorstelbaar. Wel is het de bedoeling dat de overheid dataverwerkers controleert en de verwerkers zich tot op zekere hoogte moeten verantwoorden voor hun datagebruik. Een horizontale verantwoordingsplicht. Instrumenten hiervoor zouden een data review board, registratie van herkomst en handel van data en een duidelijker wettelijk raamwerk random ‘data brokers’ zijn.

Er zijn twee kanttekeningen te plaatsen bij dit optimisme van Pasquale. Ten eerste is de vraag in hoeverre systemen van verantwoording en registratie van metadata unilateraal te realiseren zijn. Kan één land zonder grootschalige internationale samenwerking besluiten om metadataregistratie te verplichten en daarmee de werkwijze van een enorme sector ingrijpend te veranderen? Kan één land algoritmen van een internationaal opererend bedrijf effectief controleren? Om de ‘Big Data’ markt te kunnen reguleren is dus of een machtige voorloper nodig, of verregaande internationale samenwerking.

Ten tweede moet er worden geïnvesteerd in het simpel en controleerbaar maken van algoritmes en moeten politieke keuzes worden gemaakt over welke algoritmen toegestaan zouden moeten worden, voordat ze gereguleerd kunnen worden. Zeker als algoritmen zelflerend worden is de vraag of een individu de werking hiervan kan overzien en er effectief controle over kan uitoefenen. Verantwoording afleggen en verantwoordelijkheid worden dan ingewikkeld. Een systeem waarin niemand verantwoordelijk is voor een schadelijk algoritme en niemand volledig weet hoe het te verbeteren dient te worden vermeden.

Afgezien van de overweging of de data-industrie ter verantwoording te roepen en unilateraal te reguleren is, is er nog de overweging of de overheid überhaupt zo ver te krijgen is om te willen reguleren. Veel van Pasquale’s suggesties steunen op overheidsinitiatie van wetten, regels en instanties. De collusie tussen overheid en data-industrie, die hij in zijn boek beschrijft, lijkt echter aan te tonen dat de overheid lastig tot initiëren te brengen is zonder enorme druk vanuit het volk. Waar de overheid en de industrie profiteren van geheimhouding en van de donkerte van de zwarte doos ligt de bal voor verandering bij het “verlichte”, of beter, “verlichtende” volk. The Black Box Society draagt bij aan het verlichten van het volk en het creëren van druk voor verandering. Of het boek oplossingen aanlevert, die op korte termijn realiseerbaar zijn, is twijfelachtig.

Jurre Honkoop was stagiair bij de Mr. Hans van Mierlo Stichting en studeerde Governance, Economics & Development aan het Leiden University College.