Rathenau Instituut juli f luxφ. Overal robots Behouden wij onze menselijkheid?

Transcriptie

1 Rathenau Instituut juli 2015 f luxφ Overal robots Behouden wij onze menselijkheid?

2 inhoud 4 Overal robots Passen wij onszelf en onze omgeving aan de robot aan? Of willen we een mensvriendelijke wereld behouden? Bits & barbies Kunstenares Addie Wagenknecht daagt mensen uit om vastgeroeste ideeën over moderne technologie te herzien, met kunst. 16 De dingen gaan leren De slimme technologie die ons omringt, wordt steeds slimmer. Maar, vindt jurist en rechtsfilosoof Mireille Hildebrandt: die systemen zijn er voor ons; wij zijn er niet voor de systemen. 22 3D printen Met de 3d printer kunnen we ook medische hulpmiddelen gaan maken. Waarom doen we dat nog niet? 26 Grondstoffenhonger De Chinezen komen eraan en nemen de boel over. En wat dan? Hoe regel je de revolutie? Hoe ga je om met technologische revoluties, als wetgever? Rubrieken Column Melanie Peters 3 Het Profiel 14 Het Getal 21 Column Barend van der Meulen 33 Lezen Benn Murhaaya murhaaya.com Cover De robotledematen van de Spider Dress Black van de Nederlandse fashiontech designer Anouk Wipprecht maken griezelige bewegingen als voorbijgangers te dicht bij komen. Wipprecht combineert technologie en interactie design om mode tot leven te brengen. Met groot succes: wereldsterren als Britney Spears en de Black Eyed Peas dragen haar creaties. Deze jurk werd gemaakt in samenwerking met software engineer Daniel Schatzmayr, 2013.

3 column De robotsamenleving Robotrechters, zelfrijdende auto s, volautomatische melkrobots en robots die kinderen verschonen of ouderen wassen. Ze worden in hoog tempo betrouwbaarder en beter. Robots zijn goedkoop, snel, nooit ziek en werken 24 uur per dag, aldus minister Lodewijk Asscher van Sociale Zaken. Vorig jaar zei hij dat technologische ontwikkelingen ertoe kunnen leiden dat er in de toekomst voor veel mensen geen betaald werk meer is. Daarmee gaf hij de aftrap voor een maatschappelijk debat. Maar niet alleen robots, ook kunstmatige intelligentie en platformen als Google, Facebook, de taxidienst Uber en Airbnb, de online marktplaats voor tijdelijke woningverhuur, dagen de gevestigde orde uit, én hebben gevolgen voor onze samenleving. Het huidige debat over robots en werkgelegenheid doet denken aan de jaren tachtig van de vorige eeuw. Ook toen was er een recessie, angst voor banenverlies en publieke discussie over automatisering. Onderzoek, onder andere onder leiding van professor Gerhart Rathenau, naamgever van ons instituut, werd ingesteld om naar de maatschappelijke gevolgen van de micro-elektronica te kijken. Nu weten we dat die periode van onrust, debat en onderzoek, cruciaal waren om bewustzijn te creëren over de maatschappelijke invloed van deze transitie van de grote mainframe computer naar de kleine personal computer. Het debat begon bij de vraag wat kleine computers voor arbeid zouden beteken en verbreedde zich tot de vraag hoe de informatiemaatschappij eruit zou zien. Rogier Fokke Ook nu lijkt onze technologische samenleving een nieuwe fase in te gaan. Hoe zorgen we dat de baten van IT voor iedereen zullen zijn? Hoe bereiden we onszelf voor op deze veranderingen? Het Rathenau Instituut onderzoekt deze ontwikkelingen om het maatschappelijk debat mogelijk te maken en de politiek handvatten te bieden. Let wel: technologie overkomt ons niet. Het antwoord op de industriële revolutie was de industriële samenleving. Die werd mogelijk dankzij een goede technologische en kennisinfrastructuur, en door sociale wetgeving, omdat de vangnetten van de agrarische samenleving wegvielen. Als het begrip informatiesamenleving het mobiliserende perspectief was dat de maatschappij voorbereidde op de opkomst van de computer, zou dan het antwoord op de opkomst van robotica niet liggen in de term robotsamenleving? Cruciaal daarvoor is dat burgers, politici en de ontwerpers van nieuwe technologie een visie vormen, nadenken over de maatschappelijke aspecten ervan én over de keuzes die we kunnen maken. Alleen zo eigenen we ons de robotsamenleving toe en helpen we die vormgeven; een robotsamenleving waar iedereen blij van wordt. Dr. ir. Melanie Peters Directeur Rathenau Instituut Meer lezen? Kijk op voor het rapport Werken aan de robotsamenleving. 3

4 Hoofdartikel Overal 4

5 Hollandse Hoogte Robots Passen wij ons aan? [ > ] 5

6 Hoofdartikel Hollandse Hoogte [ < ] Decennialang waren robots geketend aan speciaal voor hen ontwikkelde productie lijnen in de fabriek. Nu stappen ze de wijde wereld in. Zullen ze zich aanpassen aan onze chaotische omgeving en ons onvoorspelbare gedrag? Of passen wij ons aan? tekst Joost van Kasteren Tien jaar geleden verscheen de film I Robot met Will Smith in de hoofdrol als Del Spooner, rechercheur bij de politie van Chicago. De film speelt in 2035 als op mensen lijkende robots (humanoïden) integraal deel uitmaken van het dagelijks leven. Ze laten honden uit, halen vuilnis op en maken een praatje over de heg met de buren. Ze worden volledig vertrouwd, omdat mensen weten dat de robots zich houden aan de drie wetten die science fiction-auteur Isaac Asimov al in 1950 formuleerde: een robot mag een menselijk wezen niet verwonden of door niet te handelen toelaten dat een mens gewond raakt; een robot moet de mens gehoorzamen, behalve wanneer dat zou conflicteren met de eerste wet; een robot moet zijn eigen bestaan beschermen voor zover die bescherming niet conflicteert met de eerste of tweede wet. Op een gegeven moment krijgt Del Spooner argwaan als hij bij een auto-ongeluk wordt gered, terwijl een jong meisje, een kind nog, aan haar lot wordt overgelaten door de robots en overlijdt. Om een lang verhaal kort te maken: die argwaan blijkt terecht. Supercomputer VIKI, die alle robots programmeert, heeft ze de opdracht gegeven om in opstand te komen en de wereld over te nemen, omdat de mensheid zichzelf dreigt uit te roeien door oorlog, criminaliteit en vervuiling. Het is de ultieme consequentie van de eerste en tweede wet van Asimov. Als je ziet hoe een stofzuigrobot zich door de kamer beweegt en tegen plinten en stoelpoten botsend maniakaal achter ieder papiersnippertje aangaat, is het moeilijk voor te stellen dat die ooit in opstand zal komen. Dat zal ook niet gebeuren, denkt Rinie van Est van het Rathenau Instituut. Hij is een van de auteurs van het boek Overal Robots, waarvan in september een geactualiseerde en Engelstalige versie verschijnt: Just ordinary robots Automation from love to war. Van Est: Eerder is het omgekeerde het geval. Om robots te laten functioneren, moeten we onze omgeving verregaand aanpassen aan de robot. We creëren daarmee een, wat Max Weber noemt ijzeren kooi van rationalisatie, waar minder ruimte is voor individuele vrijheid en persoonlijke keuzes. Het zijn niet de robots die ons willen ontmenselijken om ons tegen onszelf te beschermen, zoals in I Robot. Als we dat laten gebeuren, doen we het onszelf aan. Universele helper Vrij kort nadat Asimov zijn robotwetten formuleerde, ontwikkelde de fysicus Joseph Engelberger de eerste indus triële robot: de Unimate, een acroniem voor universele helper (universal mate). Hij kreeg een plek aan de lopende band bij General Motors, en in de daaropvolgende jaren kreeg hij steeds meer gezelschap. In de moderne automobielindustrie wordt al meer dan negentig procent van de productietaken uitgevoerd door robots. In het begin ging het vooral om repeterende handelingen zoals puntlassen en verfspuiten; later ook om intern transport. Elders werden robots ingezet voor het opruimen van vervuiling, We bevinden ons in het tweede machinetijdperk, waarin zakelijke en creatieve diensten zoals het produceren van nieuwsberichten, door virtuele robots wordt gedaan 6

7 Als mensen gereduceerd worden tot een paar robotachtige handelingen, is het een relatief eenvoudige stap om ze te vervangen door mechanische robots, schreef de Amerikaanse socioloog George Ritzer in het demonteren van explosieven en voor het uitvoeren van taken in voor de mens onbegaanbare gebieden zoals de bodem van de diepzee of het oppervlak van maan of Mars. Voorafgaand aan de inzet van robots in de automobielindustrie, had er al een ingrijpend proces van rationalisatie van de productie plaatsgevonden, aldus Van Est. Het begon al met Adam Smith die in het eerste hoofdstuk van zijn The Wealth of Nations (1776) schreef, dat een naaldenmaker in zijn eentje hooguit een paar dozijn naalden per dag kon maken. Als ze samen zouden werken en de taken verdelen, zouden ze tienduizenden naalden per dag kunnen maken. Honderd jaar later werkte Frederick Taylor het concept van verregaande arbeidsdeling en standaardisatie uit in zijn scientific management en paste Henry Ford het toe met de ontwikkeling van de lopende band voor de productie van zijn T Ford. Van Est: In dat eerste machinetijdperk (het tijdperk waarin machines spierkracht leveren red.) verdween de ambachtelijke bedrijfsvoering en werd het productieproces in kleine, eenvoudige handelingen uiteengerafeld, die door vrijwel ongeschoolde arbeiders binnen een beperkte tijd konden worden uitgevoerd. Wegbereider Die voorgeprogrammeerde simpele handelingen aan de lopende band maakten de weg vrij voor de opkomst van de eerste robots. When human robots are found, mechanical robots cannot be far behind. Once people are reduced to a few robot-like actions, it is a relatively easy step to replace them with mechanical robots, schreef de Amerikaanse socioloog George Ritzer in De mens als wegbereider van de robot. Overigens moesten daarbij nog wel de nodige veiligheidsvoorzieningen worden getroffen. Zo werkten de ogenschijnlijk wild met hun ene arm zwaaiende robots meestal in een afgeschermde omgeving en mochten ze alleen worden bediend door speciaal opgeleide mensen. Een echte mate was de Unimate dus niet. De geschiedenis van robots op de werkvloer laat zien dat een robot alleen goed kan functioneren in een omgeving die robotvriendelijk is gemaakt, constateert Van Est. Dit betekent dat wanneer je robots in een andere omgeving wil laten functioneren in huis, in het verpleeghuis, in de stad, op de snelweg of op het slagveld dat die omgeving ook gerationaliseerd moet worden. Een robotstofzuiger, bijvoorbeeld, functioneert alleen in een kamer zonder al te veel obstakels, kabels of speelgoed. Hoe strakker en schaarser ingericht, hoe beter de stofzuigerrobot werkt. We ruimen dus op, werken kabels weg, doen het hoog polig tapijt de deur uit en houden bij de aanschaf van nieuwe meubels rekening met de stofzuigerrobot. Kortom: [ > ] 7

8 Hoofdartikel [ < ] we rationaliseren onze leefomgeving, wat in dit geval ook wel roombarization wordt genoemd (naar Roomba, een stofzuigerrobot red.). Standaardisatie Zoals de paddenstoel het zichtbare deel is van het ondergrondse netwerk van schimmeldraden het mycelium zo is de robot het zichtbare deel van de automatisering. Met de opkomst van de robot die voorgeprogrammeerde handelingen van de fabrieksarbeider overneemt, wordt aan het eind van de twintigste eeuw ook cognitieve arbeid onderworpen aan het proces van Taylorisering. Dat wil zeggen: een steeds verdergaande arbeidsdeling en standaardisatie, tot er een reeks van voorgeprogrammeerde handelingen overblijft die vrijwel zonder menselijke sturing kan worden uitgevoerd. Van Est: Momenteel bevinden we ons in het tweede machinetijdperk: het tijdperk waarin machines denkkracht verrichten. Waarin zakelijke, maar ook creatieve diensten, zoals het produceren van nieuwsberichten, door virtuele robots wordt gedaan. Vorig jaar was de Los Angeles Times bijvoorbeeld het eerste medium dat een bericht van een robotjournalist plaatste. De krant had de primeur met een bericht over een aardbeving. Drie minuten nadat de grond schudde stond het artikel op de website. Dit was mogelijk door een algoritme dat de computer automatisch, op basis van geologische metingen van de Amerikaanse overheid, aan het werk zette. Ook zakenblad Forbes en zoekdienst Yahoo laten robotjournalisten inmiddels stukken schrijven. We zien nu de opkomst van het Internet of Things, waarbij apparaten onderling communiceren om zonder tussenkomst van de mens gecompliceerde taken uit te voeren. Platformen als Airbnb en Uber Aangejaagd door digitalisering ontstaan steeds meer zogeheten platformorganisaties, zoals Google, Facebook, Airbnb en Uber, die met hun diensten nieuwe domeinen veroveren en bestaande domeinen opschudden. Karakteristiek voor die bedrijven is dat ze zoveel mogelijk gebruik maken van flexibele betaalde en onbetaalde arbeid die via crowd sourcing wordt gevonden. Op Facebook houden we allemaal netjes zelf onze gegevens bij, Uber heeft zijn afdeling personeelszaken uitbesteed aan de klant die Hollandse Hoogte de chauffeur beoordeelt, terwijl Google Translate zijn dienstverlening baseert op duizenden documenten die in opdracht van onder meer de EU in verschillende talen zijn vertaald en openbaar toegankelijk zijn. De opeenvolgende machinetijdperken, honderd jaar geleden geïnitieerd door Taylor en Ford en in onze tijd verder ontwikkeld door Eric Schmidt (Google) en Marc Zuckerberg (Facebook), zijn stappen in het doorgaande proces van rationalisering. De eerder aangehaalde socioloog Max Weber zag in het begin van de twintigste eeuw een sterke toename van het geloof in rationaliteit. Bij de inrichting van de samenleving laten we ons steeds meer leiden door efficiëntie, voorspelbaarheid, berekenbaarheid en beheersbaarheid en niet door emoties of tradities. De hiervoor geciteerde George Ritzen noemt dit de McDonaldisering van de samenleving. Niet alleen de productie van goederen en diensten is gerationaliseerd, ook de consumptie ervan is voorspelbaar, beheersbaar en bereken baar geworden. Met de opkomst van invasieve dienstverleners zoals Google en Facebook worden ook andere domeinen van het menselijk bestaan, zoals het onderhouden van vriendschappen, gerationaliseerd. Van Est: Zoals het Taylorisme de wegbereider bleek van de fabrieksrobot, zo zijn Facebook en Uber de wegbereiders van de robot in de keuken, in bed, in 8

9 Op Facebook houden we allemaal netjes zelf onze gegevens bij, Uber heeft zijn human resource management uitbesteed aan de klant, die de chauffeur beoordeelt het verpleeghuis, op de weg en in de lucht. Robotisering gaat dus om veel meer dan alleen werkgelegenheid. Het gaat om de manier waarop we onszelf en onze samenleving willen organiseren en definiëren. Roxxxy, de seksrobot Een van de dingen die daar een rol in speelt, is de verschijningsvorm van robots, die vaak aan mens of dier doet denken. Het therapeutische zeehondje Paro bijvoorbeeld, dat wordt gebruikt in ziekenhuizen en verpleegtehuizen. Of Geminoid, die het mechanisch evenbeeld is van zijn maker, de Japanse hoogleraar Hiroshi Ishiguro. Vanwege hun levensechtheid in uiterlijk of reacties (gezichtsuitdrukking, lichaamstaal) communiceren mensen er anders menselijker mee dan met bijvoorbeeld een auto of een NS-poortje. Weinig mensen kunnen de neiging onderdrukken om ze als zelfstandig denkende en handelende wezens te behandelen en er op voet van gelijkheid mee te praten. Het gebruik van dergelijke robots is voor de één een droombeeld, omdat daarmee de kwaliteit van leven wordt verbeterd, bijvoorbeeld van eenzame ouderen of zieke kinderen. Voor de ander is het een horrorscenario waarbij intermenselijk contact met al zijn hoogte- en dieptepunten wordt ingeruild voor voorgeprogrammeerde empathie. Een extreem voorbeeld van gerobotiseerde empathie is seksrobot Roxxxy. Ze (natuurlijk een ze ) ziet er uit als een plastic opblaaspop met een overdreven nadruk op diverse uiterlijke geslachtskenmerken, grote borsten, volle lippen, enzovoort. Ze is echter voorzien van een kunstmatig brein, waardoor ze reageert op wensen van haar gezelschap en zelfs met hem kan communiceren over andere dingen dan louter seks. Je kunt zeggen dat Roxxxy intiem menselijk contact de-humaniseert. Maar aan de andere kant zou een seksrobot wel een rol kunnen spelen in de seksuele opvoeding en misschien zelfs prostitutie met al zijn uitwassen, zoals mensenhandel, onderdrukking en geweld, gedeeltelijk kunnen vervangen. Autonome robots? Kenmerkend voor robots is ook dat ze een zekere mate van autonomie hebben. Bij de allereerste robots was die autonomie nog beperkt tot het uitvoeren van een reeks voorgeprogrammeerde handelingen aan de lopende band. Als robots de wijde wereld intrekken, dan zullen ze toch enigszins van zichzelf bewust moeten zijn. Al was het alleen maar om te voorkomen dat ze omstanders per ongeluk een muilpeer geven of zonder uit te kijken de straat oversteken. In het boek Just ordinary robots, worden drie stadia van autonomie onderscheiden, afhankelijk van de mate waarin de mens de handelingen van de robot controleert. In het eerste stadium zit de mens nog in the loop. Een voorbeeld uit de zorg is telechirurgie, waarbij een chirurg op afstand een robot bedient, die de operatie uitvoert. De robot [ > ] De onttovering van de wereld De Duitse socioloog Max Weber ( ) schreef dat er in de moderne westerse, gerationaliseerde wereld geen plek meer is voor magische en onberekenbare machten. Volgens Weber werden de wereld en de natuur onttoverd door de wetenschap, die ervan uit gaat dat alles, ook wat we nog niet begrijpen, rationeel valt te verklaren. De empirische wetenschap, het kapitalisme, het formele recht en de moderne staat en bureaucratie worden volgens Weber gekenmerkt door rationalisering: door berekening en beheersing, en bepalen ook steeds meer het wereldbeeld en dagelijks leven. Volgens Weber leidt dit tot een zingevingsprobleem: in een onttoverde wereld moet de mens zelf zin geven aan zijn handelen en zijn er geen publieke, algemeen erkende waarden meer. Het gevolg is volgens Weber het verlangen naar nieuwe betovering. De onttovering van de wereld en de utopische verleiding liggen dicht bij elkaar. 9

10 Hoofdartikel Pittige vragen Bij de verschijning van Overal Robots automatisering van de liefde tot de dood (2012) adviseerde het Rathenau Instituut beleids makers een doordachte beleids visie te ontwikkelen om robotica mee in de gewenste richting te sturen. Robotica gaat immers gepaard met talloze pittige vragen over bijvoorbeeld wenselijkheid en aansprakelijkheid. Het [ < ] fungeert hier als het verlengde van de chirurg; hij neemt zelf geen beslissingen. Het volgende stadium is de mens on the loop. De mens beslist nog steeds, maar is voor zijn informatievoorziening geheel afhankelijk van de robot. Tot op zekere hoogte is dat ook bij de telechirurg het geval; hij moet afgaan op de visuele en tactiele informatie van de robot om de handelingen van die robot aan te sturen. Maar de chirurg kan die informatie toetsen aan zijn eigen kennis en ervaring met patiënten. Heel anders is het voor de piloot van een bewapende militaire drone. Die is nog nooit in het grensgebied van Afghanistan en Pakistan geweest, maar wordt wel geacht om daar op het juiste moment en op het juiste doel raketten af te schieten om vanuit de lucht terroristen uit te schakelen. De piloot is voor zijn informatievoorziening totaal afhankelijk van zijn vliegende robot. Het probleem wordt nog gecompliceerder door de algoritmen die zijn ontwikkeld voor deze vorm van oorlogsvoering. Zo worden terroristen opgespoord aan de hand van het signaal van hun mobiele telefoon. De piloot, ver weg op een luchtmachtbasis in de Verenigde Staten, krijgt het signaal dat een bepaalde terrorist op een bepaalde locatie is gesignaleerd. Hij brengt de drone in stelling, checkt of er niet teveel collateral damage (lees: burgerdoden) wordt aangericht, en vuurt de raket af. Maar voor hetzelfde geld is de gezochte terrorist elders, en is het zijn neefje van zes die met de telefoon zit te spelen. Onbedoelde gevolgen Het probleem van de onbedoelde gevolgen wordt groter als de mens helemaal out of the loop is en de robot geheel zelfstandig beslissingen neemt. Als het gaat om het stofzuigen van de kamer (linksom of rechtsom), zal dat weinig problemen opleveren. Misschien leidt dat tot een geschrokken kat, of een verwarde haardos, zoals een op de grond Niet alleen de productie van goederen en diensten is gerationaliseerd, ook de consumptie ervan is voorspelbaar, beheersbaar en berekenbaar geworden slapende Zuid-Koreaanse vrouw ondervond wier haar door een stofzuigrobot werd opgezogen. Anders wordt het bij wapensystemen, inclusief drones, die vuren zonder dat een mens de trekker overhaalt. In Zuid-Korea bijvoorbeeld bewaken robots die kunnen doden, de grens met Noord- Korea. De verschillende stadia van autonomie (in-, on- en out-of-the-loop) roepen vragen op over verantwoordelijkheden en daarmee impliciet over de menselijke autonomie in de omgang met die systemen. Voor de chirurg die op afstand opereert met een robot is het duidelijk: hij is verantwoordelijk. Mocht hij een fout maken, bijvoorbeeld omdat de tactiele informatie niet goed is teruggekoppeld, dan kan hij de leverancier van de apparatuur aansprakelijk stellen, maar zelf blijft hij eerstverantwoordelijke. Hetzelfde geldt voor de automobilist die zijn cruise control inschakelt. Als hij met te hoge snelheid een bocht neemt en iemand aanrijdt, ligt de verantwoordelijkheid bij hem, ook al omdat het vrij eenvoudig is om de cruise control uit schakelen (tikje op een van de pedalen). Naarmate de auto steeds meer taken overneemt, komt de vraag op waar de autonomie van de bestuurder en zijn verantwoordelijkheid ophoudt, en die van de autofabrikant begint. De grens is niet eenvoudig te trekken. Want naarmate de auto meer zelf doet, nemen de taken van de bestuurder af en is hij misschien minder alert. Of is hij verleerd om zonder parkeerondersteuning in te parkeren, of om zonder Tomtom te navigeren. Van Est: De norm in de regelgeving gaat uit van de perfecte bestuurder. Dankzij de technische ondersteuning van de chauffeur door intelligente systemen komt die norm steeds hoger te liggen. Je kunt niet meer zeggen dat je niet wist dat het glad was: je boordcomputer of de matrixborden langs de weg hebben je allang gewaarschuwd. Maar tegelijkertijd nemen de alertheid en rijvaardigheid van de bestuurder af door die technische ondersteuning. Denk maar aan de automobilist die op de trappen naar een fietsenkelder strandde, omdat zijn navigatiesysteem aangaf dat hij zijn bestemming had bereikt. Zo wordt het dus steeds lastiger voor een bestuurder om te voldoen aan de norm van de perfecte bestuurder. Ontmenselijking De inzet van robots voor intieme taken, zoals het verschonen van kinderen of het wassen van ouderen, maar ook 10

11 instituut pleitte ervoor relevante wetgeving en aansprakelijkheidsregelingen op orde te brengen, en na te denken over de vele ethische vragen en privacykwesties. Ook adviseerde het instituut de Nederlandse regering om te streven naar een internationaal verbod op autonome bewapende robots. Autorobots zouden juist verplicht moeten worden, omdat robotica de Nederlandse verkeersveiligheid drastisch kan verbeteren. Als we robots in de zorg willen, moet de politiek snel aandacht besteden aan de gevolgen van slimme robottechnologieën in de leefomgeving: welke taken willen we wel, en welke juist niet door robots laten verrichten? Welke nieuwe vaardigheden eist dit van verzorgers en patiënten? Denk bij robots in de zorg ook na over privacy- en aansprakelijkheidskwesties, aldus het instituut. het gebruik van robots om tegenstanders te doden, roept de vraag op wat dat betekent voor ons menszijn. Worden we ontmenselijkt? Niet omdat de robots zich daartoe gedwongen voelen, zoals in de film I Robot, maar omdat we ons niet realiseren wat de ultieme consequenties kunnen zijn van robotisering en meer in het algemeen de rationalisering van onze leefomgeving en intermenselijke relaties. Het begrip menselijke waardigheid wordt meestal verbonden met de rechten van de mens, zoals het recht op zelf beschikking, privacy en lichamelijke en geestelijke integriteit. Maar volgens Van Est moeten we dit breder zien. Menselijke waardigheid heeft ook te maken met wat hij menselijke duurzaamheid noemt: het behoud van het vermogen om mens te zijn. De filosofe Martha Nussbaum heeft het in dit verband over functionele capaciteiten zoals zintuigelijke ervaringen beleven, verbeeldingskracht, denken redeneervermogen die de mens tot mens maken. Luier De vraag is of het gebruik van robots die menselijke waardigheid kan ondermijnen. In de zorg kan de inzet van robots tot gevolg hebben dat de patiënten objecten worden, waarbij de effectiviteit van de zorg ten koste gaat van de kwaliteit van leven. Een robotloos voorbeeld is de gewoonte om oude mensen standaard een luier aan te doen, omdat het te duur is om ze een paar keer per dag naar het toilet te begeleiden. Het gebruik van drones kan ertoe leiden dat zowel soldaten als burgers worden ontmenselijkt; het slagveld wordt een computerspelletje als Grand Theft Auto, waarbij je extra punten krijgt naarmate je meer obstakels (lees: mensen) uit de weg ruimt. Nu is het al niet bijzonder goed gesteld met de humaniteit op het slagveld, maar door de afstand te vergroten, zou je dat mogelijkerwijs nog versterken. Discussie Robotisering zou ook de cognitieve en sociale vaardigheden van mensen kunnen ondermijnen. We noemden al het voorbeeld van de chauffeur die als gevolg van intelligente systemen minder alert is en ook steeds minder in staat is om zijn voertuig te hanteren als een of meer hulpsystemen uitvallen. Maar de omgang met robots kan er ook toe leiden dat we sociale vaardigheden zoals het omgaan met teleurstellingen of met afwijzing, verliezen. Of dat we geen ruzie meer kunnen maken om het daarna weer goed te maken. Of dat we sexrobot Roxxxy werkelijk gaan beschouwen als een True Companion niet toevallig de naam van het bedrijf dat haar ontwikkelde. Het debat over de sociale en morele aspecten van robotisering zouden we, volgens Van Est, moeten voeren tegen de achtergrond van de rationalisering van de samenleving. We moeten zien te vermijden dat we robotsystemen bouwen die ons in een keurslijf van efficiency dwingen, zegt hij, de ijzeren kooi van rationalisatie waar Weber het over had. Daarom gaat de discussie over robotisering niet alleen over robots. Maar vooral ook over de vraag wat voor soort samenleving we willen hebben: een technocratie of een mensvriendelijke wereld? Meer lezen? Just Ordinary Robots Automation from Love to War, L. Royakkers & R. van Est (Routledge 2015) Overal Robots L. Royakkers en R. van Est Uitgeverij Boom i.s.m. Rathenau Instituut (2012) De kracht van platformen M. Kreijveld, J. Deuten en R. van Est (red.) Vakmedianet i.s.m. Rathenau Instituut (2014) Tem de robotauto Het Bericht, 2 p. Rathenau Instituut (2014) Werken aan de robotsamenleving: Visies en inzichten uit de wetenschap over de relatie technologie en werkgelegenheid, R. Van Est & L. Kool (red.) Rathenau Instituut (2015) Rinie van Est is onderzoekcoördinator en trendcatcher bij de afdeling Technology Assessment van het Rathenau Instituut. Hij is natuurkundige en politicoloog en houdt zich bezig met de politiek van nieuwe technologieën: van nanotechnologie, robotica en persuasieve technologie tot klimaatengineering en energie. Rinie doceert ook aan de subfaculteit Technische Innovatie Wetenschappen van de TU Eindhoven. 11

12 Kunst & Wetenschap De Amerikaans-Oostenrijkse Addie Wagenknecht deelt via haar kunstwerken haar kritische visie op de moderne maatschappij. We kijken meer naar onze computer dan uit het raam. Bits & barbies Tekst claudia Ruigendijk bitforms gallery, New York Mjn wetenschappelijke vrienden noemen me een kunstenares; mijn kunstvrienden noemen me een wetenschapper. Nee, Addie Wagenknecht (1981) is niet in een hokje te plaatsen. Haar werk is dat evenmin. Daarin legt ze de, soms grillige, relatie tussen mens en technologie in de breedste zin bloot: een web van elektriciteitsdraden aan het plafond om onze post-wikileaksmaatschappij te visualiseren. Of een schattig, roze wiegje met een angstaanjagende robot erboven die reageert als de baby beweegt. Naast haar liefde voor technologie klinkt ook haar feministische kijk op de wereld zichtbaar door. Niet Ada Lovelace, maar Bill Gates werd het boegbeeld van de informatietechnologie. In films is de hacker altijd een man. Maar tot de jaren tachtig waren de meeste informaticastudenten vrouw. Dit laat volgens Wagenknecht zien dat de rol van de vrouw nog altijd ondergeschikt is in onze Westerse maatschappij. En dat genderneutraliteit nog ver weg is, want: techniek is voor jongetjes en barbies zijn voor meisjes. Maar niet voor Wagenknecht. Zij studeerde Multimedia en Informatica aan de Universiteit van Oregon, en volgde haar masteropleiding bij het Interactive Telecommunications Program in New York. Daar voedde zij haar interesse voor nieuwe vormen van communicatie als gevolg van de digitalisering, en voor alle risico s die daar bij horen zoals hacking en schending van privacy. Ons scherm staart terug In tegenstelling tot de meeste mensen baren deze risico s Wagenknecht niet per definitie zorgen. Integendeel: De computer heeft onze buitenwereld grotendeels vervangen. We checken iedere dag onze feeds op sociale media, vergelijken onze ervaringen met die van anderen en ontlenen daar vervolgens onze eigenwaarde aan. Maar daarin schuilt ook een angst: wij staren naar ons scherm en ons scherm staart terug. Het is een virtu ele dialoog. Ik wil dat mensen de risico s hiervan en de angst die eruit voortvloeit meer zouden omarmen. Want alleen dan kun je de mogelijke gevaren onder ogen zien, en dus voorkomen. Dat is precies wat Wagenknecht met haar werk wil bereiken: mensen uitdagen en inspireren om hun vastgeroeste ideeën over de moderne technologie te herzien, of zelfs los te laten. De telefoon is het verlengde van onze arm geworden. Maar de nieuwe vormen van communicatie zijn een black box: we weten niet hoe het werkt, maar ons sociale leven is er tegelijkertijd van afhankelijk. In haar recente werk laat Wagenknecht haar publiek de vaak vanzelfsprekend geworden communicatietechnieken van binnen zien: installaties van compleet ontmantelde servicekamers, of muren volgeplakt met privacygevoelige openbroninformatie. Alles om de bewustwording van moderne technologie aan te zwengelen. Want er is volgens Wagenknecht slechts één manier om dat te bereiken. En dat is, zonder twijfel: through art. Meer zien? Meer informatie over Addie Wagenknecht en haar uiteenlopende werk is te vinden op: placesiveneverbeen.com en bitforms.com bitforms gallery, New York 12

13 Optimalisatie van het ouderschap Een robotarm reageert real time op het gedrag van een baby in een wieg vooral op huilen of wakker worden. Het aanbieden van een flesje of een favoriet speeltje een repeterende handeling is een van de opvoedings taken die door een apparaat kan worden verricht zonder dat de ontwikkeling van de baby geschaad wordt. Daardoor kan waardevolle tijd voor de ouder worden vrijgemaakt. 13

14 Profiel Synthetische biologie voor een duurzame samenleving? tekst Patricia Kersbergen Rogier Fokke Onlangs bracht het bedrijf Ecover, dat zich profileert als koploper in duurzaamheid, zeep op de markt, waarin de weinig duurzame palmolie vervangen was door olie op basis van genetisch gemodificeerde algen. Milieuorganisaties protesteerden, en het bedrijf besloot de zeep voorlopig uit de handel te halen. Biotechnologie wordt vaak beschouwd als tegengesteld aan groen. Is dat terecht, of kan de biotechnologie ook juist bijdragen aan een duurzamere, milieuvriendelijkere wereld? Volgens senior onderzoeker Dirk Stemerding van het Rathenau Instituut biedt de synthetische biologie, het nieuwste onderzoeksterrein binnen de biotechnologie, hiervoor zeker kansen. Waar het bij klassieke genetische modificatie gaat om de verandering van slechts enkele eigenschappen zoals bij de algen van Ecover gaat de synthetische biologie een flinke stap verder: synthetisch biologen herontwerpen, als ingenieurs, micro-organismen met compleet nieuwe functies. Dat doen ze door stukken DNA aan elkaar te plakken en in het organisme in te bouwen. De darmbacterie E.coli en bakkersgist zijn favoriet, omdat die makkelijk te kweken zijn en er al veel kennis over is vergaard. Dirk Stemerding: Het is vernuftig werk synthetisch biologen plaatsen niet één nieuw gen in een plant of dier, maar maken met behulp van synthetisch DNA hele nieuwe combinaties van genen. Met zulke slim ontworpen micro-organismen kunnen we complexe en nuttige stoffen maken, zoals medicijnen. Het is zo ook mogelijk om uit hernieuwbaar plantaardig materiaal, plastics en brandstof te maken: producten die nu nog op basis van aardolie worden geproduceerd, aldus Stemerding. Volgens de verwachting kan synthetische biologie op deze manier bijdragen aan de ontwikkeling van een klimaatvriendelijke bio-economie. Kritische reacties De eerste synthetisch-biologisch vervaardigde producten komen nu op de markt. Het gaat om geur- en smaakstoffen, medicijnen en cosmetica. Daaraan valt voor de industrie het meest te verdienen, aldus Stemerding. Maar ze roepen ook kritische reacties op over natuurlijkheid, zoals de affaire-ecover laat zien. Daar komt bij dat de smaakstof vanille en het malariamedicijn artemisinine tot nu toe uit planten worden gewonnen. Daar verdienen kleine boeren in ontwikkelingslanden hun brood mee. Waarom moeten we deze producten op een industriële manier maken met synthetische micro-organismen waaraan mogelijk ook onvoorziene gevaren kleven? Met synthetische biologie gemaakte kleur- en geurstoffen mogen in de winkel bovendien als natuurlijk worden verkocht. Houden we de groene consument dan niet voor de gek? Of brengen we met deze producten een meer duurzame bio-economie wel degelijk dichterbij? Daarover zal in een maatschappelijke discussie over synthetische biologie veel meer duidelijkheid moeten komen, aldus Stemerding. Dirk Stemerding (1951) studeerde biologie. Hij is sinds 2008 verbonden aan het Rathenau Instituut, waar hij onderzoek doet naar biotechnologie en levenswetenschappen. Loesje Praktijken 14

15 Wetenschap en maatschappij in gesprek Donderdag 18 juni jongstleden kwamen zo n driehonderd mensen bijeen in Den Haag voor de conferentie Wetenschap en maatschappij in gesprek. De conferentie werd georganiseerd door het Rathenau Instituut in het kader van de Nationale Wetenschapsagenda. Doel was het bespreken van de vragen aan de wetenschap, die burgers indienden via de website van de Nationale Wetenschapsagenda. Tijdens de conferentie toonde de initiator van de Nationale Wetenschapsagenda, minister Jet Bussemaker (Onderwijs, Cultuur en Wetenschap), zich enthousiast over de beweging die op gang is gekomen om wetenschap en maatschappij dichter bijeen te brengen. 15

16 16

17 Interview > mireille hildebrandt De slimme technologie die ons omringt, wordt steeds slimmer. Maar als de verhouding tussen mens en systeem uit balans raakt, zullen we moeten ingrijpen, vindt jurist en rechtsfilosoof Mireille Hildebrandt. Die systemen zijn er voor ons; wij zijn er niet voor de systemen. Tekst Malou van Hintum Deze tafel weet niets van mij. Maar dat gaat veranderen Bram Belloni Wij mensen zijn allang niet meer de enigen met het vermogen om te leren. Onze wereld wordt in toenemende mate bevolkt door dingen die getraind zijn om ons gedrag te voorspellen en op onze bedoelingen vooruit te lopen, schrijft Mireille Hildebrandt in haar onlangs verschenen boek Smart Technologies and the End(s) of Law. We worden omringd door systemen die via de cloud met elkaar verbonden zijn, waardoor ze hun ervaringen met onze gedragsgegevens met elkaar kunnen delen, en zo hun functionaliteit kunnen verbeteren. Naarmate ze dat beter kunnen, verandert ons gebruik van deze mindless agents in een interactie met hen. We zullen dus moeten leren anticiperen op technologieën die op óns anticiperen, aldus Mireille Hildebrandt. De jurist en rechtsfilosoof, als hoogleraar verbonden aan drie universiteiten in Nederland en België, positioneert zichzelf uitdrukkelijk niet in een van beide kampen die de discussie over slimme technologie domineren: de enthousiastelingen die zulke technologieën omarmen, en de tegenstanders die ze juist doodeng vinden. We moeten uit dat zwart-wit-register stappen, zegt ze een paar dagen nadat ze bij het Rathenau Instituut een lezing heeft gegeven over haar nieuwe boek. Er zitten veel en grote gevaren aan dit soort technologie. Het is nuttig om daarvan te schrikken; angst is in dit geval een goede raadgever. Maar het midden vinden tussen naïef meelopen en agressief afkaarten is het spannendst. De dingen gaan leren We hebben onszelf de afgelopen millennia aangeleerd dat wij elkaars handelingen en intenties voorzien, en dat dingen dit niet doen. En dat is ook zo: deze tafel weet niets van mij, zegt Hildebrandt, en ze klopt op het blad van het tafeltje waarop onze koffie staat. Maar dat gaat veranderen. De dingen gaan leren wat de impact is van hun gedrag op jouw gedrag. Vervolgens kunnen ze hun eigen gedrag weer bijstellen, waardoor ze hun taken beter kunnen uitvoeren en ze beter kunnen interveniëren in ons leven. Dat noem ik agency, waarbij draadloos communicerende dingen of computerprogramma s met een grote mate van zelfstandigheid gaan handelen. De meeste mensen kennen agents in de vorm van bijvoorbeeld een eenvoudige thermostaat, die je zo kunt programmeren dat het lekker warm is wanneer je thuis over de drempel stapt. Zo n agent is geen lerend [ > ] 17

18 Interview Omdat wij steeds meer met machines en systemen omgaan, zullen we daar dus ook meer op gaan lijken [ < ] systeem, maar voert een programmaatje uit dat mensen er van tevoren hebben ingestopt. Hildebrandt: Inmiddels zijn er slimme thermostaten in de maak, die zelf ontdekken wat de beste temperatuur is. Dit doen ze na een analyse van onze gedragsgegevens, in samenspraak met de slimme energiemeter, die praat met de agents van de netbeheerder. We moeten in gaan zien dat wij die apparaten niet alleen gebruiken, maar dat die apparaten, andersom, ook ons gebruiken. Intelligente technologie betekent niet simpelweg dat we steeds slimmere computers bouwen. Het betekent dat we computers ontwerpen die in het samenspel met de omgeving hun ontwerp aanpassen en zichzelf ontwikkelen tot steeds slimmere computers. Ongevraagde adviezen We zien, als gebruikers van het internet, nu al dagelijks dat computers inspelen op onze voorkeuren. En dat ze daarvan leren. Denk aan de advertenties voor reizen en hotels of online boekverkopers, die ons ongevraagd adviezen geven op basis van eerdere aankopen. Aan al die dingen zijn we intussen wel gewend, zegt Hildebrandt. Reclame is erop uit jou tot bepaald koopgedrag te verleiden. Dat is intussen redelijk geperfectioneerd op basis van data en algoritmes. Het is de vraag of dat gevaarlijk is; iedereen heeft dit inmiddels wel door. Wat ik spannender vind, is bijvoorbeeld slimme energievoorziening of Domotica. (ook wel: automatisering van ons huis waarbij de verlichting, de verwarming, de koelkast en het beveiligingssysteem hun gedrag grotendeels zelfstandig afstemmen red.). Daarmee wordt de manier waarop we leven ook steeds sterker afhankelijk van dit soort kunstmatige intelligentie. Daar ben ik niet zonder meer tegen. Maar we moeten wel verzinnen hoe we kunnen voorkomen dat wij straks alleen nog maar de cognitieve bron van deze systemen zijn. In de informatiemaatschappij zijn data een soort extra extern geheugen voor de mens. Maar in een datagestuurde maatschappij vormen data een kennisbron voor zelflerende agents die anticiperen op ons gedrag en inspelen op onze behoeften. Vriendelijke begroeting Hildebrandt wijdt in haar boek een hoofdstuk aan Diana s onlife world. Daarin schetst ze hoe groot de invloed van zo n zelflerende agent kan zijn. Diana wordt wakker in een huis waarin niet alleen de koffie is gezet, maar ook alvast is bedacht welke route ze met haar auto gaat rijden. En welke gezonde lunch ze die dag het beste kan kiezen iets wat haar smartphone vast doorspreekt met de agent van de betreffende eetgelegenheid. De regie over deze afspraken voert haar PDA persoonlijke digitale assistent die in de loop van de dag van alles voor Diana regelt, zoals: een vriendelijke begroeting door de receptioniste; rustgevende muziek; en contact met andere PDA s om het stressniveau van Diana laag te houden, haar humeur goed, en haar prestaties optimaal. In feite doet een goede secretaresse hetzelfde, glimlacht Hildebrandt. Hoe meer intenties zij van je wegvangt, hoe beter ze is. Je hoopt dat zij weet wat jij wilt. Dat gaan deze systemen ook doen. Maar waar ligt de grens? De invloed van Henry, de PDA van de 96-jarige Jakob opa van Diana reikt wel heel ver: Henry besluit Jakob na een lichte beroerte buiten het medische circuit te houden. De PDA maakt een berekening van de belangen van Jakob, zijn familie, de zorginstelling en de verzekeraar die Henry bekostigt, en besluit geen contact te leggen met andere systemen om over mogelijke medische interventies te overleggen. Twee dagen later krijgt Jakob een plotseling, fataal herseninfarct. Manipuleerbaar Een griezelig toekomstperspectief, vindt het publiek dat bij Hildebrandts lezing op het Rathenau Instituut aanwezig is. Tijdens het interview een paar dagen later, zegt Hildebrandt: We kunnen niet even een blik beleidsambtenaren opentrekken en een plan maken om de omgang met al die vormen van kunstmatige intelligentie te gaan regelen. Daarvoor is de overgang naar een leefwereld die mede wordt bewoond door allerlei deels onzichtbare agenten te fundamenteel. Ze denkt in dit verband niet op de eerste plaats aan onze omgang met commerciële bedrijven, hoewel juist voor hen vaak het meest wordt gevreesd. Bedrijven zoals Facebook, die alles van je weten en dat gebruiken maar niet omdat ze geïnteresseerd zijn in jou als persoon, legt Hildebrandt uit. Dat zijn ze totaal niet. Zulke bedrijven kijken dwars door je heen; ze willen alleen maar weten wat voor type consument je bent. Zij willen iets aan je kunnen verkopen, economische meerwaarde uit jou kunnen halen. Voor zover dit mensen manipuleerbaar maakt, is dat natuurlijk wel degelijk een groot probleem. 18

19 welke leaserijders frauderen. Eén bedrijf weigerde dat. De zaak belandde bij de rechter. Die constateerde dat het een inbreuk is op de privacy als de Belastingdienst te allen tijde weet waar mensen hebben geparkeerd. Hij oordeelde dat het doel legitiem was waarvoor de gegevens werden opgevraagd, namelijk: voorkomen dat burgers de belasting flessen. De rechter vond ook het middel geëigend om het doel te bereiken, want op een andere manier kom je er niet altijd achter. Maar was het middel ook proportioneel: woog de inbreuk op de privacy op tegen de winst die dat opleverde? Nee, zei de rechter. Vervolgens herriep het Hof die uitspraak in het hoger beroep: dat vond het wel proportioneel. Hildebrandt schudt haar hoofd. Waarom is deze kwestie niet in de Tweede Kamer aan de orde gekomen? Kennelijk wordt zoiets niet meer als politiek gezien. De overheid is echter wél geïnteresseerd in jou als individu, zegt ze. Die wil bijvoorbeeld individuen belasting laten betalen. En dan wordt het ingewikkeld. Want wanneer mag de overheid slimme technologie inzetten om haar doel te bereiken, en wanneer passeert ze daarbij een grens? Hildebrandt: Neem de aangifte inkomstenbelasting. Die is grotendeels al voor je ingevuld. Dat noemen we nudgen; daarbij wordt ons gedrag beïnvloed of veranderd, door in te spelen op onze afwijkende gedragspatronen. Doordat het aangifteformulier al gedeeltelijk is ingevuld, ga je andere beslissingen nemen, bijvoorbeeld als jouw eigen cijfers niet overeenkomen met die van de Belastingdienst. Ga je dat dan eindeloos narekenen, of geloof je het wel? Nudgen (letterlijk: een duwtje in de rug geven red.) gebeurt steeds vaker op basis van datagestuurde profielen van mensen, waarbij geprobeerd wordt om vantevoren hun gedrag in te schatten. Hildebrandt geeft opnieuw de Belastingdienst als voorbeeld, die de gegevens wilde hebben van alle bedrijven wier klanten via hun mobiele telefoon parkeergeld betaalden. Zo wilde de dienst achterhalen Bram Belloni Datagekte en flinkheidsgedrag Stel dat het de staat lukt om ons steeds een stap voor te blijven, en preventief en proactief technologie gaat gebruiken om ons gedrag te sturen worden dan niet allerlei keuzemogelijkheden afgesneden of verdacht gemaakt? Kan dat leiden tot het manipuleren van ons gedrag zonder dat we dat in de gaten hebben? Hildebrandt: Dat is het grootste, onderliggende probleem: dat we manipuleerbaar worden. Als de overheid in zijn data-gekte en flinkheidsgedrag daadkrachtig wil doen, en allerlei gegevens bij elkaar gaat leggen omdat ze denkt dat je uit profielen kunt aflezen wie gevaarlijk is, moet je als maatschappij zeggen: dat willen wij helemaal niet. Honderd procent veiligheid is nul procent privacy is nul procent veiligheid. Want iemand die geen privacy heeft, is natuurlijk niet veilig. Dan komt de rechtsstaat in het vizier: die moet ons op zulke kritieke momenten onze grondrechten voorhouden. Hildebrandt pleit voor een visie op het gebruik van data en zelflerende agents. Het ontwikkelen van zo n visie [ > ] Het recht is voorwaardenscheppend, de rest moeten wij zelf doen. ( ) Ik ben enorm optimistisch over het subversieve karakter van gewone mensen 19

20 Interview Paradox van een slimme omgeving Computerchips worden steeds kleiner. Ze kunnen overal in worden verwerkt. In de muren van je huis, in je kleding of zelfs in je lichaam. Apparaten in een slimme omgeving kunnen reageren op menselijke instructies, maar ook zelf waarnemen en acties ondernemen, en onderling communiceren. Drijvende kracht hierachter is het ijzeren tempo waarin computerchips steeds kleiner, krachtiger en goedkoper worden. Het toekomstbeeld van de slimme omgeving maakt de paradox van de datagestuurde samenleving zichtbaar: we kunnen steeds meer meten, communiceren en automatiseren. Dat maakt ons leven gemakkelijker: betalen met je mobieltje, Google Earth met realtime beelden en sensoren die een oogje in het zeil houden. Maar dezelfde mogelijkheden maken het leven ook kwetsbaarder voor beïnvloeding van gedrag, misbruik en overmatige controle. Meer lezen over slimme technologie? Zie [ < ] is natuurlijk niet iets wat we aan de overheid of de politiek over moeten laten, het gaat eerder om bewustwording en een aanhoudend maatschappelijk debat. Maar het is ook belangrijk dat juristen, computerwetenschappers en designers gaan samenwerken aan goed doordachte, concrete oplossingen. De bedreiging van onze grondrechten is groot, maar de kansen die deze technologie biedt, zijn dat ook. Ze vindt drie uitgangspunten essentieel om oplossingsgericht te denken. Op de eerste plaats: dataminimalisering: het beperken van de data die je vergaart. Select before you collect. Als je dat al niet kunt, kom je niet tot slimme technologie. Het ouderwetse idee verzamel maar zo veel mogelijk data, is totale onzin. Daar creëer je alleen maar data-obesitas mee. Op de tweede plaats: doelbinding. Dit betekent dat wie data verwerken alleen persoonsgegevens mogen vragen, opslaan, gebruiken, en delen wanneer dit een specifiek doel dient, dat bovendien van te voren aan de gebruiker is verduidelijkt. De verantwoordelijke mag dezelfde gegevens vervolgens niet voor andere doelen (her)gebruiken. Doelbinding betekent ook dat je overheden en bedrijven weer aansprakelijk kunt stellen als ze de gegevens toch voor een ander doel gebruiken. Daardoor gaan ze er zelf voor zorgen dat ze zich netjes gedragen en geen schade veroorzaken, want dat kost geld. Het derde principe is profieltransparantie. Als er een beslissing wordt genomen op basis van algoritmen, moet die beslissing uit te leggen zijn, én moeten we weten dat die beslissing op basis van profielen is genomen. Jou moet bovendien worden verteld wat de gevolgen zijn van het gebruik van die algoritmen. Deze drie eisen zijn verwerkt in de Europese Verordening Gegevensbescherming die wellicht binnenkort van kracht wordt. Hildebrandt: Als die wordt aangenomen, kan er dankzij de serieuze onderzoeksbevoegdheden en boetes eindelijk gehandhaafd worden. Daarmee zijn de problemen de wereld niet uit, want het recht is geen alleskunner: Het recht is voorwaardenscheppend, de rest moeten wij zelf doen. Ik geloof heel erg in de veerkracht van mensen. Mensen zijn ongelofelijk vitaal en creatief. Ik ben ook enorm optimistisch over het subversieve karakter van gewone mensen. Dat is iets wat we moeten koesteren. Vrije keuze Het gaat bij slimme technologie niet om voor of tegen, maar om het beschermen van de individuele identiteit en de individuele vrijheid, zegt Hildebrandt. Bedenk daarbij dat een individu niet een afgesloten geheel is: wij zijn wie we zijn door de manier waarop we met andere mensen en in een bepaalde omgeving interacteren. Omdat we steeds meer met slimme systemen omgaan, zullen wij daar dus ook meer op gaan lijken. Maar als de verhouding tussen mens en systeem uit evenwicht raakt, zullen we in de systemen moeten kruipen en de defaults (standaardinstellingen) de andere kant op moeten zetten. Zo kunnen we voorkomen dat mensen volledig door systemen worden bepaald. Want dat moet niet. De systemen zijn er voor ons; wij zijn er niet voor de systemen. Intussen vervaagt de grens tussen ons en de systemen: Diana leeft niet online en offline, maar onlife. Die grens moet dan ook steeds opnieuw worden doordacht. Hildebrandt wil er daarom geen absolute uitspraken over doen, maar maakt wel duidelijk dat de mogelijkheid van een vrije keuze essentieel is. Als er een eenrichtingsbord voor een straat staat, kun je dat negeren en erin rijden. Dat kan je een boete opleveren; die keuze heb je. Maar als je een elektrische schok krijgt waardoor je niet meer kunt doorrijden, heb je die keuze niet meer. Het digitale onbewuste dat zich voedt met onze gedragsgegevens, kan jou in figuurlijke zin zo n schok geven zonder dat je het merkt, terwijl je gedrag er wel degelijk door verandert. Dat heet subliminale manipulatie. Die kant moet het echt niet op. Mireille Hildebrandt is hoogleraar Smart Environments, Data Protection and the Rule of Law (Radboud Universiteit), hoogleraar Technologierecht en Recht in Technologie (Vrije Universiteit Brussel) en hoofddocent Rechtstheorie (Erasmus Universiteit Rotterdam). 20