Algoritmes in de rechtspraak. Wat artificiële intelligentie kan betekenen voor de rechtspraak

Transcriptie

1 rechtstreeks 2019 nr 2 Algoritmes in de rechtspraak. Wat artificiële intelligentie kan betekenen voor de rechtspraak

2

3 Algoritmes in de rechtspraak. Wat artificiële intelligentie kan betekenen voor de rechtspraak

4 rechtstreeks 2/2019 Colofon Rechtstreeks is een periodiek voor de Rechtspraak en richt zich op de praktijk en de ontwikkeling van de rechtspraak in Nederland. Het tijdschrift, verspreid door de Raad voor de rechtspraak, stelt zich ten doel wetenschappelijke inzichten en bijdragen aan het publieke debat over de rechtspraak ter kennis te brengen van allen die beroepshalve bij de rechtspraak betrokken zijn. Opname in Rechtstreeks betekent niet dat de inhoud het standpunt van de Raad voor de rechtspraak weergeeft. Redactie Prof. dr. M. (Mirko) Noordegraaf Hoogleraar publiek management, Bestuurs- en Organisatiewetenschap (USBO), Universiteit Utrecht Mr. C.E. (Edgar) du Perron Raadsheer Hoge Raad en hoogleraar civiel recht, Universiteit van Amsterdam Dr. S. (Suzan) Verberk Adviseur wetenschappelijk onderzoek, Raad voor de rechtspraak Redactieraad Prof. mr. T. Barkhuysen Prof. mr. Y. Buruma Prof. dr. J.G. van Erp Prof. mr. J.H. Gerards Prof. mr. N.J.H. Huls Prof. mr. M.A. Loth Prof. dr. D.J.B. de Wolff Redactieadres Redactie Rechtstreeks Raad voor de rechtspraak Afd. Ontwikkeling Postbus LP Den Haag Uitgever Sdu Uitgevers bv, Den Haag Abonnementen Rechtstreeks wordt gratis toegezonden aan hen die tot de doelgroep behoren. Wie meent voor toezending in aanmerking te komen wordt verzocht zijn naam, postadres en functie kenbaar te maken aan het secretariaat van Rechtstreeks Adresmutaties Sdu Klantenservice Postbus EA Den Haag tel of via: Retouren Bij onjuiste adressering verzoeken wij u gebruik te maken van de adresdrager en daarop de reden van retournering aan te geven. Staat der Nederlanden (Raad voor de rechtspraak) Niets uit deze uitgave mag worden verveelvoudigd, in een voor anderen toegankelijk gegevensbestand worden opgeslagen of worden openbaar gemaakt zonder voorafgaande schriftelijke toestemming van de Raad voor de rechtspraak. De toestemming wordt hierbij verleend voor het verveelvoudigen, in een gegevensbestand toegankelijk maken of openbaar maken waarvoor geen geldelijke of andere tegenprestatie wordt gevraagd en ontvangen en waarbij deze uitgave als bron wordt vermeld. Oplage 4450 exemplaren Illustratie omslag whitemocca/shutterstock ISSN

5 Inhoud rechtstreeks 2/2019 Inhoud Redactioneel / 5 Over de auteurs / 9 CColun Van frames naar feiten. Zorgvuldige vernieuwing van Rechtspraak / 12 Margreet Ahsmann VVerkening Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! / 16 Verslag van de lezing van Corien Prins VVerkening Artificiële intelligentie in de praktijk / 26 Verslag van de lezing van Floris Bex VVerkening Zijn dit de langetermijneffecten van algoritmen? / 35 Ashley Karsemeijer AAnalse Hoe expertsystemen de rechtspraak kunnen helpen / 39 Evert Verhulp en Rachel Rietveld AAnalse Een introductie op de robotrechter / 46 Stefan Philipsen & Erlis Themeli AAnalse Kan artificiële intelligentie de rechtspraak betoveren? / 50 Manuella van der Put Oganisatie Datagedreven rechtspraak? Het kan. Maar hoe? / 61 Gijs van Schouwenburg en Jos Smits Oganisatie Tussen utopie en dystopie: hoe professionals artificiële intelligentie actief (kunnen) vormgeven / 70 Jan-Luuk Hoff en Stephan Grimmelikhuijsen ezersreactie L MER vergt meer discussie / 75 Albert Klijn 3

6

7 Redactioneel rechtstreeks 2/2019 Redactioneel Voor Rechtstreeks is 2019 het jaar van innovatie. In het vorige nummer (1) hebben we uitgebreid aandacht besteed aan rechterlijke en organisatorische innovaties om maatschappelijke effectieve rechtspraak (MER) te bevorderen. Daar komen we via een uitgebreide lezersreactie aan het einde van dit nummer overigens nog op terug. In dit huidige nummer (2) besteden we vooral aandacht aan technologische innovaties, met nadruk op big data, machine learning en artificiële intelligentie. En in het volgende nummer (3) zullen we aandacht besteden aan juridische innovaties door innoverende hoven centraal te stellen. Nu vooral technologie en artificiële intelligentie (AI) dus. De aanleiding is een door voormalig redactielid Dolf van Harinxma thoe Slooten georganiseerde bijeenkomst op het hof Amsterdam over rechtspraak en AI (in januari 2019). Corien Prins (WRR), Floris Bex (UU en UvT) en Manuella van der Put (rechter en UvT) hielden daar inleidingen voor een gehoor van raadsheren en rechters (en enkele externe genodigden). Die vormen de basis voor dit nummer. Verderop vindt u bewerkingen van hun reflecties over de opkomst, betekenis en effecten van AI in de rechtspraak. In het eerste deel staan de verkennende inleidingen van Prins en Bex centraal, met een reactie van Ashley Karsemeijer, juridisch medewerker bij het hof Amsterdam, een van de aanwezigen op de genoemde bijeenkomst. Zij tonen de diverse facetten van AI, waarbij ze de opkomst ervan historisch duiden, ook buiten de rechtspraak kijken, en een caleidoscopisch beeld schetsen van toepassingen, vragen en dilemma s. Het tweede deel is meer analyserend, met een wetenschappelijke beschouwing van Evert Verhulp en Rachel Rietveld, met nadruk op expertsystemen die de rechtspraak kunnen ondersteunen. Stefan Philipsen en Erlis Themeli (UU en EUR) analyseren vooral de veelbesproken robotrechter, die de rechter wel eens zou kunnen gaan vervangen. Manuella van der Put geeft aan hoe wetenschappelijk onderzoek naar AI en rechtspraak inclusief robotrechters eruit kan zien. In het derde deel, meer bestuurlijk en organisatorisch, maken Gijs van Schouwenburg en Jos Smits (Rvdr) duidelijk hoe de rechtspraak wat big data en AI betreft bij de tijd kan worden gebracht, en wat de institutionele randvoorwaarden daarvoor zijn. Jan- Luuk Hoff (UU en RVS) en Stephan Grimmelikhuijsen (UU) staan in hun opiniërende bijdrage stil bij de wijze waarop de rechtspraak het beste kan reageren op de niet te stoppen stroom aan datagedreven innovaties. Die innovaties worden vaak ofwel als heel positief en kansrijk geduid, of als heel 5

8 rechtstreeks 2/2019 Redactioneel negatief en bedreigend. Zij geven evenwel aan dat de rechtspraak de uitwerking voor een belangrijk deel zelf in de hand heeft. Wat al met al opdoemt uit de diverse beschouwingen is het feit dat big data en AI een onvermijdelijke invloed gaan uitoefenen op de rechtspraak, maar dat het volstrekt onduidelijk is op welke wijzen en met welke effecten. Elk van de bijdragen is zelf zoekend, en laat zien dat we met zijn allen zoekende zijn, zowel wat definities van AI, vormen en toepassingen, als effecten betreft. Ofschoon er inmiddels de nodige ervaring is opgedaan met AI, binnen en buiten de rechtspraak, en ofschoon daar mooie verhalen over verteld worden zoals door Susskind, meest recent in Susskind & Susskind, The Future of the Professions is het onduidelijk welke AI-toepassingen relevant worden en hoe die worden gerealiseerd. Het is ook onduidelijk of de kwaliteit van rechterlijk handelen en rechtspraak toeneemt, of andere (maatschappelijke) waarden gediend worden of in het geding zijn, en of rechterlijke biases toe- of afnemen. Wat wél duidelijk is, is dat AI meerdere toepassingen kent, en niet automatisch betekent dat het werk van rechters en ondersteuners wordt overgenomen. Wat tevens duidelijk is, is dat specifieke waarden in het geding zijn, en dat we vooral oog moeten hebben voor ethische implicaties zoals discriminatie, in relatie tot de algoritmes die schuilgaan onder en achter de technologie. Wat in dat verband verder duidelijk is, is dat we dat schuilgaan onder en achter goed voor ogen moeten houden, en dat rechtspraak vooral ook informatie-intelligentie aan de dag moet leggen. Begrijpen we voldoende wat er aan het gebeuren is, en welke mechanismen de gedataficeerde rechtspraak gaan beheersen? Wat tot slot duidelijk is, is dat dit gaan beheersen relatief is. De rechtspraak, zo laten meerdere auteurs zien, heeft zélf een aandeel in de wijze waarop AI de rechtspraak gaat beïnvloeden. Dat alles levert de lessen op die we aan dit nummer overhouden: AI is rechtspraak aan het beïnvloeden, maar besef dat dit een veelvormige ontwikkeling is, met veel onduidelijkheden. Houd in de gaten dat er meerdere vormen, uitwerkingen en toepassingen denkbaar zijn. Wees je bewust van het feit dat naast juridische, allerhande ethische en maatschappelijke waarden in het geding (kunnen) zijn. Vergroot de kennis, ook binnen de rechtspraak, van big data, machine learning en AI, inclusief de achterkant daarvan. Houd goed voor ogen dat de rechtspraak in organisatorisch, bestuurlijk en institutioneel opzicht allerhande mogelijkheden heeft om de doorwerking van AI mede zelf vorm te geven. Wees alert, en actief! dus. Het nummer begint zoals gebruikelijk met een column, ditmaal van de hand van Margreet Ahsmann, vooral naar aanleiding van het einde van haar bijzonder hoogleraar- 6

9 rechtstreeks 2/2019 Redactioneel schap aan de Universiteit Leiden. In deze column staat zij stil bij het visitatierapport gerechten en toont zij zich kritisch over MER. Kritisch over deze ontwikkeling is ook de auteur van de laatste bijdrage aan dit nummer: een uitgebreide lezersreactie op ons vorige nummer, over MER, van Albert Klijn. Tot slot: dit was de laatste Rechtstreeks waaraan redactielid Dolf Harinxma toe Slooten heeft bijgedragen. Wij danken hem hartelijk voor zijn inspirerende bijdragen aan onze redactie en dit tijdschrift. Veel leesplezier! De redactie, Suzan Verberk Mirko Noordegraaf Edgar du Perron 7

10

11 rechtstreeks 2/2019 Over de auteurs Over de auteurs Margreet Ahsmann Prof. mr. M.J.A.M. Ahsmann legde op 29 maart 2019 met haar afscheidscollege haar (sinds 2011 beklede) functie van bijzonder hoogleraar Rechtspleging te Leiden en senior rechter A bij de rechtbank Den Haag neer. Tot 1996 werkte zij in de Leidse juridische faculteit als medewerker Romeins recht, vanaf 1993 als universitair hoofddocent. Toen werd zij rechter in de rechtbank Rotterdam en vervolgens lector civiel recht bij SSR. Floris Bex Prof. dr. F.J. Bex is hoogleraar bij het Tilburg Institute for Law, Society & Technology (TILT) en bekleedt daar de bijzondere leerstoel Data science in de rechtspraak die is ingesteld met steun van de rechtbank Oost-Brabant. Daarnaast is hij werkzaam bij het departement informatica bij de Universiteit van Utrecht, waar hij onder meer wetenschappelijk directeur van het Nationaal Politielab AI is. Stephan Grimmelikhuijsen Dr. S.G. Grimmelikhuijsen is als universitair hoofddocent verbonden aan het departement Bestuurs- en Organisatiewetenschap (USBO) van de Universiteit Utrecht. Zijn onderzoek richt zich op de invloed van transparantie op het vertrouwen in de rechtspraak en daarnaast op hoe nieuwe technologieën het openbaar bestuur beïnvloeden. Jan-Luuk Hoff J. Hoff MSc is promovendus bij het departement Bestuurs- en Organisatiewetenschap (USBO) van de Universiteit Utrecht en staflid van de Raad voor de Volksgezondheid & Samenleving (RVS). 9

12 rechtstreeks 2/2019 Over de auteurs Ashley Karsemeijer Mr. A.M.R. Karsemeijer doet tijdelijk onderzoek bij de Raad voor de rechtspraak naar succes- en faalfactoren bij innovatie binnen de Rechtspraak. Hiervoor heeft zij als projectsecretaris voor het landelijke programma Organisatie van kennis van de Rechtspraak gewerkt. Eerder werkte ze als senior juridisch medewerker bij het gerechtshof Amsterdam. Albert Klijn Dr. A. Klijn is, na een lange loopbaan als (hoofd)onderzoeker bij het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC, ), als wetenschappelijk adviseur werkzaam geweest bij de Raad voor de rechtspraak ( ). In die hoedanigheid was hij in 2004 initiator van het periodiek Rechtstreeks. Op dit moment is hij parttime verbonden aan SSR. Stefan Philipsen Dr. S. Philipsen is als universitair docent staatsrecht verbonden aan de Universiteit Utrecht. Hij is tevens lid van het Montaigne Centrum voor Rechtsstaat en Rechtspleging. Zijn onderzoek richt zich op verschillende aspecten van grondrechtelijke bescherming, waaronder de invloed die het gebruik van AI in de rechtspraak zal hebben op rechtsplegingsrechten. Corien Prins Prof. mr. J.E.J. Prins is voorzitter van de Wetenschappelijke Raad voor het Regeringsbeleid, hoogleraar rechten en automatisering bij het Tilburg Institute for Law, Technology, and Society (TILT) en mede-aanvrager van het NWO-zwaartekrachtprogramma AI and fairness, waarin ook de Raad van State en de rechtbank Oost-Brabant participeren. Manuella van der Put Mr. M. van der Put is senior rechter bij de rechtbank Oost-Brabant. Zij doet promotieonderzoek naar AI binnen de rechtspraak en is ook betrokken bij experimenten op dit terrein binnen de rechtbank Oost-Brabant en de Jheronimus Academy of Data Science. 10

13 rechtstreeks 2/2019 Over de auteurs Rachel Rietveld Mr. R.D. Rietveld is manager van ArbeidsmarktResearch UvA bv (magontslag.nl) en promovendus aan de UvA/TU Delft. Haar proefschrift betreft de systematisering van open normen in het recht. Haar onderzoek en dagelijkse werkzaamheden bevinden zich op het snijvlak van recht en technologie. Gijs van Schouwenburg Drs. N.G.J. Schouwenburg is organisatie-, informatie- en transitiekundige. In 2018 en begin 2019 gaf hij leiding aan het vormgeven van de Rechtspraakvisie op data. Momenteel is hij namens I-Interim Rijk werkzaam bij het ministerie van Infrastructuur en Waterstaat waar hij als programmamanager de veranderopgave naar een datagedreven I&W invulling geeft. Jos Smits Drs. J.H. Smits is organisatie- en informatiekundige en sinds februari 2019 werkzaam als strategisch adviseur bij de afdeling Strategie van de Raad voor de rechtspraak. In die rol is hij betrokken bij de uitwerking en operationalisering van de Rechtspraakvisie op data. Erlis Themeli Dr. E. Themeli is als postdoc verbonden aan de Erasmus Universiteit Rotterdam. Hij promoveerde in maart 2018 aan die universiteit op een proefschrift over de competitie van civiele rechtsstelsels in de EU. Zijn onderzoek maakt deel uit van het ERC-project Building EU Civil Justice. In zijn onderzoek besteedt hij bijzondere aandacht aan de digitalisering van rechtspraak (ejustice) en de invloed van AI op de rechtspraak. Evert Verhulp Prof. mr. E. Verhulp is hoogleraar arbeidsrecht aan de Universiteit van Amsterdam en directeur van ArbeidsmarktResearch UvA bv. Deze organisatie houdt zich bezig met de digitalisering van het recht om de toegankelijkheid daarvan te vergroten. De ontworpen expertsystemen bieden een nauwkeurige inschatting van de rechtspositie van de gebruiker. (Foto: Christiaan Krouwels.) 11

14 Van frames naar feiten. Zorgvuldige vernieuwing van Rechtspraak Margreet Ahsmann column Op 29 maart jl. heb ik mijn functie neergelegd als bijzonder hoogleraar Rechtspleging in Leiden. De dag nadat ik de tekst van mijn afscheidscollege naar de drukker had gebracht, verscheen het lang verwachte Rapport visitatie gerechten (2018) onder de titel Goede rechtspraak, sterke rechtsstaat. Gelukkig niet eerder, want ik zou er niet aan zijn ontkomen om er iets van in mijn verhaal te verwerken. 1 Het rapport loog er namelijk niet om. Pijnlijk duidelijk bleek hoe ernstig de situatie in de Rechtspraak is. Het werd dan ook onmiddellijk opgepikt door kranten en tijdschriften. Folkert Jensma schreef bijvoorbeeld in NRC Handelsblad: ( ) de rechtspraak is overvraagd, gedemoraliseerd, stagneert, en blijft maatschappelijk achter. 2 Dat je als wetenschapper en voor een rechter is dat niet veel anders op een gegeven moment geconfronteerd wordt met nieuwe inzichten hoort bij die rol. In mijn afscheidscollege zei ik daarover dat de zoektocht naar de waarheid nooit ten einde komt. Haar geldigheid duurt zolang er geen beter concept is gevonden. Ik voegde hieraan toe: De wetenschap kent, net als de rechtspraak, haar beperkingen. Het is een misvatting te denken dat zaken volledig meetbaar kunnen zijn en dat daarmee dus de werkelijkheid in kaart wordt gebracht. We dienen ons pad zoveel mogelijk te laten bepalen door de feiten, in het besef dat we niet zonder ideeën kunnen. Goed wetenschappelijk onderzoek dient te worden gekenmerkt door precisie en waarheidsgetrouwheid. Ferme uitspraken moeten goed zijn onderbouwd, juist wanneer het een kwetsbare organisatie als de Rechtspraak betreft. 1 Samenwerking Rechtswetenschap en rechtspraak: van nut naar noodzaak! (afscheidsrede Leiden), Leiden 2019, te raadplegen via Leiden Repository: Deze column is voor een deel gebaseerd op mijn afscheidscollege. 2 Het blijft slecht nieuws regenen over de rechters (13/14 april 2019). NRC Handelsblad. 12

15 column Van frames naar feiten. Zorgvuldige vernieuwing van Rechtspraak In het visitatierapport wordt het (algemeen bekende feit van) gebrek aan capaciteit en financiële nood binnen de Rechtspraak volledig onderkend, maar er wordt ook en vooral scherpe kritiek geuit op een gebrek aan leiderschap en visie bij de bestuurders, en op niet tot verandering en tot samenwerking bereid zijnde rechters. Heeft de commissie dan alle presidenten en rechters tegen een meetlat gelegd, en hoe ziet die eruit, zo vroeg ik mij af? Het is misschien een retorische vraag, maar iedere onderbouwing of verantwoording van deze boude bewering ontbreekt. En behoor ook ik tot die eigenwijze rechters? Natuurlijk herken ik elementen uit het rapport, maar ik heb er ook een ongemakkelijk gevoel bij. Welk richtinggevend beoordelingskader is toegepast? De zelfevaluaties van de gerechten lijken niet te zijn gebruikt, de gehanteerde concepten wat wordt bijvoorbeeld onder gezaghebbend leiderschap verstaan zijn slechts beperkt geëxpliciteerd. Deugt de analyse wel? Wat is oorzaak en gevolg? Het is immers lastig allerlei verborgen correlaties boven water te krijgen en de ware oorzakelijke verbanden te vinden. Een juiste analyse is relevant, want de commissie stelt zich ook als onheilsprofeet op. Als conclusie noemt zij bijvoorbeeld: Het ambt van de rechter zal aan gezag inboeten wanneer het tempo en de aard van de inspanningen en veranderingen ongewijzigd blijven (p. 38). En even verder (p. 39): Als de rechtspraak niet in staat is om de komende jaren in rap tempo te moderniseren, roept zij aantasting van de organisatorische onafhankelijkheid over zich af. Dergelijke vergaande uitspraken kunnen zich ook tegen de organisatie gaan keren. Het gevaar is niet denkbeeldig dat een minister met dit rapport in de hand zal zeggen (kernachtig geformuleerd): Wat is het een zooitje in de rechtspraak; ik ga zelf orde op zaken stellen doorzettingsmacht uitoefenen en daartoe de Wet RO wijzigen. Rapporten kunnen namelijk een eigen leven gaan leiden. Dat is het geval met een ander spraakmakend rapport: het HiiL-rapport dat in 2017 is gepubliceerd onder de titel Menselijk en rechtvaardig. Is de rechtstaat er voor de burger? 3 Ook dat rapport leest als een boodschap van een onheilsprofeet. Het toeval wil dat, wederom kort na mijn afscheid, een uiterst kritisch NJB-artikel over dit rapport is verschenen. Het is van de hand van Jan Vranken en Marnix Snel, onder de titel De civiele rechter in Nederland op de schopstoel? 4 In de 3 Barendrecht, M., Beek, K. van & Muller, S. (2017). Menselijk en rechtvaardig. Is de rechtsstaat er voor de burger? Den Haag: HiiL. 4 Nederlands Juristenblad 2019/13,

16 rechtstreeks 2/2019 Van frames naar feiten. Zorgvuldige vernieuwing van Rechtspraak openingszin van de samenvatting staat: De inktzwarte kritiek in het HiiL-rapport ( ) is tendentieus, eenzijdig en gemakzuchtig. Het goedgemotiveerde artikel slaat de bodem weg onder het nieuwe speerpunt van de Rechtspraak, de zogeheten maatschappelijk effectieve rechtspraak (MER), met de rechter als probleemoplosser. Op basis van solide en consciëntieus onderzoek komen Vranken en Snel tot de conclusie dat de stelling van HiiL dat de civiele rechtspraak een vastgelopen machine is niet overtuigt omdat zij niet spoort met nationaal en internationaal onderzoek naar tevredenheid van burgers. Bovendien maakt HiiL volgens de auteurs selectief gebruik van onderzoeksgegevens, namelijk daar waar het de onderzoekers lijkt uit te komen. De bevindingen van Vranken en Snel tonen aan hoe riskant het is zonder gedegen onderzoek ferme standpunten in te nemen. Het HiiL-rapport wordt in de Rechtspraak namelijk veelvuldig geciteerd en is richtinggevend voor het nieuwe beleid van de minister en de Raad voor de rechtspraak. Na KEI spreken we sinds 2016 van MER, met het frame Rechtspraak die ertoe doet. Wie bedenkt zoiets? Beseft men niet het gevaar van een dergelijk frame? Doet andere rechtspraak er plots niet meer toe? MER creëert een valse tegenstelling. Het dienen van het maatschappelijk belang is expliciet de taak van de rechtspraak, waardoor alle rechtspraak maatschappelijk effectief is. Toch schieten talloze pilots die uitvoering geven aan de achterliggende gedachte van MER als paddenstoelen uit de grond; het visitatierapport noemt er circa veertig. Als wetenschapper vraag ik me echter af of de aanpak wel professioneel is, net als indertijd het manco bij KEI. Enkele vragen. Wat is het nut van zoveel pilots op zoveel plekken? Zou samenhangende programmering niet verstandig zijn? Wat zijn de gevolgen van de pilots over bijvoorbeeld twee, vijf of tien jaar? Beginnen rechters niet gebiased aan het onderzoek omdat ze hun pilot heel begrijpelijk overigens zo graag willen doen slagen? Zijn de betrokken rechters geschoold in het doen van empirisch onderzoek? Rechters kunnen wel verifiëren maar kunnen ze ook problematiseren en falsifiëren? Kunnen ze dergelijk onderzoek wel goed doen naast hun overvolle rechtersprogramma? Is het beoogde doel wel meetbaar? De pilots spelen zich bovendien af in een geoptimaliseerde omgeving en zijn daarmee geabstraheerd van de werkelijkheid. En zo zijn er nog veel meer vragen te stellen, typisch de taak van de wetenschapper. 5 5 Kort na indiening van deze column (26 april 2019) verscheen Rechtstreeks 2019 nr. 1 die geheel gewijd is aan MER. 14

17 column Van frames naar feiten. Zorgvuldige vernieuwing van Rechtspraak De Rechtspraak heeft eerder al, en wel met KEI, leergeld betaald voor onvoldoende doordachte plannen. Structureel en systematisch wetenschappelijk onderzoek is noodzakelijk om de juiste feiten boven water te krijgen. De ambities van de pilots zijn te hoog. Ze miskennen voorts de belangrijke wijsheid van de stoïcijn Epictetus in zijn Encheiridion: streef slechts één doel tegelijk na, anders zul je géén van alle verwerven. Ik zou de Rechtspraak willen oproepen niet de waan van de dag te volgen met optimistische algemeenheden en zich niet beter te willen voordoen dan zij kan waarmaken. Die houding past ook niet bij de eigenheid van rechtspraak: een zoektocht naar waarheid en recht. Laat niet na uit te leggen hoe belangrijk voor de maatschappij integere rechtspraak is en ga niet mee met het mantra van de minister, in navolging van HiiL, dat juridische oplossingen vaak geen duurzame oplossingen zijn. De Rechtspraak is gebaat bij deugdelijk onderzoek en met positieve frames die de kernwaarden van betrouwbaarheid en transparantie benadrukken. Dat is de opdracht aan de rechter en dat vergt een congruente houding van de Rechtspraak. Duidelijkheid over wat de mogelijkheden én beperkingen van rechtspraak zijn, is voorwaarde voor haar geloofwaardigheid en daarmee voor haar morele gezag, haar legitimiteit dus. 15

18 rechtstreeks 2/2019 Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Verslag van de lezing van Corien Prins 1 Corien Prins begint haar lezing met een voor veel aanwezigen verrassende constatering: het hof Amsterdam heeft een Facebookpagina een aankondiging waar ze aan het eind van haar verhaal bij stil zal staan. Maar allereerst richt ze zich op de inhoudelijke kwesties die voor de Rechtspraak voorliggen nu artificiële (ofwel kunstmatige) intelligentie, kortweg AI, z n intrede doet. Definitieve antwoorden wil ze niet zozeer brengen, benadrukt ze, maar wel een advies: de Rechtspraak moet íéts met AI. Op zijn minst is dat het debat over de ontwikkelingen voeren. En voor dat debat zijn, wat Prins betreft, in ieder geval de volgende vragen te agenderen: waarom mag de Rechtspraak niet aan de ontwikkelingen voorbijgaan? En: op welke wijze kan de Rechtspraak zelf de kansen van AI benutten? Maar ook: waar moet voor de Rechtspraak de grens liggen in het toepassen van AI? En waar moet die grens liggen als toepassingen door partijen in onze samenleving worden ingezet? Kortom, wat betekenen de diverse toepassingen van AI voor de rechtsontwikkeling en rechtstoedeling? WRR over artificiële intelligentie Als aftrap eerst enkele opmerkingen over rapporten van de Wetenschappelijke Raad voor het Regeringsbeleid (WRR), het adviesorgaan waar zij voorzitter van is, die raken aan AI. De WRR publiceerde de afgelopen jaren diverse rapporten over digitalisering. Op het rapport Big Data in een vrije en veilige samenleving, opgesteld onder verantwoordelijkheid van het raadslid Ernst Hirsch Ballin, kwam het kabinet met de volgende reactie: Rechtspraak (aanbeveling 1 in 6.4.5). Het kabinet zal de Raad voor de rechtspraak verzoeken zich te oriënteren op de kennis die nodig zal zijn om rechtszaken te kunnen behandelen waarbij Big Data analyses een rol spelen en 1 Zie het redactioneel voor een beschrijving van het middagsymposium waarop Prins deze lezing hield. 16

19 verkenning Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Rechterlijke toetsing (aanbeveling 3 in 6.5). Het kabinet zal onderzoeken of uitbreiding van de mogelijkheden voor burgers en belangenorganisaties om zich voor een toetsing van Big Data toepassingen tot de rechter te wenden mogelijk en wenselijk is. Met deze mededeling van het kabinet komt direct de eerste reden in beeld waarom de Rechtspraak de opkomst van AI niet kan negeren. Heel concreet zal de Rechtspraak moeten kunnen doorgronden wat er in technologische zin gaande is. Alleen dan is in concrete zaken immers goed tot een oordeelsvorming te komen? Maar het gaat om meer dan de pure technologie alleen. Ook spelen talrijke vragen rondom publieke waarden. Publieke waarden die al dan niet in de knel komen gegeven de specifieke kenmerken van AI. De WRR kreeg in 2018 het verzoek van het kabinet om een rapport op te stellen over artificiële intelligentie en publieke waarden. Denkend over publieke waarden komen ook de instituties in beeld die een wezenlijke rol spelen in het garanderen en interpreteren van publieke waarden. Daar behoort ook de Rechtspraak toe. Immers, juist bij de rechterlijke macht liggen de verantwoordelijkheid, de opdracht en de uitdaging om mensen te beschermen op het moment dat ze bijvoorbeeld geconfronteerd worden met een in hun ogen onterechte beslissing van overheidsinstanties, zoals bijvoorbeeld de Belastingdienst, die is genomen met behulp van artificiële intelligentie. Wat is in dit geval de rechtspositie van burgers? Wat is hun bewijspositie, nu het ingewikkeld, zo niet onmogelijk zal zijn om van een AI-systeem te verlangen dat het transparant maakt hoe het betreffende besluit tot stand is gekomen. Kenmerkend voor AI-systemen is namelijk dat deze zelfstandig leren aan de hand van eerdere feedback, maar de technologie nog onvoldoende in staat is om te expliciteren hoe dit precies gebeurt. De Rechtspraak en AI Maar er zijn meer redenen waarom AI op de agenda van de Rechtspraak heeft te staan. Wereld buiten: Stappen die de (commerciële) advocatuur zet. Ontwikkelingen elders raken onherroepelijk het werk van de rechter en de positie als staatsmacht. Ontwikkelingen bij ketenpartners. Wereld binnen: Het raakt de individuele rechter, de organisatie en het instituut. Vanuit wat technologisch mogelijk is heeft de rechter een verantwoordelijkheid om zich op benutting te beraden. 17

20 rechtstreeks 2/2019 Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! De samenleving en dus de wereld rondom de Rechtspraak is volop bezig met AI. Vroeg of laat komt die ontwikkeling dus ook de rechtszaal binnen. Met andere woorden, nog los van de vraag of de Rechtspraak de technologie zelf wil toepassen: er zullen zaken voorliggen waarin de inzet van AI aan de orde is. En dan gaat het niet alleen om de zaak als zodanig. De technologie wordt ook door procespartijen en hun vertegenwoordigers benut bij de voorbereiding van bijvoorbeeld de verdediging. Illustratief zijn de stappen die de advocatuur zet. Diverse grote (internationale) kantoren en fiscale adviesbureaus nemen AI-dienstverleners in de hand. Bijvoorbeeld om analyses te laten maken op de verschillende dossiers die in hun bezit zijn, om aldus procedures zo goed mogelijk voor te bereiden. Een deel van de partijen die bij de rechter verschijnt heeft zich kortom met behulp van AI voorbereid. Voor de Rechtspraak betekent het dat ze moet begrijpen wat de betreffende AI-ondersteuning inhoudt om zaken te kunnen beoordelen. En wat het benutten van AI door procespartijen, en dat zijn vaak de grotere partijen, betekent voor het principe van equality of arms. De ontwikkelingen raken ook de individuele rechter: online is er allerhande informatie te vinden over rechters. Illustratief voor wat daarmee valt te doen zijn bijvoorbeeld de applicaties op Prins waarschuwt: dergelijke applicaties weten inmiddels onderhand meer van u dan u van uzelf. In ons land is het nog niet zo ver, maar illustratief voor deze ontwikkeling zijn toepassingen in de Verenigde Staten, waarmee een beeld valt te krijgen van de rechter die op de zaak zit. Prins laat analyses zien van een Amerikaanse rechtbank (zie figuren 1, 2 en 3). Figuur 1. Percentage zwaremisdaadzaken openstaand na een jaar. 18

21 verkenning Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Figuur 2. Gemiddeld benodigde tijd per zaak. Figuur 3. Mate van efficiëntie van rechter Peter J. Garcia. Bij LexIQ is deze informatie ook voor de Nederlandse context beschikbaar. Je kunt er gegevens kopen over doorlooptijden, proceskosten en allerhande andere data. Bij ons in Nederland is het nog niet zo ver dat je kunt shoppen naar de voor jouw kwestie best presterende rechter, maar partijen kunnen in bepaalde zaken wel voor een bepaalde rechtbank kiezen. Een belangrijke overweging volgens Prins om zelf als Rechtspraak toch ook de touwtjes in handen te houden is dat de informatie die de buitenwereld met behulp van AI over de rechtspraak produceert voor een deel niet betrouwbaar, niet volledig en soms ook gewoon 19

22 rechtstreeks 2/2019 Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! onjuist is. Illustratief zijn de analyses die worden gemaakt met behulp van de via rechtspraak.nl gepubliceerde uitspraken. Deze analyses suggereren een bepaalde betrouwbaarheid wat betreft de duiding van oordelen en overwegingen in een bepaald type zaken. Maar we weten natuurlijk allemaal dat slechts een klein deel van alle uitspraken op rechtspraak.nl wordt gepubliceerd. En daarmee zijn de analyses dus gebaseerd op een fractie van het totaal aan uitspraken. In die zin behoeven de analyses niet representatief te zijn. Het suggereert dat een gepubliceerde uitspraak een belangrijke voorbeeldzaak is, terwijl het juist een zaak is die maar één keer in de zoveel tijd voorkomt. En een heel ander type zaak, die heel vaak voorkomt, staat niet op internet. Overigens: het anonimiseren van uitspraken zal met de komst van AI ook steeds ingewikkelder worden. Het volstaat het niet langer om slechts de naam van bijvoorbeeld een gedaagde te verwijderen. Door de vernetwerking van talloze systemen en het kunnen combineren van een uitspraak met heel veel andere open data is er heel snel achter te komen om welke persoon het in een bepaalde zaak ging, ook al is diens naam verwijderd. De individuele rechter kan AI ook zelf als instrument benutten. Niet zozeer om het slimme systeem te laten beslissen. Wat Prins betreft wordt er relatief veel aandacht besteed aan de zogenaamde robotrechter, terwijl het zo ver nog lang niet is. En ten onrechte haalt de discussie over de robotrechter de aandacht weg van toepassingen die veel eerder realiteit kunnen zijn. Bijvoorbeeld toepassingen die ondersteunend en daarmee behulpzaam kunnen zijn voor de oordeelsvorming. Daar waar de duiding van een grote hoeveelheid zaken, gegeven de specifieke context van ieder van de onderscheidende zaken, voorheen veelal slechts tot de persoonlijke kennis en ervaring van een rechter behoorde, is deze duiding en analyse nu bij wijze van spreken met een druk op de knop voor velen beschikbaar. Incluis de achterliggende dossiers zijn ontelbare eerdere zaken meer inzichtelijk te maken en te analyseren op mogelijke patronen tussen zaken, de specifieke kenmerken daarvan en de uiteindelijke oordeelsvorming. Overigens: met de potentiële waarde van al deze informatie worden natuurlijk ook de vragen van wie zijn de data?, wie mag bepalen wat er wel en niet met de data gebeurt?, etc. steeds belangrijker. Dat een uitspraak afkomstig is van de rechterlijke macht wil zeker nog niet zeggen dat daarmee het eigendom van deze data bij de rechterlijke macht ligt. Het voert te ver om tijdens deze lezing op de thematiek van beschikkingsmacht en eigendom van data die de rechtspraak aangaan in te gaan, maar volgens Prins liggen hier tal van complexe vragen en afhankelijkheden van andere partijen, zoals het OM en zelfs private partijen die de ICT-systemen en databanken voor de rechterlijke macht hebben opgezet. Meer aandacht voor deze kwesties binnen de rechterlijke macht is volgens Prins absoluut nodig wil men op het data-niveau niet volstrekt afhankelijk worden van talloze andere partijen. 20

23 verkenning Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Wat zou u als rechter met AI kunnen en willen doen? Corien Prins legt de aanwezige rechters een aantal vragen voor: wilt u allerhande met behulp van AI gegenereerde kennis op uw bureau krijgen? Of juist niet en zegt u: ik blijf het gewoon net zo doen als vroeger. Gaat u ermee aan de slag puur omdat het u de helpende hand kan bieden, of gaat u zo ver dat u zegt: het is een verantwoordelijkheid van mij als rechter, dat ik, nu het instrumentarium voorhanden is, dit ook ga benutten? Is uw opvatting kortom: ik kán het niet negeren, ik vind dat we al die zaken slim moeten analyseren, patronen erin ontwaren en ons er dagelijks mee voeden? Het zijn vragen die gesteld en bediscussieerd zullen moeten worden. Als u ze niet agendeert, zal de samenleving mogelijk van u een reactie op dergelijke vragen verlangen. Zelf bekijkt Prins technologie altijd vanuit de vraag: wat is er nu precies nieuw aan de toepassing? Wat is er echt anders of wat maakt deze toepassing anders, kijkend naar het toepasselijke wettelijk kader? Vaak is de toepassing zelf niet eens zo heel nieuw, maar is het een optelsom van heel veel kenmerken van een technologie die er wél iets nieuws van maakt. Zo ook met veel AI-toepassingen: het is de combinatie van de gigantische hoeveelheid complexe data die het systeem aankan, de snelheid waarmee dat kan, en de snelheid en eenvoud waarmee de resultaten en inzichten met anderen te delen zijn. En bij AI: het betreft een systeem dat zelf leert aan de hand van de feedback die het systeem krijgt in combinatie met het feit dat het hoe en waarom van dit leerproces voor mensen niet langer inzichtelijk en dus controleerbaar is. De optelsom van kenmerken doet ook iets met de organisaties die de technologie inzetten, met hoe mensen ernaar kijken en met de twijfel onder professionals, dus ook rechters: ga ik hier nu wel of niet iets mee doen? Ook doet het iets met andere mensen die u de vraag voorleggen: waarom doe jullie hier niets mee, want het wordt veel transparanter, ook voor anderen. Corien Prins memoreert in dit verband de Rechtspraaklezing die Saskia Stuiveling in 2009 gaf. Kernpunt van haar lezing was: de rechtspraak zit op een berg aan waardevolle data, waar zij helemaal niets mee doet. Die data en vooral ook kennis daarvan is van meerwaarde voor de samenleving. Door een optelsom te maken van heel veel zaken kunnen patronen in de samenleving zichtbaar worden. In een heel vroeg stadium zou dan al bekend kunnen zijn dat een bepaalde wet op een bepaalde manier geïnterpreteerd of ontdoken wordt, of dat een bepaald deel van de samenleving in problematische situaties geraakt. De Rechtspraak beschikt over die schat aan informatie, waardevol voor de samenleving. Met big data en AI heeft de Rechtspraak een instrument in handen om in potentie aan de hand van deze informatie nieuwe kennis en inzichten te verwerven. Dit roept een wedervraag op: wíl je daar als Rechtspraak in meegaan? Want behoort het tot de taak van de Rechtspraak om ook de politiek en de samenleving te informeren over trends die in de samenleving te zien zijn? 21

24 rechtstreeks 2/2019 Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Geheel los van het antwoord op deze en andere concrete vragen: de Rechtspraak heeft zoals gezegd de discussie daarover te voeren. Om die discussie wellicht iets te kunnen structureren deelt Prins de mogelijke vragen in een drietal categorieën in. 1. Patronen in handelen openbaar bestuur en verschillen tussen bestuursorganen; bijvoorbeeld wat betreft al dan niet verlenen van vergunning: indicaties over kwaliteit openbaar bestuur aan de hand van rechtszaken; patronen kwaliteit juridische bijstand door advocatuur. 2. Beheersmatige toepassingen: inzichten in de (tijdigheid en wijze van) afhandeling van dossiers; potentiële effecten van gerichte maatregelen om doorlooptijden aan te passen; verwachte toe- of afname van zaken met de afkondiging van een nieuwe wettelijke maatregel. 3. Kwaliteitsbevordering: kenmerkende elementen in de motivering van een beslissing gerelateerd aan bepaalde (of bepaald type) rechters; patronen in zaken waarin wel of juist niet (vaker) hoger beroep blijkt te worden ingesteld kenmerken motivering, onvrede hoogte straf, etc.). De eerste categorie is: met alle beschikbare informatie is het mogelijk iets te zeggen over de samenleving, maar ook over het functioneren van het openbaar bestuur en over de kwaliteit van wetgeving. Zo is bijvoorbeeld de enorme wirwar inzichtelijk te maken in hoe gemeenten en andere publieke instanties omgaan met de Wet openbaarheid van bestuur en of ze wel of niet gehoor geven aan het verzoek om bepaalde documenten beschikbaar te stellen. Als de Rechtspraak zou willen zou ze de samenleving kunnen analyseren. Daar zitten natuurlijk heel veel haken en ogen aan en dat moet de Rechtspraak vooral ook niet willen doen. Maar wat Prins vooral duidelijk wil maken: de samenleving analyseert de Rechtspraak. Allerhande partijen pretenderen met behulp van slimme data-analyses het een en ander over de Rechtspraak te kunnen zeggen. Terecht of onterecht. Datzelfde instrument staat de Rechtspraak natuurlijk ook ter beschikking. Naast de vraag of ze dat moet willen, kost het middelen, geld en mankracht die ook elders nodig zijn. De tweede categorie betreft beheersmatige toepassingen. De Rechtspraak zou bepaalde analyses over de eigen organisatie wél kunnen uitvoeren, maar puur voor eigen intern gebruik. Ze zou bijvoorbeeld meer inzicht kunnen verwerven in doorlooptijden en wijze van afhandeling van zaken. En deze inzichten intern delen en bespreken. Dat kan natuurlijk oncomfortabel zijn, zoals de gegevens over judge Garcia en z n collega s in figuur 1. Maar wat is erop tegen deze informatie op een bepaald niveau van abstractie dus niet per indivi- 22

25 verkenning Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! duele rechter voorhanden te hebben en te bespreken? Of reikt de rechterlijke onafhankelijkheid zo ver, dat een dergelijke stap onbestaanbaar is? Maar als u het niet doet, doet de buitenwereld het wel. En in dat geval met behulp van een beperkte hoeveelheid gegevens, waarmee betrouwbaarheid twijfelachtig is. Een derde categorie van redenen om mogelijk met AI aan de slag te gaan is kwaliteitsbevordering. Dat betreft bijvoorbeeld patronen die zijn te ontwaren in bepaalde formuleringen die rechters gebruiken in de motivering van een vonnis. Een gerelateerde vraag zou kunnen zijn: wat tonen de uitspraken, de motivering, de kenmerken van de context, etc. over mogelijke redenen waarom justitiabelen wel of niet in hoger beroep gaan? Zijn er correlaties tussen zaken die iets kunnen zeggen over mogelijke redenen waarom mensen deze stap zetten? Kompas Ook voor de inzet van AI geldt: ergens ligt de grens. Prins heeft geprobeerd om een kompas te formuleren om de Rechtspraak te helpen in haar discussie wat doen we met AI. Willen we dit wel of niet gaan doen? Waarom dan wel, waarom niet? En in welke mate? Bij het kompas valt een onderscheid te maken tussen uitgangspunten die zien op 1. legitimiteit, 2. zorgvuldige omgang met data en 3. innovatie en rekenschap. Wat betreft legitimiteit: het instituut Rechtspraak staat in ieder geval voor een aantal kernwaarden. Prins noemt onafhankelijkheid, onpartijdigheid, integer zijn, transparantie en kwaliteit. Kwaliteit staat daarbij niet alleen voor de kwaliteit van de beslissing, maar ook voor de kwaliteit van de data die benut wordt. Belangrijk zijn in dit verband ook de beginselen van behoorlijke rechtspleging: wat zijn fair trial, equality of digital arms en ongelijkheidscompensatie in de 21ste eeuw? De term rechtvaardigheid zal in dit verband ook worden genoemd. Maar wat precies houdt rechtvaardigheid in een hoogtechnologische samenleving waarin gebruik wordt gemaakt van AI in? Legitimiteit wordt ook beïnvloed door de professionele standaarden die rechters hanteren. Welke zijn deze wat betreft het benutten van AI? In ieder geval geldt dat de machinerie het niet mag overnemen van de mens. Uitgangspunt zal ook moeten zijn dat data-analyses altijd expliciet geïdentificeerd en benoemd dienen te worden en daarmee ook bewust al dan niet meegenomen moeten worden in de besluitvorming en bewijsvoering. Het tweede onderdeel van het kompas, de zorgvuldige omgang met data, wordt ingevuld door natuurlijk de fundamentele rechten, waaronder persoonsgegevensbescherming. Concreet betekent dit dat verantwoording afgelegd dient te worden over het gebruik van data (doelbinding). Er moet aandacht zijn voor privacy by design, proportionaliteit en security by design. Maar behalve privacy en persoonsgegevensbescherming noemt Prins hier ook 23

26 rechtstreeks 2/2019 Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! persoonlijke autonomie, zelfbeschikking en menselijke waardigheid. Van meer praktische aard maar tegelijkertijd ook cruciaal zijn voorwaarden voor betrouwbare, veilige en integere data en datasystemen. Het laatste onderdeel van het kompas betreft de wijze waarop de innovatie met behulp van AI in gang gezet wordt. De voorkeur gaat wat Prins betreft uit naar het inzetten van pilots en daarmee het ontwikkelen van best practices, in plaats van direct de landelijke uitrol van een bepaald initiatief. Dit is met name belangrijk om ervoor te zorgen dat nog valt bij te sturen en geen onomkeerbare afhankelijkheidssituatie van AI ontstaat. Juist ook omdat transparantie en de noodzaak dat het systeem rekenschap kan afleggen nog problematisch zijn. Kwesties waar dus aandacht voor moet zijn betreffen: de werking van de gehanteerde algoritmen, de waarden die (onbewust) in het systeem mee worden genomen, de gebruikte analysemethode en de nadere weging/validering van de uitkomsten. Ten slotte vindt Prins het belangrijk dat er aandacht is voor wat ze verwachtingsmanagement noemt. Onderzoek wat rechters nodig hebben. Kijk naar de richting waarin de samenleving zich wat betreft de inzet van AI ontwikkelt. En voer een brede discussie over wat analyses níét mogen laten zien (welke correlaties, patronen, afwijkingen willen we niet in beeld krijgen). Kortom, het antwoord op welke vraag moeten we gewoon nooit willen weten? Facebook Tot slot komt Prins terug op het gebruik van Facebook door de Rechtspraak en rechters. Met de eigen pagina geeft het hof Amsterdam burgers de gelegenheid om iets van de Rechtspraak of van een zaak te vinden. Los van de vraag hoe het hof Amsterdam daarmee om wil gaan (wil het de door burgers geplaatste boodschappen wel of niet modereren en welke criteria past het hof dan toe?), is natuurlijk helder dat de geplaatste informatie ook door het Amerikaanse bedrijf Facebook wordt benut. Deze pagina wordt als het ware leeggetrokken. Vervolgens worden mensen aan de hand van de door hen geplaatste opmerkingen in hokjes en categorietjes geplaatst. Ze worden immers gecategoriseerd, getypeerd en gestereotypeerd. En die kennis wordt weer aan anderen verkocht. Bijvoorbeeld aan politieke partijen, ook in Nederland, die deze kennis weer benutten om een politieke boodschap bij een bepaald maatschappelijk georiënteerde burger onder de aandacht te brengen. Dus mensen die ooit een bericht achterlieten op de Facebookpagina van het Amsterdamse hof, kunnen aan het einde van een lange (commerciële) keten wel eens een bericht van een bepaalde politieke partij onder de aandacht gebracht krijgen. Waarom ze die boodschap krijgen, is voor hen veelal een raadsel. Prins devies: zeker als instituut met een rechtsstatelijke rol als die van een gerechtshof: wees u ervan bewust, bedenk welke processen u in feite faciliteert en wees kritisch op de inzet van dit type sociale media. 24

27 verkenning Is AI relevant voor de Rechtspraak? Op z n minst: voer de discussie! Meer weten? Corien Prins schreef samen met Bart Jan van Ettekoven het hoofdstuk Data analysis, artificial intelligence and the judiciary system in Vanessa Mak, Eric Tjong Tjin Tai & Anna Berlee (eds.), Research Handbook in Data Science and Law. Cheltenham: Edward Elgar Publishing Ook verscheen van haar hand, samen met Jurgen van der Roest, het artikel AI en de rechtspraak. Meer dan alleen de robotrechter, in het Nederlands Juristenblad 2018/

28 rechtstreeks 2/2019 Artificiële intelligentie in de praktijk Artificiële intelligentie in de praktijk Lessen uit onderzoek bij de politie Verslag van de lezing van Floris Bex 1 Floris Bex vertelt tijdens zijn lezing over wat artificiële intelligentie (AI) is en kan, en illustreert dat aan de hand van voorbeelden van zijn onderzoek bij het Nationaal Politielab Artificial Intelligence, een samenwerkingsverband van de politie, de Universiteit Utrecht en de Universiteit van Amsterdam. 2 Samen met de Landelijke Eenheid van de politie zijn hij en collegaonderzoekers bezig om AI in te zetten voor het automatisch afhandelen van aangiften door burgers. Dit zogenaamde intelligente aangiftensysteem bevat in het klein alles wat AI is en is daarom een goed voorbeeld om te laten zien hoe AI werkt en wat het wel en niet kan. Ontwikkeling artificiële intelligentie Eind jaren vijftig ontstond het idee van artificial intelligence, een term die als eerste genoemd is op een workshop in Dartmouth (VS), waar een groep wetenschappers bedacht dat ze computers moesten gaan maken die dingen zouden kunnen die voorheen voorbehouden waren aan mensen, general problem solvers. Zo werd tijdens deze eerste golf, nu de good old fashioned AI ofwel GOFAI genoemd (zie figuur 1), een programma geschreven dat van een mens kon winnen met dammen. 3 Men verkeek zich er echter op hoe lastig echte problemen waren de financiering droogde op en er brak een eerste AI-winter aan. In de jaren tachtig kwamen de expertsystemen op, systemen gebaseerd op regels die het werk van bijvoorbeeld medische of juridische experts, zelfs rechters zouden overnemen. 4 Zo ver is het niet gekomen het recht bleek veel meer te zijn dan het simpelweg toepassen van regels. Wel zijn er in deze tijd veel andere interessante concepten onderzocht 1 Zie het redactioneel voor een beschrijving van het middagsymposium waarop Bex deze lezing hield Samuel, A. L. (1959). Some studies in machine learning using the game of checkers. IBM Journal of Research and Development, 3(3), Van den Herik, H. J. (1991). Kunnen computers rechtspreken? Arnhem: Gouda Quint. 26

29 verkenning Artificiële intelligentie in de praktijk en leven de regelgebaseerde systemen voort als business rule systems, 5 waar veel grote organisaties zoals de Belastingdienst nog steeds gebruik van maken. 6 Na een tweede AI-winter is rond 2000 langzaam de machine learning boom ontstaan, waar we nu middenin zitten. Door onder andere een snelle groei van de rekenkracht van computers werd het mogelijk dat de computer zelf patronen kan leren uit grote hoeveelheden data (big data), en dat het dus geen voorgeprogrammeerde regels meer nodig heeft om intelligent gedrag te vertonen. Dat bleek al toen IBM s Watsonsysteem de kennisquiz Jeopardy won van de beste menselijke speler met kennis die het systeem van tevoren zelf geleerd had. 7 Rond 2010 kwam hier ook nog deep learning bij, machine learning algoritmen gebaseerd op kunstmatige neurale netwerken die erg goed zijn in bijvoorbeeld het herkennen van objecten op plaatjes of video s, erg belangrijk voor bijvoorbeeld zelfrijdende auto s. 8 Na het toch vaak als teleurstellend ervaren einde van juridische expertsystemen in de jaren negentig krijgt langzamerhand het juridisch veld ook weer zin in AI, getuige de groei van het legal tech veld en de vele stukken in de populaire en wetenschappelijk literatuur over robotrechters. 9 De social excitement én concern AI gaat de wereld redden óf kapotmaken zijn allebei tot ongekende hoogten gestegen. Wat is AI? Over de vraag wat artificiële intelligentie precies is breken wetenschappers en vooral filosofen al decennia hun hoofd. Door de populariteit van machine learning en deep learning wordt AI nog wel eens vereenzelvigd met deze specifieke AI-technieken. Echter is, zoals figuur 1 laat zien, AI meer dan alleen machine learning. Een goede algemene definitie die strookt met de algemene consensus onder wetenschappers wordt gegeven door de Europese 5 Von Halle, B. (2001). Business rules applied: building better systems using the business rules approach. Wiley Publishing Ferrucci, D. A. (2012). Introduction to This is Watson. IBM Journal of Research and Development, 56(3.4), Zie bijvoorbeeld LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436 voor een (technische) introductie in de deep learning en Bojarski, M., Yeres, P., Choromanska, A., Choromanski, K., Firner, B., Jackel, L., & Muller, U. (2017). Explaining how a deep neural network trained with end-to-end learning steers a car. arxiv: voor een voorbeeld van een toepassing. 9 Zie bijvoorbeeld Van den Herik in Mr., In 2030 zullen computers rechtspreken, 31 oktober 2016 (op mr-online.nl), Folkert Jensma in NRC Handelsblad, Big data kunnen ook de rechter verdringen, 28 oktober 2017, een interview met Mireille Hildebrandt, AI in law: how lawyers and scientists can avoid automated injustice, 5 december 2018 (op newsroom.unsw.edu.au), Corien Prins en Jurgen van der Roest, AI en de rechtspraak, Nederlands Juristenblad 2018/206 en Henry Prakken, Komt de robotrechter eraan?, Nederlands Juristenblad 2018/

30 rechtstreeks 2/2019 Artificiële intelligentie in de praktijk Figuur 1. De geschiedenis van AI. Bron: technologiestories.com. Commissie: systemen die intelligent gedrag vertonen door hun omgeving te analyseren en met een zekere mate van zelfstandigheid actie te ondernemen om specifieke doelstellingen te bereiken. 10 In deze laatste definitie is het bekende adagium uit de AI opgenomen: sense, reason, act. Je krijgt iets binnen via je zintuigen, je gaat erover redeneren ( wat zal ik gaan doen ) en je onderneemt actie, je neemt een beslissing of je gaat iets doen als je een robot bent. 11 Maar hoe krijgt AI in de praktijk vorm? Er zijn natuurlijk schaakcomputers en zelfrijdende auto s, maar de verwachtingen zijn vaak hoger dan de realiteit. Want AI kan heel veel, maar ook heel veel nog niet we zijn nog ver af van de artificial general intelligence, een machine die al het bekende intelligente gedrag kan vertonen. AI-systemen zijn nu veelal slimme experts die één bepaalde soort intelligent gedrag kunnen vertonen: een systeem dat kan autorijden kan bijvoorbeeld niet schaken, en de gemiddelde schaakcomputer, hoewel 10 Europese Commissie (2018, 7 december). Coordinated Plan on Artificial Intelligence. Te vinden op ec.europa.eu > English,, kies Document (English). 11 Sense, reason, act wordt ook aangeduid als o.a. sense-plan-act of sense-think-act, zie Russell, Stuart J. & Norvig, Peter (2016). Artificial intelligence: a modern approach. Pearson Education Limited voor een uitleg van de typische structuur van AI-systemen. 28

31 verkenning Artificiële intelligentie in de praktijk beter dan de sterkste grootmeesters, zal minder goed het recht kunnen toepassen dan een eerstejaars rechtenstudent. Het verder verspreiden van AI-innovaties blijkt niet eenvoudig. Er zijn heel veel bedrijfjes en universiteiten waar hard aan AI wordt gewerkt, maar haar op brede schaal verkrijgbaar maken is lastig tenzij je bijvoorbeeld Google, Facebook of het Amerikaanse ministerie van Defensie bent. Dat komt omdat echte AI werkend maken heel veel werk is. En: As soon as it works, no one calls it AI anymore. Dat zei John McCarthy, een van de mannen van het eerste uur. 12 Als een systeem een beetje werkt laat men het vallen en gaat men op zoek naar iets nieuws en spannends. Terwijl als je AI echt in de praktijk wilt brengen, je er ook na de eerste ontwikkelingsfase aan moet blijven werken. AI in de politiepraktijk Bex werkt mee aan de ontwikkeling van het intelligente aangiftesysteem van de politie, waarmee online aangiften van handelsfraude kunnen worden afgehandeld. Dit systeem zal eind 2019 in gebruik genomen worden. Het beslaat de gehele sense-reason-act-cyclus en bevat verschillende AI-technieken uit de geschiedenis van de AI. Zo wordt machine learning gebruikt voor het begrijpen van de input, de aangifte zoals die door de burger in het systeem is ingevoerd in natuurlijke taal, worden logische regels gebruikt om juridische argumenten op te bouwen en worden slimme zoekalgoritmes gebruikt om de volgende actie van het systeem te bepalen. 13 Belangrijk is dat er vier eisen gesteld worden aan zulke AI voor de politie: accuraat: zo min mogelijk fouten; transparant: uitlegbaarheid van belangrijke besluiten; aanstuurbaar: kunnen ontdekken waar fouten zitten, blijven verbeteren; efficiënt: zo min mogelijk overbodige handelingen. Bex laat zien hoe het aangiftesysteem in z n werk gaat, met als voorbeeld de aangifte van een gedupeerde die online een telefoon kocht die vervolgens niet geleverd werd (figuur 2). Wanneer iemand een aangifte bij de politie invult, kan het systeem redeneren, bijvoorbeeld: Er ontbreekt nog informatie. Waarna het systeem direct een vraag stelt om aanvullende informa- 12 Zie de in memoriam voor McCarthy in een blog van 28 november 2011 op cacm.acm.org. 13 Zie voor meer informatie over dit systeem o.a. Bex, F. J., Testerink, B., & Peters, J. (2016). A.I. for Online Criminal Complaints: From Natural Dialogues to Structured Scenarios. ECAI 2016 workshop on Artificial Intelligence for Justice (AI4J), Den Haag, augustus 2016 (pp ) en Schraagen, M., Testerink, B., Odekerken, D., & Bex, F. (2018). Argumentation-driven information extraction for online crime reports. CKIM 2018 International Workshop on Legal Data Analysis and Mining (LeDAM 2018), CEUR Workshop Proceedings. 29

32 rechtstreeks 2/2019 Artificiële intelligentie in de praktijk tie te verkrijgen. Wanneer de aangifte is voltooid, kan het systeem beslissen de aangifte in het politiesysteem op te nemen als een te onderzoeken geval van eventuele oplichting of fraude. 2. Het invullen van een aangifte in het intelligente aangiftensysteem. Het systeem begint met het lezen van de aangifte om zo de basale observaties uit een aangifte te halen. Is er betaald? Heeft de aangever een product ontvangen? Zo ja, welk product? Heeft de wederpartij het contact opeens verbroken? Dit gebeurt met behulp van tekstclassificatie, een zogenaamde supervised machine learning-techniek. Het idee hierachter is dat je het algoritme voorbeelden geeft van echte zinnen waarin observaties staan, en dat je erbij vertelt welke observaties in deze zinnen staan. In tabel 1 staan enkele voorbeelden van gelabelde zinnen. 14 Zin Betaald? Geleverd? Product Contact verbroken? Ik heb 200 betaald Ja Ik maakte niks over Nee Ik heb niets ontvangen Nee Ik kreeg de tickets binnen Ja tickets Ik hoorde niets meer van haar Ja Tabel 1. Voorbeelden van gelabelde zinnen. 14 Merk op dat voor het echte systeem honderden van zulke zinnen handmatig gelabeld moesten worden door politiemedewerkers. 30

33 verkenning Artificiële intelligentie in de praktijk Als de computer maar genoeg van dit soort voorbeelden te zien krijgt, kan het patronen gaan ontdekken en in het vervolg observaties herkennen in niet eerder geziene zinnen. Zo zal het algoritme bijvoorbeeld ontdekken dat als er betalen of overmaken in een zin staat, er dan waarschijnlijk betaald is. Tenzij er ook woorden als niks, niet of geen in de zin staan, want dan is er waarschijnlijk juist niet betaald. Als het algoritme dan bijvoorbeeld de nieuwe zinnen ik ging hem dus echt niks betalen en ik heb best veel geld betaald te zien krijgt, zal het de eerste zin correct labelen als Betaald = Nee en de tweede zin als Betaald = Ja. Maar zo n algoritme is nooit 100 procent correct. Bij een zin als ik zou hem betalen zal het wellicht aangeven dat er betaald is, terwijl dat niet zo is. Het systeem voor de politie is op het moment ongeveer 80 procent accuraat, dat wil zeggen dat 80 procent van de zinnen correct als (Niet) Betaald wordt geclassificeerd, waarmee het systeem goeddeels voldoet aan de eis dat het accuraat moet zijn. Nadat het systeem de observaties uit de input van de burger heeft gehaald (sense), gaat het proberen te beargumenteren of er mogelijk fraude heeft plaatsgevonden (reason). Het doet dit aan de hand van een beslisboom, die Bex c.s. op basis van wetgeving, jurisprudentie en expertise handmatig hebben geconstrueerd. 15 Deze beslisboom is altijd te bekijken en te veranderen (de eisen transparant en aanstuurbaar). Figuur 3 laat een klein gedeelte zien van de beslisboom zoals die in het systeem voorkomt. Gegeven de observaties kijkt het systeem of er al geconcludeerd kan worden dat er mogelijk sprake is van fraude, of dat er nog naar ontbrekende observaties gevraagd moet worden (act). Neem het voorbeeld uit figuur 3. In principe is dit een mogelijk fraudegeval, tenzij het blijkt dat de aangever niet bereikbaar was; het systeem zal dan deze vraag naar de burger terugsturen ( Was u wel bereikbaar voor de wederpartij? ). Omdat het werkelijke systeem een grote hoeveelheid regels met eventuele uitzonderingen bevat, worden er speciale, zeer efficiënte algoritmen gebruikt om te bepalen welke conclusies er getrokken kunnen worden en welke vragen gesteld. 16 Verder is het idee is dat het aangifteproces voor de burger zo snel mogelijk verloopt (de eis dat het systeem efficiënt moet zijn). Als het systeem allerlei onnodige vragen gaat stellen, zal de burger misschien stoppen, wat leidt tot een onbruikbare, onvolledige aangifte. Het systeem leert dan ook door middel van reinforcement learning welke vraagstelstrategieën werken en welke niet: we laten het systeem heel veel aangiftes opnemen, belonen het als het snel een 15 Dit gedeelte van het systeem heeft veel weg van de klassieke regelgebaseerde expertsystemen, zij het dat het van meer geavanceerdere technieken gebruikmaakt die ook uitzonderingen op regels toestaan (zoals in figuur 3 te zien is: als de wederpartij het contact verbroken heeft, dan is dit een vorm van misleiding, tenzij de aangever niet bereikbaar was). 16 Testerink, B., Odekerken, D., & Bex, F. (2019). A Method for Efficient Argument-based Inquiry. 13th International Conference on Flexible Query Answering Systems (FQAS 2019). Lecture Notes in Artificial Intelligence, Springer. 31

34 rechtstreeks 2/2019 Artificiële intelligentie in de praktijk conclusie bereikt en straffen het als er veel extra vragen gesteld worden of de dialoog afgekapt wordt door de aangever (de eis van aanstuurbaarheid). Wanneer er een conclusie kan worden getrokken, geeft het systeem de beslissing door aan de burger met de uitleg waarom het zo besloten heeft (de eis dat het systeem transparant moet zijn). Bijvoorbeeld: U heeft een product betaald en niet ontvangen. De wederpartij heeft het contact verbroken. Bedankt voor uw aangifte, wij nemen z.s.m. contact met u op. Of: U heeft een product niet ontvangen. De wederpartij heeft het contact verbroken. Echter, u heeft niet betaald, dus het gaat hier niet om een mogelijk geval van oplichting. Valse website Contact verbroken X Niet bereikbaar Niet ontvangen Betaald Misleiding Mogelijk fraude Figuur 3. Beslisboom met een argument voor mogelijke fraude in groen. Op dit moment worden de aangiften, zo n per jaar, nog stuk voor stuk door menselijke beoordelaars gelezen en ingevoerd. Een aangiftesysteem kan dit werk overnemen zodat deze beoordelaars ander werk kunnen doen bijvoorbeeld in geval van een grote fraude waarmee veel geld gemoeid is direct alarm slaan en het rechercheproces voorbereiden. Een ander voordeel van het gestructureerd opnemen van de aangiften is ook dat je makkelijker met AI specifieke patronen kan gaan zien dit is interessant omdat veelvoorkomende delicten als tanken zonder betalen en allerhande andere kleinere vergrijpen vaak door dezelfde mensen gepleegd worden. Een belangrijke vraag is of je dergelijke AI zomaar mag en wil toepassen. Bex c.s. zijn zich terdege van de gevaren bewust en stellen niet voor niets de vier eisen aan alle AI die ze voor de politie ontwikkelen. In Bex optiek moet je eerst echt een systeem máken voordat je realistisch kunt debatteren over de gevaren van AI. Deze AI moet dan wel klein beginnen, als ondersteunend systeem en niet als beslissend systeem. En het systeem zal nooit beslissen of er werkelijk fraude is gepleegd dat is uiteindelijk aan de rechter. 32

35 verkenning Artificiële intelligentie in de praktijk AI in de rechtspraak Na zijn uitleg van AI bij de politie bespreekt Bex nog kort wat AI voor de rechtspraak kan betekenen, en wat er nodig is om de rechtspraak met AI aan de slag te laten gaan. Hij noemt drie pijlers, mogelijke functionaliteiten van AI binnen de rechtspraak: snel en slim stukken doorzoeken; (voorspellende) analyse van de rechtspraktijk; ondersteunen en beslissen. Bij de eerste twee pijlers kun je van dezelfde soort technieken gebruikmaken als in het voorbeeld van de aangiften. Door middel van tekstclassificatie kun je bijvoorbeeld automatisch structuur aanbrengen in uitspraken. En in plaats van te zoeken naar observaties in aangiften kun je een algoritme uitspraken laten doorzoeken op verwijzingen naar wetsartikelen of jurisprudentie, of zelfs bepaalde juridische argumenten. Zo kun je statistiek bedrijven over rechtelijke uitspraken. Hoeveel rechtszaken heeft deze rechter gedaan, waar gingen ze over, welke beslissingen kwamen eruit? Je kunt zelfs proberen te voorspellen welke beslissing een rechter in een toekomstige zaak zal nemen. 17 Als voorbeeld van de derde pijler noemt Bex het systeem dat rechters en juridisch medewerkers zou kunnen helpen om sneller en gemakkelijker te beslissen in Mulderzaken (zie de bijdrage van Manuella van der Put elders in deze uitgave). Dit kan analoog aan het aangiftesysteem: de input is dan geen aangifte maar een beroepschrift, en de output is een conclusie (bijv. gegrond of ongegrond ) of extra vragen aan de indiener van het beroepschrift of het OM. Zoals het aangiftesysteem laat zien, zijn hiervoor zeer waarschijnlijk meer typen AI nodig naast machine learning zoals regelgebaseerd redeneren en slimme zoekalgoritmes voor het bepalen van de mogelijke conclusies zeker als je wil dat het systeem voldoet aan de vier eisen van transparantie, aanstuurbaarheid, efficiëntie en accuratesse. Om de hier genoemde AI-functionaliteiten binnen de rechtspraak werkelijkheid te maken zijn er wel een aantal randvoorwaarden. Zo is het belangrijk de digitalisering van de rechtspraak ten volle te omarmen computers kunnen immers lastig met papieren dossiers overweg. Ook is een klimaat nodig waarin vrijelijk geïnnoveerd kan worden: van sommige AI is niet meteen duidelijk wat het gaat opleveren, en de gang van onderzoek naar innovatie naar praktijk vergt geduld. Verder is een interdisciplinair klimaat onontbeerlijk, waarin juristen en techneuten samen aan AI kunnen werken. De rechtspraak hoeft dit natuurlijk niet allemaal alleen op te 17 Bekend werk is Katz, D. M., Bommarito II, M. J., & Blackman, J. (2017). A general approach for predicting the behavior of the Supreme Court of the United States. PloS One, 12(4). Zij kunnen aan de hand van zaakskenmerken met 70 procent nauwkeurigheid voorspellen hoe het Amerikaans Hooggerechtshof zal beslissen. Saillant detail is dat je door slim te gokken dezelfde voorspelling met 67 procent nauwkeurigheid kan doen. 33

36 rechtstreeks 2/2019 Artificiële intelligentie in de praktijk lossen, maar een open houding naar buiten is wel belangrijk. Binnen het Nationaal Politielab AI is aan deze randvoorwaarden voldaan, wat ervoor zorgt dat de Nederlandse politie voorop loopt in de wereld als het gaat om de verantwoorde inzet van AI. Tot slot In zijn lezing belichtte Bex verschillende technieken en aspecten van AI, en wat AI kan betekenen voor de rechtspraak. Voor de discussie blijft het relevant om helder te definiëren wat AI nu eigenlijk is. Je kunt niet zomaar zeggen: De robotrechter komt eraan, of je blindstaren op de gevaren van deep learning AI is veel meer dan dat. Je moet duidelijk hebben wat je met AI bedoelt, maar vooral wat je wilt dat AI doet. Onderzoek mogelijk maken, slim zoeken in je vorige uitspraken, trends analyseren van hoe we beslissen? Of wil je dat zij taken gaat overnemen of voorspellingen gaat meegeven aan de rechter of de politie (in 95 procent van soortgelijke gevallen beslisten uw collega-rechters als volgt )? AI is geen silver bullet die alle problemen op magische wijze oplost, noch is het alleen maar een hype die genegeerd kan worden. Om AI werkelijk van belang te laten zijn binnen de rechtspraak is durf nodig, durf om te innoveren, maar ook durf om door te zetten en af te maken waaraan begonnen is. De rechtspraak zélf kan het voortouw nemen in de discussie door, in samenwerking met anderen, de mensen in huis hebben of halen die kunnen praten met de techneuten die AI ontwikkelen. Om zo samen zo tot nuttige, goede maar ook veilige AI te komen die voldoet aan de eisen van de Rechtspraak. 34

37 verkenning Zijn dit de langetermijneffecten van algoritmen? Zijn dit de langetermijneffecten van algoritmen? Ashley Karsemeijer Vooraf Voor wie de ontwikkelingen op het gebied van artificiële intelligentie (hierna: AI) volgt zijn het spannende tijden. Steeds meer bedrijfstakken ontdekken de voordelen en experimenteren op grote of kleinere schaal met de toepassing ervan. Waar dit alles toe zal leiden is onduidelijk. Deskundigen zijn het er niet over eens of de wereld over enkele decennia overgenomen is door algoritmes die bovenmenselijk intelligent zijn, of dat we enkel extreem krachtige rekenmachines kunnen maken. We kunnen ons lastig voorstellen hoe algoritmes ons leven zullen beïnvloeden, zoals we ons in 1999 niet konden voorstellen dat we twintig jaar later niet meer de deur uitgaan zonder onze mobiele telefoon (bekijk op YouTube het filmpje Mobiel bellen in 1998 maar eens). Maar dát het toenemende aantal steeds ingewikkelder wordende algoritmes ons leven gaat beïnvloeden is wel duidelijk. Nu al worden algoritmes op brede schaal toegepast. Beurshandel, bijvoorbeeld, wordt grotendeels niet meer door mensen gedaan. De toepassing van AI roept ook morele vraagstukken op. Als het gaat om een zelfrijdende auto: is de auto altijd loyaal aan de bestuurder, of kan die opgeofferd worden als daarmee een groep kinderen wordt gered? In deze korte bijdrage bespreek ik enkele mogelijke effecten die verband houden met de verschillende dimensies van rechtspraak, zowel de dimensie van het rechtspreken zelf als meer maatschappelijke inclusief morele dimensies. Aan het einde werp ik enkele vragen op die ons als Rechtspraak de komende tijd wat mij betreft zouden moeten bezighouden. Effecten van AI? De Rechtspraak experimenteert met algoritmes om inzicht te krijgen in de (on)mogelijkheden van artificiële intelligentie. Ionica Smeets omschreef een algoritme jaren terug als een recept om een probleem stap voor stap op te lossen. In de rechtspraak zijn daar legio voorbeelden van te vinden. Om een eenvoudige te noemen: de vraag of betekening correct is geschied. Er zijn een aantal stappen die je doorloopt om die vraag te beantwoorden. 35

38 rechtstreeks 2/2019 Zijn dit de langetermijneffecten van algoritmen? Allereerst controleer je of de adresgegevens correct zijn. Vervolgens of de aanbieding van het gerechtelijk stuk binnen de gestelde termijn en aan de juiste persoon heeft plaatsgevonden. Voor elke tussenstap zijn er twee antwoorden mogelijk, namelijk dat de hoofdvraag negatief moet worden beantwoord, of dat een vervolgvraag moet worden beantwoord. Zo ontstaat een beslisboom die, als de gegevens op de juiste manier beschikbaar zijn, een algoritme in staat stelt het antwoord te geven op de vraag of er juist is betekend. Voor dit soort eenvoudige algoritmes moet een mens de beslisboom schrijven. Een zelflerend algoritme heeft genoeg aan grote hoeveelheden data en leert door al die informatie te verwerken wat kennelijk de vragen én antwoorden zijn. Eenvoudige taken die nu door administratieve of juridische ondersteuning verricht worden, zouden al in de nabije toekomst door de computer kunnen worden gedaan. Dat zou positieve effecten kunnen hebben op kwaliteit, snelheid en toegankelijkheid van de rechtspraak. Met nadruk op zou kunnen. Allereerst veranderen algoritmes de aard van rechtspraak, in de zin van hoe we rechtspreken. Jamie Susskind geeft in zijn boek Future Politics (een aanrader) een sprekend voorbeeld. Stel, er is een robot genaamd MD die risico s en gevolgen kan inschatten van bepaalde medische handelingen. Deze robot beschikt niet over (medische) kennis, maar kan heel snel door de enorme hoeveelheid beschikbare medische data gaan en op basis daarvan berekeningen maken. Daarnaast is er een robot genaamd JD die juridische aansprakelijkheid kan beoordelen. Deze robot heeft geen (juridische) kennis, maar kan razendsnel door rechterlijke uitspraken gaan en zo inschatten hoe groot de kans is dat een rechter een bepaalde medische misser zal aanrekenen. In het begin zal het raadplegen van deze robots op vrijwillige basis gaan, maar op een gegeven moment zijn ze zo ingeburgerd dat het níét raadplegen ervan vreemd zou zijn. Susskind vergelijkt het met een MRI-scan: inmiddels is het onvoorstelbaar dat voorafgaand aan een hersenoperatie geen MRI-scan gemaakt wordt. Als je de informatie hebt, waarom zou je die niet gebruiken? De inburgering van robots MD en JD zou ertoe kunnen leiden dat het niet opvolgen van hun advies op zichzelf al nalatigheid oplevert. De adviezen (of eigenlijk inschattingen) van robots MD en JD worden daarmee bindend en in zekere zin verheven tot het niveau van rechtsregels. Voor de hand ligt dat ook de wijze van rechtspreken verandert. De verwachting is dat algoritmes over enkele jaren overwegingen kunnen schrijven aan de hand van een database van uitspraken. Dat scheelt de rechter of juridisch medewerker tijd. Misschien zijn de overwegingen zelfs eloquenter of toegankelijker dan ervaren juristen kunnen opschrijven. Een van de problemen met algoritmes is dat ze ingewikkeld zijn om te schrijven. Dat doen IT ers, geen juristen. Als een algoritme zelflerend is, kan dat tot gevolg hebben dat op enig 36

39 verkenning Zijn dit de langetermijneffecten van algoritmen? moment geen mens meer begrijpt hoe een bepaalde overweging tot stand is gekomen. Maar de machine zal wel gelijk hebben, toch? Algoritmes nemen ook ongewenste dingen uit de gevoerde data over, zoals discriminatie die verstopt zit in alle informatie. Chatbot Tay van Microsoft leerde te interacteren met mensen door chatgesprekken te voeren op internet. Helaas had dit, omdat de interacties gebaseerd waren op het taalgebruik van haar menselijke gesprekspartners, al snel tot gevolg dat de chatbot racistische uitspraken deed. Het op grote schaal toepassen van artificiële intelligentie heeft ook invloed op over welke zaken recht wordt gesproken. Ik voorzie grote gevolgen voor het strafrecht. Nu kun je te hard rijden als je dat wil. Je aanvaardt het risico dat je geflitst wordt en een geldboete krijgt. Straks zou het zo kunnen zijn dat auto s de snelheid automatisch aanpassen aan de geldende maximumsnelheid, waardoor je dus geen overtreding meer kán begaan. Hetzelfde geldt voor het zoeken naar kinderporno op internet, het kopen van ingrediënten voor het maken van een bom, et cetera. Dit lijkt misschien een goede zaak, er worden immers strafbare feiten mee voorkomen. Maar waar ligt de grens? Tot hoever wordt de mens straks door AI gedwongen om de juiste keuze te maken? Kunnen we alleen nog maar gezond eten kopen en weigert de auto ons over korte afstanden te vervoeren als we nog niet voldoende bewogen hebben? Maakt het mogen maken van fouten, overtredingen en verkeerde keuzes niet een wezenlijk onderdeel uit van het mens-zijn? Daarmee hangt samen dat wij mensen steeds meer data produceren. Naast alle gegevens die overheidsinstanties en commerciële bedrijven over ons bijhouden, zijn er ook steeds meer producten die dat doen: smartwatches, slimme ther mostaten, smart tv s. Als zelfs maar een deel van die informatie gekoppeld wordt kan een algoritme een zeer compleet en intiem persoonlijk profiel samenstellen. Welke invloed heeft rechtspraakdata op de maatschappij? Ik voorzie dat één rechterlijke uitspraak je je leven lang blijft achtervolgen. Geanonimiseerde uitspraken zijn namelijk een illusie wanneer grote hoeveelheden data gekoppeld kunnen worden. Stel je voor dat je in je studententijd wordt veroordeeld tot een geldboete voor aanranding, omdat je op een drankovergoten studentenfeestje in een jolige bui een medestudent in de billen hebt geknepen. Elke potentiële werkgever die jouw naam door de database haalt ziet veroordeeld voor zedendelict achter je naam staan en kiest liever voor iemand zonder veroordeling. Bij sociale contacten idem dito: over tien jaar heeft de sportvereniging liever niet dat je het team coacht, nog vijf jaar later mogen de vriendjes en vriendinnetjes van je kind niet komen spelen, je familie kijkt anders naar je zodra ze het ontdekken. Zou dat niet wat ver gaan? Misschien ben ik naïef, maar ik geloof in domme beslissingen en tweede kansen. Ik wíl niet alles weten over anderen, en ik wil niet dat anderen, waaronder de overheid, alles over mij weten (leestip: Je hebt wél iets te verbergen, geschreven door Dimitri Tokmetzis en Maurits Martijn). 37

40 rechtstreeks 2/2019 Zijn dit de langetermijneffecten van algoritmen? Tot slot Gebruik van algoritmes in de rechtspraak en daarbuiten heeft absoluut voordelen. Deze bijdrage is enkel een bescheiden pleidooi om eerst stil te staan bij de mogelijke effecten daarvan op de lange termijn. Want nu is het moment om voorwaarden te stellen aan toepassing en kwaliteit van algoritmes, voordat het gemak van algoritmes al zo gemeengoed is geworden dat we negatieve gevolgen niet meer kunnen uitbannen. Er zijn mensen die zeggen dat het allemaal niet zo n vaart zal lopen. Als ik kijk naar de ontwikkelingen van de laatste decennia denk ik dat het wél zo n vaart loopt en mocht ik ongelijk hebben: better safe than sorry. Als het gaat om kwaliteit van algoritmes lijkt het mij in ieder geval belangrijk dat altijd duidelijk is hoe het algoritme werkt. Zorg dat de IT ers opgeleid zijn op juridisch en ethisch gebied. Ik denk dat zij zich vaak niet eens bewust zijn van de macht die ze hebben. Er moeten duidelijke afspraken komen welke informatie een algoritme gebruikt, waarvoor, hoe lang de informatie bewaard blijft en ook hoe foutieve informatie uit de dataset kan worden verwijderd. Misschien moeten we wel nadenken over een recht op data. AI dwingt ons ook om na denken over de vraag wat rechtspraak eigenlijk is. Moeten rechtsregels tot stand komen door mensen? Moeten mensen rechterlijke beslissingen nemen of kan een algoritme dat beter? En hoe zit het met het schrijven van de overwegingen, die vaak minstens zo belangrijk zijn als de beslissing? Algoritmes zouden wat mij betreft voorlopig alleen gebruikt moeten worden voor kleine, overzichtelijke en ondergeschikte taken, totdat een bredere maatschappelijke discussie heeft plaatsgevonden over de vraag welke rol we algoritmes en data willen geven. Want het gebruik van AI kan wel eens ons mens-zijn voorgoed veranderen. Laten we zorgen dat dit in positieve zin gebeurt. 38

41 analyse Hoe expertsystemen de rechtspraak kunnen helpen Hoe expertsystemen de rechtspraak kunnen helpen Evert Verhulp en Rachel Rietveld Inleiding De rechtspraak moet meer dan ooit goedkoper en sneller en om dat te bereiken wordt gekeken naar nieuwe technologieën. 1 Het gebruik van artificiële intelligentie (AI) in het recht lijkt bijna niet meer weg te denken. Nieuw is die ontwikkeling niet, die begon al in de jaren tachtig, met machine learning en deep learning, voorspellingen van rechterlijke uitspraken en de voorspelde komst van de robotrechter. 2 Van het daadwerkelijk gebruik van AI kwam op dat moment weinig terecht. De voornaamste redenen daarvoor waren de hoge onderzoekskosten en tegenvallende resultaten, zoals het onvermogen van de systemen om complexere inschattingen te maken. Daarnaast speelde het gebrek aan aandacht voor de gebruiker en de effecten van de inzet van dergelijke systemen een rol: rechters hadden weinig tot geen grip op de uitkomsten die de systemen genereerden en werden niet aangezet tot gebruik ervan. 3 Dit alles neemt niet weg dat de ontwikkelingen niet stil hebben gestaan. De afgelopen dertig jaar zijn nieuwe onderzoeken gedaan met betere resultaten, met als gevolg dat het gebruik van AI in het recht een belangrijk onderwerp van gesprek is. Maar kan AI beslissingen nemen, en daarmee mogelijk de rechter vervangen? In deze bijdrage leggen we kort uit hoe AI en expertsystemen werken en wat het verschil tussen beide is. Vervolgens pleiten we voor de toepassing van expertsystemen, omdat die transparant zijn en daarmee toetsbaar tot uitkomsten leiden. In ieder geval willen wij duidelijk maken dat, met de inzet van welk systeem dan ook, de menselijke maat van groot belang is en dat het aan de menselijke, juridische experts is systemen nauwlettend in de gaten te houden en deze uit te dagen. 1 Dick Weiffenbach (2017). Naar een goedkopere en snellere rechtspraak. Advocatenblad, 8, Graham Greenleaf, Legal expert systems robot lawyers?, gepresenteerd op de Australian Legal Convention, Sydney, August Philip Leith (2010). The Rise and the Fall of the Legal Expert System. European Journal of Law and Technology, 1. 39

42 rechtstreeks 2/2019 Hoe expertsystemen de rechtspraak kunnen helpen Artificiële intelligentie Zoals de naam al laat zien is het doel van AI-systemen menselijke intelligentie na te bootsen. Gebaseerd op grote hoeveelheden gegevens (big data) worden voorspellingen gedaan. Deze voorspellingen leiden bijvoorbeeld tot spraak-, beeld- en tekstherkenning. Op basis van statistische gegevens kan aan profilering van bepaalde personen of groepen met (deels) overeenkomstige kenmerken worden gedaan. Zo zou nummerbordherkenning op snelwegen in combinatie met gegevens als de woonplaats en afkomst van een persoon diegene als potentieel gevaarlijk kunnen aanmerken als opeens een bijkomende factor wordt waargenomen. Bijvoorbeeld als de persoon een andere route dan gebruikelijk rijdt. In alle gevallen worden gegevens aan elkaar gekoppeld en dat leidt door als-dan-redenaties tot een voorspelling. In het recht kunnen ook dergelijke voorspellingen worden gedaan. Dat kan op basis van gegevens uit gepubliceerde rechtspraak 4 of bijvoorbeeld door op basis van kenmerken van een veroordeelde een risico-inschatting te maken van de kans op recidive. 5 Door deze bottom up-redenatie staan de uitkomsten veelal los van wet- en regelgeving. Er wordt immers niet vanuit de juridische normen geredeneerd, maar naar die normen toe. Het systeem zoekt reeksen kenmerken die in zaken voorkomen die eenzelfde uitkomst hebben en ziet de aanwezigheid van die kenmerken in een te voorspellen zaak als aanleiding om aan te nemen dat de uitkomst wederom hetzelfde is. Anders gezegd: door combinaties van feiten uit rechterlijke uitspraken te koppelen aan de uitkomst ervan, probeert AI een regel te destilleren. Die regel hoeft niet per se gelijk te zijn aan de juridische norm, bijvoorbeeld omdat combinaties van feiten toevallig vaak samen voorkomen en daarom door het systeem van waarde worden geacht. Om een voorspelling te doen, heeft AI heel veel voorbeelden nodig, al zeker rond de tienduizenden. Zoveel rechterlijke oordelen zijn vaak niet voorhanden. Wanneer die er al zouden zijn en als ze alle in een AI-systeem zouden kunnen worden ingevoerd, is vervolgens niet zonder meer duidelijk hoe het systeem die regels gevonden heeft. Door de grote hoeveelheid aan gegevens en het gebrek in de systemen om uit te leggen waarom het bepaalde conclusies trekt, ontstaat een black box; er ontbreekt inzicht in hoe de voorspelling tot stand is gekomen en wat de grondslag voor de gevormde regels is. 6 Het systeem is namelijk te verge- 4 In Nederland kennen we bijvoorbeeld de bedrijven LexIQ en Zylab die tools aanbieden die inzicht geven in het beslisgedrag van rechters. Met dezelfde technieken kunnen voorspellingen worden gedaan. Een voorbeeld hiervan is een programma dat voorspelde of het EHCR zou oordelen of een bepaalde norm geschonden was. De resultaten zijn overigens tegenvallend. Zie hierover Prakken, H. (2018). Komt de robotrechter er aan? Nederlands Juristenblad, 4, Knaap, L. M. van der & Alberda, D.L. (2009). De predictieve validiteit van de Recidive Inschattingsschalen (RISc). WODC, Cahier Prins, C. & Roest, J. van der (2018). AI en de rechtspraak. Meer dan alleen de robotrechter. Nederlands Juristenblad, 4,

43 analyse Hoe expertsystemen de rechtspraak kunnen helpen lijken met het menselijk brein, vandaar dat het ook wel neural network wordt genoemd, ook daarvan is niet te achterhalen waarom een bepaalde beslissing wordt genomen. Een verhelderend voorbeeld is het systeem dat (dacht men) kon voorspellen of op een foto een poolhond of een wolf te zien was. De dieren lijken zeer veel op elkaar en de hoge nauwkeurigheid van het systeem dat er in slaagde goed te voorspellen of men met een hond of een wolf te doen had, werd dan ook in eerste instantie als een goed resultaat gezien. Door een andere vorm van AI inzichtelijk te laten maken hoe het systeem tot de voorspelling van poolhond of wolf kwam, dus door te kijken wat er in die black box gebeurde, werd duidelijk dat het systeem dit alleen maar baseerde op de aan- of afwezigheid van sneeuw op de achtergrond van de foto. 7 Ook kan in de gebruikte data al vooringenomenheid zitten. 8 Als gevolg daarvan en van het hoge toevalligheidsgehalte zonder juridische basis zijn de systemen veelal discriminerend en onvoldoende in staat een volledige afweging te maken. Wel leent AI zich voor een ondersteunende rol om bijvoorbeeld grote hoeveelheden tekst te analyseren. Dit heeft waarde, simpelweg omdat een mens niet goed in staat is eenzelfde hoeveelheid tekst te doorlopen in dezelfde tijd. Bestaande zoeksystemen die ten grondslag liggen aan Google of rechtspraak.nl zijn net als een mens niet volledig toereikend qua snelheid en accuraatheid, aangezien daarbij alleen maar gebruik wordt gemaakt van sleutelwoorden. 9 Het zogenaamde e-discovery, een slimme zoektechnologie die woorden kan herkennen en bijvoorbeeld synoniemen kan vinden, is door middel van machine learning is vele malen sneller, efficiënter en vraagt minder menselijke interventie. Er kan doelmatiger resultaat worden verkregen door te zoeken op bepaalde woordcombinaties, vereisten in te stellen hoe de zoekwoorden zich tot elkaar moeten verhouden en waar ze bijvoorbeeld in de tekst moeten staan. Het systeem leert (let wel: door menselijke training) steeds beter woordcombinaties en opbouw van documenten herkennen. Door op deze wijze gebruik te maken van met AI ontwikkelde systemen kan meer inzicht verkregen worden in eerder gewezen uitspraken, bijvoorbeeld door trends te ontdekken, hoogtes van vergoedingen te vergelijken of om praktische elementen die open normen invullen sneller in beeld te krijgen Zie bijvoorbeeld It s magic I owe you no explanation! van Alexiei Dingli op becominghuman.ai. 8 Raad van State: burger in de knel door digitale overheid (6 september 2018). NRC Handelsblad. Ook uit recent onderzoek blijkt dat de door de overheid gebruikte AI-systemen vaak discriminerend werken: Overheid gebruikt op grote schaal voorspellende algoritmes, risico op discriminatie, NOS 29 mei Grossman, M. R. & Cormack, C. V. (2011). Technology-Assisted Review in E-Discovery Can Be More Effective and More Efficient Than Exhaustive Manual Review. Richmond Journal of Law and Technology, Rietveld, R., Rossi, J. & Kanoulas, E. (2019). Distilling Jurisprudence through Argument Mining for Case Assessment. 1st International Workshop on AI and Intelligent Assistance for Legal Professionals in the Digital Workplace (LegalAIIA). 41

44 rechtstreeks 2/2019 Hoe expertsystemen de rechtspraak kunnen helpen Expertsystemen Het tegenovergestelde van bottom up-voorspellingen doen zoals AI doet, is de top down-redenatie: wet- en regelgeving biedt het kader en door de inzet van juridische expertise, keuzes van de wetgever en analyse van gewezen rechtspraak worden mogelijke scenario s en uitkomsten in een systeem gebouwd. Dat systeem is dan een expertsysteem. Expertsystemen zijn grote, interactieve beslisbomen met vragen en antwoorden waaraan weging kan zijn toegevoegd. Al die vragen en de weging van de antwoorden zijn transparant en snel aan te passen indien daartoe aanleiding bestaat. Zowel het maken als het aanpassen gebeurt handmatig en is niet afhankelijk van de herkenningsmogelijkheid van een systeem zoals de in de vorige paragraaf besproken AI-systemen. Zowel AI als expertsystemen berusten op logica en dus op als-dan-redenaties. 11 Expertsystemen onderscheiden zich door de hiervoor beschreven topdownredenatie, maar ook door het feit dat de makers zich kunnen inleven in situaties, een afweging kunnen maken van de gepresenteerde feiten en het vermogen hebben te interpreteren. Ook nog niet voor de rechter verschenen scenario s kunnen in het systeem verwerkt worden, als deze scenario s door experts van tevoren zijn voorzien. AI weet pas na vele casus en training dat bijvoorbeeld een slechte stoel, het gebrek aan airconditioning en te zwaar moeten tillen kunnen worden gekwalificeerd als slechte arbeidsomstandigheden, terwijl een expert deze conclusie direct zelf maakt en in het systeem verwerkt. Een voorbeeld van een dergelijk expertsysteem is magontslag.nl. 12 Aanleiding om dit expertsysteem, de eerste in zijn soort, te ontwikkelen was een uitspraak van de Hoge Raad onder het oude ontslagrecht over de kennelijkonredelijkontslagvergoeding. 13 Een volgende stap was de ontwikkeling van een systeem dat de voorvraag kon beantwoorden: is sprake van kennelijk onredelijk ontslag? Dat lukte met een nauwkeurigheid van 93 pro- 11 Zie voor een helder overzicht van mogelijkheden van de logische benadering van het recht zoals hier omschreven Karl Branting, L. (2017). Data-centric and logic-based models for automated legal problem solving. Artificial Intelligence and Law. 12 Zie waar de systemen voor werknemers staan. Binnenkort kan ook op eenzelfde wijze vanuit werkgeverszijde inschatting van de juridische positie worden gedaan. Andere voorbeelden zijn Appjection ( en Uit Elkaar ( 13 De kennelijkonredelijkontslagvergoeding is een schadevergoeding, zo oordeelde de Hoge Raad (27 november 2009, LJN:BJ6596), wat de vraag deed rijzen wat de schade dan was. Inmiddels is de systeem aangepast aan de vereisten aan de begroting van de billijke vergoeding: het hulpmiddel Hoe Lang in Dienst geeft een inschatting van de te verwachten resterende duur van de arbeidsovereenkomst als de werkgever niet ernstig verwijtbaar zou hebben gehandeld. De berekening wordt gemaakt op basis van maximaal 24 actuele variabelen die komen van het CBS. Ook dit is een vorm van voorspellingen op basis van statistiek, dus grote hoeveelheden data. 42

45 analyse Hoe expertsystemen de rechtspraak kunnen helpen cent. 14 Die uitkomst was voldoende aanleiding om met de komst van de Wet werk en zekerheid eenzelfde methodologie toe te passen op de beoordeling van de ontslaggronden van artikel 7:669 lid 3 BW en andere redenen om de arbeidsovereenkomst te beëindigen. Doel van deze systemen is het vergroten van de toegankelijkheid van het recht. Tegen een laag bedrag kan een individuele werknemer of werkgever een volledige en nauwkeurige inschatting van zijn rechtspositie krijgen. Inmiddels zijn voor meerdere (juridische) onderwerpen op bij de gebruiker passend niveau vraag-en-antwoordsystemen ontwikkeld die aan de gebruiker gerichte informatie geven en de benodigde juridische documenten zoals een verzoek- of verweerschrift genereren. Overbodige informatie blijft achterwege en de gebruiker wordt door de feitelijke vraagstelling niet voor keuzes gesteld die juridische kennis vereisen. Ook voor rechters en advocaten is dit systeem van waarde. De vragen zijn praktisch en feitelijk; ze zijn een vertaling van juridische begrippen. Afhankelijk van eerder gegeven antwoorden worden nieuwe of andere vragen gesteld. Op deze wijze wordt als het ware vooronderzoek gedaan. Alles wat relevant is voor de beoordeling van het geschil wordt uitgevraagd. Vervolgens wordt een inschatting gegeven van de haalbaarheid van een ontslag. Door het gebruik van het expertsysteem kan het geschil worden beperkt tot de kern van de zaak. Wanneer beide partijen het systeem zouden invullen, wordt namelijk inzichtelijk over welke feiten partijen van mening verschillen en welke de mogelijke uitkomsten zijn bij de ene of andere lezing van de feiten. Technologie en rechtspraak De rechtspraak mag de technologische ontwikkelingen niet negeren en kan voordeel halen uit de nieuwe mogelijkheden die vooral expertsystemen bieden. Naar onze mening kan de voorspellende, inschattende vorm van AI nog geen zelfstandige rol binnen de rechtspraak spelen. AI biedt geen weloverwogen toepassing van rechtsregels. De voorspelkracht van AI berust op trends en het kan veelal slechts binaire beslissing aan, dus vragen beantwoorden met ja en nee. Het constateren dat een norm is geschonden is slechts een eerste stap in het beslechten van een geschil. De uitkomst van de zaak hangt mede af van invulling van open normen, zoals rechtvaardigingsgronden. Daarnaast kan AI niet zelf beslissen, is het niet zelfdenkend en passen nieuwe gevallen niet zonder meer in het systeem. Dit in aanmerking nemend, is het bereik van AI (vooralsnog) zeer beperkt en ontoereikend voor zelfstandige inzet in de rechtspraak. 14 Waarbij we direct aantekenen dat we het systeem hebben gebouwd op basis van de wetteksten die we hebben geïnterpreteerd met de kennis uit de reeds gewezen rechtspraak en het systeem vervolgens hebben getoetst aan enkele honderden uitspraken, zodat over de onderbouwing van deze uitkomst zeker opmerkingen mogelijk zijn. 43

46 rechtstreeks 2/2019 Hoe expertsystemen de rechtspraak kunnen helpen Het analyseren van grote hoeveelheden tekst zoals AI ook kan doen, heeft in onze optiek wel functionele waarde. Doeltreffend zoekresultaten verkrijgen en analyses maken gebaseerd op data kan leiden tot efficiëntie en daarmee kostenbesparing, maar ook een vergroting van rechtszekerheid en rechtsgelijkheid. De invulling van open normen kan duidelijker worden en als gevolg daarvan de uitkomst van uitspraken (inclusief vergoedingen) gelijker tussen rechterlijke instanties. Als daarnaast, voordat partijen een procedure beginnen, duidelijk kan worden hoe invulling wordt gegeven aan open normen, kunnen procedures over geschillen beperkt of zelfs voorkomen worden. Daarvoor moet vooruitgekeken worden en biedt achteraf-analyse zoals AI die biedt niet voldoende juridische basis. Dit zal dus door middel van gebundelde krachten van mens en AI gerealiseerd moeten worden. De inzet van technologische toepassingen waarachter meer menselijke en tegelijk juridische expertise zit, kan de rechtspraak en toegankelijkheid van het recht verbeteren. Niet alleen in de systemen zelf is menselijke expertise van belang, maar ook bij het gebruik van de systemen is de menselijke maat (onzes inziens) onmisbaar. Volgens minister Dekker is civiele rechtspraak niet meer dan probleemoplossing, maar daarbij vergeet hij belangrijke elementen als rechtvaardigheid in individuele gevallen. 15 Een vorm van inzet van technologische toepassingen kunnen expertsystemen zijn. Door hiervan gebruik te maken verkrijgen rechters een volledig beeld van de voorliggende zaak en kunnen zij ervoor kiezen de juridische inschatting die het systeem biedt te volgen of om daarvan gemotiveerd af te wijken. Daarmee blijft de menselijke maat in het recht aanwezig. De rechter wordt slechts ondersteund door het systeem. Daarnaast belemmert deze wijze van gebruik de rechtsontwikkeling niet. Een expertsysteem wordt immers door mensen gebouwd, getest en gevalideerd en bevat indien juist opgesteld geen black box zoals AI dat heeft. Zo wordt ook naar mogelijk toekomstige gevallen gekeken en worden voorspellingen of adviezen niet alleen op basis van historische data gedaan. Voor iedere gebruiker van elk juridisch beslissysteem geldt dat hij het systeem moet kunnen uitdagen door de uitkomst te betwisten. Dat kan alleen als de uitkomst transparant tot stand komt. 16 De uitkomsten van digitale hulpmiddelen mag niet afhangen van toezichthouders die audits verrichten op de systemen. De rechter kan hier de leidende rol nemen. Misschien moet hij dat wel, want is beoordelen en beslissen niet bij uitstek een rechterlijke taak? Gebeurt dit niet, en genereert AI beslissingen, dan stagneert de rechtsontwikkeling en is er te weinig aandacht voor individuele gevallen, wat weer ten koste gaat van rechtvaardigheid. 15 Tweede Kamer , , nr In deze zin ook HR 17 augustus 2018, ECLI:NL:HR:2018:1316 (systeem voor waardebepaling WOZ), Rb. Amsterdam 4 juli 2019, ECLI:NL:RBAMS:2019:4799 (systeem voor plaatsing kinderen op scholen). 44

47 analyse Hoe expertsystemen de rechtspraak kunnen helpen De menselijke maat en het eerlijk proces moeten voorop blijven staan. De rechter spreekt recht, systemen bieden ondersteuning. De achterkant van systemen De Rechtspraak staat voor een grote uitdaging. De techniek ontwikkelt zich in hoog tempo en het aantal aanbieders van technologische systemen groeit gestaag. Het is van belang dat weloverwogen keuzes worden gemaakt. De rechtsprekende macht is niet de instantie om zonder waarborgen te experimenteren. Systemen moeten volledig getest en gevalideerd zijn alvorens ze een rol kunnen spelen in ons rechtssysteem. Daarvoor is vereist dat niet alleen naar de systemen zelf en de makers ervan wordt gekeken, bijvoorbeeld door middel van een eventueel te verplichten audit, maar ook de rechterlijke macht zelf moet meer weten wat de kansen en beperkingen van dergelijke systemen zijn. Wat gebeurt aan de achterkant van een systeem, in die mogelijkerwijs aanwezige black box, en waarom worden resultaten weergegeven zoals door het systeem gepresenteerd? Dicrimineert een systeem en, als dat het geval is, is dat niet juist de bedoeling? 17 Tot slot Al met al brengen technologische ontwikkelingen zowel kansen als grote risico s met zich, ook voor de rechtspraak. Naar onze mening zou het verstandig zijn eerst in te zetten op de meer menselijke toepassingen, zoals expertsystemen, met als aanvulling daarop AI-systemen die een ondersteunende rol hebben en bijdragen aan het doorzoeken en analyseren van eerder gewezen rechtspraak. Rechterlijke vrijheid, beslissingsruimte en een goede procesorde moeten van welke inzet dan ook gebruikgemaakt gaat worden voorop blijven staan. Te allen tijde geldt: daag het systeem uit! Weet waar kansen en mogelijkheden liggen en behoud de onafhankelijke positie die een rechter is toegekend. Een goede inschatting van een systeem volgen is gewenst, maar afwijken als daar redenen toe bestaan net zo goed. Op die wijze behouden we de menselijke maat en wordt voorkomen dat rechtsontwikkeling stagneert. 17 Zie voor meer hierover Kock, P. de (23 augustus 2019). Algoritmes discrimineren niet. NRC Handelsblad. 45

48 rechtstreeks 2/2019 Een introductie op de robotrechter Een introductie op de robotrechter Stefan Philipsen & Erlis Themeli 1 Inleiding De uitoefening van overheidsgezag is de afgelopen jaren steeds verder geautomatiseerd. In het bestuursrecht zijn algoritmen en artificiële intelligentie al niet meer weg te denken. De menselijke betrokkenheid in overheidsdomeinen als belastingheffing en sociale zekerheid is nu al beperkt tot de meest complexe zaken. Een van de vragen die deze ontwikkeling oproept, is of artificiële intelligentie (AI) naast het werk van de uitvoerende macht ook dat van de andere staatsmachten zal beïnvloeden en overnemen. Zeker ten aanzien van de rechtspraak lijkt die vraag steeds meer gewicht te krijgen. Zo gaf het Estse ministerie van justitie eind 2018 de opdracht om een robotrechter te ontwikkelen die de rechterlijke macht moet helpen bij het bestrijden van achterstanden in de Estse procedure voor small claims. Hoe futuristisch een robotrechter ook mag klinken, de Estse inspanningen staan niet op zichzelf. 2 Ook in Nederland staat het gebruik van AI door de rechterlijke macht op de politieke agenda. 3 Dit is logisch, want de toepassing van artificiële intelligentie door de rechtspraak kan veelbelovend zijn. Procedures zouden door het gebruik van AI bijvoorbeeld goedkoper, sneller en minder bevooroordeeld kunnen worden. 4 Net als bij de automatisering van besluitvorming in het bestuursrecht zijn er evenwel ook zorgen over het gebruik van AI in de rechtspraak. 5 In deze bijdrage geven wij een korte inleiding op de ontwikkeling van de robotrechter en de zorgen en kansen die met deze ontwikkeling gepaard gaan. 1 Deze bijdrage is een vertaling en (beperkte) bewerking van onze bijdrage Artificial intelligence in courts: A (legal) introduction to the Robot Judge (2019, 15 mei) op 2 Council of Europe adopts first European Ethical Charter on the use of artificial intelligence in judicial systems (4 december 2018). Te vinden op 3 Eerste Kamer , , Kamerbrief over toepassing artificiële intelligentie en algoritmen in de rechtspleging, 19 december 2018, te vinden op 4 Chen, A. (2019, 17 januari). How artificial intelligence can help us make judges less biased. Te vinden op 5 Vetzo, M. J., Gerards, J.H. & Nehmelman, R. (2018). Algoritmes en grondrechten. Den Haag: Boom juridisch. 46

49 analyse Een introductie op de robotrechter Robotrechter De term robotrechter biedt een interessant startpunt voor de bespreking van het gebruik van artificiële intelligentie door de rechtspraak. Sommigen vrezen bij het horen van deze term dat computers de wereld zullen overnemen, terwijl anderen geïntrigeerd raken door de nieuwe perspectieven die de toepassing van innovatieve technologieën kunnen bieden. Tegelijkertijd moet onmiddellijk worden erkend dat de robotrechter nog ver weg is. Het zal waarschijnlijk nog jaren duren voordat AI in staat is om menselijke rechters in (iedere) rechterlijke procedure te vervangen. Dit geldt in het bijzonder voor de meest spraakmakende en complexe zaken. Hoewel AI nu al in staat is om de uitkomst van rechtszaken te voorspellen (bijvoorbeeld de beslissingen van het Europees Hof voor de Rechten van de Mens), is de techniek die voor die voorspellingen wordt gebruikt nog lang niet voldoende ontwikkeld om volledig zelfstandig beslissingen te kunnen nemen. Volgens de meest sombere voorspellingen zal AI daar in ieder geval in de meest complexe zaken zelfs nooit toe in staat zijn. De impact van AI op rechtbanken Rechters hoeven dus niet meteen bang te zijn om hun baan te verliezen. Maar dat betekent niet dat AI de rechtspraak ongemoeid zal laten. Om de mogelijke invloed van artificiële intelligentie op de rechtspraak in kaart te kunnen brengen, is het zinvol om drie potentiële toepassingen van AI in de rechtspraak te onderscheiden. Ten eerste kan AI worden gebruikt om de zaakstromen en werklast beter in kaart te brengen en te stroomlijnen. Dit heeft als positief neveneffect dat de grote hoeveelheid waardevolle data waarover de rechtspraak zou kunnen beschikken, beter inzichtelijk wordt gemaakt. Ten tweede kan AI worden gebruikt in de ondersteuning van rechters. Denk daarbij bijvoorbeeld aan het selecteren van relevante jurisprudentie, of het aandragen van voor een concrete zaak relevante argumenten die bij het opstellen van de uitspraak kunnen worden gebruikt (zie hierover ook de bijdrage van Manuella van der Put op p , red.). In sommige landen, zoals de Verenigde Staten, wordt AI in dit kader bijvoorbeeld al ingezet om rechters te helpen het risico van recidive te beoordelen. Deze ondersteuningssystemen laten de beslissing formeel aan de mens, maar het is zeer waarschijnlijk dat rechters zoals in de VS dit soort systemen in de praktijk doorgaans volgen. Het gebruik van AI ín de rechtspraak ter ondersteuning van rechters kan daardoor al snel lijken op rechtspraak dóór AI. Rechtspraak door AI is de derde manier waarop AI in de toekomst invloed kan hebben op de rechtspraak. Dan spreken we ook wel over de robotrechter. Overigens sluit rechtspraak door AI, anders dan de term robotrechter suggereert, de mogelijkheid van een vorm van zeer algemeen toezicht of marginale toetsing door een rechter of een ander personeelslid van de rechtbank niet uit. 47

50 rechtstreeks 2/2019 Een introductie op de robotrechter Onderscheid maken tussen soorten zaken Zoals opgemerkt zal rechtspraak door artificiële intelligentie waarbij AI menselijke rechters volledig vervangt voor de meest complexe zaken nog lange tijd futuristisch blijven. Dat betekent natuurlijk niet dat een dergelijke toepassing van AI onmogelijk is voor alle gevallen. In onder meer het privaatrecht kunnen er procedures worden aangewezen die heel geschikt lijken om door een vorm van AI te worden afgedaan. Het gaat dan vooral om niet-complexe procedures waarbij tussen partijen ook nog een (zeer) beperkte rivaliteit bestaat. Dat laatste geldt bijvoorbeeld voor procedures waarbij partijen het eigenlijk volledig eens zijn over de gewenste uitkomst van de zaak. In dat soort gevallen verschaft de rechtspraak vooral een titel om de gewenste uitkomst te bereiken. Neem bijvoorbeeld echtscheidingszaken waarin beide partners een gelijkwaardige economische positie hebben en het eens zijn over de details van hun scheiding. In die situatie is de rechter niet meer dan een stempelmachine. Die rol kan ook heel goed door een machine vervuld worden. Naast het rivaliteitsniveau is de juridische complexiteit van een procedure van belang voor het antwoord op de vraag of AI in staat zal zijn de uitkomst van een procedure rechtstreeks te beslissen. Vooralsnog geldt dat hoe gecompliceerder een zaak, hoe moeilijker het voor artificiële intelligentie is om het geschil te beslechten. Maar dat betekent dus ook dat naarmate er minder ambiguïteit (door uitzonderingen en vage termen) in de toepassing van de rechtsregel zit, artificiële intelligentie sneller in staat zal zijn om eigenstandig een beslissing over die regel te nemen. Een voorbeeld van een niet-complexe regel is de regel die voorschrijft dat in het geval van niet-betwiste schuldvorderingen, de rechter de vordering moet toewijzen. Andere voorbeelden kunnen worden gevonden in allerlei soorten ontvankelijkheidsbeslissingen. Als er ook in ons land daadwerkelijk een wens ontstaat om een robotrechter te ontwikkelen, zal dit waarschijnlijk ook gevolgen moeten hebben voor het ontwerp van de (wettelijke) regels die door die robotrechter toegepast zullen worden. Ter illustratie kan bijvoorbeeld worden gewezen op verschillende varianten van online dispute resolution (ODR) die gebruikmaken van AI. Bij het ontwerpen van dergelijke alternatieve manieren van online geschilbeslechting worden vaak ook nieuwe geschilbeslechtingsregels en -mechanismen bedacht die geschikt zijn om door AI te worden toegepast. Zorgen voor de toekomst Of het nu gaat om het gebruik van artificiële intelligentie bij het beheer van zaakstromen, de ondersteuning van rechters, of bij het nemen van beslissingen, de toepassing van artificiële intelligentie door de rechtspraak zal ook juridische uitdagingen met zich brengen. Daarbij gaat het niet alleen om uitdagingen met betrekking tot de bescherming van (persoons-) gegevens. Discussies over het toekomstige gebruik van AI in de rechtspraak zullen ook betrekking hebben op mensenrechten. Het recht op een eerlijk proces en toegang tot de rechter zullen belangrijke toetsstenen zijn voor de beoordeling van de wenselijkheid van 48

51 analyse Een introductie op de robotrechter toepassing van AI in de rechtspraak. Bij die beoordeling kan het hiervoor gemaakte onderscheid tussen het gebruik van AI in de rechtspraak en rechtspraak door AI helpen. Met betrekking tot het gebruik van artificiële intelligentie bij de ondersteuning van rechters lijken de mogelijke mensenrechtelijke bezwaren klein. Dat geldt zeker als rechters een voldoende kritische houding aannemen ten opzichte van het door de AI aangedragen materiaal. In de meeste gevallen zal dan gelden dat de toepassing van AI niet problematischer is dan de prestaties die een mens kan leveren. Een rechter die zelf zoektermen in een juridische zoekmachine invoert is niet beter in staat (of objectiever) om jurisprudentie te selecteren dan AI in potentie zou zijn. Daar waar AI rechters ondersteunt zal bijvoorbeeld het recht op een eerlijk proces vaak geen directe grens stellen aan het gebruik van AI. Wel kan dat grondrecht dienen als basis voor het opstellen van (ethische) richtlijnen die in acht moeten worden genomen bij het ontwikkelen en (later) toepassen van AI-tools. Met betrekking tot rechtspraak door AI of de robotrechter zijn de mensenrechtelijke zorgen groter. Dit komt vooral doordat menselijke betrokkenheid nauw samenhangt met de algemene perceptie van rechtvaardigheid en daarmee met de eisen die wij gewoon zijn aan een eerlijk proces te stellen. Voor sommige procedures of rechtsgebieden, zoals het strafrecht, lijkt toepassing van een robotrechter om die reden uitgesloten. Een vraag die de recente ontwikkeling rond artificiële intelligentie expliciet op tafel legt, is of dit ook geldt voor de niet-complexe niet-rivaliserende casus die hiervoor werden genoemd. Waarom zouden partijen die het eens zijn over de gewenste uitkomst van een zaak niet mogen kiezen voor een robotrechter, als dit betekent dat ze een uitspraak krijgen in een fractie van de tijd en voor een fractie van de kosten? Zou het ook voor de samenleving niet beter zijn als de rechtspraak haar energie niet meer op dit soort procedures hoeft te richten? Of moeten we de ontwikkeling van dergelijke geschilbeslechtingsmechanismen maar volledig aan de markt overlaten? De toekomst bevat veel onbeantwoorde vragen met betrekking tot het gebruik van artificiële intelligentie in rechtspraak. Het is belangrijk de komende jaren naar antwoorden op deze vragen te (blijven) zoeken. De technologische ontwikkelingen gaan snel en vaak sneller dan het recht. Zeker met betrekking tot het gebruik van AI in de rechtspraak is het wenselijk dat deze technologische ontwikkeling juridisch wordt gestuurd. 49

52 rechtstreeks 2/2019 Kan artificiële intelligentie de rechtspraak betoveren? Kan artificiële intelligentie de rechtspraak betoveren? Manuella van der Put Introductie Naar aanleiding van haar presentatie bij het hof Amsterdam schreef Manuella van der Put deze bijdrage. 1 Ze beschrijft hierin een experiment waarin zij en haar collega-onderzoekers enkele beschreven toepassingen van artificiële intelligentie daadwerkelijk bouwen en testen. Ze onderzoeken of ze met artificiële intelligentie een tool of dashboard kunnen bouwen dat kan helpen bij het afdoen van zogenaamde bulkzaken, te weten bij het analyseren van de zaak, bij het zoeken naar vergelijkbare zaken en bij het komen tot een (concept)beslissing in deze zaken. Het onderzoek wordt verricht in een samenwerking tussen de rechtbank Oost-Brabant, de Universiteit van Tilburg, de Technische Universiteit Eindhoven en de Jheronimus Academy of Data Science (JADS). Het experiment krijgt financiële ondersteuning vanuit het ministerie van Justitie en Veiligheid. In het onderzoek stellen ze verschillende onderzoeksvragen waaronder: (hoe) kan artificiële intelligentie de rechterlijke macht ondersteunen en op welke onderdelen binnen het proces van de rechterlijke oordeelsvorming zou dit kunnen? En: zouden met behulp van een robotrechter ook taken overgenomen en autonoom beslissingen kunnen worden genomen? De pilot is in januari 2019 van start gegaan. Het is nog te vroeg om in dit artikel over definitieve resultaten te kunnen spreken. Maar Van der Put noemt de eerste uitkomsten veelbelovend en verwacht in 2020 met definitieve resultaten te kunnen komen. In deze bijdrage zet ze uiteen wat het onderzoek inhoudt en wat de eerste resultaten laten zien. Onderzoek Het onderzoek wordt verricht als onderdeel van mijn promotieonderzoek naar artificiële (of kunstmatige) intelligentie binnen de rechtspraak. Het onderzoek bestaat uit een literatuur- 1 Zie het redactioneel voor een beschrijving van het middagsymposium waarop Van der Put haar lezing hield. 50

53 analyse Kan artificiële intelligentie de rechtspraak betoveren? studie naar het proces van oordeelsvorming door de rechter en naar de mogelijkheden en onmogelijkheden van artificiële intelligente toepassingen binnen dat proces, bezien vanuit de huidige stand van de techniek en wetenschap. Vervolgens worden de mogelijke toepassingen van artificiële intelligentie op het proces van rechterlijke oordeelsvorming zoals die naar voren komen uit het literatuuronderzoek, beproefd in een pilot. Voor de pilot is een onderzoeksteam samengesteld dat bestaat onder meer uit een professional doctorate of engineering (PDEng), Daan Kolkman (wetenschapper), Floris Bex en mijzelf. Het onderzoek bestaat hiermee uit denken en doen. Verloop van het onderzoek In het theoretisch onderzoek, de literatuurstudie, is eerst gekeken naar het proces van rechterlijke oordeelsvorming. Wat gebeurt er vanaf het moment dat een rechter kennisneemt van het dossier tot en met het nemen van de beslissing? Ik noemt dit het onttoveren van het proces van rechterlijke oordeelsvorming. Vervolgens is gekeken op welke onderdelen van dit proces van rechterlijke oordeelsvorming artificiële intelligentie een rol zou kunnen spelen: kan artificiële intelligentie de rechter ondersteunen bij deze taken dan wel taken overnemen? 2 Kan artificiële intelligentie de rechtspraak betoveren met de mogelijkheden die zij biedt? Uit het literatuuronderzoek volgt dat het rechterlijk oordeel niet alleen een rationeel oordeel is. Ook emotie, 3 het onbewuste, 4 intuïtie 5 en rechtsgevoel spelen een belangrijke rol. De rechter neemt ook in zijn beslissing mee wat het effect van zijn beslissing zal zijn. 6 We weten dat artificiële intelligentie (AI) nog niet zo transparant is. De output is niet gemotiveerd. Ook beschikt AI (nog) niet over een rechtsgevoel en heeft het geen kennis van algemene ervaringsregels. Op basis van de verkregen informatie uit de literatuurstudie debatteerden we met datasciencespecialisten van JADS en een aantal legal start ups om antwoord te krijgen op de vraag: wat zijn mogelijke toepassingen van artificiële intelligentie bij het kennisnemen van het dossier, het analyseren van het geschil, het voorbereiden van de zitting, het toepassen van wet- en 2 Hetgeen hier beschreven wordt voor de rechter geldt ook voor de rol van de juridisch medewerker in het proces van rechterlijke oordeelsvorming. 3 IJzermans, M. (2011). De overtuigingskracht van emoties bij het rechterlijk oordeel. Den Haag: Boom juridische uitgevers. 4 Deelen, C. (2015). De invloed van het onbewuste van de rechter op het rechterlijk oordeel. Nederlands Juristenblad, Soeharno, J. E. (2005). Over rechterlijke intuïtie. Paul Scholtens intuïtieleer en een alternatie model van Aristoteles. Nederlands Tijdschrift voor Rechtsfilosofie & Rechtstheorie, 3, Hol, A. & Mak, E. (2010). Van legaliteit naar pragmatisme. Rechtstreeks, 4,

54 rechtstreeks 2/2019 Kan artificiële intelligentie de rechtspraak betoveren? regelgeving, de motivering en het nemen van de beslissing in een rechtszaak door de rechter? Op welke onderdelen van dit proces van beoordelen en beslissen kan artificiële intelligentie een rol spelen? En met welk experiment zouden we dit in de praktijk kunnen onderzoeken? In het onderzoek wordt daarmee vanuit de theorie én de praktijk gekeken naar de mogelijke voor- en nadelen van artificiële intelligentie. In de pilot onderzoeken wij waar in dit proces met de logica van algoritmes het proces van rechterlijke oordeelsvorming versterkt en/of versneld kan worden. In figuur 1 zijn een aantal onderzoeksvragen schematisch weergegeven. Figuur 1. Kunstmatige intelligentie in de rechtspraak? Schema gepresenteerd tijdens de focusgroepen AI in de rechtspraak. Opzet van de pilot Voor een bredere oriëntatie op de (on)mogelijkheden van AI zijn drie focusgroepbijeenkomsten georganiseerd waarbij door rechters, raadsheren, bestuurders, data scientists en legal techbedrijven is gesproken over de (on)mogelijkheden van artificiële intelligentie in de rechtspraak. In elk van deze bijeenkomsten werden dezelfde vragen voorgelegd en besproken: Robots in de rechtspraak, wenselijk ja of nee? In welke mate is AI al aanwezig binnen de rechtspraak? Zou een robotrechter autonoom kunnen vonnissen? Waaraan zou AI kunnen bijdragen binnen de rechtspraak? Welke pilots zouden kansrijk zijn binnen een afzienbare periode? 52