3. Charles Jeurgens E-discovery in de wereld van small and big data



Vergelijkbare documenten
Onderzoek naar de informatiehuishouding. Twee vragenlijsten vergeleken

GRIP OP DATA. Via inzicht en controle naar waarde! Jan-Hein Mols Datamanagement Consultant bij Axians

Pilotstarter Living Lab

Privacy aspecten van apps

MACHINE LEREN VOOR E-DISCOVERY

Pilotstarter Living Lab Tussentijdse update

Hyarchis.Net MKB. Hyarchis.Net MKB voor efficiënte ondernemers. Stroomlijn al uw digitale- en papierstromen

Open Data in België en Vlaanderen; Interessante complexiteit. Noël Van Herreweghe

BIG DATA wat is het eigenlijk?

Meer doen in minder tijd én met minder stress!

Verslag van de bijeenkomst. Informatie duurzaam digitaal toegankelijk

SECTORWERKSTUK

Eenvoud, kracht en snelheid

Programma Digitaal Werken. Introductie Programma Digitaal Werken (procesgericht werken) Arvid Janssen

Informatiehuishouding in de digitale wereld

E-Discovery Information Governance, Digital Archiving en AVG

Doe de poll via the Live App

AVG Verplichting? Of een kans?

Proactief en voorspellend beheer Beheer kan effi ciënter en met hogere kwaliteit

SEE INFORMATION DIFFERENTLY ARCHIEF- EN INFORMATIEBEHEER: EEN GOED BEGIN IS HET HALVE WERK BASISKENNIS OVER RETENTIESCHEMA'S

Profielwerkstuk: stappenplan, tips en ideeën

Hogeschool van Arnhem en Nijmegen Faculteit Educatie Instituut voor Leraar en School

Pilotstarter Living Lab Papieren Tijger Netwerk 27 maart 2018 J. Pantjes

Alfresco's Simple Records Management

Minigids Hybride Evenementen Het evenement dat niemand wil missen is hybride Een wereld waar offline en online samenkomen!

Privacy. Bedreigingen en kansen voor bedrijven en consumenten. F.T. Beke M.Sc. Prof. dr. P.C. Verhoef. Rapport RUGCIC ISBN

Living Lab bewaring Informatiesessie bij VNG Realisatie, januari 2018 Versie

Digitaal archiveren. Timo van Houdt werkgroep Archieven

Hoe stel je goede online marketingdoelen op? checklist

Privacy Verklaring versie

In een modern archief past ook sociale media

Sectorwerkstuk

Toelichting - Harddisk vervangen

Resultaten gesprekssessie 1 Elektronische Productinformatie

Ben jij klaar voor RDM-ondersteuning?

Informatie duurzaam digitaal toegankelijk mr M. J. Martin Berendse Algemeen Rijksarchivaris

Blauwdruk Recordsmanagemen t: Structuur in het SharePoint-Tijdperk

Nieuwe privacyregels: Eitje of zwarte zwaan?

HR metadata repository. André de Boer (BZK/CBS) (op persoonlijke titel)

De weg naar duurzaam toegankelijke overheidsinformatie

Wie is leidend of lijdend?

Fast Close Manager Factsheet versie 2016

Archiveren. Digitaal vertaald. Han Pieterse

Open Data. Themamiddag Actieve Openbaarheid

Geleerde lessen van zes pilotprojecten Eindrapport Regie in de Cloud -project werkpakket 3

Privacy Referentie Architectuur

Hoe doe ik een onderzoeksproject. Hans Bodlaender Marjan vd Akker

pilot. Opbrengsten bij JenV. Maarten van Rooij. 4 december 2018

Toolselectie checklist

Exact Online BUSINESS CASE MET EXACT ONLINE MEER FOCUS OP ACCOUNTMANAGEMENT EN ADVISERING. De 5 tips van Marc Vosse.

DIGITAL FOREVER. Digital Assets at risk

ICT voorzieningen in de cloud; het UvT traject

Masterclass. SharePoint 2010 in het Onderwijs

Resultaten Wie zoekt Wie op het internet onderzoek April

Archiveren by design Papieren Tijger Netwerk

Aan de slag met webarchivering

De visie van Centric op datamanagement

Posthogeschoolvorming rond Enterprise Content Management Business Process Management Service Oriented Architectures

GROEP GEGEVENSBESCHERMING ARTIKEL 29

Opdrachtgeverschap 2.0. Toezien op de afspraken in de verwerkersovereenkomst

De Eindhovense wijze van digitaal archiefbeheer in de praktijk Digitaal Archiefbeheer in de praktijk Antwerpen, 25 juni 2003

Hoofdlijnen van beleid management onderzoeksdata Universiteit voor Humanistiek

De uitkomsten van het Marketingtrendonderzoek 2014 Onno Ponfoort Rob Lindner

Overzicht van de criminaliteit in Nederland

Kerkelijk archiefbeheer. Een korte inleiding

De controller als choice architect. Prof. dr. Victor Maas Hoogleraar Management Accounting & Control Erasmus School of Economics

Bart van Reeken Voorzitter PON

Social media checklist

Moderne vormen van samenwerken Maarten Groeneveld

LinkedIn Profiel Checklist

10 implementatie. Tips voor een succesvolle ERP-

Proactief Denken en Doen in het Onderhoud

Ik wilde een opdracht ontwikkelen voor leerlingen die voldoet aan de uitgangspunten van competentiegericht leren.

Informatiemateriaal Managementsysteem

Hogeschool van Arnhem en Nijmegen Faculteit Educatie Instituut voor Leraar en School

Profielen. Inhoud. 1. Het profielwerkstuk. Stappenplan, tips en ideeën Profielwerkstuk

Conclusies en aanbevelingen van de. quick scan informatie- en archiefbeheer bij. afdeling X

Zorg dat je een onderwerp kiest, waarvan je echt meer wilt weten. Dat is interessanter, leuker en makkelijker om mee bezig te zijn.

ECSD/U Lbr. 15/072

Kwaliteit van toetsing onder de loep. kwaliteitszorg rondom toetsing 6 februari 2014

Informatieverzorger. Mbo-kwalificaties in de sector Informatiedienstverlening. Informatieverzorger

Evaluatie PvKO Mastersessie 10 april 2014

Research context: van venster naar poort Onderdeel: context

Eerste uitwerking strategisch thema 'Betrouwbare digitale informatie is de basis'

5 CLOUD MYTHES ONTKRACHT

In deze les ga ik er een beetje vanuit dat jij met jouw duurzame locatie, bedrijf of initiatief ook de mogelijkheden van Twitter wilt benutten.

Research Data Management

Veelgemaakte fouten bij de inzet van SharePoint

Het Sectorwerkstuk

Bouwen met Informatie 23 januari 2014

15 / 22 september Kees Brouwer. Architectuur e-depot

Research informatie- en datamanagement nieuwe taken voor bibliotheken in wetenschappelijke communicatie en ondersteuning bij onderzoek

Posthogeschoolvorming rond Enterprise Content Management Business Process Management Service Oriented Architectures

Storage infrastructuur TU/e. Henk van de Langenberg IT-Manager Dienst ICT

Formulier Datamanagementplan

Een brede kijk op onderwijskwaliteit Samenvatting

Overzicht. Onderzoekstaal. TOHBO Inholland. Taalbeleid Inholland

TALENTPUNT. Een Development Program speciaal voor HR professionals

Transcriptie:

1 Verslag Informatiebijeenkomst: E-Discovery voor Informatiemanagement in de praktijk van overheidsdienstverlening Woensdag 27 mei 2015 Nationaal Archief 1. Aanleiding bijeenkomst De Directie Digitale Infrastructuur en Advies van het Nationaal Archief, Universiteit van Leiden en het lectoraat E-Discovery van de Hogeschool van Amsterdam gaan gezamenlijk onderzoek doen naar de toepassingen van E-Discovery technieken bij de identificatie van ongestructureerde informatie die zich bevindt op mailservers, fileservers, webservers en sociale media. In het kader van dit onderzoek is een informatie bijeenkomst georganiseerd om in gesprek te gaan met de informatieprofessional en om de onderzoeksvraag scherper te formuleren zodat deze ook aansluit aan de praktijk. De middag was ingedeeld in twee delen. Deel één bestond uit het schetsen van de context door middel van vier korte presentaties. Dit diende als input voor het tweede gedeelte, een discussie over het onderwerp en het aanscherpen van de praktijkvragen van informatieprofessionals. De presentaties zijn als bijlage bij dit verslag meegezonden en in punten 2 t/m 5 hieronder is een korte samenvatting opgenomen van iedere presentatie. Punt 6 bevat een verslag van de discussie in deel twee die uiteindelijk aanleiding geven tot de formulering van 6 praktijkvragen. 2. Bodien Abels - Openbaarheid & Big Data Er wordt gekeken naar de informatie huishouding. Aan de ene kant zie je de beweging dat steeds meer informatie openbaar wordt gemaakt, aan de andere kant lijken er steeds meer beperkingen op de informatie te worden opgelegd. Gevolg: er wordt steeds minder informatie openbaar gemaakt. Enkele problemen die we zien in de informatiehuishouding: - Veel gemengde informatie - Geen overzicht en geen inzicht - Privacy - Geen consensus over wetten: Auteursrecht, Databankenrecht, Wob, Wbp, Vir-bi, Aw etc. - Werkpraktijk Wob - Veel uitzonderingen - Beoordeling gebeurt achteraf - Geen externe prikkel op kwaliteit - Herstelacties achteraf - Digitale achterstanden - Regimewisseling na 20 jaar De werkprocessen van de overheid en Nationaal Archief zijn op dit moment werkprocessen die op elkaar volgen. Door nieuwe infrastructuren die ontwikkeld worden kunnen deze processen (steeds) meer gelijktijdig plaatsvinden. Op welke manier kunnen we openbaarheid vaststellen in het proces en op welke manier kunnen E-Discovery technieken hierbij helpen. 3. Charles Jeurgens E-discovery in de wereld van small and big data E-Discovery wordt in een theoretisch kader geplaatst en geeft een voorzet voor de discussie die later in de middag gevoerd wordt. Er wordt een vergelijking gemaakt tussen Big Data en E- Discovery. Deze begrippen lijken overeenkomsten te hebben, bij beiden gaat het om grote hoeveelheden data en methodiek, daarnaast zijn er ook duidelijke verschillen. Bij big data wordt gezocht naar patronen die niet van te voren gedefinieerd zijn. Bij E-Discovery wordt gezocht naar iets specifieks (bv bewijs).

2 Aanknopingspunten voor het onderzoek: 1. (Geestes)wetenschap: het kunnen trekken van conclusies uit de enorme omvang van data. 2. Journalistiek: het gebruik van sociale media neemt toe, hoe analyseer je deze data en hoe kun je deze data (her)gebruiken. 3. Overheid: denk bijvoorbeeld aan parlementaire enquêtes. Je wilt informatie snel terug kunnen halen. 4. Recordmanagement/beheer: Informatie wordt aan de voorkant gestructureerd middels DMS/RMA s. Buiten deze systemen bevindt zich nog ontzettend veel informatie die niet beheerd wordt, zoals bijvoorbeeld e-mails. Kan E-Discovery worden ingezet voor vraagstukken rond identificatie van informatie, waardering en selectie. De overheid produceert een enorme hoeveelheid aan data, waarvan uiteindelijk maar 5-10% van bewaard hoeft te blijven. E-Discovery niet alleen gebruiken om erachter te komen wat we willen bewaren, maar ook voor het beheren en vernietigen van informatie. Een andere interessante invalshoek ter overweging is Internet of Things. 4. Hans Henseler E-Discovery onderzoek aan de Hogeschool van Amsterdam Het lectoraat E-Discovery in het Kenniscentrum Create-IT van de Hogeschool van Amsterdam doet onderzoek naar (toepassingen van) E-Discovery. E-Discovery is het identificeren, verzamelen, verwerken, doorzoeken en analyseren van elektronische informatie in het kader van een onderzoek. Bij onderzoek moet gedacht worden aan bijvoorbeeld intern onderzoek naar fraude binnen een bedrijf of organisatie, of een onderzoek naar aanleiding beschuldigingen door een toezichthouder of inspectiedienst. Het E-Discovery Reference Model (EDRM) is een praktisch model aan de hand waarvan betrokkenen vanuit verschillende disciplines (advocaat, forensische accountant, inspecteur, informatie manager, IT beheerder, directie enz) met elkaar kunnen overleggen over de stappen die genomen moeten worden om tot het gewenste resultaat te komen. Dit model is weergegeven in onderstaand diagram:

3 Een van de onderzoeksprojecten van het lectoraat is het Semantic Search voor E-Discovery project dat samen met Prof. Maarten de Rijke van de UvA wordt uitgevoerd. In dit project wordt onderzocht of semantische zoektechnieken die zich bewezen hebben op sociale media en andere open data ook geschikt zijn om beter te kunnen zoeken in email en documenten in het kader van E-Discovery. Naast dit onderzoek werkt het lectoraat ook samen met bedrijven die diensten en producten leveren op het gebied van E-Discovery. Zodoende is er in de kenniskring van het lectoraat veel kennis en ervaring aanwezig dan wel toegankelijk over reeds commercieel beschikbaar E-Discovery tools en de wijze waarop deze kunnen worden ingezet. In een publicatie in 2013 1 wordt uitgelegd dat E-Discovery en records management elkaar complementeren. Terwijl Records Management probeert proactief informatie te classificeren en archiveren wordt E-Discovery ingezet op moment dat het onduidelijk is welke informatie beschikbaar is, bijvoorbeeld doordat er geen duidelijke richtlijnen voor informatiemanagement waren of omdat die niet zijn nageleefd. De afgelopen jaren wordt steeds vaker ook in internationaal verband de link gelegd tussen E- Discovery en records management en het nut van E-Discovery voor informatieprofessionals. Dit onderwerp is onlangs verder verkend op het 6 de symposium E-Discovery in een discussiepanel. De uitkomst van die discussie is dat het Nationaal Archief geïnteresseerd is in samenwerking met het lectoraat E-Discovery om te onderzoeken hoe E-Discovery technieken bruikbaar zijn in de praktijk van de informatieprofessionals bij overheidsdiensten. 5. Otto de Graaf RAAK-Publiek: praktijkgericht onderzoek voor professionals uit de publieke sector. Het Nationaal Archief en de Hogeschool van Amsterdam gaan het onderzoek uitvoeren en deze subsidie zou het onderzoek een kick-start /extra impuls kunnen geven. De subsidie: Maximaal 600.000 per programma waarvan 300.000 als subsidie verstrekt wordt Looptijd: min. 18, max. 24 maanden. Voorwaarden: Tenminste 5 professionals uit bij voorkeur twee of meer overheidsorganisaties moeten deelnemen aan het project. De subsidie mag niet gebruikt worden om beleid te maken. Bedrijven kunnen ook deelnemen (en evt worden ingehuurd) in de rol van kennis leverancier of expert. Het bedrag dat aan inhuur mag worden besteed is beperkt. De uren die informatieprofessionals besteden aan het project gelden als in-kind bijdrage (deelname een besprekingen, evaluaties e.d.). Belangrijke data: - Dinsdag 16 juni Interne vooraanmelding: samenvatting (max. 2 A4) van het project waarin tenminste Vraagarticulatie, Netwerkvorming, Onderzoeksplan en wijze van cofinanciering aan bod komen - Dinsdag 1 september vóór 10:00 Projectaanvraag + Begroting: Een volledige projectbeschrijving conform het Raak-format zonder bijlagen maar met begroting ter beoordeling door de rector - Dinsdag 8 september volledige aanvraag: volledige aanvraag inclusief alle noodzakelijke bijlagen en benodigde handtekeningen ten behoeve van ontvankelijkheidstoets door adviesteam 1 G.J. van Bussel, H. Henseler, Digital Archiving and ediscovery. Delivering evidence in an age of overload, B. John, M. Nkhoma, N. Leung (eds.), Proceedings of the 4th International Conference on Information Systems Management and Evaluation. ICIME 2013, Ho Chi Min City, Vietnam, 13-14 May 2013 (Reading 2013), pp. 281-288.

4 - Dinsdag 15 september voor 13:59 Raak deadline: Lector dient aanvraag in via digitale systeem IRIS 6. Discussie over praktijkvragen Middaggedeelte van het programma was gereserveerd voor discussie met aanwezigen. Onderstaande samenvatting is opgedeeld in thema s om zo het geheel iets meer te structuren Drijfveer voor onderzoek (doelstelling): - Informatie op orde (identificatie, actieve openbaarheid, beheer, duurzame toegankelijkheid, waardering en selectie) - De vraag van buitenaf (WOB verzoeken etc.) - Gericht kunnen zoeken Scope onderzoek: Het onderzoek zou los moeten staan van apparaten/systemen en soorten media. Probeer niet teveel van te voren vast te leggen. Focus op de content en het bij elkaar halen van informatie. Belangrijke constatering: systeemgrenzen en organisatiegrenzen worden steeds diffuser. Moeten systemen als dropbox ook meegenomen worden? Voorbeeld: in een organisatie is beveiliging soms zo strak dat medewerkers andere manieren gaan zoeken om te kunnen (samen)werken, zoals met dropbox. Voor de menselijke ondersteuning is het waardevol om zoveel mogelijk systemen/oplossingen/devices mee te nemen. Dit kan wel de haalbaarheid van het onderzoek in de weg staan omdat je dan het risico loopt dat het te groot wordt. Thema s 1. De gebruiker centraal Werkproces We zijn steeds meer gaan vragen van onze medewerkers. Het uitvoeren van handelingen voor het bewaren van informatie zoals het toekennen van metadata en het registreren van documenten. Hoe kunnen E-Discovery technieken de medewerker helpen. Zoals het toekennen van de juiste naamconventies, het toekennen van metadata, het signaleren van belangrijke informatie aan de hand van hotspots. Onderzoek naar de mogelijkheden voor het ontwikkelen van een systeem om de medewerker te ondersteunen (volledig automatisch vs ondersteuning van de mens). Praktijkvraag 1: Kan een systeem een analyse maken van de wijze waarop een ambtenaar gegevens vastlegt? Anders geformuleerd. Kan een systeem leren aan de hand van voorbeelden die een ambtenaar geeft, informatie classificeren, informatie groeperen, risico s identificeren etc. Een belangrijk aandachtspunt om mee te nemen in het onderzoek is vertrouwen. Op dit moment heeft de medewerker geen vertrouwen in de techniek en wordt dit gezien als geldverspilling, iets wat toch niet gaat werken, en al helemaal niet als iets wat hun werk gemakkelijker kan maken.

5 2. Techniek Beheer: Veel fileservers en exchangeservers worden vaak slecht beheerd. Hoe kunnen we dit beter organiseren en/of beter inrichten. Vraag die dit oproept: waarom zou je dit willen managen? Antwoord: hier zit de echte bedrijfsinformatie. Kan de vraag aangescherpt worden: gaat het hier om hoe te zoeken in de bedrijfsinformatie (en te vinden) of hoe kun je op een goede manier de bedrijfsinformatie managen/beheren. Er zijn en worden genoeg pogingen ondernomen om grip te krijgen op informatie, maar techniek en de grote hoeveelheden schrikken af. E-Discovery readiness zou een eerste stap in een organisatie kunnen zijn om grip te krijgen op hun organisatie. Vooral een combinatie Praktijkvraag 2: Wat is er nodig in de organisatie en het beheer van veel voorkomende IT systemen (bijv. Windows fileservers Microsoft Exchange email server) zodat de informatie die ze bevatten doorzocht kan worden? Ontdubbelen: Het zoeken naar dubbelen? Gaan we massaal ontdubbelen? Bij woonstichting Limburg bleek 90% van de informatie uit duplicaten te bestaan. Dit brengt kosten mee voor opslag en beheer. Soms kan de dubbele data weg in andere gevallen kan het nodig zijn dat de metadata toch bewaard moet blijven. Daarnaast heb je te maken met zogenaamde bewerkte bestanden. Welke informatie wordt beschikbaar gesteld en hoe ziet deze informatie eruit voor intern gebruik. De relatie/context waar deze informatie gebruikt wordt kan anders zijn, terwijl het document hetzelfde is. E-Discovery kan helpen bij het reviewen van informatie die bij elkaar hoort ik moet door de brei heen. Het onderwerp ontdubbelen kan meegenomen worden in het onderzoek, maar dan niet vanuit de technische invalshoek (er zijn veel technieken voor en deze worden al vaak toegepast) maar vanuit de gebruiker (zie thema gebruiker). De focus zal dan moeten liggen op de human benefits en niet op de business benefits. Praktijkvraag 3: Op welke manier kan dubbele informatie ontdubbeld worden zonder dat relevante meta data verloren gaat. Deelvraag is: wat voor soorten dubbele informatie bestaan er en zijn er situaties waarin bijna dubbele informatie gekoppeld kan worden? 3. Begrenzing domein Hotspot Analyse Waar zit de belangrijke informatie in je organisatie? Zou een hotspot-analyse hierbij kunnen helpen? Het onderzoeken/doorzoeken van organisatie informatie op basis van onderwerpen, jaarplannen, thema s die de afgelopen jaren voor jouw organisatie interessant zijn geweest. Kunnen we op een andere manier naar informatie gaan kijken om deze te identificeren: Je weet wat je zoekt, je weet wat er moet zijn, maar kun je het ook vinden? Hoe bepaal je de samenhang van je informatie. Kun je dit clusteren waardoor je gerichter gaat kijken. Clusteren betekent overigens niet dat je alles in hoeft te zien. Je gaat alleen kijken naar die informatie die voor jouw organisatie van belang is.

6 E-mail Er is een behoefte om een gedeelte van het e-mailverkeer mee te laten lopen in de normale informatiestroom. Nu worden bij veel organisaties e-mails niet of nauwelijks beheerd, waardoor probleem eigenlijk steeds groter wordt. Hoe ga je als organisatie om met grote hoeveelheden mail. De toegang tot de mailserver/mails is niet eenvoudig i.v.m. privacy redenen. De vraag kan ook worden omgedraaid: Hoe kun je de mail middels techniek filteren zodat een persoon die de informatie moet beoordelen alleen zakelijke mails/documenten voorgeschoteld krijgt. Kan E-Discovery helpen bij scheiden van het privé domein en het zakelijk domein waardoor de werkvoorraad, hetgeen wat je zult moeten beoordelen, kleiner wordt. Te identificeren stromingen: - Aan de ene kant: Archiefvorming: informatie die beheerd, bewaard en ook vernietigd moet worden - Aan de andere kant: handelingsverlegenheid waar bij filteren en zoeken wet- en regelgeving in acht moet worden genomen Mogelijke invalshoek: Het opzetten van best practices E-Discovery en opzetten van protocollen. Cultuur omschakeling: laat niet de mensen lezen, maar de machines lezen (barrières: rechten en proportionaliteit Praktijkvraag 4: Hoe (methode en tools) kunnen informatiemanagers zoeken in bedrijfsinformatie die zich in fileservers en emailservers (bijv. Microsoft Exchange) bevindt? Speelt hierbij de privacy van medewerkers een rol en zo ja hoe kan een organisatie het privacy probleem adresseren? 4. Openbaarheid WOB verzoeken: Zijn er vanuit deze zoekvraag ook hotspots te bedenken? Is dit met tooling vooraf te identificeren en/of automatiseren? En hoe beoordeel ik mijn informatie op gevoeligheid. Er zijn verschillende invalshoeken te bedenken voor de inzet van E-Discovery technieken als het gaat om WOB verzoeken: - E-Discovery achteraf: Er is en WOB verzoek om informatie. Middels E-Discovery technieken privacy gevoelige elementen en gronden waarop informatie gesloten blijft eruit halen. - E-Discovery vooraf: Gronden waarop informatie gesloten blijft vooraf helder classificeren. Nu gebeurt dit allemaal achteraf en met de hand. Informatie wordt door personen ingezien en beken of deze gedeeld kan worden. Deze benadering is wel moeilijker te realiseren omdat het gebied vaak diffuus is en gronden waarop informatie gesloten blijft vaak slecht gedocumenteerd is. De E-Discovery vooraf aanpak geldt overigens niet allen voor de WOB, maar kan bijvoorbeeld ook toegepast worden voor de VIR. Simpele variant van de onderzoeksvraag: kun je bijzondere persoonsgegevens automatisch identificeren? Praktijkvraag 5: Is het mogelijk om automatisch persoonsgerelateerde informatie in een document te identificeren. Zo ja is het mogelijk om hiermee het weglakken van deze informatie te vereenvoudigen?

7 Deze gegevens mogen in ieder geval niet naar buiten en zijn dus ook geen misverstanden over. Kan je de gegevens identificeren en zouden deze dan ook automatisch kunnen worden weggelakt? Interessant is dan ook om eventuele resultaten voor te legen aan juristen en kijken of zij hiermee uit de voeten kunnen. Cultuur omschakeling: Wat doe je met het gedeelte wat je niet vindt? Wat ga je missen als je het volledig automatisch doet? Ga je iets missen? Wanneer is dit acceptabel? Hoe betrouwbaar is de mens? Missen we nu ook al niet informatie en hoe erg is dit? Met andere woorden hoe bepaal je wat acceptabel is, er is nooit een filter dat 100% correct werkt. Onderzoek zou inzicht kunnen geven in welke foutmarge acceptabel is. Welk percentage false positives en false negatives is nog acceptabel? Praktijkvraag 6: Hoe kunnen gebruikers en organisatie voldoende vertrouwen krijgen in de techniek die hun kan ondersteunen bij informatie management in de organisatie