Het visualiseren van argumentatie Susan van den Braak 1
Overzicht Argument visualisatie Wat? Waarom? Hoe? Onderzoek Methode Resultaten Voorbeeldproject Making Sense of Evidence 2
Overzicht Argument visualisatie Wat? Waarom? Hoe? Onderzoek Methode Resultaten Voorbeeldproject Making Sense of Evidence 3
Het visualiseren van argumenten Het visualiseren van argumenten en tegenargumenten Identificeer de verschillende onderdelen van een argument en de (inferentiële) relaties ertussen Het resultaat wordt weergegeven in box and arrow diagrammen (bv. een boom of een graaf) Hierdoor wordt de structuur van een argument weergegeven en wordt duidelijk hoe de premissen en conclusies samenhangen 4
5 Argument diagram
Bouwstenen van argument diagrammen Knopen (boxen, cirkels, ) Representeren claims, proposities, statements, beweringen Deze vormen de premissen en conclusies van een argument Links tussen knopen (lijnen, pijlen) Representeren relaties, connecties, inferenties Waarbij de pijl de richting van de relatie van premisse naar conclusie weergeeft Relaties kunnen zowel positief als negatief zijn 6
Verschillende modellen van argumentatie Ieder model heeft zijn eigen bouwstenen Toulmin Analyseerde de logische structuur van argumenten Argumenten bestaan uit datums (feiten), claims (beweringen), warrants (rechtvaardigingen), rebuttals (weerleggingen), qualifiers en backings (ondersteuning) Deze concepten kunnen gebruikt worden om argumenten te visualiseren Wigmore Ontwikkelde een methode om bewijs in een rechtszaak te visualiseren Wigmore s diagrammen bestaan uit veel verschillende typen knopen (verschillende soorten bewijs) en relaties 7
8 Toulmin diagram
9 Wigmore diagram
Voordelen van argument visualisatie Het visualiseren van informatie helpt bij: Overzichtelijk weergeven van grote hoeveelheden informatie Beter structureren van gedachten Makkelijker communiceren Het visualiseren van argumenten helpt bij: Het oplossen van wicked problems Deze problemen zijn onduidelijk of niet compleet gespecificeerd en hebben geen duidelijke criteria waaraan de oplossing moet voldoen Het nadenken over de structuur van een argument en het expliciet maken van claims. Dit zorgt ervoor dat studenten hun argumenten beter kunnen beoordelen doordat ze: Makkelijker kunnen nagaan of hun argumenten worden ondersteund door bewijs Makkelijker sterke en zwakke punten van hun argumenten kunnen identificeren Makkelijker inconsistenties en gaten kunnen ontdekken 10
Argument visualisatie software Het structureren en visualiseren van argumenten door middel van een computerinterface Araucaria (http://www.computing.dundee.ac.uk/staff/creed/araucaria/) Rationale (Reason!Able) (http://austhink.com/) Belvedere (http://lilt.ics.hawaii.edu/lilt/software/belvedere/index.html) Cohere (http://cohere.open.ac.uk/) Convince Me (http://www.soe.berkeley.edu/~schank/convinceme/) Questmap En vele anderen (http://www.phil.cmu.edu/projects/argument_mapping/) 11
Toepassingsgebieden Onderwijs Aanleren van redeneer- en argumentatietechnieken Aanleren van discussietechnieken Gezamenlijke probleemoplossing Structureren van discussies Structureren van gezamenlijke en conflicterende argumenten Recht Oplossen van misdaden (criminaliteitsanalyse) Voorbereiden van rechtszaken Nemen van beslissingen door de rechter 12
Araucaria Araucaria is vooral gericht op onderwijs, maar is bovenal een wetenschappelijke tool en minder geschikt voor dagelijks gebruik. Argumenten worden opgebouwd door middel van het selecteren van regels tekst uit brondocumenten Maakt gebruik van argumentatieschema s Ondersteunt verschillende argumentatie modellen en kan deze automatisch vertalen 13
14 Araucaria diagram
Rationale Rationale is een commerciële tool en is daardoor makkelijker in het gebruik. Het wordt vooral gebruikt in het onderwijs. Argumenten worden opgebouwd door het handmatig toevoegen van knopen aan de graaf Het programma bevat ook verschillende templates Gebruikers kunnen hun aangeven in welke mate zij zeker zijn van bepaalde elementen van hun argumenten Bevat functionaliteit om makkelijker te kunnen werken met grote diagrammen 15
16 Rationale diagram
Araucaria versus Rationale In Araucaria is het alleen mogelijk om door middel van het selecteren van tekst een diagram te maken Hierdoor is er wel altijd een directe link met het brondocument In Rationale is zo n link alleen mogelijk via hyperlinks Araucaria is expliciet gebaseerd op verschillende modellen van argumentatie en biedt de mogelijkheid om argumentatie schema s te gebruiken Rationale is makkelijker in het gebruik en biedt de gebruikers meer ondersteuning, daarnaast is er meer vrijheid bij het maken van diagrammen In Araucaria kan bijvoorbeeld maar één tegenargument per (sub)conclusie gebruikt worden Rationale biedt meer verschillende knooptypen en relaties 17
Verwachte effecten van deze software Verschillende auteurs claimen dat gebruikers van de argument visualisatie software profiteren doordat: Hun redeneerkwaliteiten verbeteren Ze efficiënter redeneren Ze sterkere argumenten maken Ze betere beslissingen nemen Ze sneller en beter leren 18
Overzicht Argument visualisatie Wat? Waarom? Hoe? Onderzoek Methode Resultaten Voorbeeldproject Making Sense of Evidence 19
Argument visualisatie software testen Usability Is het programma eenvoudig in gebruik, makkelijk te leren en overzichtelijk? Effectiviteit Wat is het effect van het gebruik van de software op de prestaties van de gebruikers? Gaan de gebruikers echt beter redeneren? Welke voordelen heeft de software ten opzichte van andere methoden? 20
Argument visualisatie software testen Usability Is het programma eenvoudig in gebruik, makkelijk te leren en overzichtelijk? Effectiviteit Wat is het effect van het gebruik van de software op de prestaties van de gebruikers? Gaan de gebruikers echt beter redeneren? Welke voordelen heeft de software ten opzichte van andere methoden? 21
Voorwaarden voor valide onderzoek Criteria voor valide experimenten Gebruik betrouwbare maten en meetmethodes Gebruik ten minste één controle groep Randomiseren Homogeniseren of counterbalancen Van den Braak et al. (2006) 22
Voorbeeld onderzoeksopzet Pre-test Bepaal of er vooraf al verschillen tussen de groepen bestaan Testopdracht Beide groepen maken dezelfde opdracht Laat de ene groep de software gebruiken en tenminste één controle groep een ander medium (bijvoorbeeld pen en papier) of een andere software tool Post-test Meet achteraf of de software effect heeft op de algemene redeneerkwaliteiten 23
Voorwaarden voor valide onderzoek Criteria voor valide experimenten Gebruik betrouwbare maten en meetmethodes Gebruik ten minste één controle groep Randomiseren Homogeniseren of counterbalancen 24
Het vinden van betrouwbare maten Het meten van de effectiviteit van een argument visualisatie tool is moeilijk, hiervoor is het nodig de geproduceerde argumenten te beoordelen: Kwaliteit van de structuur van het argument (objectief) Gedetailleerdheid (bijvoorbeeld het aantal elementen in een argument) Coherentie en geldigheid Kwaliteit van de inhoud van het argument (subjectief; beoordeling door expert nodig) Compleetheid Relevantie Toepasselijkheid 25
Een overzicht van bestaand onderzoek Verschillende auteurs hebben de effecten van argument visualisatie software op de prestaties van de gebruikers gemeten Convince Me Questmap Belvedere Reason!Able Van al deze onderzoeken hebben we de validiteit bekeken en beoordeeld naar aanleiding van de eerder genoemde criteria Van den Braak et al. (2006) 26
Resultaten Convince Me Geen valide experiment Test Software groep Controle groep Opdracht.6.45 < 0.05 Post-test.5.4 < 0.05 p Significante effecten 27
Resultaten Questmap Geen valide experiment Test Software groep Controle groep Pre-test - - 0.305 Post-test 5.15 4.50 0.137 p Geen significante effecten 28
Resultaten Belvedere Valide experiment Test Software type p Matrix Graaf Tekst Opdracht 79.4 67.5 60.4 < 0.49 Post-test 15.2 15.18 14.90 < 0.96 Geen significante effecten 29
Resultaten Reason!Able Geen valide experiment De prestaties van de studenten verbeterden door het gebruik van Reason!Able sterker dan door conventionele leermethoden Er worden geen uitspraken gedaan over de significantie van de gevonden verschillen 30
Conclusie Niet alle experimenten leveren significante resultaten op, maar de gevonden verschillen wijzen wel in de goede richting Het enige valide experiment (Belvedere) toonde geen significante verschillen aan Significante verschillen werden alleen gevonden in een invalide experiment (Convince Me) Het is nodig nieuw onderzoek uit te voeren dat het in Van den Braak et al. (2006) voorgestelde stappenplan volgt om aan te tonen dat argument visualisatie software de prestaties van de gebruikers echt verbetert 31
Overzicht Argument visualisatie Wat? Waarom? Hoe? Onderzoek Methode Resultaten Voorbeeldproject Making Sense of Evidence 32
Het Making Sense of Evidence project Het ondersteunen van criminaliteitsanalisten door middel van software in: Het ontdekken van patronen Het kunnen aanwijzen van inconsistenties Het identificeren van missend bewijs Het communiceren van de resultaten van de analyse Voorkomen van tunnelvisie (?) 33
De taak van analisten binnen een rechercheonderzoek Moeten een objectieve kijk op de zaak en het gevonden bewijs geven en zo veel mogelijk alternatieven onderzoeken Selecteren, filteren en evalueren van de binnenkomende informatie Visualiseren van deze informatie in schema s (tijdslijnen of relatieschema s) Dit proces resulteert in nieuwe zoekvragen voor de rechercheurs die verbonden zijn aan de zaak 34
Het AVERs prototype Argument Visualization for Evidential Reasoning based on stories Sense-making software voor criminaliteitsanalyse Analisten kunnen scenario s van wat er gebeurd zou kunnen zijn construeren en visualiseren en kunnen deze verhalen verbinden aan de beschikbare bewijsstukken zodat: Het structureren van grote hoeveelheden bewijs makkelijker wordt Meerdere scenario s tegelijkertijd beoordeeld (kunnen) worden Aangegeven kan worden waarom bepaalde scenario s ondersteund of verworpen worden door bepaald bewijsmateriaal Van den Braak et al. (2008) 35
Het visualiseren van scenario s en bewijs Structureren en inzichtelijk maken van informatie door middel van scenario s Het vergelijken van verschillende hypotheses (scenario s) Het verbinden van de op deze manier geconstrueerde scenario s met het beschikbare bewijs De onderliggende redenering expliciet maken en vastleggen hoe bepaalde bewijsstukken het verhaal ondersteunen Kritisch oordelen over de vastgelegde relaties 36
Het visualiseren van scenario s en bewijs Structureren en inzichtelijk maken van informatie door middel van scenario s Deze scenario s worden gevisualiseerd door middel van temporele/causale netwerken Het verbinden van de op deze manier geconstrueerde scenario s met het beschikbare bewijs Deze relaties tussen bewijs en gebeurtenissen worden gevisualiseerd door middel van argumenten 37
De gebruikersinterface van AVERs menu visualisatie edit 38
Specifieke eisen voor deze software Argument visualisatie software voor criminaliteitsanalyse moet de gebruiker in staat stellen om: Een directe link tussen de knopen en de originele bewijsstukken bij te houden Argumentatie schema s te gebruiken om aan te geven welk soort bewijs er gebruikt is en de relatie tussen bewijs en scenario s kritisch te kunnen beoordelen 39
Voorbeeld: De zaak Rijkbloem Nicole, een bakkersdochter, gaat weg bij Rijkbloem, een kruimeldief. Nicole gaat met haar ouders langs Rijkbloem. Er ontstaat een ruzie tussen Rijkbloem en Nicole s vader, die eindigt in de dood van vader De politie krijgt twee verhalen te horen: Nicole en haar moeder vertellen dat tijdens de ruzie Rijkbloem een pistool trok, aanlegde en vader door het hoofd schoot Rijkbloem beweert dat moeder een revolver uit haar handtas pakte en op hem richtte. Toen hij haar arm wegsloeg, ging de revolver af en werd vader geraakt 40
41 Scenario s in AVERs
42 Scenario s ondersteunen in AVERs
De relaties tussen scenario en bewijs Worden weergegeven door middel van argumentatie schema s Veelvoorkomende redeneerpatronen voor redeneren over bewijs, bestaande uit een of meer premissen en een conclusie ALS een getuige iets zegt DAN is het waar ALS het DNA van het bloed op het mes overeenkomt met DNA slachtoffer DAN is het mes het moordwapen Bij elk schema horen kritische vragen Kritische vragen zijn er om een schema te testen Als een schema de tests niet doorstaat, dan moet je je afvragen of het bewijs het scenario wel echt ondersteunt 43
44 Argumenten in AVERs
De evaluatie van AVERs Toetsend (kwantitatief) onderzoek Onderzoeken hoe de gebruiksvriendelijkheid van de software beoordeeld wordt Onderzoeken wat het effect is van de software op de prestaties van de gebruiker Onderzoeken of de gebruikte kennisrepresentatie overeenkomt met de praktijk 45
De evaluatie van AVERs Toetsend (kwantitatief) onderzoek Onderzoeken hoe de gebruiksvriendelijkheid van de software beoordeeld wordt Onderzoeken wat het effect is van de software op de prestaties van de gebruiker Onderzoeken of de gebruikte kennisrepresentatie overeenkomt met de praktijk 46
Het testen van de usability van AVERs Laat de gebruikers de software gebruiken zonder instructies vooraf en kijk of ze in staat zijn om een voorbeelddiagram na te maken (experiment 1) Laat de gebruikers de gebruiksvriendelijkheid van de software beoordelen op een 5-puntsschaal (experiment 2) Cognitive Walkthrough (afstudeerscriptie Jauco Noordzij) 47
Resultaten Maat Experiment 1 Experiment 2 Gebruiksvriendelijkheid van het geheel 3,13 2,80 Gebruiksgemak van specifieke functies 4,03 3,31 Begrijpelijkheid 3,13 Alle maten zijn op een schaal van 1 tot 5 48
Resultaten Maat Experiment 1 Experiment 2 Gebruiksvriendelijkheid van het geheel 3,13 2,80 Gebruiksgemak van specifieke functies 4,03 3,31 Begrijpelijkheid 3,13 Mogelijke verklaring voor de daling in waardering: In experiment 1 werd een beperkte versie van AVERs getest waarin alleen argumenten gemaakt konden worden In experiment 2 werd een complete en complexere versie getest werd waarin ook scenario s gemaakt konden worden 49
Resultaten Het gebruiksgemak van specifieke functies is toereikend Het aanmaken van nieuwe knopen, quotes, schema s en links, en het inklappen van knopen en links is onderzocht De gebruiksvriendelijkheid van het geheel moet verbeterd worden Met name de traagheid van het systeem wordt als een nadeel ervaren 50
De evaluatie van AVERs Toetsend (kwantitatief) onderzoek Onderzoeken hoe de gebruiksvriendelijkheid van de software beoordeeld wordt Onderzoeken wat het effect is van de software op de prestaties van de gebruiker Onderzoeken of de gebruikte kennisrepresentatie overeenkomt met de praktijk 51
Het testen van de effectiviteit van AVERs Onderzoeken of de prestaties van AVERs gebruikers beter zijn dan die van anderen De treatment groep gebruikt AVERs terwijl de controle groep een andere tool of pen en papier gebruikt Onderzoeken of bepaalde functies de prestaties van de gebruikers verbeteren Zowel de treatment als de controle groep gebruiken (een andere versie van) AVERs 52
Het testen van de effectiviteit van AVERs Onderzoeken of de prestaties van AVERs gebruikers beter zijn dan die van anderen Onderzoeken of bepaalde functies de prestaties van de gebruikers verbeteren 53
Probleem: omgaan met grote zaken Grote diagrammen moeten leesbaar en handelbaar blijven Wensen van criminaliteitsanalisten: Verschillende abstractie niveaus Inzoomen op details Overzicht houden op het geheel 54
Functionaliteit: omgaan met grote zaken Compressie en decompressie Het zichtbaar of onzichtbaar maken van bijvoorbeeld schema s Refinement Het invoegen van nieuwe knopen tussen twee reeds verbonden knopen 55
56 Compressie
57 Refinement
Het experiment effectiviteit Proefpersonen Taak 16 criminaliteitsanalisten en studenten van de politieacademie in Zutphen 2 condities Het analyseren van een simpele moordzaak in AVERs bestaande uit 5 brondocumenten Metingen Kwaliteit van de analyse Snelheid Begrip van de zaak Van den Braak et al. (2008) 58
Resultaten Meting Treatment groep Controle groep p Kwaliteit 1,01 0,73,05 * Compleetheid 16,25 15,50,40 Structuur 6,00 4,75,24 Correctheid 6,25 1,88,04 * Snelheid 3286 sec 3972 sec,06 (*) Begrip 14,88 14,14,16 59
Resultaten Alle resultaten in de voorspelde richting Slechts twee resultaten significant Aanbevelingen Herhaal experiment met een groter aantal proefpersonen Gebruik een uitgebreidere, ingewikkeldere casus 60
De evaluatie van AVERs Toetsend (kwantitatief) onderzoek Onderzoeken hoe de gebruiksvriendelijkheid van de software beoordeeld wordt Onderzoeken wat het effect is van de software op de prestaties van de gebruiker Onderzoeken of de gebruikte kennisrepresentatie overeenkomt met de manier van redeneren van de doelgroep 61
De kennisrepresentatie Hoe redeneren experts, toekomstige gebruikers,? Hoe interpreteren zij de relaties die in het systeem worden vastgelegd en waarom interpreteren zij die op deze manier? Representatie moet overeenkomen met de praktijk en zo natuurlijk mogelijk zijn Zo dicht mogelijk bij de werkelijke aard van de kennis blijven 62
Het experiment kennisrepresentatie Proefpersonen: 14 rechtenstudenten and 13 AIO s aan de rechtenfaculteit Taak: Benoemen van de aard van verschillende relaties Kiezen van een richting voor het representeren van verschillende soorten informatie 63
64 Taak 1
65 Taak 2
Resultaten Met name voor de relaties tussen bewijsstukken en gebeurtenissen is de richting van belang voor het begrijpen ervan Het omdraaien van de richting maakt het interpreteren van de relaties moeilijker Voor alle soorten informatie heeft de voorgestelde richting de voorkeur Het theoretische model dat ten grondslag ligt aan AVERs komt overeen met de intuïties van potentiële gebruikers 66
Conclusie Verschillen AVERs ten opzichte van andere tools: Het systeem is gebaseerd op een theorie van het redeneren over bewijs Het is gedetailleerder en complexer dan meer generieke systemen Het is hierdoor moeilijker te gebruiken voor niet-professionals Deze functionaliteit echter is wel nodig voor gebruik in de praktijk Training is daarom belangrijk Er is empirisch onderzoek gedaan naar zowel de usability als de effectiviteit van deze software Hierbij is het van belang grote zaken te gebruiken in combinatie met getrainde proefpersonen Helaas zijn tot nu toe slechts bepaalde functies van de software getest 67
Vragen? susanb@cs.uu.nl http://people.cs.uu.nl/susanb/ 68