University of Groningen On the use of computerised decision aids Dijkstra, Jacob Jan IMPORTANT NOTE: You are advised to consult the publisher's version (publisher's PDF) if you wish to cite from it. Please check the document version below. Document Version Publisher's PDF, also known as Version of record Publication date: 2006 Link to publication in University of Groningen/UMCG research database Citation for published version (APA): Dijkstra, J. J. (2006). On the use of computerised decision aids: an investigation into the expert system as persuasive communicator. s.n. Copyright Other than for strictly personal use, it is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), unless the work is under an open content license (like Creative Commons). Take-down policy If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim. Downloaded from the University of Groningen/UMCG research database (Pure): http://www.rug.nl/research/portal. For technical reasons the number of authors shown on this cover page is limited to 10 maximum. Download date: 22-05-2019
Samenvatting De resultaten van dit onderzoek laten zien dat een kennissysteem een hulpmiddel is met een grote overredingskracht en dat gebruikers van kennissystemen de neiging hebben om adviezen van het kennissysteem over te nemen zonder het advies goed te bestuderen. Hierdoor worden de fouten die kennissystemen kunnen maken waarschijnlijk niet door de gebruikers opgemerkt. Dit leidt tot ongewenste gevolgen omdat kennissystemen fouten maken. De inzet van kennissystemen is gebaseerd op de veronderstelling dat gebruikers de conclusies die door het kennissysteem getrokken worden controleren. Het Elaboration Likelihood Model (ELM; Petty & Cacioppo, 1986a, 1986b) is een model uit de sociale psychologie dat laat zien hoe mensen komen tot het accepteren of verwerpen van adviezen. Het model geeft aan dat mensen berichten evalueren door ze zorgvuldig op inhoud te controleren (overtuiging via de central route) of door simpele beslissingsregels te hanteren zonder het bericht op haar inhoud te controleren (overtuiging via de peripheral route). Deze laatste manier van evalueren kan makkelijk tot een verkeerde beoordeling van het advies van een kennissysteem leiden. Een kennissysteem is een computerprogramma dat een beperkte groep van problemen kan oplossen met behulp van specifieke kennis over dit soort problemen. Hoofdstuk 2 geeft een beschrijving van kennissystemen en laat zien waar hun beperkingen liggen. Een kennissysteem heeft een kennisbank, een redeneermechanisme en een gebruikersinterface. In de kennisbank bevindt zich het kennismodel waarmee het redeneermechanisme conclusies kan afleiden. Kennisacquisitie, het vergaren van de kennis voor het kennismodel en de bouw ervan, is het moeilijkste onderdeel bij de bouw van kennissystemen (Waern, 1989). Enkele problemen van kennisacquisitie zijn: het definiëren en afbakenen van het kennisdomein, de beperktheid van modellen, het afstemmen van de verschillende meningen van domeinexperts en het omschrijven van algemene kennis. Hierdoor is het kennismodel van een kennissysteem vaak incompleet en soms zelfs incorrect. Daarom mag een
124 Samenvatting kennissysteem nooit als een soort orakel gebruikt worden (Boden, 1990); een kennissysteem is een adviserend systeem en de gebruiker moet bepalen in hoeverre de adviezen bruikbaar zijn. De gebruiker wordt hierbij vaak ondersteund door allerlei uitlegfuncties en een gebruiksvriendelijke interface welke noodzakelijk zijn om de gebruiker van voldoende informatie te voorzien om een dergelijke afweging te kunnen maken. Een aantal studies hebben echter aangetoond dat gebruikers het nut en de effectiviteit van beslissingsondersteunende computerprogramma's vaak verkeerd inschatten. Hoofdstuk drie geeft een overzicht van experimenten waarin proefpersonen dachten dat ze hun werk beter deden met behulp van een computerprogramma terwijl het programma hun prestaties helemaal niet verbeterde. Ook wordt in hoofdstuk drie het ELM model beschreven (Petty & Cacioppo, 1986a, 1986b), een model aangaande beïnvloeding dat kan worden gebruikt om de verkeerde evaluatie die de computergebruikers in de experimenten maakten te verklaren. Volgens het ELM model besteden de ontvangers van berichten lang niet altijd aandacht aan de inhoud van het bericht bij de beoordeling ervan. Als de motivatie en het vermogen om de berichten op inhoud te controleren ontbreken dan gebruiken mensen vaak simpele beslissingsregels, zoals gevoelens ten opzichte van degene van wie het bericht afkomstig is, om te bepalen of ze geloof hechten aan het bericht (overtuiging via de peripheral route). Op deze manier zouden gebruikers van kennissystemen het advies van het systeem kunnen accepteren zonder het daadwerkelijk te bestuderen. In dat geval zou het kennissysteem als een beïnvloedende berichtgever functioneren. In hoofdstuk vijf wordt een experiment beschreven waarin de overtuigingskracht van kennissystemen is getest. In het experiment moesten 63 juristen een aantal juridische problemen oplossen. Hierbij werd advies gegeven door twee kennissystemen en iedere jurist werd ondersteund door een van beide kennissystemen. Beide kennissystemen hadden een verschillend en onvolledig kennismodel waardoor ze telkens tegenovergesteld advies gaven. De resultaten van het experiment laten zien dat de juristen in hoge mate werden beïnvloed door het onvolledige en verkeerde advies van het kennissysteem dat ze gebruikten. Bovendien maakten de juristen
Samenvatting 125 nauwelijks gebruik van de uitlegfuncties om de argumentatie van het kennissysteem te controleren. Vermoedelijk werden de juristen via de peripheral route overtuigd. Wanneer de juristen het advies van het kennissysteem goed zouden hebben bestudeerd dan hadden ze moeten zien wanneer dit advies incorrect was. Hoofdstuk zes beschrijft een onderzoek naar de factoren die een rol spelen bij de overredingskracht van kennissystemen. Als gebruikers alleen naar de buitenkant van het advies kijken dan zouden ze het advies kunnen accepteren omdat ze bepaalde verwachtingen hebben van het kennissysteem dat het advies geeft. In dit onderzoek werden door 84 proefpersonen identieke adviezen geëvalueerd waarvan gezegd was dat deze adviezen waren opgesteld door een kennissysteem danwel door een menselijke adviseur. De resultaten laten zien dat, ondanks dat het advies exact gelijk was, de proefpersonen het advies van een kennissysteem objectiever en rationeler vonden dan het advies van een menselijke adviseur. Bovendien vonden de proefpersonen de problemen waarover werd geadviseerd eenvoudiger wanneer het advies werd gegeven door een kennissysteem, vooral als het advies was opgesteld in de vorm van produktieregels. Het experiment toont dus aan dat gebruikers worden beïnvloed en dat ze bepaalde overtuigingen hebben ten aanzien van kennissysteemadvies; overtuigingen die niet gebaseerd zijn op de inhoud van het advies. Hoofdstuk zeven beschrijft een experiment waarin de relatie tussen de overredingskracht van kennissystemen en overtuiging via de peripheral route is onderzocht. In dit experiment werd aan 71 proefpersonen gevraagd om kennissysteemadvies aangaande drie juridische problemen te evalueren. Voor iedere casus was het juiste advies in de casusbeschrijving gegeven, maar daarnaast raadpleegden de proefpersonen echter een kennissysteem dat voor alle casussen onjuist advies gaf. Proefpersonen die voortdurend het advies van het kennissysteem overnamen leverden een kleinere mentale inspanning, ze hadden minder informatie over de casus onthouden en ze vonden de casus makkelijker in vergelijking met proefpersonen die het oneens waren met het advies van het kennissysteem. Deze resultaten tonen aan dat proefpersonen die altijd instemden met het kennissysteem het advies minder goed hadden bestudeerd dan de proefpersonen die het oneens waren met het
126 Samenvatting kennissysteem. Deze uitkomst was te verwachten op grond van het ELM model en het geeft aan dat de afwijzing van het kennissysteemadvies samenhangt met de meer inspannende evaluatie via de central route en dat acceptatie van het advies samenhangt met de minder inspannende evaluatie via de peripheral route. Het derde experiment omvatte ook een onderzoek naar factoren die de overredingskracht van kennissystemen beïnvloeden. Volgens het ELM model zullen mensen die een lage motivatie en een kleinere bekwaamheid hebben om het advies van een kennissysteem te bestuderen, het advies eerder evalueren via de peripheral route. De motivatie van kennissysteemgebruikers is bestudeerd in hoofdstuk vier. In dit hoofdstuk zijn de gevoelens die mensen hebben ten aanzien van computergebruik nader bekeken. De bestudeerde gevoelens en verwachtingen zijn de verwachte bruikbaarheid van een computerprogramma, het verwachte gebruiksgemak, computerangst, plezier in computergebruik en de mate waarin iemand denkt een computer doeltreffend te kunnen bedienen. De resultaten van het derde experiment, gepresenteerd in hoofdstuk zeven, laten zien dat mensen met een geringe motivatie om kennissystemen te gebruiken eerder het onjuiste advies van een kennissysteem zullen overnemen, vooral wanneer dit advies is opgesteld in de vorm van produktieregels. Al met al tonen de drie experimenten aan dat de wijze waarop kennissystemen worden gebruikt dient te worden heroverwogen. Kennissystemen kunnen gebruikers beïnvloeden door hun uiterlijke overredingskracht. Dit betekent dat gebruikers het advies van een kennissysteem vaak niet op inhoud zullen beoordelen, waardoor fouten van het kennissysteem onopgemerkt blijven. Hoofdstuk acht geeft een beschouwing over een aantal gevolgen die de onderkenning van de overredingskracht van kennissystemen zou moeten hebben. In de eerste plaats dienen de ontwerpers van kennissystemen op de hoogte te zijn van de manier waarop kennissystemen gebruikers kunnen beïnvloeden. Bij de constructie van beslissingsondersteunende systemen moeten ontwerpers rekening houden met de beperkingen en capaciteiten van mensen. Het is waarschijnlijk onvoldoende om alleen de interface te verbeteren omdat zelfs goede uitlegfuncties met een goed ontworpen
Samenvatting 127 interface niet garanderen dat de gebruiker er daadwerkelijk gebruik van zal maken. Dit inzicht kan ook van belang zijn voor het ontwerp van andere vormen van beslissingsondersteunende computerprogramma's dan kennissystemen. Helaas worden de meeste computerprogramma's ontwikkeld vanuit het oogpunt van de machine. Vaak worden taken die kunnen worden geautomatiseerd door de computer uitgevoerd en de taken die overblijven moeten door de gebruiker worden gedaan (Norman, 1993). Het gevolg is dat mensen snel fouten zullen maken wanneer ze dergelijke programma's gebruiken omdat deze systemen ons dwingen taken uit te voeren die niet noodzakelijkerwijs geschikt zijn om door mensen te worden uitgevoerd. De oorzaak van een dergelijke problematiek ligt in het beperkte inzicht dat systeemontwerpers hebben in de menselijke kant van de techniek. Daarom kunnen modellen uit de sociale psychologie, zoals het ELM model, van grote waarde zijn bij het ontwikkelen van beslissingsondersteunende computerprogramma's waarvan het ontwerp meer gericht is op de capaciteiten van mensen. Bovendien dient de relatie tussen gebruiker en kennissysteem te worden heroverwogen met oog op de juridische aansprakelijkheid die kan ontstaan door het gebruik van kennissystemen. Gebruikers dienen zich te realiseren dat ze hoogstwaarschijnlijk verantwoordelijk zijn voor beslissingen die gebaseerd zijn op onjuist advies van een kennissysteem, zelfs wanneer ze het systeem gebruiken als een onfeilbaar orakel. De makers van kennissystemen dienen gebruikers op de hoogte te stellen van dit juridische gevaar. Tot slot wordt er in hoofdstuk acht op aangedrongen dat het ontwerp van een kennissysteem moet beginnen met een taakanalyse waarin wordt vergewist dat gebruikers niet met taken wordt geconfronteerd die ze niet goed kunnen uitvoeren. Het kennissysteem dient díe taken uit te voeren waarin mensen niet zo goed zijn, zoals rekenen en het opzoeken van informatie in tabellen. Deze simpele routine taken kunnen door het kennissysteem worden uitgevoerd terwijl de gebruiker zich bezig houdt met het werkelijke beslissingsproces. Kennissystemen moeten worden gezien als hulpmiddel voor het nemen van beslissingen waarbij de gebruiker de belangrijkste rol heeft.
128 Samenvatting