Online onderzoek: een kwestie van vertrouwen

Vergelijkbare documenten
De Cues Filtered Out Theorie

Methoden van het Wetenschappelijk Onderzoek: Deel II Vertaling pagina 83 97

Onderzoek nieuwe examenprogramma MAW

WORKSHOP ONDERZOEKSMETHODEN

Dag van de Trainer. Gaat online leren ten koste van verbinding?

Hoe denkt de vrijgevestigde Friese psycholoog en orthopedagoog hierover?

Communiceren en Improviseren. Omgaan met dynamiek en complexiteit bij de ontwikkeling en implementatie van een gezondheidsinterventie W.M.A.

Inhoud. 1 Inleiding Voor wie is dit boek? Doelstelling Aanpak Opzet 13

Vijftien jaar internet. Wat heeft het voor ons betekend?

Advies aan de stuurgroep CJG & Gemeente Assen

Rapport Kor-relatie- monitor

Inleiding 15 Waarom deze methode? 15 Voor de student 16 Legenda gebruikte icoontjes 18 Personages: wie is wie? 18. In de startblokken 19

Onderzoek de spreekkamer!

Voor de sanctie-uitvoering

Workshop. Dataverzameling. Van onderzoeksvraag naar data

Introductie. Onzichtbaar op internet. GEMAAKT DOOR: Redactie i-respect. ONDERWERP: Communiceren. DOEL: Spelen met identiteit

Meer succes met je website

Voorwoord... iii Verantwoording... v

Inhoudsopgave Internet voor beginners

De inzet van online groepsdiscussies in marktonderzoek

Afstudeertraject. Het schrijven van een scriptie. hier korte introductie wat ze gaan horen. en zelf voorstellen

1.Inleiding: De Plug & Play Business Formule

Inhoud. Introductie tot de cursus

Samenvatting (Summary in Dutch)

Sessie 5: Methodes voor dataverzameling

Gesprekken zonder einde

Workshop. Dataverzameling. Van onderzoeksvraag naar data

Millennials begrijpen en bedienen

Serie handleidingen. "LbD4All" ("Leren door Ontwikkeling voor iedereen ") E-LEARNING. Door Kristina Henriksson, Päivi Mantere & Irma Manti

Rol van de cliënt en de raad in verbetering digitale dienstverlening

Hoe breng je kennisuitwisseling in een MOOC in kaart? Francis Brouns, Olga Firssova ORD 2017, Antwerpen, 30 juni 2017

omgeving wereld regie vanuit de jongere Jongeren leren organiseren

Hoorcollege 1: Onderzoeksmethoden !!

Narratief Onderzoek: What s s in a name?

Discussie notitie Aan Van Datum Onderwerp Basisprincipes als afspraak Discussie voor raadsleden Extra informatie Gevraagd

Case: knooppuntnamen. Lessons learned. van deze werkwijze. Werving Sessie Community mijnlef (social) media

PRESTUDY TASKS: DOING WHAT IS GOOD FOR YOU

Compassie leven. 52 wekelijkse inspiraties vanuit Geweldloze Communicatie. PuddleDancer Press Samengesteld door Monie Doodeman

Mama, mag ik op t internet?

Ola Lanko en haar foto-genic installaties 14 oktober interview

Rapportgegevens Nederlandse persoonlijkheidstest

Emotionele Intelligentie

Aanvulllende info Workshop Social Media Humanitas district Noord

10 WEB DESIGN TIPS VOOR EEN SUCCESVOLLE WEBSITE

Social media is onmisbaar in de pensioenwereld!

Voor meer informatie over dit onderzoek kunt u contact opnemen met Lisette van Vliet: lisette.van.vliet@eenvandaag.

Een MainportArt Site De optimale keuze voor kunstenaars, fotografen en modellen. versie 1,1 Maart 2013

3.6 Diversiteit is meer dan verschil in cultuur Antwoorden uit de gezondheidswetenschappen

Voorwoord van Hester van Herk... iii Voorwoord van Foeke van der Zee... iv Verantwoording... vi

Palliatieve Zorg. Onderdeel: Kwalitatief onderzoek. Naam: Sanne Terpstra Studentennummer: Klas: 2B2

Inhoudsopgave. 2 Danique Beeks Student Advanced Business Creation Stage JH Business Promotions

Presence and the design of trust NIOC Caroline Nevejan

Auteurs: Baarda e.a. isbn:

Checklist (re)design website

Vraagstuk: Sterk vermoeden dat de communicatie van de school niet meer bij de cursisten doelgroep past en verbeterd kan worden.

Samenvatting. Clay Shirky Iedereen Hoofdstuk 4 Eerst publiceren, dan filteren. Esther Wieringa Kelly van de Sande CMD2B

er zijn/ specifieke activiteit uitvoeren

Onderzoeksopdracht Crossmedialab. Titel Blended Learning & Crossmedia

De nieuwe zorgmedewerker

11 dingen die je nu kunt doen om meer te gaan verkopen

Protocol internet en Mobiele telefonie

Welke kansen bieden internet en sociale media (niet)?

Plan van aanpak, 17 september 2014

marketing voor zorg-professionals: Reader Deel 1: Waarom is marketing belangrijk?

Onderzoeksvraag Uitkomst

Praktische tips voor het voeren van een gesprek

LinkedIn Profiel Checklist

= = = = = = =jáåçéêüéçéå. =téäòáàå. Het TOPOI- model

Do s en don ts van sociale media bij participatie

Onderwijs-pedagogische visies van mbo-docenten

DEEL I Media en de digitale samenleving 15

Bijlage 1: het wetenschappelijk denk- en handelingsproces in het basisonderwijs 1

Methodologie voor onderzoek in de verpleegkunde. Foeke van der Zee

Methodologie voor onderzoek in zorg, welzijn en hulpverlening. Foeke van der Zee

Hoe help jij jouw doelgroep om de keuze te maken voor jou?

Second Life en onderwijs. neemt u de blauwe of rode pil?

Strategieplan Happie. Happie met elkaar!

Waarom Wetenschap en Techniek W&T2015

Inhoud. Inhoud 3 VoorwoorD 5 Methodologie 6. Colofon 54. Inhoud

WIKI-Games. Wiki-based games in higher education. Wim Westera Peter van Rosmalen

Revision Questions (Dutch)

Corporate Branding: hoe zet je jouw vereniging op de kaart?

Thuiswerktoets Filosofie, Wetenschap en Ethiek Opdracht 1: DenkTank De betekenis van Evidence Based Practice voor de verpleegkunde

Eerste uitgave: maart Copyright 2015 Saskia Steur Druk:

Lesbrief: ff offline Thema: Waar ga ik heen?

Badminton Club Roermond

Gedragscode social media reddingsbrigade Heerhugowaard

Jewish feelings, Jewish practice?

Test-plan 2 Project Portfolio

NIMA B EXAMEN INTERNE EN CONCERNCOMMUNICATIE ONDERDEEL B JUNI 2015

COMMUNICATIE EN INFORMATIE ONDER JONGEREN

Research context: van venster naar poort Onderdeel: context

Resultaten eerste peiling digitaal burgerpanel Externe communicatiemiddelen gemeente Oirschot. Januari 2015

Communicatieplan WTH Vloerverwarming in het kader van de CO2-Prestatieladder

Stijn Hoppenbrouwers en Tom Heskes. Onderzoeksmethoden (vervolg)

AFM Consumentenmonitor Q Kredietwaarschuwingszin

De Nieuwe Bestuurstafel Burgemeesters

ThiemeMeulenhoff Zorg Niveau Begeleiden op sociaal/maatschappelijk gebied Antwoordmodellen

Social Media Plan in 10 Stappen. In 10 simpele stappen jouw. Social Media voor elkaar. made with

Transcriptie:

Online onderzoek: een kwestie van vertrouwen Robert van Boeschoten Samenvatting Het gebruik van internet in kwalitatief onderzoek kent veel verschillende mogelijkheden en beperkingen. Hier wordt een aanzet gedaan tot het in kaart brengen van de basis van vertrouwen die op het internet gezocht of verondersteld wordt bij verschillende vormen van interactie die daar plaatsvinden. Inleiding Een centraal thema in het debat over kwalitatief onderzoek is de relatie met de onderzochte. In de huidige tijd van digitale communicatiemiddelen is dit onderwerp actueler dan ooit. Bij internet met zijn talloze fora en interfaces is de herkenbaarheid met wie en op wat voor wijze contact gelegd wordt met onderzochten, niet altijd duidelijk. Methodologische objectiviteit kan volgens Maso en Smaling (1998) niet helemaal gegarandeerd worden, omdat de sociale werkelijkheid veranderlijk van aard is, maar het streven naar een zekere objectiviteit is wel de bedoeling. Essentieel onderdeel van de objectiviteit is de aard van de relaties die de onderzoeker aangaat met het onderzochte verschijnsel. De onderzoeker sluit zichzelf niet buiten het verschijnsel en is niet helemaal op de achtergrond, waardoor degene die wordt onderzocht een relatie met de onderzoeker heeft. In dit opzicht staat de subjectiviteit van de onderzoeker niet tegenover de objectiviteit van het onderzoek. De onderzoeker moet zich verplaatsen in de positie van degene die hij onderzoekt om zich zo een beeld te vormen van wat er gebeurt. De onderzoeker gebruikt zichzelf als instrument en het beeld dat hij zo krijgt, vormt de basis van zijn houding in het onderzoek. Dit hele proces zou je een vorm van role taking kunnen noemen. Op het internet is het spelen van een rollenspel heel gewoon. Mensen maken zich bijvoorbeeld bekend onder hun eigen naam of pseudoniemen; zo n personage wordt avatar genoemd. De pseudoniemen kunnen, zoals in de begintijd van het internet, korte namen zijn in een chatbox, maar tegenwoordig zie je ook sterk ontwikkelde grafische personages, zoals in Second Life. Het probleem dat zich daarbij voordoet, is de herkenbaarheid van de ander als interactiepartner. Dit is belangrijk om het vertrouwen te winnen van degene met wie men in contact staat. Naast een probleem biedt het internet echter ook tal van mogelijkheden die men in onderzoek kan gebruiken om gegevens te verzamelen. Internet en onderzoek Een belangrijk aspect van kwalitatief onderzoek is de relatie die een onderzoeker met de onderzochten aangaat. De relaties met de onderzochte zijn altijd bemiddeld en niet direct gegeven. Er zijn daarom drie basisvragen te stellen aan de vorm van de interactie tussen onderzoeker en onderzochte: wie spreekt wanneer en waar? Het internet bepaalt mede de 12 Internet & kwalitatief onderzoek

vorm en inhoud van wat er gecommuniceerd wordt. Het internet kan zowel een auditief karakter hebben (virtuele ruimtes als Second Life of games), tekstueel zijn (interactieve vragenlijsten), alsook een tussenvorm zijn, zoals bij chatruimtes. Naast de mediërende rol heeft het ook een modererende kwaliteit. Het medium zelf stimuleert bepaalde vormen van interactie, waardoor het begrip dat er via deze media ontstaat ook een specifiek karakter draagt. Daardoor verschuift de wijze waarop onderzoekers hun kwalitatieve data kunnen verzamelen en leren interpreteren (Markham, 2004a). Vaak gebeurt dat op multitask-achtige wijze. Je bent aan het surfen op zoek naar informatie, je downloadt je e-mail en je krijgt berichten via instant messenger services, waarmee je chat met een ander persoon. Hierdoor wordt een sociale realiteit gecreëerd die gebaseerd is op een samenspel van technologie, tijd, ruimte en andere persona s. Als onderzoeker ben je in staat om diverse contacten gelijktijdig met meerdere mensen te onderhouden waardoor naast de formele conversaties, bijvoorbeeld via een forum waar diverse mensen tegelijk aan het woord zijn, privégesprekken kunnen plaatsvinden via een aparte lijn zoals Microsoft Instant Messenger of Skype. Deze gesprekken verstoren het centrale gesprek niet, maar ondersteunen de interactie, waardoor vertrouwen gewonnen kan worden. Dit is één van de positieve eigenschappen van de multi-modaliteit van het internet. Elke vorm van de interactie levert andere mogelijkheden en daarmee ook andere inzichten op. Dit is een belangrijk uitgangspunt dat meegewogen moet worden bij het ontwerp van het onderzoek. Zoals Caravajal (2001) al memoreerde dat elke beslissing ten aanzien van de methode die gebruikt wordt, samen moet hangen met epistemologische en conceptuele vraagstukken en niet zozeer met procedurele vraagstukken, is ook het internet een omgeving die vraagt om interpretaties ten aanzien van de verzameling en verwerking van gegevens. De middelen die ingezet worden, vragen van de onderzoeker een kritische zelfreflectie om te kunnen begrijpen welk begrip door de interactie gestimuleerd wordt. Van de onderzoeker wordt een bepaalde vorm van mediawijsheid gevraagd, die zelfreflectie op de te hanteren middelen stimuleert. Er wordt zo al een begrip gevormd van mogelijke resultaten. Het ontwerpen van een interactie-omgeving is van groot belang om te bepalen hoe de relaties tussen de deelnemers vorm krijgen en hoe zij elkaar in die omgeving kunnen begrijpen. Het testen van media-omgevingen is daarom van belang om te onderzoeken wat de relatie met de doelgroep wordt. Uiteindelijk gaat het om een samenhang tussen wensen van de doelgroep die onderzocht wordt, zoals tijdonafhankelijkheid door middel van e-mail en eisen van de onderzoeker, zoals de rijkdom van het materiaal via websites met foto s en commentaar of slechts chat of e-mail (tekst). Beide aspecten moeten in samenhang zijn met de onderzoeksvraag en de mogelijkheid van de onderzoeker om een antwoord op die vraag te formuleren. Zoals Maso en Smaling (1989) al opmerkten, is authenticiteit altijd een vraagstuk bij een onderzoek en het is dan ook goed om daar rekenschap van af te leggen gelet op de wijze waarop het toegepaste medium de data kan beïnvloeden. Elk medium bepaalt in zekere mate de inhoud van wat gezegd wordt. Het lijkt dat je als onderzoeker via het internet meer mogelijkheden hebt om in controle te zijn van het interactie/communicatieproces, maar het tegenovergestelde kan ook gebeuren als blijkt dat iedereen om je heen ook in dergelijke gesprekken verwikkeld is en het formele contact met jou als onderzoeker op KWALON 44 (2010, jaargang 15, nr. 2) 13

de achtergrond raakt. Voortdurend controleren hoe vorm en inhoud op elkaar aansluiten, heeft ook keerzijden. Het vraagt om een voortdurende interpretatie en verificatie van wat er plaatsvindt. Automatisch wordt deze verificatie dan onderdeel van het communicatieproces. Modaliteiten van het internet Mensen gaan op diverse wijzen om met het internet. Sommigen zien het als een middel tot iets, anderen als een plek waar iets gecommuniceerd kan worden, of zelfs als een vorm van bestaan (Markham, 2004b). Al deze veronderstellingen leiden tot zeer verschillende vormen van onderzoek en interactie. a. Als middel wordt het internet vaak in termen van bekende media gebruikt bijvoor- beeld e-mail als een elektronische vorm van briefverkeer of als het geven van kleine notities aan een ander. Internetbrowsers en andere programma s worden gebruikt om snel relaties te leggen met doelgroepen die over de wereld verspreid zijn. Daarmee worden omslachtige wegen als het aanschrijven van bedrijven en organisaties, die een blokkade kunnen vormen, ontweken. b. Als een plek waar iets gecommuniceerd kan worden, is internet een plaats met een cultureel imago. Verschillende websites dragen andere karakteristieken en spreken daarmee andere doelgroepen aan, of hebben een specifieke technologische interactie zoals bij gaming. De plek draagt dan zelf bij aan de betekenis die eraan gehecht kan worden door bezoekers. De plekken hebben een eigen intuïtieve vorm van aanwezigheid met een eigen architectuur. Naast opinie-sites waar producten geëvalueerd worden, zijn er gamingsites en plaatsen waar men interacteert volgens eigen normen zoals in Second Life: een liquide vorm van architectuur die onderzocht en bewoond wordt door zeer uiteenlopende individuen. c. Als een vorm van interactie biedt het internet ruimte voor experimenten met vormen van identiteit. Internettechnologieën leveren middelen waarmee je jezelf een ander lichaam aan kan meten, waardoor de interactie met anderen verandert. Niet alleen transgender-experimenten vinden plaats, maar ook animalistische personificaties of een bestaan als cyborg. Het spelen en communiceren als ander wezen op het internet is te onderzoeken vanuit veel verschillende disciplines, waarbij sociale identiteit, het lichaam en de technologie samenkomen. In de taal wordt dit uitgedrukt als een persoonsvorm dus hij, zij, het, of soms zelfs het koninklijk wij. Dit aanspreekpunt is in discussies van belang om te zien hoe je betekenissen oproept. Vaak wordt hiermee gespeeld zoals wanneer je weet dat degene achter het toetsenbord een man is, maar het personage een vrouw speelt, de aanspreekvorm vrouwelijk is en je pretendeert met een vrouw van doen te hebben. Het talige in de discussies vormt dan het uitgangspunt voor de constructie van een sociale realiteit. De methoden van onderzoek van verschillende disciplines (antropologie, sociale psychologie, sociologie, toegepaste filosofie) lopen zeer uiteen. In kwalitatief onderzoek staat echter de communicatie met de ander centraal. Internet als drager voor die communicatie wordt op verschillende manieren ingezet. Niet alleen is deze toepassing van internet 14 Internet & kwalitatief onderzoek

afhankelijk van een technische basis (chat, video, vragenlijsten enz.), maar ook in theoretisch-methodische zin. In een antropologische studie kan het internet de omgeving zijn waar bepaalde groepen mensen aanwezig zijn en waar zij bestudeerd kunnen worden in hun habitat, terwijl bij toegepast filosofisch onderzoek de virtuele realiteit van het internet een uitgangspunt vormt voor de ontologische interpretatie van de gegevens die er verzameld worden. De speculatie over welke vorm van authenticiteit dan in het geding is, staat dan centraal. Internet kan enerzijds gebruikt worden als hulpmiddel om een doelgroep te bereiken of er contact mee te maken en anderzijds de vorm van realiteit zijn waarin die doelgroep participeert en object van studie is. De basis van vertrouwen in online onderzoek Je zou op basis van de kenmerken die bij het gebruik van internet centraal staan, een indeling kunnen maken die van belang is voor situaties van gebruik bij online onderzoek. In het werk van Caroline Nevejan (2007) wordt daartoe een aanzet gedaan. De variabelen die daarin genoemd worden, gaan over: ik niet ik, nu niet nu, hier niet hier, doen niet doen. Deze vier dimensies bepalen de aard van de interactie met de internetgebruiker. Waar het Nevejan om gaat, is het verschil in vertrouwensbasis in deze verschillende interactiesituaties. Men is niet geneigd om een relatie te leggen met iemand die men niet vertrouwt. In kwalitatief onderzoek is het zeker van belang dat er vertrouwen aanwezig is. Ik zal de vier dimensies hier bespreken. Ik niet ik Door het anonieme karakter van het internet voelen de deelnemers aan online onderzoek zich vaker ongeremd in hun uitingen. Men voelt zich als het ware niet herkend, hoewel de data erg persoonlijk kunnen zijn, bijvoorbeeld door gebruik van videobeelden. Zeker als het gaat om risicodragend gedrag is dit middel bij uitstek goed om onderzoek te doen. De deelnemers voelen de risico s ten aanzien van hun identiteit niet zo sterk als in een persoonlijke ontmoeting. Voorbeelden zijn onderzoek met de webcam bij prostituees en bij anorexiapatiënten. Het lichaam kan dan onderdeel zijn van het onderzoek, maar de technologie maakt de omgeving zo onpersoonlijk dat men zich niet privé aangetast voelt. Een ander voorbeeld is de analyse van interacties in chat-omgevingen van bepaalde doelgroepen, waar men intensief communiceert, maar toch anoniem is door het gebruik van gefingeerde namen. Als onderzoeker ken je meestal de deelnemers van de chat niet, maar kun je wel de interactie in de doelgroep bestuderen via hun taalgebruik. De band van vertrouwen blijft door die anonimiteit bestaan, zodat toch persoonlijke uitspraken worden gedaan. Nu niet nu Op het internet kan zowel synchroon als asynchroon worden gecommuniceerd, zowel tussen individuen als tussen groepen mensen. Door het internet worden onderzoeksproblemen als de plaats voor een ontmoeting, het reizen en vaststellen van een agenda of van de tijdsplanning vergemakkelijkt. Aangezien veel internetapplicaties ook archiveren, zijn KWALON 44 (2010, jaargang 15, nr. 2) 15

gesprekken of interviews eenvoudig te verwerken als het gaat om de hoeveelheid responsies, de tijdsduur van antwoorden, enzovoort. Het materiaal is voorgestructureerd. Tevens is het middel makkelijk aan te passen zodat tijdens het interview vragenlijsten plooibaar zijn. Via e-mailcorrespondentie, maar ook via zelf ingerichte websites kunnen mensen reageren naar eigen believen, zodat men de tijd om te reageren en na te denken over de formulering van antwoorden zelf in de hand heeft. Hierdoor kan materiaal worden verzameld van hoge kwaliteit. Hier niet hier Deze vorm van interactie is al langer bekend via andere media. Telefoon, tv en radio hebben interactie met plaatsen waar men niet aanwezig is toch mogelijk gemaakt. De nietaanwezigheid van de onderzoeker heeft tot gevolg, dat er een morele afstand is ten aanzien van de plek waar de onderzochte zich bevindt. Via de massamedia is men geneigd zich niet verantwoordelijk te voelen voor wat er aan de andere kant van de wereld gebeurt. Men voelt immers de onmacht om iets aan de situatie van de ander te doen. Dit schept een morele verplichting van de onderzoeker om via reflectie de situatie van de ander te betrekken bij het onderzoek. Hierdoor is het mogelijk geworden onderzoek te doen onder doelgroepen die aan de andere kant van de wereld zijn of die als doelgroep verspreid over de wereld leeft. De plek van het onderzoek wordt daardoor een virtuele ruimte, waarin men met elkaar in contact is. Doen niet doen Internet geeft de mogelijkheid om op andere manieren te reageren dan gebruikelijk in alledaagse situaties. In een natuurlijke omgeving reageren participanten op elkaars handelingen. Deze mogelijkheid om te kunnen handelen en reageren is ook een basis voor vertrouwen. Het internet biedt vormen die onafhankelijk zijn van plaats, tijd en identiteit, waar deze mogelijkheid niet direct aanwezig is. De onderzoeker die start met het onderzoek neemt de verantwoording voor de omgeving waarin dat plaatsvindt. Deze bepaalt daarmee ook de vorm van respons en de mate van vertrouwen, die een dergelijke respons teweeg kan brengen. Als er een enquête online gestart wordt met een open vragenlijst, dan is de omgeving zo abstract dat de stem van de onderzoeker aanwezig gemaakt moet worden in de vorm van chat of e-mail om het vertrouwen van de ondervraagden te krijgen. De interactie is dan door de technologie anders van karakter geworden en verdient daarom aandacht. Conclusie Samenvattend zou je kunnen stellen dat online onderzoek en kwalitatieve onderzoeksmethoden die gebruikmaken van interactie, een goede balans moeten zien te vinden tussen de vorm waarin het onderzoek plaatsvindt en de inhoud die daarmee gegenereerd moet worden. Het doel van de interactie hangt samen met de middelen die ingezet worden en die middelen bepalen in hoge mate de aard van de relatie. Als vertrouwen centraal staat voor de kwaliteit van het onderzoek, dan zijn afwegingen ten aanzien van de aard van de interactie zoals synchroniciteit, softwaregebruik, hyperrealiteit en bekendheid met 16 Internet & kwalitatief onderzoek

online middelen noodzakelijk. Als er op deze punten gelet wordt, dan is kwalitatief online onderzoek zeer goed mogelijk en biedt het zelfs gelegenheid tot het exploreren van nieuwe onderzoeksvelden. Literatuur Carvajal, D. (2002). The Artisan s Tools. Critical issues when teaching and learning CAQDAS. www.qualitative-research.net/fqs-texte/2-02/2-02carvajal-e.htm. Mann, C. & Stewart, F. (2000). Internet Communication and Qualitative Research. London: Sage. Markham A. (2004a). Internet Communication as a tool for Qualitative Research. In D. Silverman (ed.), Qualitative Research (pp. 95-124). London: Sage. Markham, A., (2004b). Internet as Research Context. In C. Seale, J. Gubrium, D. Silverman & G. Gobo (Eds.), Qualitative Research Practice (pp. 358-374). London: Sage. Maso, I. & Smaling, A. (1998). Kwalitatief onderzoek: praktijk en theorie. Amsterdam: Boom. Nevejan, C. (2007). Presence and the Design of Trust Press (dissertatie UvA). Amsterdam: Amsterdam University Press. KWALON 44 (2010, jaargang 15, nr. 2) 17