Jumping To Conclusions Een onderzoek naar eisen aan conclusies van ontwerpgerichte praktijkgerichte onderzoeksrapporten

Transcriptie

1 Jumping To Conclusions Een onderzoek naar eisen aan conclusies van ontwerpgerichte praktijkgerichte onderzoeksrapporten Barbara C.M. Devilee MA studentnummer: masterthese Teaching and Learning in Higher Education Vrije Universiteit Amsterdam Faculteit Psychologie en Pedagogiek eerste begeleider: dr. Hester A. Glasbeek tweede beoordelaar: dr. Judith Schoonenboom

2

3 Samenvatting Studenten van het afstudeerprofiel Redactie en Mediaproductie (RMP), onderdeel van de opleiding Media, Informatie en Communicatie (MIC) van de Hogeschool van Amsterdam (HvA) hebben grote moeite met het schrijven van goede conclusies in hun onderzoeksrapporten. Uit een inventarisatie van de documenten van de opleiding blijkt dat het de studenten ontbreekt aan duidelijke instructies voor het schrijven van een conclusie. Dit is niet alleen een probleem voor de studenten, ook voor docenten zijn een duidelijke definitie van en eisen aan de conclusie van belang. Zij moeten immers in staat zijn om studenten hierin adequaat te begeleiden. Dit gebrek aan eisen voor een conclusie blijkt een hiaat in het onderzoeksvaardighedenonderwijs van de opleiding en ook in de literatuur over onderzoeksmethodologie. Doel van dit onderzoek is om een complete, consistente en eenduidige instructie ten aanzien van de inhoud, de structuur en de kwaliteit van conclusies van ontwerpgericht praktijkgericht onderzoek op te stellen. Hiervoor is een duidelijke definitie van een conclusie onontbeerlijk. Aan de hand van de eerste uitkomsten van dit onderzoek is deze als volgt geformuleerd: De conclusie is het antwoord op de probleemstelling dat aan de hand van een synthese van onderzoeksresultaten wordt gegeven en waarin wordt uitgelegd op welke wijze het antwoord bijdraagt aan de doelstelling van het onderzoek. Uit de gefundeerde theorie- analyse van onderzoeksrapporten van studenten en uit interviews met docenten Onderzoek is gebleken dat de geïdentificeerde knelpunten in de conclusies van onderzoeksrapporten in sterke mate samenhangen met andere onderdelen van hun onderzoek. De kwaliteit van de conclusie hangt sterk af van de kwaliteit van het gehele onderzoeksproces. Ook konden alle knelpunten in de conclusies gekoppeld worden aan zes veelvoorkomende fouten in een onderzoeksproces zoals Oost (2002) deze beschrijft. Oost koppelt de zes veelvoorkomende fouten aan zes kwaliteitscriteria voor het gehele onderzoeksproces. De kwaliteitscriteria voor de conclusie zijn daarom afgeleid van de criteria van Oost: controleerbaar, vakkundig, betrouwbaar, logisch, valide en adequaat. Daarnaast is gesteld dat kwaliteitscriteria voor ontwerpgericht praktijkgericht onderzoek niet afwijken van die voor theoriegericht onderzoek, maar dat deze wel een specifieke uitwerking hebben. Dit heeft te maken met het verschil in doel- en vraagstelling tussen theoriegericht onderzoek en ontwerpgericht praktijkgericht onderzoek. De vraag- en doelstelling van theoriegericht onderzoek zijn gericht op het verwerven van (meer) kennis over een bepaald onderwerp, terwijl vraag- en doelstelling van praktijkgericht onderzoek gericht is op de oplossing van een specifiek veldprobleem. Dat is van invloed op de functie van de conclusie. De conclusie van ontwerpgericht praktijkgericht onderzoek is gericht op het aantonen van de bruikbaarheid en toepasbaarheid van de oplossing voor een specifiek probleem. Op basis van de uitkomsten van dit onderzoek konden de eisen aan de conclusie met betrekking, inhoud, structuur en kwaliteit vastgesteld worden.

4 Voorwoord Deze these is geschreven ter afronding van de master Teaching and Learning in Higher Education aan de Vrije Universiteit van Amsterdam. Bij deze opleiding geldt dat de eigen onderwijspraktijk van de deelnemers een belangrijke inspiratiebron is voor de opdrachten en onderzoeken die de deelnemers uitvoeren. Voor het zoeken naar een onderwerp voor deze these was dit zeker het geval. Aan de basis van dit onderzoek liggen drie persoonlijke overtuigingen. Ten eerste vind ik dat een taak van docenten is om te achterhalen waarom een student moeite heeft met bepaalde lesstof of opdrachten. Docenten moeten begrijpen waarom een student iets niet begrijpt en om de instructie daarop aan te passen. Daarom heb ik in dit onderzoek de knelpunten die studenten ondervinden bij het schrijven van een conclusie diepgaand geanalyseerd. Ten tweede: over docenten wordt gezegd dat ze vaak alleen maar letten op wat studenten fout doen en dat ze geen aandacht hebben voor wat er wel goed gaat. Dat is misschien ten dele zo, maar ik vind dat docenten anders moeten omgaan met fouten die studenten maken: we moeten als uitgangspunt nemen dat studenten leren van hun fouten en dat fouten maken dus een belangrijk onderdeel is van het leerproces. De aanwijzingen die studenten krijgen om hun fouten te verbeteren, maken dat leerproces mogelijk. Ten derde ben ik ervan overtuigd dat studenten meer leren wanneer ze niet alleen weten wat ze moeten doen, maar ook waarom ze dat moeten doen. Zo wordt het maken van een schoolopdracht geen afvinklijstje, maar een uitdaging waar studenten zelf ook het nut van inzien. Daarom is een belangrijk onderdeel van de instructie over onderzoeksrapporten, uitleg over het nut van een het verrichten van onderzoek en het nut van de conclusie. De uitkomsten van dit onderzoek zijn in eerste instantie bedoeld om het onderzoeksvaardighedenonderwijs van de opleiding MIC te verbeteren. Ik hoop dan ook dat de opzet voor de instructie van een conclusie, die dit onderzoek heeft opgeleverd, voor veel van mijn collega s bruikbaar is. Dankzij de docenten van de master Teaching en Learning in Higher Education heb ik me kunnen verdiepen in verschillende facetten van het doceren in het Hoger Onderwijs en heb ik mij als docent verder kunnen professionaliseren. In de afstudeerfase heb ik veel steun gehad aan eerste begeleider Hester Glasbeek en tweede beoordelaar Judith Schoonenboom. Hester heeft zich in korte tijd zorgvuldig verdiept in mijn onderwerp en mij adviezen gegeven waardoor ik de redeneerlijn van deze these kon aanscherpen. Judith heeft me ook al in eerdere fasen van mijn studie veel bijgebracht over onderzoeksmethodologie. Als ik zelf de draad even kwijt was, bleef zij vertrouwen op een goede afronding van het onderzoek. Ook dank ik Jos Beishuizen voor zijn hulp bij het aanscherpen van het onderzoeksvoorstel. Het onderzoek is uitgevoerd tussen februari en juli 2014 aan de opleiding Media Informatie en Communicatie van de Hogeschool van Amsterdam. Dit was niet mogelijk geweest zonder de medewerking van docenten en studenten. Ik dank mijn collega s Eelco Brancart, Suzanne van der Wateren, Rick Goossens en Harold Pflug voor hun medewerking aan de interviews en alle studenten die hun onderzoeksrapporten ter beschikking stelden voor dit onderzoek. Het eindresultaat is mede te danken aan het kritische oog van mijn collega s: Rose Leighton en Gerlof Donga valideerden mijn knelpuntenanalyse en lazen mee met de tekst; Yvonne Poot, Reintje Gianotten en Bas Homans lazen mee en gaven feedback en Wouter Janssen redigeerde het geheel. Ik prijs mezelf gelukkig met zulke fijne collega s. Speciale dank gaat uit naar mijn partner Fifi Schwarz. Onze talloze gesprekken over het onderzoek en haar opbouwende commentaar op verschillende concepten hebben mij het vertrouwen gegeven dat ik nodig had om deze these af te ronden.

5 INLEIDING... 1 "De smurfen zijn van kleur veranderd"... 1 Probleemstelling... 2 Relevantie... 3 Onderzoeksvaardigheden in het curriculum van het afstudeerprofiel RMP... 4 METHODE... 7 Materiaal en participanten... 8 Context... 9 Onderzoeksmethodologie... 9 Validiteit RESULTATEN Instructie voor het schrijven van een conclusie vanuit de opleiding Instructie voor het schrijven van een conclusie in de literatuur Instructie voor het schrijven van een conclusie door andere opleidingen, online gepubliceerd Knelpunten in de conclusies van onderzoeksrapporten Vergelijking van de knelpunten met veelgemaakte fouten in onderzoek Knelpunten gekoppeld aan kwaliteitscriteria voor onderzoek Verschillen in kwaliteitscriteria voor theoriegericht en ontwerpgericht praktijkgericht onderzoek? De functie van de conclusie van ontwerpgericht praktijkgericht onderzoek Samengevat CONCLUSIE De inhoud en de structuur van de conclusie Kwaliteitscriteria voor de conclusie van ontwerpgericht praktijkgericht onderzoek Beperkingen van dit onderzoek DISCUSSIE Relevantie voor de praktijk Aanbevelingen voor de opleiding MIC Aanbevelingen voor verder onderzoek LITERATUUR BIJLAGEN Bijlage I Advies voor opleiding MIC Bijlage II interviewschema's Bijlage III Huidige richtlijnen voor de conclusie in onderzoeksrapporten vanuit de opleiding MIC Bijlage IV Overzicht geïnventariseerde literatuur onderzoeksmethodologie Bijlage V Instructie voor validering... 51

6

7 Inleiding Het curriculum van de opleiding Media, Informatie en Communicatie (MIC), onderdeel van de Hogeschool van Amsterdam, is de afgelopen jaren veranderd. Uiteraard worden jaarlijks de vakinhoudelijke modules geüpdatet. Dat is noodzakelijk om aansluiting te blijven houden met de snel veranderende beroepsprofielen binnen de mediasector. Daarnaast is binnen het curriculum steeds meer nadruk komen te liggen op onderwijs in onderzoeksvaardigheden. Dat geldt niet alleen voor de opleiding MIC. Onderwijs in onderzoeksvaardigheden neemt een steeds grotere en belangrijkere plaats in binnen het hoger beroepsonderwijs. Daar zijn meerdere aanleidingen voor. Professionals moeten in staat zijn om relevante informatie te verzamelen, te beoordelen en daarop te reflecteren. Hiervoor zijn onderzoeksvaardigheden onontbeerlijk (Griffioen, Boerma, Engelbert, en van der Linden, 2013). Een andere belangrijke drijfveer is de wettelijke taakstelling; meer specifiek de daarop gebaseerde eisen in de beoordelingskaders van het accreditatiestelsel voor hoger onderwijs. Volgens de wet op het hoger onderwijs uit 1992 moeten hogescholen zich richten op ontwerp- en ontwikkelactiviteiten of onderzoek gericht op de beroepspraktijk (Griffioen, Visser- Wijnveen, en Willems, 2013). Dat was een reden voor de Nederlands Vlaamse accreditatieorganisatie (NVAO) om "verankering van onderzoek in het onderwijs" te introduceren als een belangrijk criterium om de kwaliteit van een opleiding te beoordelen (Beoordelingskaders accreditatiestelsel hoger onderwijs, 2011). De opleiding Media Informatie en Communicatie bereidt studenten voor op een functie binnen de mediasector en kent een gemeenschappelijk propedeutisch jaar. Na dit jaar kiezen de studenten voor een van de vijf afstudeerprofielen van de opleiding. Het afstudeerprofiel Redactie en Mediaproductie (RMP) leidt studenten bijvoorbeeld op tot productiemedewerker bij een televisieprogramma, social- mediastrateeg bij een tijdschrift of acquirerend redacteur bij een uitgeverij. Van deze mediaprofessionals wordt verwacht dat zij in staat zijn om op basis van onderzoek, adviezen te formuleren voor de ontwikkeling of innovatie van mediaproducten en diensten. "De smurfen zijn van kleur veranderd" In de wandelgangen klagen docenten vaak over de kwaliteit van de onderzoeksopdrachten die studenten inleveren. Deze klachten betreffen voornamelijk de analytische vaardigheden van de studenten. Studenten kunnen volgens de docenten slecht redeneren en argumenteren. Dit uit zich vooral in de conclusies van de onderzoeksrapporten. Hierin moeten studenten laten immers zien dat ze de resultaten van hun onderzoek kunnen verklaren, interpreteren en relateren aan de onderzoeksvraag. Uit de conclusies van onderzoeksopdrachten die ik zelf beoordeel en uit de klachten van docenten blijkt dat studenten niet goed weten wat het verschil is tussen een resultaat en een conclusie: vaak geven ze alleen een opsomming of een samenvatting van hun resultaten. Een oefening die docent Rick Goossens aan de opleiding MIC in onderzoekslessen doet met de studenten, illustreert dit. Zoals jullie allemaal weten, kunnen smurfen heel oud worden, er gaan zelfs geruchten dat ze onsterfelijk zijn. 'Onderzoeker Gargamel' wil weten wat dit te maken heeft met hun huidskleur. Een van dingen die hij moet achterhalen, is welke huidskleur de smurfen hebben. Hij gaat op zoek in de bibliotheek en vindt in een oud naslagwerk dat alle smurfen blauw zijn (Grote Smurf, 1980). Maar het is inmiddels 2014 en hij wil controleren of deze gedateerde informatie nog klopt. Dus zet hij een enquête uit in smurfendorp waarin hij onder andere vraagt: welke kleur heeft je huid? De smurfen zijn een plichtsgetrouw volkje dus alle 100 smurfen vullen netjes de enquête in (een respons van 100%). Tachtig smurfen vullen in dat hun huid blauw is, twintig smurfen geven aan dat ze een rode huidskleur hebben. Dan maak ik drie kolommen op het bord: resultaten deskresearch, resultaten fieldresearch en één voor de conclusie. In de eerste kolom komt te staan Alle smurfen zijn blauw. Vervolgens vraag ik de studenten wat er bij de conclusie ingevuld kan worden. Dan zeggen bijna altijd alle studenten in de klas: "20% van de smurfen is rood". Op die manier kan ik vervolgens zeggen, "nee, dat is een resultaat van je enquête, dat hoort in de tweede 1

8 kolom, resultaten fieldresearch. De conclusie zou kunnen zijn, de smurfen zijn van kleur veranderd. Zo kan ik vervolgens uitleggen, dat een conclusie een verklaring is voor, of een interpretatie van de resultaten. Uit eigen ervaring als docent bij het afstudeerprofiel RMP weet ik dat studenten moeite hebben met onderzoeksopdrachten. Dit blijkt eveneens uit de resultaten van de module Onderzoek die RMP- studenten in het derde jaar volgen. In het collegejaar leverden, van een cohort van 262 studenten, slechts 170 studenten hun onderzoeksrapport bij de eerste mogelijkheid in. Van deze 170 rapporten werden er 80 met een voldoende beoordeeld (Sinnema, 2014). Na de eerste kans had slechts iets meer dan een kwart van de studenten een voldoende resultaat behaald. Het trekken van conclusies is een essentiële vaardigheid om goed onderzoek te kunnen verrichten en erover te kunnen rapporteren. Het is niet gemakkelijk om uit te leggen hoe dit in zijn werk gaat. Docenten wijten de slechte kwaliteit gemakkelijk aan het gebrek aan analytisch vermogen van de studenten. Maar bij mij bestaat het vermoeden dat de slechte conclusies het gevolg zou kunnen zijn van te weinig (goede) instructie daarover. Wat is een conclusie? En waarom hebben studenten er zoveel moeite mee? Hoe leg je studenten uit wat je moet doen als je een conclusie trekt? Probleemstelling De drie bovenstaande vragen en het vermoeden van een gebrek aan (goede) instructie waren het uitgangspunt voor dit onderzoek. Uit een eerste grove inventarisatie van de documentatie over onderzoeksvaardigheden bleek snel dat de instructie summier en niet consistent was. Uit een eerste inventarisatie van studieboeken over het verrichten van onderzoek bleek ook hier een hiaat te bestaan ten aanzien van de conclusie van een onderzoeksrapport. Dat bracht een zinvolle doelstelling van dit onderzoek in zicht. Doelstelling Het doel van het onderzoek was om de instructie vanuit de opleiding te verbeteren zodat: de studenten meer complete, eenduidige en consistente informatie krijgen over het schrijven van een conclusie van een onderzoeksrapport; de docenten meer handvatten krijgen om studenten daar adequaat in te begeleiden. Bijlage I bevat een opzet voor deze instructie. Vraagstelling Kwalitatief onderzoek is een iteratief proces (Verschuren en Doorewaard, 2007). Toen ik begon met dit onderzoek heb ik een voorlopige centrale vraag geformuleerd: Aan welke eisen moeten de conclusies van de onderzoeksrapporten van de studenten RMP voldoen? In deze vraagstelling was de aanname dat de kwaliteit van de conclusies in onderzoeksrapporten van studenten slecht was. Onduidelijk was aan welke eisen deze zouden moeten voldoen. Vervolgens zijn de tussenliggende onderzoeksvragen ontwikkeld. De eerste had tot doel te toetsen of de slechte instructie inderdaad een oorzaak zou kunnen zijn voor de slechte kwaliteit van de conclusies. 1. Welke instructie ontvangen de studenten van het afstudeerprofiel RMP, onderdeel van de opleiding MIC ten aanzien van het schrijven van een conclusie van een onderzoeksrapport? Dit is onderzocht door een inventarisatie van documentatie van onderzoeksopdrachten en de voorgeschreven literatuur over onderzoek, binnen de propedeuse van de opleiding MIC en het afstudeerprofiel RMP. Het is in een later stadium van het onderzoek aangevuld met informatie uit interviews met docenten Onderzoek. De instructie ten aanzien van de conclusie bleek versnipperd te worden aangeboden en niet consistent en eenduidig beschreven. Hieruit werd niet voldoende duidelijk welke eisen aan een conclusie gesteld worden. Daarom moest in de theorie gezocht worden naar informatie over conclusies van onderzoeksrapporten. Dit leidde tot de tweede deelvraag van dit onderzoek: 2. Wat is uit de literatuur bekend over de eisen waaraan een conclusie van een onderzoeksrapport moet voldoen? Dit is onderzocht door in literatuur over onderzoek, onderzoeksmethodologie en onderzoeksvaardigheden te inventariseren welke uitspraken gedaan worden over de conclusie van 2

9 een onderzoeksrapport. Bij de eerste grove inventarisatie zijn alleen studieboeken gericht op studenten bestudeerd. In deze fase zijn ook handboeken voor (beginnende) onderzoekers geraadpleegd. Hieruit bleek dat de conclusie van een onderzoeksrapport een onderbelicht aspect is. Zowel in studieboeken voor studenten als methodologische boeken voor onderzoekers wordt hier nauwelijks aandacht aan besteed. Daarom moest gezocht worden naar een manier om deze zelf te formuleren. Er is gekozen voor een voor docenten voor de hand liggende insteek, namelijk een analyse van de fouten die studenten in een conclusie maken, ofwel een knelpuntenanalyse. Een duidelijk beeld van knelpunten kan leiden tot inzichten over de eisen waaraan de conclusie wel zou moeten voldoen. Dit leidde tot de volgende onderzoeksvraag: 3. Wat zijn de knelpunten in de conclusies van onderzoeksrapporten van studenten RMP? Dit is onderzocht middels een gefundeerde theorieanalyse van de onderzoeksrapporten, aangevuld met informatie uit de interviews met docenten Onderzoek. De analyse liet zien dat veel van de knelpunten in de conclusies samenhangen met fouten die in het onderzoeksproces gemaakt waren. Aangezien de informatie over de eisen ten aanzien van conclusies in onderzoeksrapporten erg schaars was en de knelpunten in conclusies in sterke mate samen bleken te hangen met knelpunten in het onderzoeksrapport, is de volgende onderzoeksvraag geformuleerd: 4. Op welke wijze zijn de knelpunten in conclusies van onderzoeksrapporten te koppelen aan in de theorie bekende knelpunten bij het verrichten van onderzoek? Een bruikbaar model om deze knelpunten te koppelen was dat van Oost (2002), waarin zes veelgemaakte fouten in onderzoeksprocessen worden beschreven en gekoppeld aan zes kwaliteitscriteria voor het verrichten van onderzoek. Dit model was in het bijzonder nuttig omdat Oost uitgaat van fouten om vervolgens uit te leggen hoe het wel moet. Op deze manier konden de gevonden knelpunten gekoppeld worden aan bestaande kwaliteitscriteria voor het verrichten van onderzoek. In een volgende stap konden deze worden vertaald naar kwaliteitscriteria voor het trekken van een conclusie. De daaropvolgende stap was het opstellen van een lijst van eisen ten aanzien van de inhoud, structuur en kwaliteit van de conclusie van een onderzoek. Daarbij was een ander aspect van belang, namelijk het type onderzoek dat studenten RMP verrichten. Uit de theorie bleek dat momenteel een discussie gaande is over de kwaliteitseisen aan onderzoek in het hoger beroepsonderwijs, waaraan vaak gerefereerd wordt als praktijkgericht onderzoek. Volgens sommige methodologen en onderzoekers zouden deze afwijken van kwaliteitseisen voor onderzoek zoals dat uitgevoerd wordt aan universitaire instellingen, waaraan vaak gerefereerd wordt als theoriegericht onderzoek. Daarom moest onderzocht worden hoe het onderzoek dat de studenten RMP verrichten getypeerd kon worden en of deze typering van invloed was op de kwaliteitseisen: 5. Welk type onderzoek verrichten studenten RMP en op welke wijze beïnvloedt dit de eisen die worden gesteld aan hun onderzoek en aan de conclusie van hun onderzoek? Dit is onderzocht door artikelen en literatuur over de verschillen tussen praktijkgericht en theoriegericht onderzoek te raadplegen. Aan de hand van deze uitkomsten konden tot slot eisen worden geformuleerd ten aanzien van de inhoud, de structuur en de kwaliteit van conclusies van ontwerpgericht praktijkgericht onderzoek. Deze eisen waren noodzakelijk om de instructie ten aanzien van de conclusie te verbeteren. De definitieve centrale onderzoeksvraag luidde dan ook: Relevantie Aan welke eisen ten aanzien van inhoud, structuur en kwaliteit moet een conclusie van een ontwerpgericht praktijkgericht onderzoek voldoen? De aanleiding van dit onderzoek was een zeer praktische: het verbeteren van de instructie voor het schrijven van een conclusie van een onderzoeksrapport. Het onderzoek kent ook theoretische relevantie. Niet alleen in het onderzoeksvaardighedenonderwijs bleek een hiaat te bestaan ten aanzien van (de instructie voor) een conclusie van een onderzoekrapport. Dit hiaat bestond ook in de literatuur over onderzoek, onderzoeksvaardighedenonderwijs en onderzoeksmethodologie. Voorliggend onderzoek levert een heldere lijst van eisen voor een conclusie van een ontwerpgericht praktijkgericht onderzoeksrapport op. Daarnaast levert dit onderzoek een bijdrage aan de discussie over de vermeende verschillen tussen praktijkgericht en theoriegericht onderzoek en het daarmee samenhangende verschil in kwaliteitseisen aan praktijkgericht onderzoek. 3

10 Onderzoeksvaardigheden in het curriculum van het afstudeerprofiel RMP Alvorens in te kunnen gaan op de onderzoeksvragen is het goed om eerst het kader te schetsen waarbinnen dit onderzoek plaatsvindt. Wat is de rol van het onderzoeksvaardighedenonderwijs in het curriculum van het afstudeerprofiel RMP? Verburgh en Elen (2013) beschrijven drie modellen voor de integratie van onderzoeksvaardigheden binnen het hoger beroepsonderwijs: het model voor een professionele onderzoeker gericht op het verwerven van een onderzoeksdispositie (p. 77); het model voor de onderzoekende professional, waarin het curriculum zowel gericht is op de inzetbaarheid van de student op de arbeidsmarkt als op de voorbereiding op een vervolgstudie; en het model voor een professional met onderzoekscompetenties, waarin het curriculum zich zowel richt op het ontwikkelen van beroepsspecifieke competenties als op onderzoekscompetenties. Het onderzoeksvaardighedenonderwijs binnen het afstudeerprofiel RMP sluit aan bij het laatstgenoemde model, een professional met onderzoekscompetenties. Om de studenten de benodigde onderzoeksvaardigheden aan te leren is er een aparte leerlijn Onderzoek, die bestaat uit meerdere modules waarin de aandacht wordt besteed op de methodologische en praktische kant van het verrichten van onderzoek. Ook in het projectonderwijs spelen onderzoeksvaardigheden een grote rol. Binnen het projectonderwijs werken studenten in kleine groepen aan authentieke projectopdrachten voor een opdrachtgever uit de mediasector. De onderzoeksopdrachten vormen de basis voor adviesrapporten voor bijvoorbeeld de ontwikkeling of verbetering van een applicatie voor het digitale schoolbord bij een educatief televisieprogramma of een digitaal magazine voor de klanten van een zorgverzekeraar. Voor de onderzoeksopdrachten binnen het projectonderwijs zijn de probleemstelling en methoden van onderzoek veelal van tevoren vastgesteld door de coördinatoren van de modules. Dit heeft tot doel dat studenten zich bekwamen in de meest voorkomende methodes en technieken van onderzoek binnen het vakgebied. Studenten zoeken door middel van deskresearch uit wat al bekend is over de gedefinieerde onderzoeksvraag. Ze maken bijvoorbeeld een trendanalyse en analyseren best practices. Vervolgens voeren de studenten fieldresearch uit waarin zij voornamelijk kwalitatieve onderzoeksmethoden inzetten, zoals interviews, panelgesprekken en prototyping. Wanneer gebruik wordt gemaakt van kwantitatieve gegevens beperkt zich dat tot beschrijvende statistiek van de onderzoekspopulatie. De lessen in de projectlijn worden vaak ontwikkeld en gegeven door vakdocenten die veel ervaring hebben in het werkveld, maar niet per se over veel onderzoekservaring beschikken. In de overkoepelende onderwijsvisie van de opleiding MIC wordt het als volgt omschreven: "Bij de opleiding MIC [..] speelt onderzoek een belangrijke rol, daar waar het gericht is op praktische toepassing in het beroepenveld. Het gaat bij onderzoek in het hbo niet om theorievorming, maar om het kunnen onderbouwen van ideeën en ontwikkelen van producten op basis van literatuur, best practices en fieldresearch" (Managementteam, 2012). Het onderzoek dat de studenten RMP verrichten is daarom het beste te typeren als ontwerpgericht praktijkgericht onderzoek. Aken en Andriessen (2011, pp ) onderscheiden dit als volgt: Wetenschappelijk onderzoek met als doel kennis te ontwikkelen om daarmee een betere wereld te realiseren wordt wel toegepast of praktijkgericht onderzoek genoemd. Dit type onderzoek kan zich beperken tot het beschrijven van veldproblemen en het verklaren van hun oorzaken [..]. Maar er bestaat ook ontwerpgericht praktijkgericht onderzoek: onderzoek dat zich niet alleen richt op het beschrijven en verklaren van typen veldproblemen maar zich vervolgens ook richt op het ontwikkelen en testen van generieke oplossingen voor die veldproblemen [..]. Dit levert generieke kennis op voor het ontwerpen van specifieke oplossingen voor specifieke veldproblemen voor de professionals die met de problemen te maken hebben. De typering van het onderzoek is van belang omdat het type doelstelling van ontwerpgericht praktijkgericht onderzoek afwijkt van doelstellingen van theoriegericht onderzoek. Ontwerpgericht praktijkgericht onderzoek heeft tot doel om ontwerpoplossingen aan te dragen voor specifieke veldproblemen. Volgens een aantal methodologen en onderzoekers is dit zodanig van invloed op het ontwerp van het onderzoek dat dit tot andere kwaliteitscriteria en richtlijnen zou moeten leiden (Andriessen, 2007; Klapwijk, 2013; Tavecchio en Gerrebrands, 2012; Verschuren, 2011). Ook is het van belang op te merken dat bij het ontwerpen van oplossingen creativiteit een rol speelt. Zeker als het gaat om het ontwikkelen en verbeteren van creatieve producten kan het ontwerp niet enkel uit de onderzoeksresultaten worden afgeleid. Aken en Andriessen (2011, p. 50) noemen dit 'de creatieve 4

11 sprong': "Een ontwerp kun je niet logisch afleiden uit de input voor het ontwerpproces. Het houdt altijd een creatieve sprong in naar iets dat nog niet bestaat. Terminologie In de knelpuntenanalyse wordt vaak verwezen naar knelpunten met betrekking tot de probleem- en doelstelling. De lezer van dit onderzoek zij erop gewezen dat binnen de opleiding MIC aan sommige onderzoekstermen een andere betekenis wordt toegekend dan in veel methodologieboeken en bij andere instituten voor hoger onderwijs gebruikelijk is. In het algemeen bestaat een probleemstelling uit de volgende elementen: het onderzoeksdoel, het te onderzoeken probleem, de probleemanalyse en de centrale vraagstelling met eventuele deelvragen. In het opleidingsformat voor het schrijven van een onderzoeksvoorstel staat: probleemstelling (het WAT van het onderzoek). Dit is de centrale vraag waarop het onderzoek antwoord moet geven. Dit moet een open vraag zijn (Afstudeercommissie, 2013). De probleemstelling bestaat dus uit één vraag, waaraan in veel gevallen aan wordt gerefereerd als de centrale vraag van een onderzoek. Hiermee lijkt het afstudeerprofiel RMP aan te sluiten bij de definitie van Morse et al: "De probleemstelling is de centrale vraag waarop de onderzoeker antwoord wil geven binnen de kennisstroom van ontwerpgericht onderzoek. Dit is de vraag die (een deel van) het kennisprobleem verwoordt, in één zin met een vraagteken erachter (geciteerd in Aken en Andriessen, 2011). Overigens gaat het opleidingsformat wel uit van het formuleren van deelvragen waarin de probleemstelling wordt geoperationaliseerd. Ook de doelstelling zoals deze beschreven staat in hetzelfde format verdient een nadere verklaring. Het onderzoek dat studenten verrichten bij de opleiding MIC staat in dienst van het ontwikkelen of verbeteren van een beroepsproduct. Wanneer in het format wordt gevraagd naar de doelstelling van het onderzoek, wordt gedoeld op een concrete beschrijving van dit beroepsproduct. Onder de doelstelling moeten studenten beschrijven wat de reden van het onderzoek is en wat ze met hun uitkomsten beogen: Doelstelling (het WAAROM van het onderzoek). Formuleer concreet wat het eindproduct van de afstudeeropdracht is (Afstudeercommissie, 2013). In de conclusie geven de studenten, in tegenstelling tot wat gebruikelijk is, niet aan wat de beperkingen zijn van hun onderzoek. Dit wordt gedaan in een apart hoofdstuk Evaluatie. 5

12

13 Methode In de inleiding zijn de onderzoeksvragen met bijbehorende methoden uiteengezet. Deze zijn ten behoeve van het overzicht verwekt in figuur 1. Figuur 1 Overzicht van onderzoeksvragen en toegepaste methoden 7

14 Materiaal en participanten Binnen kwalitatief onderzoek gaat men bij de selectie van onderzoeksmateriaal en participanten uit van het principe van theoretische verzadiging. Dat houdt in dat men gedurende het onderzoeksproces doorgaat met het verzamelen van materiaal zolang de analyse van nieuw materiaal tot nieuwe bevindingen leidt. Maar om praktische redenen is het niet ongebruikelijk dat een onderzoeker het aantal te onderzoeken gevallen of verschijnselen van tevoren bepaalt (Eisenhardt, K.M., 2002). Gedurende het onderzoek wordt dan getoetst of het punt van theoretische verzadiging is bereikt. Dit is ook het geval binnen dit onderzoek. Daarnaast is bij de selectie van onderzoeksmateriaal ook gekeken of deze selectie een goede representatie is van al het onderzoeksmateriaal. Volgens Maxwell (2002) dient dit twee doelen. Ten eerste maakt deze selectiemethode mogelijk dat de variëteit aan gevallen binnen de selectie gerepresenteerd wordt. Ten tweede is het mogelijk om die gevallen te selecteren die van cruciaal belang zijn voor de ideeontwikkeling binnen het onderzoek. Onderzoeksrapporten van studenten Voor dit onderzoek zijn onderzoeksrapporten van derdejaars RMP- studenten geselecteerd. Zij schreven deze rapporten in het kader van de module Onderzoek die in het eerste blok van studiejaar werd aangeboden. Het gaat om 262 studenten, verdeeld over negen klassen van ongeveer 30 studenten. Van 242 studenten is bekend welke vooropleiding zij hebben gedaan: 174 studenten hebben een havodiploma, 40 studenten een mbo- diploma en 28 studenten een vwo- diploma. Van deze 242 studenten deden vier studenten een 21+ toets. Van 20 studenten is de vooropleiding niet te achterhalen uit de beschikbare data. De leeftijd van de studenten varieert tussen de 19 en de 27 jaar. De gemiddelde leeftijd is 21,4 jaar (SD=1,5). Een ruime meerderheid van de studenten is vrouw, het cohort bestaat uit 233 vrouwelijke studenten en 29 mannelijke studenten. Van de 262 studenten hebben 170 studenten bij de eerste imogelijkheid een onderzoeksrapport ingeleverd. Van deze 170 rapporten zijn er 80 met een voldoende beoordeeld en 90 met een onvoldoende (Sinnema, 2014). Voor dit onderzoek zijn 35 onderzoeksrapporten geselecteerd. Hiervan waren 25 rapporten bij de eerste mogelijkheid ingeleverd, daarvan waren er 12 beoordeeld met een voldoende en 13 met een onvoldoende. De resterende 10 rapporten waren van herkansers. Daarvan waren er 5 met een voldoende en 5 met een onvoldoende beoordeeld. De 35 rapporten vormden een representatieve afspiegeling van het werk dat de studenten inleveren, doordat ze verzameld zijn in de verschillende klassen, omdat er zowel rapporten met een voldoende als met een onvoldoende beoordeling en omdat ook rapporten van herkansers in de selectie zijn opgenomen. De geselecteerde onderzoeksrapporten zijn geanonimiseerd en op verzoek te verkrijgen. Docenten De participanten voor de interviews zijn doelgericht geselecteerd (Babbie, 2012), vanwege hun specifieke ervaring met het geven en ontwikkelen van onderzoeksvaardighedenonderwijs. Het afstudeerprofiel RMP heeft drie docenten die zijn aangesteld als onderzoeksdocenten. Zij zijn verantwoordelijk voor de leerlijn Onderzoek binnen het afstudeerprofiel en voor de aansluiting van de onderzoeksopdrachten binnen het projectonderwijs bij deze leerlijn. Voor de voorafgaande proefinterviews konden geen onderzoeksdocenten geselecteerd worden, maar is gekozen voor docenten die wel onderwijs geven in onderzoeksvaardigheden binnen het afstudeerprofiel RMP. Daarnaast zijn twee docenten gevraagd om de gefundeerde theorie- analyse die in het kader van dit onderzoek is uitgevoerd, te valideren. Zij zijn eveneens docenten bij het afstudeerprofiel RMP. Ze zijn niet specifiek aangenomen als docent Onderzoek maar doceren wel in binnen het projectonderwijs en begeleiden afstudeerders bij hun onderzoeksopdracht. Aan alle docenten is persoonlijk gevraagd of zij mee wilden werken aan een onderzoek naar conclusies in onderzoeksrapporten. Zij stemden ermee in om dit op vrijwillige basis te doen. De selectie is gebaseerd op de ervaring van de docenten in het geven van onderzoeksvaardigheden binnen de opleiding MIC en het afstudeerprofiel RMP. Tabel 1 is een weergave van de respondenten met de voor dit onderzoek belangrijke kenmerken. 8

15 Tabel 1 Kenmerken respondenten Respondent Geslacht Leeftijd Aantal jaar werkzaam als docent in het hbo Opleiding respondent 1 m 29 5 WO Bedrijfswetenschappen respondent 2 m WO Psychologie en Beleid respondent 3 m 32 7 WO Communicatie en Beleid respondent 4 (validering analyse) respondent 5 (validering analyse) v HBO Media, Informatie en Communicatie & WO Teaching & Learning in Higher Education m Eindfase WO Informatiewetenschappen Context Het afstudeerprofiel Redactie en Mediaproductie maakt deel uit van de opleiding Media, Informatie en Communicatie van de Hogeschool van Amsterdam (HvA). Aan de HvA stonden binnen zeven verschillende domeinen studenten ingeschreven en waren medewerkers werkzaam (Hogeschool van Amsterdam, 2011) i ). De opleiding MIC valt onder het domein Media, Informatie en Creatie, waar ruim studenten ingeschreven stonden en 500 medewerkers werkzaam waren (Hogeschool van Amsterdam, z.j. Over media informatie en creatie). Exacte cijfers over het aantal ingeschreven studenten aan de opleiding MIC en het afstudeerprofiel RMP waren niet verkrijgbaar, maar bij benadering stonden in het studiejaar studenten ingeschreven voor deze opleiding. Bij het afstudeerprofiel RMP stonden ten tijde van dit onderzoek bij benadering 800 studenten ingeschreven. Er waren drieëndertig docenten werkzaam, waarvan er drie specifiek aangesteld als docent Onderzoek. Voor dit onderzoek zijn onderzoeksrapporten van derdejaars studenten gebruikt. De studenten voeren een individuele onderzoeksopdracht uit, waarvoor zij zelf een onderwerp bepalen, geïnspireerd door actuele problematiek binnen het werkveld. Het is de eerste keer dat zij zelfstandig alle fasen van het onderzoek doorlopen: van het formuleren van een probleemstelling tot en met het schrijven van de conclusie en het advies. Voorbeelden van onderwerpen voor deze onderzoeksopdrachten zijn: Hoe waarderen de lezers van VIVA de modepagina s? Hoe kan nu.nl meer bezoekers trekken? Hoe moet een digitale versie van het tijdschrift Linda eruitzien? Zelf ben ik zes jaar werkzaam als docent bij het afstudeerprofiel RMP. Voor dit onderzoek heeft dat als voordeel dat ik het curriculum goed ken en dat ik gemakkelijk toegang heb tot data en respondenten. Het kan daarentegen iets lastiger zijn om met afstand te kijken naar de objecten van onderzoek. Daarom heb ik voor de uitvoering van dit onderzoek een module geselecteerd waarin ik zelf geen onderwijs geef. De geselecteerde rapporten zijn dan ook niet eerder door mij beoordeeld. Onderzoeksmethodologie Wanneer sprake is van weinig overzichtelijke problematiek en complexe thematiek wordt vaak gekozen voor een kwalitatieve onderzoeksbenadering (Baarda, de Goede & Teunissen, 2005). Kwalitatief onderzoek geeft inzicht in de complexiteit van de onderzochte verschijnselen en hun achtergronden (Hutjes & van Buuren, 1992). Het onderzoek kent een diagnostische doelstelling. Bij diagnostisch onderzoek gaat men ervan uit dat sprake is van een probleem en wordt gezocht naar de oorzaken en achtergronden en de onderlinge samenhang van dit probleem (Smaling, 2006). Het diagnostische deel van dit onderzoek betreft het beschrijven en verklaren van de knelpunten binnen de conclusies van onderzoeksrapporten. De analyse is uitgevoerd in de vorm van een meervoudige gevalsstudie. Een klein aantal gevallen (onderzoeksrapporten) is diepgaand geanalyseerd en vergeleken. Yin (2009) geeft aan dat i Dit zijn meest recente, beschikbare cijfers uit december

16 een gevalsstudie een goede onderzoeksmethode kan zijn als de grenzen tussen het verschijnsel en de context niet helemaal duidelijk zijn. In dit geval is slechte kwaliteit van de conclusies waarschijnlijk contextafhankelijk, maar in hoeverre de kwaliteit afhankelijk is van de individuele mogelijkheden en inzet van de student en in hoeverre deze afhankelijk is van de instructie vanuit de opleiding, is niet helemaal duidelijk. Yin (2009) en Hutjes en van Buuren (1992) geven aan dat bij een gevalsstudie het verschijnsel wordt bestudeerd in de natuurlijke situatie. De onderzoeksrapporten van de studenten zijn niet bewerkt of uit de context gehaald, voor de analyse zijn de rapporten gebruikt zoals deze zijn ingeleverd door de studenten. Veldonderzoek binnen de gevalsstudie is vaak beschrijvend en vergelijkend. De analyse bestond uit een beschrijving van knelpunten en een vergelijking van deze knelpunten met knelpunten in andere onderzoeksrapporten. Dit is een combinatie van een 'within- case' analyse en een 'cross- case' analyse. Middels een within- case analyse verkrijgt de onderzoeker bekendheid met de data, waardoor voorlopige verklaringen kunnen worden geformuleerd, de cross- case analyse dwingt een onderzoeker om de eerste impressies diepgaander, vanuit meerdere perspectieven te beschouwen (Eisenhardt, K.M., 2002). Door te zoeken naar overeenkomsten en verschillen in de knelpunten is gezocht naar patronen in de geobserveerde verschijnselen (Babbie, 2012). De gevonden patronen leidden tot een indeling van de knelpunten in categorieën. Door deze categorisering konden nieuwe ideeën ontstaan over de eisen voor een conclusie van een onderzoeksrapport. Door deze ideeën te toetsen aan bestaande theorie is via een inductieve redeneerwijze een nieuwe theorie afgeleid (Eisenhardt, K.M., 2002). Dit onderzoek kende daarnaast een ontwerpgerichte doelstelling, gericht op het ontwikkelen van generieke oplossingen voor het gediagnosticeerde veldprobleem (Aken en Andriessen, 2009). Het ontwerpgerichte deel is nader uitgewerkt in een opzet voor een instructie voor studenten ten aanzien van de conclusie van een onderzoeksrapport. Deze is te vinden in bijlage I. Instrumenten Gefundeerde theorie- analyse De onderzoeksrapporten van de studenten zijn gecodeerd op basis van de gefundeerde theoriebenadering (Birks, 2011; Boeije, 2005). Dit is in meerdere fasen gedaan: in de eerste fase, de open codering, zijn codes toegekend aan de ruwe data en zijn daarvan beschrijvingen gemaakt. Vervolgens zijn deze codes in de fase van axiale codering beschreven en waar nodig samengevoegd of gesplitst. In de laatste fase van selectieve codering is gezocht naar patronen in codes en zijn de codes gecategoriseerd. Een belangrijk uitgangspunt van de gefundeerde theorie- analyse is die van 'constante vergelijking' van data met codes, van codes met categorieën en van categorieën met elkaar. Ook zijn de categorieën vergeleken met bestaande theorieën over knelpunten in onderzoek en met de bevindingen uit de interviews met de docenten. Interviews Er is gekozen om naast de gefundeerde theorie- analyse een tweede methode van onderzoek te gebruiken, zodat de uitkomsten van de analyse konden worden getoetst. Gekozen is om semigestructureerde interviews af te nemen. Hierbij is een aantal vragen van tevoren is vastgelegd in een interviewschema. Die methode biedt ook ruimte om gedurende het interview de vragen in een andere volgorde te stellen of vragen toe te voegen, indien het gesprek daar aanleiding toe geeft (Baarda, de Goede en Teunissen, 2005). Deze manier van interviewen was voor dit onderzoek het meest geschikt omdat het onderwerp, de conclusie van een onderzoeksrapport, lastig te beschrijven bleek. Wanneer de vragen te moeilijk bleken om te beantwoorden kon een vraag worden toegevoegd en wanneer de antwoorden van de geïnterviewden niet helemaal duidelijk waren, kon worden gevraagd om het antwoord te herformuleren of te verduidelijken aan de hand van een voorbeeld. De interviews dienden twee doelen: 1. Toetsen of de knelpunten die naar voren kwamen uit de analyse van de onderzoeksrapporten herkend worden door de docenten en of deze nog aangevuld dienden te worden. 2. Achterhalen op welke wijze de instructie voor de interviews in de lessen wordt overgebracht en of dit overeenkomt met de instructie die wordt gegeven in de documentatie van de onderzoeksmodules. Daarom bestonden de interviews uit twee delen, in het eerste deel werden vragen gesteld om te achterhalen welke ideeën docenten hebben over de functie van een conclusie in een 10

17 onderzoeksrapport en meer inzicht te krijgen in hoe zij instructie geven over de conclusie in onderzoekslessen. In het tweede deel werden drie conclusies van onderzoeksrapporten voorgelegd met de vraag om van deze conclusies de sterke en de zwakke punten te benoemen. Werkwijze Inventarisatie van de documentatie Op de digitale leer- en werkomgeving van de opleiding is gezocht naar documentatie van onderzoekslessen en - opdrachten. In alle gedocumenteerde informatie over de modules waar aandacht wordt besteed aan onderzoeksvaardigheden, zoals modulehandleidingen, PowerPointpresentaties van lessen, digitale lesomgevingen en docentinstructies, is gezocht naar omschrijvingen van en instructies voor (het schrijven van) de conclusie. Daarnaast is het boek Wat is onderzoek? van Nel Verhoeven geraadpleegd, omdat dit het voorgeschreven boek is bij voor de onderzoeksmodules van de opleiding MIC. Ook hieruit zijn de fragmenten geselecteerd over (het schrijven van) de conclusie van een onderzoek. Dit gaf een inzicht in de instructie die studenten krijgen vanuit de opleiding ten aanzien van de conclusie. Een compleet overzicht van de instructie die betreffende de conclusies aan de studenten gegeven wordt is te vinden in bijlage III Inventarisatie van de literatuur over onderzoeksmethodologie Om te achterhalen wat in de literatuur geschreven wordt over de conclusie van een onderzoeksrapport is in eerste instantie gekeken bij de methodologiesectie van de mediatheek van de HvA. Daarna is in de online catalogus van de Bibliotheek van de Hogeschool van Amsterdam gezocht naar literatuur, met als zoektermen: onderzoek, methoden, methoden en technieken, methodologie, conclusie, onderzoek conclusie en methode conclusie. In alle gevonden boeken is gezocht naar die fragmenten die instructie voor het schrijven van een conclusie van een onderzoek bevatten. Vervolgens is gezocht naar online gepubliceerde handleidingen. Er is gezocht met Google en Google Scholar op de volgende zoektermen onderzoek, methoden, methoden en technieken, methods, research methods, conclusion, research conclusion, discussion en research and discussion. In alle gevonden boeken en online handleidingen is gezocht naar fragmenten die gaan over de conclusie van een onderzoek. Een overzicht van alle geraadpleegde boeken is te vinden in bijlage IV. Knelpuntenanalyse onderzoeksrapporten Dataverzameling Om een goed beeld te krijgen van de knelpunten in de conclusies van onderzoeksrapporten werd een gefundeerde theorie- analyse uitgevoerd. Voor het uitvoeren van deze analyse waren de digitale versies van de rapporten nodig. De studenten hadden hun rapporten echter uitsluitend in hardcopy ingeleverd. De digitale versies zijn op verschillende manieren verzameld: een deel van de rapporten is op mijn verzoek aangeleverd door de negen docenten die doceerden in de module onderzoek. Ik heb iedere docent gevraagd om vier onderzoeksrapporten aan te leveren, waarvan twee met een voldoende waren beoordeeld en twee met een onvoldoende. Niet iedere docent had de mogelijkheid of de tijd om onderzoeksrapporten aan te leveren. Zes docenten hebben onderzoeksrapporten per mail opgevraagd bij de studenten. Dit leverde 24 rapporten op, daarnaast zijn nog elf rapporten gedownload van de digitale leer- werkomgeving van de opleiding. Hiervoor is toestemming gevraagd aan de coördinator van de module Onderzoek. De studenten zijn op de hoogte gesteld dat hun onderzoeksrapport gebruikt zou worden voor een onderzoek, zij hebben daarvoor geen beloning ontvangen. De in dit onderzoek geanalyseerde onderzoeksrapporten zijn geanonimiseerd en niet te herleiden tot de studenten die deze hebben geschreven. Data- analyse In de eerste fase, het open coderen, zijn met behulp van het programma Nvivo (betaversie voor Mac) codes toegekend aan de knelpunten in de onderzoeksrapporten. In eerste instantie zijn in dit onderzoek de knelpunten aangeduid met zeer algemene termen, zoals 'slechte formulering', of 'geen antwoord op de probleemstelling'. Gedurende de knelpuntenanalyse zijn de beschrijvingen steeds nauwkeuriger geformuleerd. Het knelpunt 'slechte formulering' is bijvoorbeeld opgesplitst in onder andere: 'de zinnen zijn onbegrijpelijk door slechte formulering', 'er is sprake van een overbodige herhaling' en 'de student spreekt zichzelf tegen'. Vervolgens werden aan de knelpunten labels toegekend, als voorbereiding op de categorisering. In de fase van axiale codering werden de codes nauwkeuriger beschreven, daardoor werden de labels gesplitst of samengevoegd. Dit gaf dat aanleiding om de geanalyseerde conclusies nogmaals 11

18 te doorlopen en de codes daarin aan te passen. Deze fase kon worden afgerond op het moment dat ieder nieuw knelpunt onder bestaande codes kon worden ondergebracht. De knelpunten zijn vervolgens overgezet naar Excel (voor Mac 2011) zodat deze aan de hand van de labels konden worden gecategoriseerd. De categorieën en subcategorieën vormden de basis voor de selectieve codering van de rapporten. In deze fase is gezocht naar patronen en uitzonderingen. Een voorbeeld daarvan was het knelpunt dat in de conclusie duidelijk werd dat de belangrijkste oorzaken van een probleem niet geanalyseerd waren. Voor dit knelpunt is een subcategorie probleemstelling niet nauwkeurig genoeg geformuleerd opgesteld. De categorieën zijn enkele malen aangepast, omdat het van sommige knelpunten moeilijk te bepalen was onder welke categorie deze het best pasten. Dit was bijvoorbeeld het geval bij de categorie onjuiste selectie van respondenten. Deze was in eerste instantie ingedeeld bij het knelpunt, 'vertaling van resultaten naar conclusies', maar omdat deze categorie niet duidelijk was, zijn de knelpunten die hieronder ingedeeld waren, in andere categorieën geplaatst. In eerste instantie is 'onjuiste selectie van respondenten als een aparte categorie opgenomen, vervolgens is besloten om een categorie 'knelpunten in de opzet van het onderzoek' in te voeren en het knelpunt 'onjuiste selectie van respondenten daarin onder te brengen. Uiteindelijk is een tabel samengesteld van 37 knelpunten die in vijf categorieën zijn ingedeeld. Interviews Dataverzameling De drie semigestructureerde interviews zijn afzonderlijk, face- to- face afgenomen in het gebouw van de opleiding MIC en op audio vastgelegd. De vragen voor de interviews zijn van tevoren vastgelegd in een interviewschema. De interviews duurden tussen de 35 de 50 minuten. Data- analyse De interviews zijn volledig getranscribeerd, waarna relevante tekstfragmenten zijn geselecteerd om te vergelijken met de bevindingen uit de knelpuntenanalyses van de conclusies en de bevindingen uit de literatuur. Dit gaf beter inzicht in het type onderzoek dat studenten verrichten bij het afstudeerprofiel RMP en de instructie die studenten van de opleiding krijgen ten aanzien van de conclusie van een onderzoeksrapport. Het gaf tevens een bevestiging van de gevonden knelpunten. De transcripties van de interviews zijn geanonimiseerd en op verzoek te verkrijgen bij de onderzoeker. Vergelijken van bevindingen met literatuur Omdat bleek dat de knelpunten in de conclusies sterk samenhingen met knelpunten in het gehele onderzoeksproces is vervolgens gekeken of deze gekoppeld konden worden aan in de literatuur genoemde knelpunten in een onderzoek. Daarbij is gebruik gemaakt van het model van Oost (2002), omdat hierin heel uitgebreid de mogelijke fouten in een onderzoeksproces worden beschreven en gekoppeld aan kwaliteitscriteria. Dit model is uitermate geschikt voor voorliggend onderzoek, gegeven de doelstelling om kwaliteitscriteria en instructies voor conclusies te schrijven aan de hand van een knelpuntenanalyse. Vervolgens is onderzocht of kwaliteitscriteria voor praktijkgericht onderzoek afwijken van kwaliteitscriteria voor theoriegericht onderzoek. Dit is gedaan door literatuur over de verschillen tussen praktijkgericht en theoriegericht onderzoek te raadplegen en de kwaliteitseisen met elkaar te vergelijken. Tot slot heeft deze vergelijking geleid tot een koppeling van de knelpunten uit de conclusie aan kwaliteitscriteria voor onderzoek en konden deze kwaliteitscriteria specifieker worden afgestemd op de conclusie van een onderzoeksrapport. Validiteit Interne validiteit Voor de beantwoording van de onderzoeksvragen over de knelpunten in de conclusies die studenten schrijven, wordt gebruik gemaakt van meerdere bronnen: de literatuur, de onderzoeksrapporten van de studenten en de interviews met de docenten onderzoek. Wanneer meerdere bronnen bijdragen aan eenzelfde conclusie, is sprake van convergentie van de onderzoeksresultaten en draagt dit bij aan de constructvaliditeit van het onderzoek (Van Burg, 2011). Het gebruik van meerdere bronnen wordt ook wel triangulatie van bronnen genoemd, wat bijdraagt aan een sterkere ondersteuning van de uitkomsten (Yin, 2009). Doordat binnen case study research de analyse en de ideevorming zo direct worden afgeleid uit de data, het onderzoeksmateriaal binnen de natuurlijke context is het waarschijnlijk dat de idee- en theorievorming consistent is met de empirische observatie (Eisenhardt 12

19 K.M. 2002). Ook het vergelijken van de ideeën en de zich ontwikkelende theorie met bestaande literatuur verhoogt de interne validiteit van die theorie (Eisenhardt, K.M., 2002; Yin, 2009). Bij een meervoudige gevalsstudie worden de uitkomsten (in dit geval de gedefinieerde knelpunten) gedurende het analyseproces geverifieerd. Er is sprake van herhaaldelijke verificatie omdat de knelpunten uit verschillende onderzoeksrapporten met elkaar vergeleken worden, (Eisenhardt, K.M., 2002). Dit draagt bij aan de interne validiteit van de gevonden knelpunten. Daarnaast zijn de bevindingen uit de analyse van de onderzoeksrapporten gevalideerd door twee docenten. Zij beoordeelden ieder tien analyses van conclusies die door mij waren geanalyseerd. Zij kregen de instructie om na te gaan of ik alle knelpunten had aangegeven in een conclusie, of deze een logische beschrijving hadden en of de indeling van categorieën logisch was. In de tien geselecteerde conclusies die voor deze validering werden geselecteerd, moesten alle categorieën ten minste twee keer voorkomen. Aan de hand van deze validering zijn de categorieën heringedeeld en de knelpunten nauwkeuriger beschreven. De docenten gaven aan geen nieuwe knelpunten in de conclusies te hebben aangetroffen. De validering leidde wel tot aanscherping van formuleringen en het verplaatsen van enkele knelpunten naar een andere categorie. De instructie voor de docenten is opgenomen in bijlage V. Daarnaast zijn de in de in dit onderzoek beschreven knelpunten in de interviews met de docenten gevalideerd. De geïnterviewde docenten kregen ieder drie conclusies voorgelegd met de vraag of zij hiervan de knelpunten konden aangeven. Dit diende niet alleen ter validering van het opgestelde coderingsschema; het gaf ook een meer open en holistische analyse van de conclusies. Dat was van nut om te achterhalen wat volgens de docenten de belangrijkste knelpunten in de conclusies zijn. De validiteit van de interviews is verhoogd door een proefinterview af te nemen. Zo is getoetst of de vragen die zijn opgesteld waren, werden geïnterpreteerd zoals bedoeld. Tevens is nagegaan of de uitkomsten van het interview bijdragen aan de beantwoording van probleemstelling. Uit het proefinterview bleek dat veel vragen te algemeen geformuleerd waren en niet bijdroegen aan de beantwoording van de onderzoeksvragen. Ook bleek dat het voorleggen van de gevonden knelpunten niet leidde tot meer inzicht in deze knelpunten of een aanvulling daarop. Daarom is het interviewschema grondig herzien: de vragen zijn aangepast en scherper geformuleerd. Bovendien is een element toegevoegd aan het interview. Na het stellen van de openvragen werden de docenten gevraagd drie conclusies van studenten te lezen en te beoordelen. De aanpassingen in het interviewschema waren zo groot, dat is besloten om nog een proefinterview af te nemen. Het tweede proefinterview gaf geen aanleiding tot nieuwe aanpassingen. Externe validiteit: bruikbaarheid en generaliseerbaarheid Dit onderzoek is een kleinschalig kwalitatief onderzoek, waarbij een relatief klein aantal onderzoeksobjecten diepgaand is geanalyseerd. Daarom is het goed om de externe validiteit te benaderen vanuit twee perspectieven: de bruikbaarheid van de uitkomsten binnen de context waarin het onderzoek is uitgevoerd, te weten de opleiding MIC, en de mogelijkheid om deze uitkomsten te generaliseren. Omdat binnen dit onderzoek de conclusies in onderzoeksrapporten van RMP- studenten diepgaand zijn geanalyseerd is een duidelijk beeld ontstaan van de knelpunten die deze studenten ondervinden bij het schrijven van een conclusie. De inzichten die hieruit voortkomen, zijn heel goed bruikbaar om het onderwijs in onderzoeksvaardigheden binnen deze opleiding te verbeteren. Heel concreet levert dit onderzoek een opzet voor instructie voor het schrijven van een conclusie op. Daarnaast is het om meerdere redenen niet onaannemelijk dat de opgestelde eisen ook binnen andere contexten bruikbaar zijn. Omdat bij kwalitatief onderzoek sprake is van 'purposeful selection' van data gaat men ervan uit dat onderzoeksuitkomsten vooral bruikbaar zijn voor vergelijkbare context. Yin (2009) spreekt in dit verband over analytische generalisatie waarin "the investigator is striving to generalize a particular set of results to some broader theory" (p. 43). De uitkomsten van dit onderzoek kunnen gegeneraliseerd worden omdat zijn vergeleken met bestaande literatuur. De vergelijking van de door de analyse ontstane ideeën met bestaande literatuur draagt bij aan de externe validiteit van dit onderzoek (Eisenhardt, K.M., 2002). Dat houdt dat het aannemelijk is dat de uitkomsten van dit onderzoek ook gelden binnen vergelijkbare contexten: opleidingen op hogescholen met een vergelijkbaar curriculum en een vergelijkbaar type populatie. Om dit te toetsen, zou het onderzoek of een deel daarvan binnen een andere context herhaald moeten worden. Zo zouden de knelpunten die gevonden zijn binnen de onderzoeksrapporten als uitgangspunt kunnen dienen voor een toetsing van dit onderzoek binnen andere opleidingen met soortgelijke onderzoeksopdrachten. 13

20 14