Het juiste gereedschap is het halve werk Werkconferentie Innovatieondersteunend onderzoek: De praktijk aan zet 23 maart 2011 Dr. Daan Andriessen Hogeschool Inholland Haarlem
Agenda 1. Wat is onderzoek? 2. Gereedschap #1: Functies van onderzoek 3. Gereedschap #2: Ontwerpgericht onderzoek 4. Gereedschap #3: Redeneerketens 5. Zelf aan de slag met redeneerletens 2/31
1. Wat is onderzoek? Gedachten bij het woord onderzoek? 3/31
Onderzoek gaat over nieuwe kennis (1) Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan (Verschuren, 1994). 4/31
Onderzoek gaat over nieuwe kennis (2) Doelbewust: vanuit probleemveld, gericht op beantwoorden van probleemstelling en deelvragen Methodisch: systematisch en volgens erkende methoden te werk gaan Nieuwe kennis: nieuw voor de wereld Vragen: zonder vragen geen... overigens eindigt veel onderzoek met (nieuwe) vragen Plan: onderzoeksontwerp en - plan (acties, instrumenten, tijd en geld) 5/31
Gereedschap #1: onderzoeksfuncties Definiëren Beschrijven Vergelijken Evalueren Verklaren Ontwerpen 6
Onderzoeksfuncties (2) Onderzoeksfunctie Exploratief Hypothese toetsend Definiëren Tot welke klasse van fenomenen behoort dit? Behoort dit fenomeen bij deze klasse? Beschrijven Wat zijn de eigenschappen van X? Heeft X deze eigenschappen? Vergelijken Wat zijn de verschillen tussen X en Y? Zijn X en Y verschillend? Evalueren Hoe succesvol is deze interventie? Is deze interventie een succes? Verklaren Waarom Y? Is het waar dat X Y verklaart? Ontwerpen Wat draagt bij aan de oplossing van Z? Draagt X bij aan de oplossing van Z? Bron: Oost & Markenhof, 2002 7
Van onderzoeksfunctie naar onderzoeksstructuur De probleemstelling is uitgewerkt in deelvragen waarvan een deel theoretisch zijn en een deel empirisch De deelvragen zijn volledig, dwz door de deelvragen te beantwoorden krijg je alle informatie die nodig is voor het beantwoorden van de probleemstelling De logische volgorde klopt Vraag 1 gaat vooraf aan vraag 2 als vraag 1 een antwoord oplevert dat nodig is om vraag 2 te beantwoorden Samen vormen de deelvragen de onderzoeksstructuur Met behulp van de deelvragen bepaal je de onderzoekstrategieën die je gaat gebruiken 8/41
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: VERGELIJKEN Beschrijvende deelvragen: Wat zijn de kenmerken van A? Wat zijn de kenmerken van B? Vergelijkende deelvragen: Wat zijn de overeenkomsten van A en B? Wat zijn de verschillen tussen A en B? 9
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: EVALUEREN Beschrijvende deelvragen: Wat zijn de kenmerken van A? Wat zijn de kenmerken van de norm? Vergelijkende deelvragen: Wat zijn de overeenkomsten van A en de norm? Wat zijn de verschillen tussen A en de norm? 10
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: VERKLAREN Beschrijvende deelvragen: Wat zijn de kenmerken van A? Wat zegt de theorie? Vergelijkende deelvragen: Wat zijn de overeenkomsten van A en de theorie? Wat zijn de verschillen tussen A en de theorie? 11
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: ONTWERPEN DIAGNOSE Beschrijvende deelvragen: Wat zijn de kenmerken van situatie A? Wat zijn de kenmerken van de norm? Evaluerende deelvragen: Wat zijn de overeenkomsten van A en de norm? Wat zijn de verschillen tussen A en de norm? Verklarende deelvragen: Wat maakt dat er verschillen zijn tussen A en de norm? ONTWERP Ontwerpende deelvragen: Welke oplossingen zijn er bekend? Welke eisen stellen we aan de oplossing? Evaluerende deelvragen: Wat zijn de overeenkomsten van de oplossing en de eisen? Wat zijn de verschillen tussen de oplossing en de eisen? Verklarende deelvragen: Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van het probleem? 12
Praktijkgerichtheid en onderzoeksfunctie Complexiteit Ontwerpen Verklaren Vergelijken / Evalueren Definiëren / Beschrijven Praktijkgerichtheid
Gereedschap #2: ontwerpgericht onderzoek Nieuwe oplossingen Fase 1: Ontwerpen conceptoplossing Fase 2: Testen conceptoplossing Quasi experiment (Cook, 1983) Simulatie Actie onderzoek Bestaande oplossingen Analyse van bestaande oplossingen uit de praktijk: Werken ze? Waarom werken ze? Wanneer werken ze wel / niet? 14
KENNISSTROOM 1.THEORIE 2.ONDERZOEKS -AGENDA 3. (HER) ONTWERPEN 9.REFLECTIE 10.KENNIS ONTWIKKELING Theoretisch kader Kennisprobleem Concept oplossing Successen & verbeteringen Ontwerpkennis Match? Casus 1 Agenda van de klant Praktijkprobleem Specifieke oplossing Vastgelegde ervaringen Effecten van acties Bevindingen 4.DIAGNOSE 5.ACTIE PLANNING 6.IMPLEMEN- TATIE 7.EVALUATIE 8.VASTSTELLEN VAN LEREN PRAKTIJKSTROOM 15
KENNISSTROOM 1.THEORIE 2.ONDERZOEKS -AGENDA 3. (HER) ONTWERPEN 9.REFLECTIE 10.KENNIS ONTWIKKELING Theoretisch kader Kennisprobleem Concept oplossing Successen & verbeteringen Ontwerpkennis Match? Casus n Casus 2 Casus 1 Agenda van de klant Praktijkprobleem Specifieke oplossing Vastgelegde ervaringen Effecten van acties Bevindingen 4.DIAGNOSE 5.ACTIE PLANNING 6.IMPLEMEN- TATIE 7.EVALUATIE 8.VASTSTELLEN VAN LEREN PRAKTIJKSTROOM 16
Gereedschap #3: Redeneerketens Onderwijsinterventie Impact
Black box Studierendement Studiekeuzegesprekken
Een complex aan factoren bepaalt impact Onderwijsinterventie Impact Andere factoren
Een complex aan factoren bepaalt impact Motivatie Competenties Studentkenmerken Studierendement Studiekeuzegesprekken Binding Begeleiding & beoordeling Kwaliteit / studeerbaarheid van de studie
Causale keten is lang Onderwijsinterventie Impact Andere factoren
Causale keten is lang Studiekeuze gesprekken Beter inzicht in studie Betere studiekeuze Betere match met competenties Betere match met interesses Hogere motivatie Hoger studierendement Andere factoren
Oplossingsrichting: de redeneerketen (CIMO) Interventie Mechanismen Outcome Context Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29, 393-413
Waarom werken camera s bij parkeerplaatsen? MECHANISMEN: 1. Caught-in-the-act -> present offenders 2. You-have-been-framed -> potential offenders 3. Nosy parker -> natural surveilance 4. Effective deployment -> security staff 5. Publicity (general) -> potential offenders 6. Publicity (specific) -> potential offenders 7. Time for crime -> present offenders 8. memory jogging -> parkers 9. Appeal to the cautious -> parkers Pawson, R. & Tilley, N. (1994). What works in evaluation research? British Journal of Management, 34, 291-306
Oplossingsrichting: korte redeneerketens I M O/I M O/I M O/I M O C C C C
Oplossingsrichting: de redeneerketen opdelen Een opdracht toevoegen bij de online inschrijving als nieuwe student 1. Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken 2. De opdracht geeft de kandidaat informatie over opleiding en beroep 3. De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat 1. Meer serieuze kandidaten tussen de inschrijvers 2. Hogere kwaliteit studiekeuze 3. Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuzegesprek Hogeschool X
Redeneerketen en effectmeting: een meetmodel Interventie Mechanisme Outcome Input indicatoren Outputindicatoren Mechanisme indicatoren Outcome indicatoren
Oplossingsrichting: de redeneerketen opdelen Een opdracht toevoegen bij de online inschrijving als nieuwe student 1. Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken 2. De opdracht geeft de kandidaat informatie over opleiding en beroep 3. De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat 1. Meer serieuze kandidaten tussen de inschrijvers 2. Hogere kwaliteit studiekeuze 3. Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuzegesprek Hogeschool X
Redeneerketen en effectmeting Interventie Mechanisme Outcome Input indicatoren: Kosten ontwikkelen opdracht Kosten online brengen opdracht Outputindicatoren: 1 opdracht online Mechanisme indicatoren: Gemiddelde duur inschrijven Aantal personen dat inschrijving niet af maakt Beoordeling bij student in gesprek hoeveel kennis hij/zij heeft over opleiding en beroep Oordeel student in gesprek hoeveel hij/zij heeft opgestoken van de opdracht Oordeel docenten wat de waarde was in het gesprek van de extra informatie Outcome indicatoren: Aantal serieuze aanmeldingen als % van totaal Behaalde studiepunten (EC s) Afgegeven preadviezen (BSA s) Aantal uitschrijvers en omzwaaiers
Zelf aan de slag met de redeneerketen 30/31
Meer informatie? Kenniskring Intellectual Capital Hogeschool Inholland Lector Dr. Daan Andriessen Bijdorplaan 15 Haarlem daan.andriessen@inholland.nl http://www.inholland.nl/intellectualcapital 31/31