Praktijkkennis boven tafel halen Daan Andriessen Jubileum congres Design Science Research Group 3 november 2011 Hogeschool Utrecht
Ontwerpgericht onderzoek Nieuwe Bestaande oplossingen oplossingen Fase 1: Ontwerpen conceptoplossing Fase 2: Testen conceptoplossing Quasi experiment (Cook, 1983) Simulatie Actie onderzoek Analyse van bestaande oplossingen uit de praktijk: Hoe zien ze er uit? Werken ze? Waarom werken ze? Wanneer werken ze wel / niet? 2
OPERA Ontwerpgericht Projecten Expliciteren met de Redeneerketen Aanpak (OPERA) Ingrediënten uit ontwerpgericht onderzoek: Werken met redeneerketens en de CIMO logica Tijdens project systematisch effecten onderzoeken Toevoegen van kennisstroom aan de praktijkstroom Resultaat: kennis over de opzet en werking van een oplossing die in de praktijk is toegepast 3
Uitgangspunten OPERA 1. In ieder initiatief tot verbetering of vernieuwing van een sociaal systeem worden meerdere interventies gehanteerd (arrangement). 2. Het succes van dit arrangement is sterk afhankelijk van de context. 3. Het is mogelijk om voor iedere interventie uit het arrangement een zogenaamde redeneerketen op te stellen. 4. Het is bij onderzoek in de praktijk vrijwel onmogelijk om alle variabelen onder controle te brengen. 4
KENNISSTROOM 1.THEORIE 2.ONDERZOEKS -AGENDA 3. (HER) ONTWERPEN 9.REFLECTIE 10.KENNIS ONTWIKKELING Theoretisch kader Kennisprobleem Concept oplossing Successen & verbeteringen Ontwerpkennis Match? Casus 1 Agenda van de klant Praktijkprobleem Specifieke oplossing Vastgelegde ervaringen Effecten van acties Bevindingen 4.DIAGNOSE 5.ACTIE PLANNING 6.IMPLEMEN- TATIE 7.EVALUATIE 8.VASTSTELLEN VAN LEREN PRAKTIJKSTROOM 5
KENNISSTROOM 1.THEORIE 2.ONDERZOEKS -AGENDA 3. (HER) ONTWERPEN 9.REFLECTIE 10.KENNIS ONTWIKKELING Theoretisch kader Kennisprobleem Concept oplossing Successen & verbeteringen Ontwerpkennis Match? Casus n Casus 2 Casus 1 Agenda van de klant Praktijkprobleem Specifieke oplossing Vastgelegde ervaringen Effecten van acties Bevindingen 4.DIAGNOSE 5.ACTIE PLANNING 6.IMPLEMEN- TATIE 7.EVALUATIE 8.VASTSTELLEN VAN LEREN PRAKTIJKSTROOM 6
Opzet OPERA DEEL 1 Context beschrijving DEEL 2 Redeneerketens DEEL 3 Operationalisatie van het arrangement DEEL 4 Resultaat evaluatie DEEL 5 Procesevaluatie en eindoordeel Uitvoering
Redeneerketens Onderwijsinterventie Impact
Black box Studierendement Studiekeuzegesprekken
Een complex aan factoren bepaalt impact Onderwijsinterventie Impact Andere factoren
Motivatie Competenties Studentkenmerken Studierendement Studiekeuzegesprekken Binding Begeleiding & beoordeling Kwaliteit / studeerbaarheid van de studie
Causale keten is lang Onderwijsinterventie Impact Andere factoren
Beter inzicht in studie Betere studie keuze Hoger studierendement Studiekeuzegesprekken Betere match met competenties Betere match met interesses Hogere motivatie Andere factoren
Oplossingsrichting: de redeneerketen (CIMO) Interventie Mechanismen Outcome Context Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29, 393-413
Oplossingsrichting: korte redeneerketens I M O/I M O/I M O/I M O C C C C
Een opdracht toevoegen bij de online inschrijving als nieuwe student 1. Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken 2. De opdracht geeft de kandidaat informatie over opleiding en beroep 3. De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat 1. Meer serieuze kandidaten tussen de inschrijvers 2. Hogere kwaliteit studiekeuze 3. Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuzegesprek Hogeschool X
Redeneerketen en effectmeting: een meetmodel Interventie Mechanisme Outcome Input indicatoren Mechanisme indicatoren Outcome indicatoren Outputindicatoren
Een opdracht toevoegen bij de online inschrijving als nieuwe student 1. Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken 2. De opdracht geeft de kandidaat informatie over opleiding en beroep 3. De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat 1. Meer serieuze kandidaten tussen de inschrijvers 2. Hogere kwaliteit studiekeuze 3. Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuzegesprek Hogeschool X
Interventie Mechanisme Outcome Redeneerketen en effectmeting Input indicatoren: Kosten ontwikkelen opdracht Kosten online brengen opdracht Outputindicatoren: 1 opdracht online Mechanisme indicatoren: Gemiddelde duur inschrijven Aantal personen dat inschrijving niet af maakt Beoordeling bij student in gesprek hoeveel kennis hij/zij heeft over opleiding en beroep Oordeel student in gesprek hoeveel hij/zij heeft opgestoken van de opdracht Oordeel docenten wat de waarde was in het gesprek van de extra informatie Outcome indicatoren: Aantal serieuze aanmeldingen als % van totaal Behaalde studiepunten (EC s) Afgegeven preadviezen (BSA s) Aantal uitschrijvers en omzwaaiers
Opzet OPERA DEEL 1 Context beschrijving DEEL 2 Redeneerketens DEEL 3 Operationalisatie van het arrangement DEEL 4 Resultaat evaluatie DEEL 5 Procesevaluatie en eindoordeel Uitvoering
Bewijskracht Omschrijving Soorten onderzoek Kwalificatieniveau interventie Als 1 tot en met 3, maar nu 4. Werkzaam is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten Causaal Indicatief Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen zijn, en cliënten tevreden zijn Experimenteel onderzoek Herhaalde cases studies (N=1) ------------------- Quasi-experimenteel onderzoek Veranderingstheoretisch onderzoek Normgerelateerd onderzoek ------------------- Veranderingsonderzoek Doelrealisatieonderzoek Cliënttevredenheidsonderzoek 3. Doeltreffend Theoretisch Als 1, maar nu is er ook een geloofwaardige interventietheorie over welke factoren met de problemen samenhangen en waarom de interventie de beoogde uitkomsten bereikt Meta-analyse Literatuurstudie Kennisontlokkend onderzoek 2. Theoretisch goed onderbouwd (veelbelovend) Descriptief De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven. Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews 1. Potentieel 21
Meer informatie Hoofdstuk 21 Handboek Ontwerpgericht Wetenschappelijk Onderzoek Dr. Daan Andriessen Daan.andriessen@inholland.nl 06-52375658 22