Praktijkgericht onderzoek Samengesteld door Leon Wetzel Problemen Samenvatting Research door Leon Wetzel Type Omschrijving Voorbeelden Wicked Probleem dat niet of moeilijk is op te lossen, omdat er kennis ontbreekt of de eisen voor het oplossen steeds veranderen. Het is onduidelijk hoe het probleem kan worden opgelost. Armoede Gezondheidszorg Klimaatverandering Tame Probleem dat is op te lossen, omdat de juiste middelen aanwezig zijn. De manieren om het probleem op te lossen zijn duidelijk en zodra het probleem is opgelost, dan blijft het opgelost. Schaakspel Taart bakken Worteltrekken Problem Chance Gat tussen de huidige (slechte) staat en de gewenste (neutrale) staat. Gat tussen de huidige (neutrale) staat en de gewenste (veelbelovende) staat. Artefacten Artefacten zijn middelen om problemen op te lossen, als mensenkennis niet genoeg is. Ze bevatten: Omgeving Functie Structuur Gedrag Beoogde effecten Waar wordt het artefact gebruikt en in welke omstandigheden? Wat kan het artefact doen voor zijn gebruikers? Wat voor voordelen heeft het artefact voor zijn gebruikers? De componenten van het artefact en de relaties en interacties. Wat kan het artefact uitvoeren? Wat voor effecten verwacht ik bij het gebruiken van het artefact? Onverwachte effecten Onverwachte effecten die ontstaan bij het gebruiken van het artefact. Beoogd gebruik Onverwacht gebruik Waarvoor en wanneer gebruik ik het artefact? Moment waarop een artefact gebruikt wordt zonder dat men het verwacht. Designs science versus evidence-based practice Design science Evidence-based practice Problemen oplossen voor algemene vraagstukken. Problemen oplossen voor lokale vraagstukken, wat gebaseerd is op theorie en onderzoek. 1
De bijdrage van evidence-based practice Socio-technische systemen Hybride systemen o Technisch artefact + mensen + wetten, regels & normen Het gedrag kan moeilijk worden voorspeld en beheerst, want Er zijn verschillende mensen met verschillende rollen, met verschillende achtergronden en perspectieven, waardoor er conflicten en moeilijkheden kunnen ontstaan Regels met betrekking tot de omgang met anderen kunnen makkelijk worden genegeerd of geschonden. De grenzen van het systeem zijn vaag en veranderen vaak Verantwoordelijkheden zijn onduidelijk en onzeker Als gevolg: Socio-technische systemen zijn moeilijk om te beheersen en te controleren! Partiële oplossingen voor wicked problemen 2
Kennistypes Definiërende kennis o Kennis die uitlegt over een onderwerp. o Voorbeeld: Kaas wordt gemaakt van melk, dat van koeien komt. Omschrijvende kennis o Kennis die omschrijft wat er aan de hand is. o Voorbeeld: Alle grote bedrijven in Europa gebruiken ERP-systemen. Verklarende kennis o Kennis die verklarend is d.m.v. oorzaak-gevolg relaties. o Voorbeeld: De leerlingen scoorden slecht op het tentamen, want de vragen waren onduidelijk en taalkundig niet op orde. Voorspellende kennis o Kennis die voorspelt over zaken. o Voorbeeld: Vroeg opstaan kan ervoor zorgen dat je op een dag meer kunt doen. Verklarende en voorspellende kennis o Combinatie van verklaren en voorspellen o Verklaart een voorspelling, d.m.v. oorzaak-gevolg relaties o Voorbeeld: Extra mensen inhuren voor een vertraagd softwareproject kan zorgen voor meer vertraging, want de extra mensen moeten leren wat het project inhoudt. Voorschrijvende kennis o Kennis die suggereert zaken te doen. o Voorbeeld: Om de helling te berekenen, moet je differentiëren. Kennistypes beschrijven de doelen waarvoor kennis gebruikt kan worden! Kennisvormen Expliciete kennis o Uitgedrukt/opgenomen in media zoals tekst, codes, formules, video, nummers. o Makkelijk te transfereren tussen mensen. o Voorbeeld: handleiding, boek. Belichaamde kennis o Zit in de gedachten van mensen. o Vaak moeilijk om te vertalen in een expliciete manier. o Moeilijk om te veranderen in expliciete kennis. o Voorbeeld: het gebruik van een app, een manier om een tompouse te eten. Ingebedde kennis o Bevindt zich niet in mensen, maar in entiteiten zoals fysieke objecten, processen, routines of structuren. o Veranderen van ingebedde kennis in expliciete kennis heet reverse engineering. Hierbij kan verlies van ingebedde kennis optreden. o Voorbeeld: printer, UML. Kennis kan worden weergeven in verschillende vormen in een organisatie! 3
Artefacttypes Constructies o Drukken definiërende kennis uit. o Zijn termen, notaties, definities en concepten die nodig zijn om problemen te formuleren en op te lossen. o Voorbeeld: concept van een klasse in UML, functionele afhankelijkheid in een relationele database. Modellen o Drukken voorschrijvende kennis uit. o Representaties van mogelijke oplossingen op praktische problemen. o Een model kan gebruikt worden om de constructie van andere artefacten te ondersteunen. o Voorbeeld: ERD dat ondersteuning biedt bij de ontwikkeling van een database systeem, klassediagram voor het ontwikkelen van een Java-programma. Methodes o Drukken voorschrijvende kennis uit. o Definiëren richtlijnen en processen voor het oplossen van problemen en het behalen van doelen. o Voorbeeld: Normalisatie voor database-ontwerpen, scrum voor softwareontwikkeling. Instanties (van modellen en/of methodes o Werkende systemen die gebruikt kunnen worden in een situatie. o Voorbeeld: Javaprogramma dat een zoekopdracht realiseert, database met medische gegevens. Archetypes van IT-applicaties: Archetype Functie Voorbeelden Processor To automate Automatiseren Systemen voor het afhandelen van transacties, embedded control systemen Gereedschap To augment Spreadsheets, tekstverwerkers Uitbreiden, vergroten Medium To mediate E-mail, blogs, social media Bemiddelen Informatiebron To inform Informatiesystemen Informeren Spel To entertain Computerspellen, edutainment Entertainen Kunstwerk To create art Digitale kunst Kunst maken Huisdier To accompany Vergezelen Virtuele huisdieren 4
Theorietypes Een theorie: Gericht op het verklaren van objecten en hun relaties, meestal door het geven van oorzaakgevolg relaties. Soms kan een theorie dienen voor het voorspellen van gebeurtenissen in de toekomst. In combinatie met verklarende en voorspellende kennis. Een grote theorie (grand theory): Groots in scope en heel abstract Gericht op het geven van grote theoretische schema s voor het verklaren van verschillende fenomenen. Voorbeeld: Systeemtheorie Een middellange theorie (middle-range theory): Verklaart enigszins fenomenen op een gemiddeld niveau over verschillende contexten. Voorbeeld: Technology Acceptance Model Een microlange theorie (micro-range theory): Verklaart een specifiek fenomeen in een specifieke setting. Voorbeeld: Het gebruik van sociale media stimuleerde deelname aan protestbewegingen in Chili in 2011. Design Theory Een theorie die kennis over een artefact systematiseert. Doel en scope Heeft betrekking tot voorschrijvende kennis, modellen en methodes. Voorbeeld: relationele database theorie. Een verbetering van databasetechnologie is nodig voor het verhogen van de productiviteit, want de huidige aanpak van databeheer faalt. 5
Constructies Attributen, tuple, n-achtige relaties, domein van waarden Principes van form en functie Een relatie is gedefinieerd over een domein van waarden en bevat attributen en tuples. Veranderbaarheid van een artefact Het relationele model staat makkelijke adaptie en het veranderen van de basistabellen toe, terwijl de gebruikersinterface nauwelijks veranderd. Testbare proposities Een relationele database werkt evengoed als een non-relationele database. Gerechtvaardigde kennis Set theory Principes van implementatie Richtlijnen van hoe een relationele database gemaakt kan worden via normalisatieprocedures. Blootgestelde instantie Een werkende relationele database met tabellen die gevuld zijn met data. Onderzoek doen Onderzoeken Praktijkgericht onderzoek Onderzoeken is het methodisch beantwoorden van vragen dat leidt tot relevante kennis. Praktijkgericht onderzoek is onderzoek waarvan de vraagstelling wordt ingegeven door de beroepspraktijk en waarvan de opgedane kennis direct bij kan dragen aan die beroepspraktijk. 6
Onderzoeksstrategieën en -methodes Bij het opstellen van de onderzoeksstrategie is het van belang dat er rekening wordt gehouden met de volgende vragen: Beantwoord ik met dit onderzoek mijn onderzoeksvraag? Is het beantwoorden van de onderzoeksvragen mogelijk met de middelen die ik (ga) heb(ben)? Is het ethisch verantwoord om dit onderzoek te doen (denkend aan mensen, dieren en de omgeving)? Bestaat uit: Strategie Strategy Doel(en) Purpose(s) Sleutelconcepten Key concepts Sleutelactiviteiten Key activities Vormen / manieren Forms Zorgen Major concerns 7
Experiment Doel(en): Het veranderen van de waarden van een onafhankelijke variabele, om vervolgens te kijken wat het effect is op de afhankelijke variabelen. Sleutelconcepten: Het introduceren van workflow-systemen zorgt voor een toename van de productiviteit. Sleutelactiviteiten: Rekening houden met factorconstante. Factor elimineren van het experiment. Willekeurig geselecteerde entiteiten. Gebruik van controlegroepen. Controlefactoren: Rekening houden met factorconstante. Factor elimineren van het experiment. Willekeurig geselecteerde entiteiten. Gebruik van controlegroepen. Lab- of veldexperiment? Survey Bestaat uit: Strategie Strategy Doel(en) Purpose(s) Sleutelconcepten Key concepts Sleutelactiviteiten Key activities Vormen / manieren Forms Zorgen Major concerns Doel(en): Basisdata verzamelen over grote groepen van mensen, inclusief hun activiteiten, gedachten en gedrag. Sleutelactiviteit & sleutelconcept: Omdat het bestuderen van een hele populatie duur is, wordt er gebruik gemaakt van steekproeven om te bepalen wat het uiteindelijke resultaat zou kunnen zijn dat geldt voor de hele populatie. Vormen / manieren: Via de post, telefoon, internet of face-to-face. 8
Case study Sleutelconcepten: Het bepalen van de instantie die wordt bestudeerd. Eerst moet bepaald worden welk fenomeen wordt bestudeerd, bijvoorbeeld mensen, bedrijven of workflow systemen. De volgende stap is om te kiezen welke instantie wordt gekozen, zoals een typische en representatieve instantie, een extreme instantie of een gebruikelijke instantie Methodes voor het verzamelen van data Verzamelde data kan: Kwantitatief zijn, zoals de hoeveelheid lijnen aan code. Kwalitatief zijn, zoals tekst, geluid, afbeeldingen en video. Het verzamelen van data kan gaan via: Vragenlijsten Interviews Focusgroepen Observatiestudies Documentatiestudies Vragenlijsten Bestaat uit: Een achtergrond Instructies Open of gesloten vragen Vragenlijsten worden gegeven aan een aantal respondenten, via de post of het internet. Het wordt gebruikt om feiten en meningen te verzamelen. Vragen moeten zijn: Kort Relevant Duidelijk Specifiek Objectief Voordelen: Goedkoop Gestandaardiseerde data (maakt data-analyse makkelijker) Nadelen: Gesloten vragen zorgen voor (deels) voorspelbare antwoorden. Lage antwoordpercentages 9
Interviews De onderzoeker stelt vragen aan een respondent om emoties, gedrag, meningen en ervaringen op te nemen (complexe en gevoelige informatie). Interviews kunnen gestructureerd (vragenlijst), semigestructureerd of ongestructureerd zijn. Voordelen: Diepte: mogelijkheid om veel informatie te kunnen verkrijgen Hoge antwoordpercentages Nadelen: Vreet tijd: het transscript schrijven en analyseren kost heel veel tijd. De onderzoeker kan de resultaten van de antwoorden van de respondent beïnvloeden. Focusgroepen Een interview waarin een groep van respondenten discussiëren over een bepaald onderwerp, om het onderwerp te begrijpen en te interpreteren. Onderzoekers hebben twee rollen: ze beheren de discussie en ze houden alles bij. Voordelen: Discussie kan kwalitatief betere antwoorden geven dan een interview Het is kosteneffectief. Nadelen: Het resultaat is afhankelijk van de onderzoekers die observeren. Sterke respondenten kunnen andere respondenten beïnvloeden. Observatie Een dataverzamelingsmethode waarbij de onderzoeker een groep mensen onderzoekt op wat ze doen. Hierbij wordt niet gelet op wat ze zeggen of denken. Systematisch, op basis van een observatierooster Voordelen: Betrouwbaar Efficiënt Nadelen: Resultaten kunnen beïnvloed worden vanwege het voortijdig plannen van de observatie. Geheime of open observatie van participanten Voordelen: Legitieme en context-gevoelige resultaten Nadelen: Betrouwbaarheid is betwist Ethische problemen kunnen ontstaan bij geheime observatie. 10
Documenten Bevatten data op basis van tekst, foto s, afbeeldingen, audio- of videobestanden. Voorbeelden van documenten: Overheidspublicaties Kranten Facebook feed Voordelen: Heel veel data kan worden verzameld in een korte tijd Het is niet duur Nadelen: De geloofwaardigheid van sommige documenten kan betwist zijn. Methodes voor het analyseren van data Data-analyse Levert waardevolle informatie van data op om bepaalde fenomenen die worden onderzocht te verklaren of te omschrijven. Rauwe data moet worden voorbereid, geïnterpreteerd, geanalyseerd en gepresenteerd VOORDAT je conclusies eruit kunt trekken. Een onderzoeker heeft de taak om grote hoeveelheden data te veranderen in beheersbare en betekenisvolle stukken van informatie. Methodes voor het analyseren van data: Kwantitatieve data-analyse Kwalitatieve data-analyse Soorten kwantitatieve data Nominaal Ordinaal Interval Ratio Deze schalen zijn behandeld bij Beschrijvende Statistiek. Kwantitatieve data-analyse Beschrijvende statistiek Het beschrijven van een bepaalde hoeveelheid data door middel van tabellen of grafieken. Ook valt het berekenen van gemiddelden, modus, mediaan (en nog veel meer) hieronder. Inferentiële statistiek Het trekken van conclusies over de populatie die een bepaalde hoeveelheid informatie representeert. 11
Kwalitatieve data-analyse Voordeel: Nadeel: betrouwbaarheid is oké. Niet contextgevoelig. 12
13
Onderzoeksdoelen. -strategieën en -methodes 1. Oorzaken analyseren a. Gebaseerd op voorgestelde oorzaken in theorie b. Case study + interviews en/of documenten (of logs) + content-analyse en/of kwantitatieve data-analyse c. Survey + vragenlijsten + kwantitatieve data-analyse en/of content-analyse 2. Huidige situatie evalueren a. Gebaseerd op criteria die zijn voorgesteld in ontwerptheorie / design theory. b. Case study + interviews en/of documenten (of logs) + content-analyse en/of kwantitatieve data-analyse c. Survey + vragenlijsten + kwantitatieve data-analyse en/of content-analyse 3. Benodigdheden definiëren a. Case study + interviews + content-analyse b. Survey + vragenlijsten + kwantitatieve data-analyse en/of content-analyse 4. Oplossingen evalueren a. Case study + interviews (met experts) + content-analyse en/of kwantitatieve dataanalyse 5. Ontwerp evalueren a. Case study + interviews (met experts) + content-analyse 6. Artefact evalueren a. Experiment + observatie, documenten (of logs) en/of vragenlijsten + kwantitatieve data-analyse en/of content-analyse. b. Case study + interviews (met experts) en/of documenten (of logs) + content-analyse en/of kwantitatieve data-analyse. EINDE 14