Collegedag eindonderzoek / kernbegrippen Niek v/d Berg Onderzoeksaanpak & Rapportage Doelen van vandaag - Toetsing leerarrangement - Inzicht in kiezen en uitwerken onderzoeksaanpak - Eerste inzicht in hoe te analyseren en rapporteren Doelen worden gerealiseerd aan de hand van voorbeelden - Eigen onderzoeksidee - voorbeelden - methodenleer Oprfissen theorie vorige keer - Onderzoeksvragen uiteenrafelen en verbinden van de centrale concepten - Operationaliseren validiteit & betrouwbaarheid - Theoretisch kader Voorstel toetsing: - 22 maart peerreview - 5 april inleveren onderzoeksvoorstel - 31 mei herkansing Alternatieve voorstel (aan Niek en Hanneke) wordt - Inleveren onderzoeksvoorstel - Datum peerreview - Herkansing - Presentatie binnen DVC Peerreview - Indeling tweetallen - APA checken - Beoordelen m.b.v. rubrics Presentatie - Nodig de opdrachtgever uit - Maak een poster (voorbeelden + software op www) - Maximaal 5 minuten presenteren (maximaal) Hogeschool Rotterdam / MLI / Hanneke Pagina 1 van 8
- Onderwerpen die tijdens de presentatie aan bod moeten komen: o Aanleiding o Probleemanalyse o Hoofd- & deelvragen o Methode o Resultaten o Toegevoegde waarde werkveld - Beoordeling m.b.v rubrics De onderzoeksaanpak - Wijze van dataverzameling - Waarvoor je in de onderzoeksopzet een plan maakt. - Zie de schema s van van der donk en van der lanen figuur twee kernactiviteiten voor praktijkonderzoek. Zelf of van een ander? Je mag onderzoeksopzetten van een ander gebruiken, inclusief vragenlijsten. Voorwaarde is wel dat het past bij jouw onderzoeksvraag. Controleren: - Hoe stevig staat het instrument? - In hoeverre is geeft het instrument antwoorden op de onderzoeksvragen? - Vraag altijd toestemming om het te mogen gebruiken? Data verzameling - Je bepaalt de centrale concepten - Je bepaalt de manier waarop je gaat kijken. Eigen voorbeeld Niek - Vormgeving basiseducatie voor volwassenen (Van den Berg, 1993) - Omgeving organisatie aanbod Ze heeft omgevingsfactoren onderzocht op onderwijsorganisatie & onderwijsaanbod onderzocht. Gekozen Aanpak: Eerste deel van het traject - Bronnenstudie schets van het probleemveld vijf W 1 H - Literatuurstudie theoretisch kader (mogelijk weer deels met dezelfde bronnen) Tweede deel van het traject - Dieptestudie (casestudie) van 17 instellingen - Survey onder bijna alle 220 instellingen. Hogeschool Rotterdam / MLI / Hanneke Pagina 2 van 8
Dieptestudie - Rijke gevalsbeschrijvingen op basis van meervoudige en verschillende soort metingen - Overnemen van cijfers uit statistisch materiaal. CBS, DUO, Stalinte - Inhoudsanalyse van documentatie zoals gemeentegids, schoolgids, studiewijzers, lesroosters, leerplannen, teamverslagen - (participerende) observatie van het leven in een school, een klas, een BPV- bedrijf - Formele en informele interview met docenten, studenten, management, vertegenwoordigers bedrijven, ouders, andere belanghebbenden. Survey - Analyse beschikbare statistiek - Enquête (bij het voorbeeld van Niek: populatie 220 instellingen, minimaal 17 cases, netto respons 161) - Inhoudanalyse (bij het voorbeeld van Niek: educatief plan, 52 cases) Nog meer voorbeelden van onderzoeksopzetten: - Documentatieanalyse (verslagen van audiogesprekken - Focusgroep met de auditor - Diepte interviews met de auditees - Zelfrapportage over betekenisvolle leermomenten - Verdiepende interviews n.a.v. deze rapportages. Bijvoorbeeld na het invullen van de enquête doorvragen hoe en waarom iemand iets ingevuld heeft. Hierbij kun je in je achterhoofd heel gericht vragen hebben die je beantwoord wil zien. - Interviews (persoonlijk) - Telefonische interviews - 1 e rapportage - 2 e series interviews - Niek heeft voorbeelden van boeken. Bruikbare literatuur eigen onderzoek - Werkend Leren, Lerend Werken, Veldhuizen 2011 Dataverzameling Belangrijk is dat je data kies die iets toevoegt aan de onderzoeksvraag die je gesteld hebt. - Bijdrage aan beantwoorden van de deelvragen en de hoofdvraag? - Beste en meest efficiënte manier om aan de beoogde data te komen? - Is triangulatie ingebouwd? (op meerder manieren meten over het zelfde ding, zie onderdeel dieptestudie, belangrijk om de validiteit van het onderzoek te borgen) - Hoe zijn de validiteit en betrouwbaarheid verder geborgd? September tot december gebruik je voor data verzameling, daarna voor uitwerken van je onderzoeksrapportage. Hogeschool Rotterdam / MLI / Hanneke Pagina 3 van 8
Kwaliteitseisen Betrouwbaarheid - Kom je bij herhaling van je onderzoekt tot dezelfde resultaten? Validiteit - Onderzoek je datgene wat je wilt onderzoeken? - Meet je wat je wilt meten? We moeten dit inhoudsvaliditeit als belangrijke vorm van validiteit. Dit goed borgen zorgt voor betere aanbevelingen, en dat betekent weer hogere opbrengst voor de praktijk van alle dag. Triangulatie 3xT - Brontriangulatie, data verzamelen van verschillende bronnen bijvoorbeeld, ik, leerlingen, ouders, opdrachtgever, bedrijven, BPV - Methodische triangulatie, dat verzamelen waarbij je gebruik maakt van verschillende methoden, bijvoorbeeld observatie & vragenlijst - Onderzoekstriangulatie, verschillende onderzoekers werken samen. Bijvoorbeeld een andere onderzoeker scoort jouw interview. (dit is iets anders dan peer review, gaat over twee onderzoekers over hetzelfde ondezoek die dezelfde stapen doorlopen Validiteit Andere vormen naast inhoudsvaliditeit, bijvoorbeeld: - Resultaatvaliditeit onderzoek leidt tot een daadwerkelijke oplossing van het probleem - Procesvaliditeit de mate waarin de aanpak en de oplossing van problemen herkenbaar is voor de organisatie die het betreft - Democratische validiteit validiteit gaat omhoog naarmate je overleg voert met alle betrokkenen van het probleem - Katalyserende validiteit naarmate betrokkene tijdens het onderzoeksproces beter zicht hebben gekregen op de onderwijspraktijk - Dialogische validiteit de mate waarin het onderzoek op een systematisch wijze kritisch is gevolgd door collega s. Het is handig om te kiezen voor iets dat draagvlak heeft. Onderzoeksstrategieën (uit Saunders e.a. p. 118 128) zie boek - Experiment - variabele - Enquête - Casestudy - Actieonderzoek (doen wij allemaal) - Grounded theory - Etnografie - Archief onderzoek Hogeschool Rotterdam / MLI / Hanneke Pagina 4 van 8
Onderzoeksstrategieën uit Donk en van der lanen (P 146-164, 180-219) - Tekstbronnen bestuderen (teamverslagen, dossiers, beleidsstukken) - Mensen in actie observeren - Mensen bevragen - Bezoeken afleggen - Overige zoals verzamelen van gegevens via diverse soorten zelfrapportages n.a.v. materialen, (foto s, tekening) of gebeurtenissen (logboek & mindmap) Kwantitatief versus Kwalitatief KWANTITATIEF KWALITATIEF - Kennisbasis is vaak al groot over het - Kennisbasis is vaak nog beperkt onderwerp en over de vragen die te stellen zijn - Type vragen als hoe veel? - Type vragen als waarom en hoe? - Grote doelgroep - Kleinere doelgroep - Indirecte verzameling - Directe verzameling - Cijfermatige gegevens - Talige gegevens - Respons representatief voor de groep - Respons representatief voor het thema, het vraagstuk. Er kan een combinatie plaatsvinden bij het eindonderzoek tussen kwalitatief en kwalitatief onderzoek. Meervoudige methoden. Als je een kwantitatieve onderzoekmethode kiest, moet je ook een kwantitatieve analyse uitvoeren. 1. Op verschillende manieren kwantitatieve gegevens verzamelen bijvoorbeeld via uitzetten van vragenlijsten en gestructureerd waarnemen en deze gegevens in samenhang kwantitatief analyseren 2. Op verschillende manieren kwalitatieve gegevens verzamelen bijvoorbeeld door het afnemen van interviews en inhoudsanalyse van dagboeken en deze gegevens in samenhang kwalitatief analyseren 3. Kwantitatief en kwalitatieve gegevens verzamelen en deze in samenhang analyseren Hoe kom je tot een keuze? - Wat zijn jouw overwegingen om voor kwaliteit of kwantitatief of een mix te komen? - Heeft te maken met je onderzoeksvraag - En heeft te maken met betrouwbaarheid Hogeschool Rotterdam / MLI / Hanneke Pagina 5 van 8
Aan de slag Doel van het instrument voor de data verzameling Kernbegrip Deelaspecten Kijkpunten, observatiepunten, vragen en/of stellingen DOEL Kernbegrip 1 Deelaspect 1.1 Deelaspect 1.2 Deelaspect 1.3 Kernbegrip 2 Deelvraag 1.4 Deelaspect 1.5 Deelaspect 1.6 Vervolgoefening - Een vraaggesprek tussen twee personen met 1 observator - Op basis van jouw onderzoeksdoel en hoofd-, en deel vragen - Verwoordt de ander kort hoe zij het aan zouden pakken - Daarna vul jij aan, vanuit de dialoog (ja, en) - De observator geeft de ideaal aanpak. Hoe is dit tot stand gekomen, klopt deze methode met doel en de vragen? Wat ging goed, wat kan nog beter? - Tot slot jij weer, wat is een goede methode voor jou? Aan welke instrumenten denk je? Waarom is dit een goede methode? Waarom is dit een goede methode? Waarom zijn dit goede instrumenten? Nabespreken hiervan. Data-analyse - Nooit de rode draad en de onderzoeksvragen uit het oog verliezen - Nu maken we kennis met opzet en plannen - Volgend jaar krijgen we verder toelichting over hoe we het uitvoeren. Gegevens verwerken - Gegevens data klaarmaken voor analyse: - Overzicht scheppen - Data toegankelijk maken voor analyse - Anonimiseren; respondent en eventueel situatienummer - Scheiden respondenten en inhoudelijke gegevens. Verzamelen, verwerken & analyseren - Verzamelen is het begin van verwerken - Wat neem je op en wat neem je niet op in je onderzoeksinstrument - Wat komt wel of niet in je registratie terecht? - Wat komt er wel / niet in je uitgewerkte verslagen en je eerste analyses dit neem je op in je onderzoeksopzet. Belangrijk is steeds borgen van validiteit en betrouwbaarheid. Hogeschool Rotterdam / MLI / Hanneke Pagina 6 van 8
Kwantitatieve gegevens werken (voorbeelden - Ingevulde vragenlijsten: o Verwerken in SPSS (programma dat je kunt kopen) aan de hand van een codeboek (maak je zelf) (vrouw is 1, man is 0 bijvoorbeeld) o Achtergrondkenmerken (man, vrouw, leeftijd, functie) en antwoorden van respondenten in getallen coderen en in woorden labelen o Meerkeuzevragen omzetten in enkelvoudige vragen - Gestructureerde observatiedata invoeren - Ingevoerde gegevens op fouten controleren. HELP!!!!!! SPSS - http://spsshulp.nl/ Link (met dank aan Martin) om gratis te downloaden http://spss-16.nl.softonic.com/ Kwalitatieve gegevens verwerken: voorbeelden - Samenvattingen van schriftelijke bronnen in een matrix - Interviews (geluidsopnames) uitschrijven - Aantekeningen uitwerken - Door respondent gecheckte interviewverslagen - Controle van samenvattingen matrixen aan de hand van de oorspronkelijke gegevens. Kwantitatieve analyse - Ruwe getalsmatige gegevens weinig betekenis - Statistiek om betekenis aan gegeven te geven o Beschrijvend (bijvoorbeeld frequenties) hier start je mee. Je beschrijft wat je ontdekt hebt. o Toetsend (bijvoorbeeld verbanden verschillend trends) - Voorbeelden: o Gemiddelden, mediaan o Percentages, o Correlaties o T-test Kwalitatieve analyse - Woorden en beelden: veelomvattend - Classificeren aan de hand van concepten - Gegevens: o Samenvatten o In categorieën indelen o Structureren met behulp van een verhaal en/of verdere kwantitatieve analyse Verbanden vaststellen Proposities ontwikkelen / toetsen Gefundeerde conclusies trekken Hogeschool Rotterdam / MLI / Hanneke Pagina 7 van 8
We denken pas als we aan het schrijven zijn Philips & Pugh, 2005 Schrijven In de PPT staan stappen over hoe je het schrijven aan kunt pakken - Schrijfplan maken - Ideeën ordenen (systematisch & consistent) - Voorbeeld o Shrijfplan (doel, publiek, eisen, thema s) o Inhoudsopgave o Mindmap Verhaallijn volgen - Ontwikkelen van een verhaallijn - Achterwaards redeneren Belangrijke aspecten - Structuur - Kop en staart aan elk hoofdstuk (vooruitblik en samenvatting) - 1 idee - 1 zin - 1 thema 1 alinea - Maak het de lezer zo makkelijk mogelijk Presentatietips - Contact leggen met de groep - Verbaal - Non verbaal - Rekening houden met je doelgroep - Kern van de boodschap - Structuur - Rode draad en authenticiteit Evaluatie De dag wordt afgesloten met evaluatie Hogeschool Rotterdam / MLI / Hanneke Pagina 8 van 8