Overzicht instrumenten voor onderzoekers Rendementsonderzoek Oktober 2011

Transcriptie

1 Overzicht instrumenten voor onderzoekers Rendementsonderzoek Oktober 2011 Het merendeel van deze onderzoeken kunnen worden geraadpleegd door deze op te zoeken in de onderzoeksdatabank van Kennisnet. Instrumenten in afgerond onderzoek Wat? Wie? Toelichting Meer informatie Lerarenvragenlijst Leren met meer effect docenten VO In deze vragenlijst komen de volgende onderwerpen aan de orde. Algemene gegevens Tijdsbesteding Visie op het leraarschap en plezier in het werk Ict competenties en ict gebruik Epistemologie VO Vragenlijst over opvattingen ( epistemological beliefs ) over leren en studeerbaarheid. De vragenlijst is onderverdeeld in itemsets over: oppervlakkige opvattingen over kennisverwerving complexe opvattingen over kennisverwerving opvattingen over de diepte van kennisverwerking negatieve opvattingen over leren (gerelateerd aan faalangsttendentie) opvattingen over voorkeur voor samenwerking met andere De vragenlijst is veel gebruikt bij implementatie van ELO s ten behoeve van planning en zelfstandigheid. Belevingsschaal wiskunde (BSW) Belevingsschaal Engels Intrinsieke Motivatie Inventaris (IMI) Toets Algemene Vaardigheden VO VO VO vmbo gt Motivatie voor het vak Wiskunde. De BSW bestaat uit de volgende itemsets: inzet voor het vak wiskunde angst voor wiskundeoverhoringen, toetsen, proefwerken etc. plezier in vak wiskunde waargenomen relevantie van vak wiskunde voor vervolgopleiding en later beroep Motivatie voor het vak Engels. De BSE bestaat uit de volgende itemsets: vragen betreffende de werkwijze van de docent Engels en het door hem/haar gebruikte lesmateriaal vragen over het plezier dat de leerling ondervindt bij het vak Engels vragen over de opvatting van de leerling t.a.v. nut en relevantie van het vak Engels voor vervolgopleiding en beroepsperspectief vragen over aangenaamheid van Engelse taal en waardering Angelsaksische cultuur Vragenlijst naar motivaties gebaseerd op de zelfdeterminatietheorie van Ryan & Deci, vertaald naar het Nederlands. De IMI richt zich op: waargenomen intrinsieke motivatie waargenomen autonomie waargenomen competentie De toets beoogt een achttal algemene vaardigheden te meten, waaronder: Samenwerkingsvaardigheid Kunnen onderscheiden van feiten en meningen Standpunt bepalen Learner reports VO Zelfrapportage leren. Versie bedoeld voor bovenbouw die als e coach onderbouw hebben begeleid. Kijkwijzer digitale docenten, Evaluatieformulier vaardigheden en gebruik digitale rapport:

2 schoolborden Ict in cluster 3 waardering virtuele leeromgeving welbevinden en motivatie op school van Gebruik en gepercipieerde opbrengsten van ELO (elektronische leeromgeving Zelfevaluatie effectief gebruik digitaal portfolio (voor scholen zelf!) Beoordeling digitaal leermateriaal voor taalonderwijs op de basisschool Effectiviteit van gebruik van een commercial off theshelf (COTS) game in het onderwijs management leerkrachten leerkrachten, directie, ictmanagement,, leerkrachten en directie digitaal leermateriaal voor schoolborden. Beschrijving: Internet vragenlijst personeel, waarbij de volgende kernaspecten aan bod komen: de mate waarin wordt voldaan aan een aantal randvoorwaarden en mogelijke verbeteringen daarin het didactisch gebruik van ict door leerkrachten het specifieke gebruik van ict in verband met de beperking van de het gebruik van ict door thuis, contacten tussen school en ouders én functie van ict de gepercipieerde effecten van ict voor en de meerwaarde van ict Uitgebreide vragenlijst naar werkwijze en beleving van van een virtuele leeromgeving. De vragenlijst is bij uitstek geschikt om de effectiviteit van een leeromgeving in kaart te brengen in het kader van competentiegericht beroepsonderwijs. Vragenlijst gebaseerd op vragenlijst gebruikt in COOLonderzoek en SVL, met aandacht voor: welbevinden met mede welbevinden met leerkracht(en) self efficacy taakmotivatie welbevinden school algemeen hulp instrumentarium ontwikkeld voor het in kaart brengen van: realisatie randvoorwaarden Vier in Balans gebruik ELO s in effecten dankzij inzet ELO Instrumentarium ontwikkeld voor docenten en management, om sterke en zwakke punten in gebruik digitaal portfolio op de school in kaart te brengen. De resultaten kunnen worden verzameld in een matrix (zie voorbeeld Kennisnet in eindrapportage, v.a. p.23), waarbij geldt: rood: alle respondenten scoren geheel niet van toepassing groen: alle respondenten scoren: volstrekt van toepassing geel: gemiddelde score van 2,6 tot 3,9 oranje: gemiddelde score van 1,1 tot 2,5. De ingevulde matrix geeft een indicatief maar snel overzicht van sterke punten en aandachtpunten bij gebruik van het digitaal portfolio. Evaluatielijsten voor het beoordelen van geschiktheid van specifieke taalprogramma s voor het primair onderwijs. Er zijn vragenlijsten voor het beoordelen van: algemene kwaliteitscriteria woordenschat begrijpend luisteren groep 1 3 begrijpend lezen technisch lezen spelling beginnende geletterdheid taalbeschouwing Vragenlijsten voor in kaart brengen van effecten COTS games in onderwijssituaties met pretest en posttest: problemen oplossen Engels (toets) motivatie, oriënteren, plannen en samenwerken eindrapportage digitale schoolborden (2008) rapport Ict in cluster 3 (vanaf pagina 59) rapportage homozappiens@ schonenvaart.nl Sandra de Koster, s.de.koster@psy.vu.nl Rapportage benutting en opbrengst elektronische leeromgevingen in het (BOEL) Rapportage Ander onderwijs met digitaal portfolio? Review digitaal taalonderwijs Rapportage Effectiviteit van een COTS game in het : Oblivion

3 INIS vragenlijst IMI vragenlijst IVA instrument beoordeling van teksten docentvragenlijst planning, regulering en autonomie studenten IMI + vragenlijst epistemological beliefs voor (NL) SCOL (Sociale Competentie Observatie lijst) SCOL SeCO ervaringen vmbo vmbo voortgezet onderwijs (3e en 4e leerjaar) docenten leerkrachten samenwerken, zelfstandigheid, informatieverwerking intrinsieke motivatie competentie inzet Zelf ontwikkeld instrument om teksten te beoordelen op: inhoud woordkeuze stijl/opbouw grammatica, spelling, interpunctie Docenten/mentoren in het mbo wordt gevraagd de te beoordelen op plannings en reguleringsvaardigheden en autonomie. Vragenlijst is nooit uitgezet, omdat het onderzoek niet doorging Vragenlijsten LMME aangepast en samengevoegd voor het. Vragenlijst is nooit uitgezet, omdat het onderzoek niet doorging Er is een vragenlijst die door leerkrachten wordt ingevuld, en eentje die door (bovenbouw) zelf kan worden ingevuld. Categorieën: ervaringen delen aardig doen samen werken en spelen een taak uitvoeren jezelf presenteren een keuze maken opkomen voor jezelf omgaan met ruzie vragenlijst voor leerkrachten over verwachtingen voor en ervaringen met SeCO (sociaal emotionele competentie ontwikkeling) Projecten van Codename Future in ogenschouw Projecten van Codename Future in ogenschouw TIO schrijven Instrument Meer informatie: Joost Meijer, Kohnstamm Instituut (j.meijer@uva.nl) Instrument Joost Meijer, Kohnstamm Instituut (j.meijer@uva.nl) Praktijkonderzoek naar de effectiviteit van SeCO Praktijkonderzoek naar de effectiviteit van SeCO klassenklimaatschaal Zestig items, gebaseerd op Van der Sar, in voorbereiding Praktijkonderzoek naar de effectiviteit van SeCO Effectiviteit, efficiëntie en onderwijskundige meerwaarde van leerlingvolgsysteem en leerkrachten diverse vragenlijsten voor in kaart brengen van meerwaarde online leerlingvolgsysteem Benflex algemeen Benflex verwijst naar het begrippenpaar benchmark en flexibiliseren. Benflex zou inzicht moeten bieden in de inrichting en organisatie van onderwijsprocessen en de dialoog daarover in en tussen teams bevorderen. Attitude en vaardigheden Leerlingen IN EXI zijn diverse vragenlijsten ingezet om attitude en en vaardigheden van in kaart te brengen: zelfstandigheid: SCHOBL R (Bleichroch, Resing & Zaal, 1993). communicatie/samenwerken (Oosterheert, 2005). motivatie/interesse/plezier (Werkhoudinglijst van Van Doorn (1997)). relatie met leerkracht en klasgenoeten : COOL 5 18 (Driessen, Mulder, Ledoux, Roeleveld, Van der Veen, 2009). De meerwaarde van Horeb digitaal De ontwikkeling van Benflex Rapportage EXI

4 cognitief zelfvertrouwen: COOL 5 18 (Driessen, Mulder, Ledoux, Roeleveld, Van der Veen, 2009). taakmotivatie: COOL 5 18 (Driessen, Mulder, Ledoux, Roeleveld, Van der Veen, 2009). computervaardigheden en computer attitude: ICTmonitor voortgezet onderwijs (Ten Brummelhuis, Drent, Janssen Reinen, Meelissen & Slotman, 1999). leesattitude (nieuw ontwikkeld) Atttitude en motivatie Leerlingen Ook in EXII zijn vragenlijsten ingezet voor het meten van attitude en vaardigheden van : motivatie voor school: welbevinden in relatie tot leerkracht welbevinden in relatie tot mede schaal voor cognitief zelfvertrouwen schaal voor taakmotivatie Rapportage op aanvraag beschikbaar (onderzoek@kennisn et.nl) motivatie voor rekenen plezier uitdaging angst leesmotivatie intrinsieke leesmotivatie zelfreflectiestrategieën motivatie voor het leren van woorden intrinsieke motivatie strategieën Motivatie voor de opleiding Algehele tevredenheid Self efficacy Interesse Studie Programma (ISP) Intrinsieke Studie Motivatie (ISM). Een schaal van Harskamp, Suhre & Tjeerdema (2000). De schaal is ingekort naar 8 items ten behoeve van het huidige onderzoek. Enkele voorbeelditems Ik werk heel hard voor school, Op school praat ik meer dan dat ik werk (omkeervraag), Ik ben een leerling die graag leert voor school Een schaal van Kunin (1998). Uit onderzoek is gebleken dat deze schaal de algehele tevredenheid beter vaststelt dan tientallen losse vragen over tevredenheid. De schaal bestaat uit 5 verschillende gezichten van heel blij tot heel ongelukkig, waarbij 1 laag is en 5 hoog. Pintrich & De Groot (1990) hebben een schaal ontwikkeld waarmee self efficacy bij onderzocht kan worden. Voor de doelgroep van in het huidige onderzoek is de formulering van enkele vragen aangepast. De schaal bestaat uit 8 items. Voorbeelditems zijn: Ik verwacht goed te presteren vergeleken met andere die deze opleiding volgen, Ik ben er zeker van dat ik de stof kan begrijpen die in deze opleiding onderwezen wordt, Ik weet dat ik in staat ben de lesstof van deze opleiding te leren. Een schaal van 8 stellingen van Harachiewicz et al. (2000), aangepast voor de doelgroep in het huidige onderzoek. Voorbeelditems: Ik vind dat we interessante dingen leren in deze opleiding, Ik denk dat het vakgebied van deze opleiding erg interessant is. Deze schaal is ontwikkeld door Guay et al. (2000) en qua formulering aangepast voor het huidige onderzoek. De stellingen zijn van de volgende opzet: Ik volg deze opleiding omdat en heeft vervolgens 12 stellingen, waaronder: ik denk dat deze opleiding interessant is, ik

5 Zelfsturend vermogen Ervaren prestatie Contact met de docent Houding en vaardigheden voor Informatica Havo/vwo Motivatie Havo 4 Percepties cultuureducatie Docenten en vo het voor mijn eigen bestwil doe en ik dat zelf heb besloten. Deze schaal is eerder toegepast in Kennisnet onderzoek en aangevuld met vragen die speciaal ontwikkeld zijn voor deze studie. De 11 vragen hebben betrekking op controle en op aanpak. Voorbeelditems zijn. Ik heb mijn schoolwerk voor mijn gevoel onder controle, Ik maak een planning van mijn schoolwerk, Ik heb geen idee hoe ik moet werken om op tijd klaar te zijn (omkeervraag). Deze schaal van 8 vragen is door Beteor ontwikkeld ten behoeve van dit onderzoek om een gevoel te krijgen voor de leerling beoordeling van eigen prestatie. Voorbeeldvragen: Vergeleken met andere vind ik dat ik goed presteer, Ik ben tevreden over mijn cijfers, De opdrachten die we in de projecten uitvoeren passen goed bij wat we al weten. Op verzoek van het Blariacumcollege hebben we een schaal ontwikkeld om het contact met de docent te meten om daar meer inzicht in te krijgen. In totaal zijn 14 items geformuleerd. Enkele voorbeelden: Ik voel me op mijn gemak in de lessen van de docenten, Ik ben tevreden over het contact met de docent, Docenten bespreken met ons hoe we een opdracht kunnen aanpakken. Attitudetesten (interesse informatica, beeld bij informatica, nut, voorkennis, etc.) Informatica toetsen (vnl kennis van begrippen) Voor onderzoek naar game based learning zijn gemeten: Intrinsieke motivatie (Ryan&Deci), met plusvariant met specifieke vragen over motivatie voor biologie. Faces Measure Self efficacy (Pintrich & De Groot) Zelfsturend vermogen (Pintrich & De Groot) Perceptie prestatie Werken in een groep (o.a. Yamarik) Deze overlappen voor een groot deel met het onderzoek naar AVO integratie. Voor een onderzoek naar crossmediale aanbieding van erfgoed educatie zijn diverse vragenlijsten ontwikkeld. Het onderzoek is uiteindelijk niet uitgevoerd, maar de vragenlijsten zijn wellicht nog bruikbaar. Rapportage Rendement van objectgeoriënteerd programmeeronderw ijs Rapportage Game Based Learning Meer informatie via onderzoek@kennisne t.nl, vraag naar de eindrapportage Onderzoek crossmediale toepassingen bij erfgoed educatie in het VO

6 (selectie) Instrumenten in lopend onderzoek: Onderzoek Daltonschool Helen Parkhurst (meer informatie over het onderzoek: Patrick Sins, ) zelfregulatie (planning, onderbouw monitoring en havo/vwo evaluatie) zelfvertrouwen in het leren (selfefficacy) motivatie (intrinsiek en extrinsiek) onderbouw havo/vwo onderbouw havo/vwo Inventaris van Leerstijlen. Deze inventaris bestaat uit 120 items die met elkaar 20 schalen vormen, gegroepeerd in vier categorieën. De categorie Regulatiestrategieën bestaat uit de schalen: (6) Externe sturing leerproces, (7) Zelfsturing leerproces en resultaten, (8) Zelfsturing leerinhoud, (9) Externe sturing leerresultaten, (10) Stuurloos leergedrag General Self Efficacy Scale Motivated Strategies for Learning Questionnaire: schalen Zelfvertrouwen, Motivatie, Toetsangst, Cognitieve strategieën en Regulatiestrategieën Vermunt, J.D. & Van Rijswijk, F. A. W. M. (1990) Inventaris Leerstijlen voor het hoger onderwijs. Katholieke Universiteit Brabant.). Luszczynska, A., Scholz, U., & Schwarzer, R. (2005). The general self efficacy scale: Multicultural validation studies. The Journal of Psychology, 139(5), ) Pintrich, P. R., Smith, D., Garcia, T, & McKeachie, W. J. (1993). Reliability and predictive validity of the Motivated Strategies for Learning Questionaire (MLSQ). Educational and Psychological Measurement, 53, Intrinsic Motivation Inventory: schalen Intrinsieke motivatie, Autonomie en Competentie Deci, E.L. & Ryan, R.M. (1985). Intrinsic Motivation and Self determination in Human Behavior. New York, Plenum. reflectief vermogen (naar inhoud, proces en voorwaarden en naar zelfdeterminatie van niveau) onderbouw havo/vwo Reflective Thinking Questionnaire: schalen Routine, Begrip, Reflectie en Kritische reflective Kember et al. (2000) Development of a questionnaire to measure the level of reflective thinking. Assessment & Evaluation in Higher Education, 25 (4), Inhoudelijke analyse van reflectiedossiers volgens onderscheidingssysteem van Wallman et al. (2008) op diepte van de reflectie, diepteniveaus zijn hierbij Inhoud, Proces en Voorwaarde (zie ook De Bruin, 2010) Wallman, A., Lindblad, A. K., Hall, S., Lundmark, A., & Ring, L. (2008). A categorization scheme for assessing pharmacy students levels of reflection during internships. American Journal pf Pharmaceutical Education, 72, 1, 1 10 Bruin, L., de (2010). Reflection in portfolios and motivation for composing a portfolio. Masterthesis Onderwijskunde Universiteit Utrecht:

7 Juistheid en consistentie aangegeven niveauinschatting aan de hand van scoringssleutel Zelfdeterminatie) Utrecht.

8