Evaluatieplan Leraar24

Evaluatieplan Leraar24

Evaluatieplan Leraar24 Rob Martens Kees de Brabander Henk Vinken Jos Claessen Leraar24 rapportenreeks, nummer 1 april 2010 Ruud de Moor Centrum Open Universiteit

Bibliografische gegevens Martens, Rob Brabander, Kees de Vinken, Henk Claessen, Jos Evaluatieplan Leraar24 / Rob Martens, Kees de Brabander, Henk Vinken, Jos Claessen; Leraar24 rapportenreeks, nummer 1. Druk: Ruud de Moor Centrum, Open Unversiteit Copyright 2010, Ruud de Moor Centrum, Open Universiteit, Heerlen, Nederland Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enigerlei vorm of op enigerlei wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of op enige andere manier, zonder voorafgaande, schriftelijke toestemming van de uitgever. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the publisher.

Inhoud Voorwoord...iii Leeswijzer...iv Evaluatieplan Leraar24...1 Uitgangspunten van Leraar24...1 Uitgangspunten onderzoek Leraar24...1 Eerste verkenning: vragen vanuit de projectteams...2 Centrale vraagstelling...3 Sterke behoefte aan professionalisering van docenten...3 Deelonderzoeken...5 Bekendheidsonderzoek...6 Gebruiksonderzoek...7 Kwaliteitsindex...7 Kengetallen gebruik...7 Gebruikersonderzoek...8 Motivatieonderzoek...9 Onderzoek professionaliseringseffecten...11 Vraagstelling: ontwikkelvragen...13 Hoe moet het beeldmateriaal zijn?...13 Hoe moet de inhoud opgezet zijn?...14 Hoe moet het materiaal georganiseerd worden aangeboden?...14 Onderzoek Leraar 24 Community...15 Effectief onderzoeken van ontwikkelvragen...16 Financieel-organisatorische kaders...18 Werkplan...18 Literatuur...20 Bijlage 1...24

ii

Voorwoord Voor u ligt een onderzoeksrapport uit de Leraar24 rapportenreeks. Deze reeks is eind 2009 opgezet om de opbrengsten, conclusies en resultaten uit het aan de Leraar24 gekoppelde onderzoek op een systematische en inhoudelijk onafhankelijke wijze naar buiten te brengen. Deze rapportenreeks wordt uitgebracht onder auspiciën van het Ruud de Moor Centrum, maar met nadruk moet erop gewezen worden dat hierin onderzoek wordt gepresenteerd dat weliswaar vaak onder projectleiding van het Ruud de Moor Centrum valt, maar dat zeker ook bij één van de andere partijen die participeren in Leraar24, belegd kan zijn. Het gaat hierbij om verschillende organisaties in een samenwerkingsverband, namelijk Kennisnet, Ruud de Moor Centrum, SBL en Teleac. Leraar24 is een internetplatform van, voor en door leraren. Het doel van Leraar24 is leraren te ondersteunen bij hun eigen professionalisering. Leraar24 richt zich op leraren in het PO, VO en de MBO sector. Leraar24 richt zich daarbij nadrukkelijk op álle leraren, beginners en meer ervaren leraren, vernieuwers en meer behoudende leraren. Leraar24 is een audiovisueel internet platform. Het bevat thematisch gerangschikte filmpjes en themadossiers met achtergrondinformatie, verdieping en verhalen uit de praktijk, samengesteld door groepen leraren en experts Het onderzoeken van de effecten van het materiaal dat in Leraar24 ontwikkeld is en dat wordt aangeboden via de website Leraar24.nl, op de professionalisering van leraren is bepaald niet eenvoudig. De centrale probleemstelling van dit onderzoek is of en hoe Leraar24 een bijdrage kan leveren aan de breed gesignaleerde, grote noodzaak tot professionalisering bij docenten. Zelfs het interpreteren van tamelijk voor de hand liggende gegevens zoals de gebruikersstatistieken blijkt vaak al een bron van misverstanden en verwarring te zijn. De belangrijkste functie van deze rapportenreeks is daarom op een systematische wijze verzamelde kennis en inzichten naar buiten te brengen, voorzien van een "leeswijzer" waarin zo duidelijk en beknopt mogelijk wordt uitgelegd hoe de resultaten het beste geïnterpreteerd kunnen worden en wat ze betekenen voor Leraar24. Steeds wordt daarbij nagegaan hoe de beschreven resultaten passen in het Leraar24 onderzoeksprogramma. In dat programma wordt gedetailleerd beschreven wat mogelijke effecten kunnen zijn van Leraar24 en hoe deze onderzocht worden. Daarbij wordt ervan uitgegaan dat er verschillende voorwaardelijkheden zijn. Deze hebben we omschreven als een dominostenen-effect. We vatten dat heel kort samen hier: Wil Leraar24 een beklijvend effect hebben op de professionalisering van Nederlandse onderwijsgevenden, dan is een eerste voorwaarde dat de

iv naamsbekendheid van Leraar24 zodanig is dat ook een behoorlijk percentage van Nederlandse onderwijsgevenden weet dat zij gebruik kunnen maken van de multimediale database. De volgende logische stap (of dominosteen) is dan logischerwijs of naamsbekendheid ook leidt tot waardering en tot bezoek van de website Leraar24.nl. Vervolgens kan onderzocht worden welke delen het meest bekeken worden of welke dossiers het meest worden opgevraagd. Ook kan worden nagegaan wat de professionaliseringseffecten zijn van het gebruik van het materiaal in Leraar24. Omdat dit materiaal zeer divers is, is het echter lastig om te zeggen dat Leraar24 tot een bepaald percentage toename van professionalisering leidt. Het gaat altijd erom om bij specifieke delen te kijken wat de effecten zijn. Het bepalen van het effect op professionalisering is ook niet eenvoudig. Wanneer docenten bepaald beeldmateriaal gebruiken en/of erover discussiëren, verwachten wij dat dit met name een invloed zal hebben op hun professionaliseringsintentie. Met andere woorden: het gebruik van Leraar24 uur zal aanzetten tot professionaliseringsgedrag. Ook deze effecten worden onderzocht waarbij met name vanuit een motivatietheoretisch perspectief gekeken wordt. Tot slot zal ook op beperkte schaal geëxperimenteerd worden met het beeldmateriaal uit de Leraar24, in die zin dat in specifieke contexten gekeken wordt wat het effect van het materiaal is op professionaliseringsgedrag van docenten. Dit alles maakt dat het onderzoek rondom Leraar24 complex is. Dat is onvermijdelijk. Maar dat maakt het ook interessant. Deze rapportenreeks probeert dit te laten zien en zal ook steeds mogelijke conclusies aangeven van het geschetste onderzoek. Die conclusies kunnen consequenties hebben voor de verdere ontwikkeling van Leraar24 en ze kunnen worden gebruikt om een algemeen beeld te krijgen van de effecten van dit interessante initiatief. Rob Martens, programmaleider Onderzoek Leraar24. Leeswijzer Het voorliggende rapport is het startdocument in deze rapportenreeks. Het behelst een samenhangend plan voor de evaluatie van Leraar24. Dit plan omvat een reeks deelonderzoeken die zicht opleveren op de bekendheid van Leraar24.nl, het gebruik en de effecten op de professionalisering. In dit rapport wordt elk deelonderzoek kort toegelicht. Waar nodig, zullen meer complexe deelonderzoeken in een aparte publicaties worden uitgewerkt.

Evaluatieplan Leraar24 Uitgangspunten van Leraar24 Leraar24 is een samenwerkingsverband tussen Kennisnet, Ruud de Moor Centrum, SBL en Teleac/NOT. Volgens het goedgekeurde projectplan (Vlonk, 2008) is het centrale idee als volgt te omschrijven: Leraar24 is een internetplatform van, voor en door leraren. Het doel van Leraar24 is leraren te ondersteunen bij hun eigen professionalisering. Leraar24 richt zich op leraren in het primaire onderwijs (PO), het voortgezet onderwijs (VO) en het middelbaar beroepsonderwijs (MBO). Leraar24 richt zich daarbij nadrukkelijk op alle leraren, beginners en meer ervaren leraren, vernieuwers en meer behoudende leraren. Leraar24 is een audiovisueel internet platform. Het bevat thematisch gerangschikte filmpjes en themadossiers met achtergrondinformatie, verdieping en verhalen uit de praktijk, samengesteld door groepen leraren en experts. Zie www.leraar24.nl. In 2008 is het programma opgestart en zijn werkprocessen ingericht. Met de ervaring die daarmee is opgedaan wordt in 2009 voortgebouwd, waarbij met name gewerkt wordt aan een grotere content. Het uitbreiden en verdiepen van Leraar24 staat centraal. Belangrijk hierbij is met name de realisatie van 75 uur beeldmateriaal, en het uitwerken van 50 thema s. Daarnaast vinden er aanpassingen plaats aan het platform, waardoor dit veel meer social software kenmerken krijgt en sterker op doelgroep en user content genereren gericht zal worden. Dit uit zich concreet in het uitbreiden van doelgroep van PO en VO met MBO; het inrichten van communities van leraren; het inrichten van klankbordgroepen en lerarenpanels. Daarbij behoort de (technische) functionaliteit die wel eens als web 2.0 functionaliteit wordt aangeduid zoals identity-management, community-techniek, plaatsen van user generated content. Er vindt dus enerzijds een forse inhoudelijke (content) slag plaats, met veel vragen omtrent optimalisering van didactische inhoud, scripts en benadering en anderzijds functionaliteit waarbij een sterk toegenomen userinteractie centraal staat. Uitgangspunten onderzoek Leraar24 Volgens het goedgekeurde projectplan staat een drietal vragen centraal :

2 1. Hoe effectief is leren via Leraar24? 2. Hoe kan een leraar het meeste rendement uit Leraar24 halen? 3. Wat vindt de gebruiker van Leraar24? Deze vragen geven een duidelijke inperking van het in dit programma te beschrijven onderzoek. Het gaat niet om de organisatorische opzet van het project, noch om de technische realisatie ervan. Het is dus geen auditachtig onderzoek van de efficiency van het project. Ook betreft het geen marketingonderzoek, bijvoorbeeld naar de naamsbekendheid van Leraar24. Het gaat primair om onderwijskundig en onderwijspsychologisch onderzoek, met als centrale actor de docent en als centrale thematiek zijn professionalisering. Hierbij sluit het nauw aan bij het Onderzoeksprogramma van het Ruud de Moor Centrum (Martens, 2009). Het Ruud de Moor Centrum heeft de projectleiding van het Leraar24 onderzoeksprogramma. De hierboven genoemde vragen uit het algemene projectplan geven verder aan dat het onderzoek primair gericht moet zijn op de effecten en rendementen in termen van professionalisering van docenten (vragen 1 en 3). Ontwikkelvragen, die ook interessant zijn, zullen wel worden meegenomen maar zullen relatief minder aandacht krijgen (deels gerelateerd aan vraag 2 en 3). Hieronder werken we de vraagstelling verder uit. Hierbij is ook gebruik gemaakt van een verkennende oriëntatie onder de Leraar24-projectteams. Eerste verkenning: vragen vanuit de project teams Nadat medio januari duidelijk werd dat aan Lerarar24 een vervolg kon worden gegeven met een nadrukkelijk onderzoekscomponent, is begonnen met een verkenning van de onderzoekvragen zoals die nu leven bij de betrokken partijen, met name de projectleiders. Dit geeft vooral een interessant inzicht in de ontwikkelvragen die er zijn. Daarnaast is er een ook een zogeheten versnellingskamer sessie geweest. Deze kan vanuit onderzoeksperspectief worden opgevat als een vraagverheldering: wat willen we ontwikkelen en wat verwachten we dat daar de effecten van zullen zijn? Uit dit verslag (McDaniel, Pot, & Schmidt, 2009) distilleren we een overzicht (Bijlage I) waarin wordt weergegeven hoe ontwikkelaars en projectleiders in Leraar24 denken over de belangrijkste opbrengsten van het project. Rijp en groen door elkaar. Het gaat hierbij om een relatief ongestructureerde weergave van een brainstorm sessie. De opbrengsten staan in volgorde van belangrijkheid genoemd. We zien in dit overzicht duidelijk dat er veel verschillende opbrengsten verwacht worden. Leraar24 moet duurzaam effect hebben waarbij de motivatie en het gebruik docenten erg belangrijk zijn. Bovendien moet Leraar24 leiden tot community-vorming en duidelijke effecten op de professionalisering van docenten hebben.

Deze veelvoud aan verwachte effecten en mogelijke opbrengsten zien we terug in de tamelijk open geformuleerde centrale vraagstellingen uit het initiële project plan. Op het eerst gezicht is de set verzamelde vragen en de in de versnellingskamer benoemde mogelijke opbrengsten erg uitgebreid en onmogelijk volledig te beantwoorden of te onderzoeken binnen het huidige onderzoeksbudget. Maar nadere beschouwing laat zien dat er het nodige te ordenen en structureren valt. Voor wat betreft de verzamelde vragen blijken deze grofweg uiteen te vallen in het eerder gemaakte onderscheid tussen enerzijds effecten en rendementen in termen van professionalisering van docenten en anderzijds ontwikkelvragen. Zoals al aangegeven zullen deze laatste (voor ontwikkelaars en projectleiders natuurlijk belangrijke en interessante) vragen ook aandacht krijgen, maar op grond van de centrale vraagstelling in het goedgekeurde overkoepelende projectplan relatief minder gewicht krijgen. Centrale vraagstelling 3 Sterke behoefte aan professionalisering van docenten Een professionele school met gemotiveerde, levenslang lerende docenten, die zo kwantitatief en kwalitatief het docentenkorps vormen dat Nederland nodig heeft, is van groot belang en een punt van aanhoudende zorg (bijvoorbeeld Hendriks, 2008). Een niet onbelangrijk punt is dat de uitdagingen aan het onderwijs toenemen in termen van internationale competitie (Zie HBO raad, 2009), lerarentekort (HBO Raad, 2009; Vermeulen, 2003), toename nieuwe Nederlanders in het onderwijs, ICT revolutie (Coonen, 2005; Martens, 2007; Zwaneveld, 2005), gepercipieerde onaantrekkelijkheid van het lerarenberoep (Bastiaens, 2007; Coonen, 2005; Vermeulen, 2003), steeds snellere innovatiesnelheid in de samenleving (Coonen, 2005) en de sterke toename van de maatschappelijke druk (bijvoorbeeld zorgtaken) voor scholen (Onderwijsraad, 2008a). Daarbij wordt momenteel de druk op het onderwijs in termen van opbrengstgerichtheid fors verhoogd (Onderwijsraad, 2008b, 2008c) al dan niet terecht gebaseerd op twijfels over bijvoorbeeld de basisvaardigheden die leerlingen in het onderwijs op doen. Kortom, uitdagingen genoeg maar het is de vraag of het beroepsveld op dit moment is staat is deze goed op te pakken. Coonen (2005) waarschuwt zelfs voor een deprofessionalisering van de docent in het onderwijs en het fuikkarakter dat het beroep volgens sommigen heeft. Waar een enorm beroep wordt gedaan op een toenemende professionalisering, lijkt de praktijk soms zelfs de andere kant op te bewegen. Talentvolle leraren zouden hierdoor als eersten afhaken (cf. Vermeulen, 2003). Hier ligt dus een enorme uitdaging

4 en zelfs noodzaak tot expertiseontwikkeling op het gebied van professionalisering van docenten. Systematisch onderzoek naar het professionaliseren van leraren is schaars. Daarmee is de relevantie van het onderzoeksthema van dit onderzoeksproject in onze ogen hoog (cf. o.a. Bastiaens, 2007; Bergen & Vermunt, 2008; Coonen, 2005; Gerrichhauzen, 2007; Vermeulen, 2003). Onderzoek naar professionalisering is anderzijds een problematisch gebied. Professionaliseren is als begrip tamelijk moeilijk te definiëren, niet in de laatste plaats omdat het vaak informeel of zelfs onbewust verloopt (Reynders, 2008). Het gaat in ieder geval om het al dan niet bewust up to date houden van alle noodzakelijke vaardigheden die een onderwijsgevende nodig heeft om leerlingen of studenten optimaal voor te bereiden voor beroep of vervolgopleiding. Er zijn veel manieren om docenten te professionaliseren. Leraar24 is een van die mogelijkheden. Het is een audiovisueel internetplatform van, voor en door leraren met als doel dezen te ondersteunen bij hun eigen professionalisering. Leraar24 bevat thematisch gerangschikte filmpjes en themadossiers met achtergrondinformatie, verdieping en verhalen uit de praktijk, samengesteld door groepen leraren en experts. De kern van de ingreep die Leraar24 feitelijk vormt is enerzijds het gebruik van beeldmateriaal (bijvoorbeeld in de vorm van casussen) en het stimuleren van community-vorming. Op beide gebieden is al het nodige onderzoek gedaan. Onderzoek op het gebruik van beeldmateriaal in de opleiding van docenten of bij het professionaliseren van docenten laat zien dat de effecten hiervan overwegend positief zijn. Hetzelfde geldt voor het stimuleren van communities en netwerken van samenwerkende docenten om op die manier de professionalisering te bevorderen. Het gebruik van beeldmateriaal verdiept de discussie over les situaties, helpt bij het herkennen van patronen, en helpt het verbeteren van het inzicht tussen theorie en praktijk (Brophy, 2004; Seago, 2004; Sherin & van Es, 2005). Deels omdat deze technieken relatief nieuw zijn stellen Koc, Peker, & Osmanoglu (in press), echter vast dat Despite the promising findings reported above, research on the effectiveness of video and multi-media cases in teacher education is still in its infancy (p. 2). Voor het gebruiken van communities en netwerken geldt ongeveer hetzelfde. De ontwikkelingen op dit gebied gaan erg snel en er zijn duidelijke aanwijzingen in de literatuur dat er potentieel positieve effecten verwacht mogen worden op professionalisering door het gebruik van communities van docenten. Waar communities in het verleden over het algemeen beperkt bleven tot de school grenzen maakt met name nieuwe technologie het mogelijk om geografische verschillen te overbruggen en communities te vormen die de fysieke grenzen van scholen overschrijden. De kracht van de huidige commu-

nities is aldus onderzoekers met name gelegen in het stimuleren van professionalisering en het uit het relatieve isolement te stappen dat het docentschap vaak met zich meebrengt (bijvoorbeeld Dalgarno & Colgan, 2007; Lawson, 1997; Lave & Wenger, 1991). Zoals gezegd geldt echter ook hier dat er nog relatief weinig inzicht is in het effect van dergelijke (op technologie gebaseerde) communities, mede door de snelle ontwikkelingen op technologisch gebied (Dalgarno & Colgan, 2007). Op grond van het voorgaande concluderen we dat de overkoepelende probleemstelling van dit onderzoek dient te zijn in hoeverre en hoe Leraar24 een bijdrage kan leveren aan de breed gesignaleerde sterke noodzaak tot professionalisering bij docenten. Deelonderzoeken In de volgende subparagrafen werken we deze probleemstelling uit naar deelvragen/-onderzoeken. Daarbij wordt gebruik gemaakt van een eenvoudig verspreidingsmodel van het Leraar24-initiatief waarin 5 fasen worden onderscheiden. De achterliggende gedacht is dat de werking van Leraar24 in opeenvolgende fasen verloopt, waarbij elke voorgaande fase tenminste in enigermate voorwaardelijk is voor de daaropvolgende fase. In principe kunnen de volgende fasen worden onderscheiden: 1. Bekendheid 2. Gebruik 3. Professionalisering 4. Inwerking op onderwijs 5. Inwerking op het leerproces Onderzoek in alle fasen van dit model zou minstens een tienjarenplan vereisen. Er moeten dus keuzes gemaakt worden. Om die reden is besloten dat het onderzoeksprogramma gericht zal zijn op de eerste drie fasen van dit model. Een eerste noodzakelijke stap is dat Leraar24 bekendheid verwerft onder docenten in primair onderwijs, voortgezet onderwijs en middelbaar beroeps-onderwijs. Het is een open deur maar toch: als niemand Leraar24 kent, zal ook niemand er iets van opsteken. Anderzijds levert bekendheid op zich ook niets op. Naarmate Leraar24 meer bekendheid geniet, kan en moet deze vervolgens ook als bron van informatie gebruikt worden door leraren. De informatie die zo wordt verworven, moet vervolgens door leraren verwerkt worden tot kennis en vaardigheden. Daarbij veronderstellen we dat leraren zich bekwaamheden eigen maken in en door uiteenlopende professionaliseringsactiviteiten zoals zich verder in het onderwerp verdiepen, in de klas experimenteren, met collega s discussiëren, enzovoorts. Dit zal tevens gepaard gaan met gemeenschapsvorming waartoe Leraar24 mogelijkheden biedt. Feitelijk kan men de gemeenschapsvorming opvatten als 5

6 één van de mogelijke professionaliseringsactiviteiten. Vervolgens is het noodzakelijk dat de nieuwe kennis en vaardigheden ook daadwerkelijk tot uitdrukking wordt gebracht in de dagelijkse onderwijspraktijk. En tenslotte zullen deze veranderingen in het onderwijs effect moeten sorteren op het leren van de leerlingen. Dit effect behelst een verbetering van het leerproces, waarbij zowel efficiëntie als effectiviteit in het geding is. De onderscheiden fasen lopen vloeiend in elkaar over. Men kan ze uiteraard niet opvatten als strikt onderscheiden stappen die in hun geheel gerealiseerd moeten zijn vooraleer de volgende stap gezet kan worden. Echter een enkele keer een video bekijken is nog geen bewijs van betekenisvol gebruik van Leraar24. En in de eigen lessen een keertje iets uitproberen wat men in Leraar24 was tegengekomen, kan niet opgevat worden als een teken van toegenomen professionaliseringsgedrag. Wil men kunnen spreken van effectiviteit van Leraar24 dan moet in elke stap een zeker momentum tot ontwikkeling komen, zowel bezien vanuit de leraar individueel als vanuit groepen van leraren, voordat datzelfde moment in een volgende stap kan worden bereikt. Daarom moet in het onderzoek elke stap ook belicht worden om aan te kunnen geven in welk stadium Leraar24 op een bepaald tijdstip hoofdzakelijk functioneert en waar in dat proces zich knelpunten voordoen. De zin van de onderscheiden fasen is dat de inzichten die in deelonderzoeken wordt verworven, bijdragen aan de interpretatie van de resultaten naar de overkoepelende vraag. Achterwege blijven van een duidelijk professionaliserings-effect kan verschillende betekenissen hebben, afhankelijk van de intensiteit waarmee Leraar24 wordt gebruikt. Op grond van de geformuleerde centrale vraagstelling zal het onderzoek beperkt blijven tot de eerste drie fasen. Naar de doorwerking in het onderwijs en de effecten op de leerling zal geen systematisch onderzoek worden verricht. Een eenduidige toeschrijving van eventuele effecten aan Leraar24 is vrijwel onbereikbaar. Hooguit kan getracht worden in een kwalitatieve opzet de mogelijkheid van invloed van Leraar24 op onderwijs en leren te peilen. Als zodanig kan het promotie-onderzoek van W. M. M. Beurskens aangemerkt worden, waarin gepoogd zal worden om in exemplarische zin de invloed van Leraar24 bij leraren en leerlingen van een praktijkschool te verhelderen. Bekendheidsonderzoek In de eerste fase draait het onderzoek om een eenvoudige vraag: hoeveel leraren op verschillende niveaus zijn bekend met Leraar24.nl. Voor het onderzoek maken we gebruik van de jaarlijkse peiling die door Kennisnet wordt uitgevoerd. In deze peiling wordt leraren de vraag gesteld in hoeverre zij de website van Leraar24 kennen. Zij kunnen als antwoord kiezen uit

vier alternatieven: a) nooit van gehoord, b) wel eens van gehoord, maar niet echt bekend mee, c) wel bekend mee, maar nooit gebruikt, en d) mee bekend en gebruikt. Uit de verdeling van antwoorden per categorie van leraren kan worden afgeleid in hoeverre Leraar24 bekendheid geniet. Alternatieven a en b kunnen als negatief antwoord worden beschouwd en c en d als positief antwoord. Men zou kunnen denken dat de vraag slechts eenmalig gesteld kan worden, omdat vervolgens Leraar24 q.q. bekend is. Hoe Leraar24 bekend wordt, doet echter niet ter zake, alleen of Leraar24 bekend is. Bovendien is het zo dat het effect van het onderzoek op de bekendwording hooguit kan bestaan in een verschuiving van a naar b. Bekendheid zal worden uitgesplitst naar onderwijssector, en naar soort gebruikers (docenten en management). Bekendheid komt ook in ander onderzoek (onder meer panelonderzoek) aan de orde, waarover afzonderlijk zal worden gerapporteerd. 7 Gebruiksonderzoek Aan het gebruik van Leraar24 zijn vele aspecten verbonden, zoals de omvang, tevredenheid, type, hanteerbaarheid, enzovoort. De opzet van het onderzoek naar het gebruik weerspiegelt deze complexiteit. Verschillende aspecten worden in verschillende onderzoekingen aan de orde gesteld en verschillende onderzoekingen overlappen elkaar gedeeltelijk. Kwaliteitsindex Het bekendheidsonderzoek gaat niet alleen over de vraag naar de bekendheid. Er wordt ook gevraagd naar de kwaliteit die men aan de site toekent in de vorm van een rapportcijfer (tussen 1 en 10). Voorwaarde is uiteraard wel dat men de site in enige mate kent. Aan de hand van deze antwoorden wordt een globale kwaliteitsindex geconstrueerd. Deze behelst het percentage c en d antwoorden vermeerderd met 10 maal het gemiddelde rapportcijfer. De schaal van deze index loopt van 10 tot 200. Kennisnet gebruikt deze index in al haar onderzoek naar gebruik van webtoepassingen. Zij kent daardoor een zekere standaardisatie die de interpretatie sterk ondersteunt. Ruwweg kan daarbij gesteld worden dat een score lager dan 100 in het algemeen op problemen wijst. De index kan worden uitgesplitst naar onderwijssector. Kengetallen gebruik Webstatistieken zoals Kennisnet die verzamelt, maken het in principe mogelijk over een heel breed spectrum allerlei cijfers te verzamelen. Het spreekwoordelijk gevaar daarbij is dat je door de bomen het bos niet meer ziet. Voor de evaluatie van Leraar24 zijn de volgende keuzes gemaakt:

8 de tijdseenheid voor dataverzameling is per maand het bezoek aan Leraar24 wordt gevolgd op drie kerndimensies: ο het aantal unieke bezoekers per maand; ο de duur per bezoek (ingedeeld naar minuten) en ο de gemiddelde duur per bezoek (uitgedrukt in seconden). Deze data worden tijdens de hele duur van Leraar24 permanent verzameld en eens per drie maanden ook in perspectief gerapporteerd. Naast deze maandelijkse dataverzameling is er de mogelijkheid om voor specifieke vraagstellingen (bijvoorbeeld welke zoektermen hanteren potentiële gebruikers? Aantal en aard inschrijvingen op Nieuwsbrieven etc.) twee maal per jaar meer de diepte in te gaan en in te zomen op andere bezoekcijfers van Leraar24. Gebruikersonderzoek Gebruikersonderzoek vindt tenminste op twee manieren plaats, te weten via de diepte- en via de breedtepanelonderzoeken van SBL. Het dieptepanel bestaat uit docenten die in verschillende regio s van SBL regelmatig bijeenkomen. Het gaat om ongeveer 10 docenten in 8 regio s die dekkend zijn voor heel Nederland en de sectoren po, vo en mbo. Deze docenten bezoeken doorgaans scholen om informatie te werven en collegiale uitleg te geven over bekwaamheidseisen en andere kwaliteitsinstrumenten in het onderwijs. Zij geven in het kader van het gebruiksonderzoek deels in groepsbijeenkomsten oordelen over Leraar24 in zijn geheel en de videofilms en dossiers op de site van Leraar24 in het bijzonder. De keuze voor de te beoordelen videofilms en dossiers kan vooraf gegeven zijn (bijvoorbeeld omdat contentontwikkelaars zoals de redacties bij SBL, Teleac of het Ruud de Moor Centrum, specifieke vragen over bepaalde films of dossiers hebben), maar hoeft dat niet te zijn. De docenten kunnen ook content naar eigen keuze beoordelen, bijvoorbeeld content op een onderwerp waar zij zich zelf in wensen te professionaliseren. Behalve in groepsbijeenkomsten worden de docenten gevraagd via online vragenlijsten hun oordeel te geven. Ook worden ze uitgenodigd om het invullen van online enquêtes te vragen aan een klein groepje collega s op de scholen waar zij werken of die zij bezoeken. Op die manier ontstaat een sneeuwbaleffect en kan de respons worden vergroot. In het voorjaar van 2009, het startjaar van Leraar24, is zowel een dieptepanelonderzoek geweest naar de functionaliteiten van Leraar24 (werkt alles technisch gezien op de site, is de opzet efficiënt en prettig, etc.), naar de bekendheid en relevantie (van onderdelen van) Leraar24 en naar de kwaliteit van dossiers (zelfgekozen). In de zomer van 2009 zijn nog eens 2 panelonderzoeken gedaan naar de kwaliteit van het videomateriaal, zowel voorgeselecteerde als zelfgekozen video s. In het najaar van 2009 volgde nog een panelbijeenkomst over de kwaliteit van de dossiers (ditmaal voor-

geselecteerd). In 2010 ligt het plan voor om nog 2 panelbijeenkomsten te houden over Leraar24 en 2 online vragenlijsten bij deze groep. Er moet gewaakt worden voor de kans dat de doelgroep overvraagd wordt en zij onbetrouwbare antwoorden geven op vragenlijsten die als een last worden ervaren. De thema s voor deze panelbijeenkomsten en vragenlijsten worden door SBL in samenspraak met de partners in Leraar24 bepaald. We gaan er hier vanuit dat in 2011 ook weer maximaal 4 dieptepanelonderzoeken plaatsvinden. Het breedtepanel is een panel van ongeveer 3000 docenten die bij SBL als zodanig bekend zijn (uit een relatiebestand van ongeveer 8000 contacten). Het ligt in de rede het breedtepanel mede vanwege enquêtemoeheid onder onderwijsgevenden slechts enkele malen per jaar gericht in te zetten. In het startjaar 2009 is eerst en vooral ingezet op de dieptepanels om zo bij kernvertegenwoordigers van de beroepsgroep de nodige (ook kwalitatieve) informatie te verkrijgen die het opzetten van een vragenlijst voor het breedtepanel faciliteerde. Na intensieve voorbereidingen in het najaar van 2009 is begin 2010 een eerste breedtepanelmeting verricht. Hierin is met name nagegaan hoe Leraar24 gebruikt is (bijvoorbeeld individueel of in de klas) en wat de ervaringen en waardering zijn van verschillende onderdelen van Leraar24 (bijvoorbeeld video s en dossiers). Ook is een directe link gelegd tussen Leraar24-gebruik en de inzet op competentieontwikkeling. Hiertoe zijn docenten een aantal uitspraken over het nut van Leraar24 voor de verschillende competenties voorgelegd. Een en ander is af te zetten tegen onderwijssector, aantal jaren onderwijservaring en de generieke mate van leerbereidheid. De resultaten van dit panel worden in het voorjaar van 2010 verwacht. In het voorjaar van 2010 wordt opnieuw een breedtepanelonderzoek uitgevoerd. In het onderzoek wordt ingezoomd op de ontwikkeling van bekwaamheidseisen en de rol die Leraar24 hierin kan spelen. Een tweede breedtepanelonderzoek staat gepland voor het najaar 2010. Ook hier geldt dat de thematiek wordt bepaald door SBL in nauwe samenspraak met de partners in Leraar24. Voorlopig kan worden uitgegaan van een zelfde aantal breedtepanelonderzoeken in 2011. 9 Motivatieonderzoek Om uitspraken te kunnen doen over de kwaliteit van het gebruik van Leraar24 is het van groot belang om inzicht te verwerven in de sterkte en de aard van de motivatie waarmee leraren de informatie binnen Leraar24 tot zich nemen. In het onderzoeksplan ten aanzien van het gebruiksonderzoek neemt motivatie ook een centrale plaats in. De twee kernvariabelen in dit onderzoek zijn de mate waarin de gebruikers geïnteresseerd zijn in de verschillende onderwerpen (interesse) en de waarde die leraren toekennen aan de uitkomsten van hun exploratieactiviteiten (persoonlijke waarde, maar

10 ook de waarde voor het onderwijs en de school). De conceptualisering van motivatie die we in dit onderzoek als uitgangspunt nemen, is gebaseerd op een integratie van meerdere motivatie-theorieën. De argumentatie en verdere uitwerking ervan wordt in detail beschreven in een afzonderlijke, interne publicatie. Het heeft weinig zin om de motivatie met betrekking tot het materiaal van Leraar24 in globale zin te onderzoeken, dat wil zeggen zonder aandacht te hebben voor de spreiding die verbonden is met de grote variëteit aan onderwerpen. Om die reden moet de motivatie in specifieke zin bevraagd worden. We onderzoeken dus de motivatie met betrekking tot specifiek onderwerpen die in Leraar24 wordt aangesneden en niet de motivatie voor Leraar24 als geheel. Uiteraard kunnen motivatiegegevens achteraf geaggregeerd worden, maar de interpretatie daarvan is steeds mede gebaseerd op gegevens over spreiding. De opzet van dit onderzoek behelst dat leraren na kennisneming van een video een beperkt aantal vragen krijgen voorgelegd, onder meer in hoeverre ze de video als interessant hebben ervaren en of datgene wat ze ervan hebben opgestoken waardevol was. In dit onderzoek wordt voorts ook een poging ondernomen om de beantwoording te koppelen aan anonieme, maar niettemin individuele personen door hen aan de hand van vier eenvoudig herhaalbare standaardvragen te voorzien van een vrijwel unieke individuele code. Het nut van deze opzet is dat herhaalde bezoeken en herhaalde responsies van dezelfde persoon zo geheel anoniem aan individuele bezoekers verbonden blijven. In onderzoekstechnische zin is dit van belang omdat hiermee observaties, afkomstig zijn dezelfde persoon, niet ten onrechte als onafhankelijk worden behandeld. Een additioneel voordeel van deze opzet is dat een beperkt aantal biografische en situatiegegevens van docenten in het onderzoek betrokken kunnen worden omdat ze, gekoppeld aan dezelfde code, slechts eenmalig ingevoerd hoeven te worden. De webtoepassing waarmee de motivatieaspecten bevraagd worden, kan aan de hand van de gevormde code gemakkelijk de bijbehorende gegevens uit het bestand opdiepen en ter correctie aanbieden. Een interpretatie van de uitkomsten van deze gegevens dient plaats te vinden op basis van patronen in de verdeling van scores over (categorieën van) leraren en (categorieën van) onderwerpen. Uiteraard is daarbij mede de aandacht gericht op ontwikkelingen in de tijd. Er is namelijk geen eenduidig criterium op grond waarvan effectiviteit bepaald kan worden. Op basis van patronen van waardering bij verschillende onderwerpen, verschillende groepen leraren en het verloop daarvan in de tijd moet dan een interpretatie ontwikkeld worden over de het niveau van motivatie dat het materiaal op Leraar24 weet op te roepen.

Over motivatie wordt tweejaarlijks gerapporteerd. Aan het eind van de onderzoeksperiode wordt een samenvattend overzicht geproduceerd. 11 Onderzoek professionaliseringseffecten Onderzoek naar het professionaliseringseffect is de laatste centrale schakel in het evaluatieplanleraar24. Professionalisering behelst het ontwikkelen van beroepsgerichte competenties, competenties om de eigen professionele ontwikkeling te sturen en het streven naar kwaliteitsverbetering en vernieuwing. Gegeven de veelheid van onderwerpen is het een onmogelijke opgave om systematisch te onderzoeken welke specifieke competenties leraren ontwikkelen en verfijnen en in welke mate. In het onderzoek naar professionaliseringseffecten wordt gezocht naar een evenwichtige balans tussen ideaal en haalbaarheid. Langs vier wegen zal onderzocht worden in hoeverre leraren inhoudelijk profiteren van Leraar24. In globale zin zal het gevoel van competentie van leraren onderzocht worden ten aanzien van een reeks omvattende categorieën van taken. Deze inschattingen kunnen in verband worden gebracht met de mate waarin gebruik wordt gemaakt van Leraar24. Daarnaast worden indicaties verzameld over de mate waarin Leraar24 leidt tot het verwerven of verder ontwikkelen van specifieke competenties. Vanwege de variatie in het aanbod van Leraar24 zal dit deel van het onderzoek een tentatief karakter hebben. Voor dit onderzoek maken we gebruik van een zeer oud instrument dat door De Groot (1974; Van Kesteren, 1993)) is ontwikkeld: het zogenaamde leerverslag. Dit instrument is een poging om enigszins greep te krijgen op idiosyncratische leerervaringen. Het instrument behelst in zijn eenvoudigste vorm slechts de vraag om zoveel mogelijk leerervaringen te beschrijven. Na uitvoering van een bepaalde leeractiviteit krijgt de respondent de vraag voorgelegd om voor elke leerervaring waarvan hij zich bewust is, de openingszin Ik heb geleerd. aan te vullen. Op dit stramien kan gevariëerd worden door de openingszin bij voorbaat op te splitsen in verschillende categorieën en de respondent naar leerervaringen per categorie te bevragen. De categorieën die daarvoor in dit onderzoek in aanmerking komen zijn de vijf leerfuncties die Kessels (Kessels, 1998; Kessels, Verdonschot, Kwakman, & Keursten, 2004) onderscheidt: leerervaringen met betrekking tot inhoudelijke kennis en vaardigheden, probleemoplossings-vaardigheden, reflectieve vaardigheden, samenwerken en zelfregulatie van affecten en emoties. Een belangrijk aspect van professionalisering is het streven naar kwaliteits-verbetering en vernieuwing. Behalve een inventarisatie van wat de leraar opsteekt van Leraar24 zal daarom in het onderzoek ook en vooral aandacht besteed worden aan de mate waarin Leraar24 bijdraagt aan het streven naar verbetering en vernieuwing van de eigen onderwijspraktijk. Op de eerste plaats wordt onderzocht in hoeverre Leraar24 leidt tot verdere pro-

12 fessionaliserings-activiteiten. Gepoogd zal worden te achterhalen in hoeverre Leraar24 bijdraagt aan het ontwikkelen van verdere activiteiten zoals raadplegen van nadere literatuur, experimenteeractiviteiten in de eigen onderwijspraktijk, reflectie en zelfevaluatie en samenwerkend leren (Kwakman, 2003). De gemeenschapsvorming waartoe Leraar24.nl de mogelijkheid biedt, neemt onder deze activiteiten een bijzondere plaats neemt in. Daarnaast zal worden onderzocht in hoeverre het gebruik van Leraar24 bijdraagt aan een positieve houding van de onderwijsgevenden ten opzichte van professionaliseringsactiviteiten. Dit onderzoek naar het effect op verbetering en vernieuwing zal in theoretisch opzicht vooral gebaseerd worden op de theorie van gepland handelen van Ajzen en Fishbein ( theory of planned behavior, zie bijvoorbeeld Ajzen, 2001). Belangrijke constructen in deze theorie hebben betrekking op de houding (in engere zin), geldende normen in de werkcontext en competenties. Deze drie factoren bepalen de gedragsintentie en in aansluiting daarop het daadwerkelijke gedrag. Al deze constructen hebben uiteraard betrekking op professionaliseringsactiviteiten. Het onderzoek naar gevoel van competentie in globale zin en naar professionaliserings-activiteiten wordt uitgevoerd als een systematische sondering waarin in een steekproef van scholen een aantal docenten gevraagd wordt aan de hand van een gesloten vragenlijst om hun gevoel van competentie en de diversiteit en intensiteit van hun professionaliseringsactiviteiten te beschrijven. Daarnaast wordt eveneens de diversiteit en de intensiteit van hun Leraar24-gebruik vastgesteld. Door ook in dit onderzoek gebruik te maken van de bij het motivatieonderzoek beschreven unieke anonieme code zal het mogelijk zijn om de daar verkregen gegevens te koppen aan het onderzoek naar professionaliseringshouding en -gedrag. Het aantal scholen dat in dit onderzoek wordt betrokken is gelijk verdeeld over verschillende onderwijsniveaus. Het aantal scholen moet daarbij van dien aard zijn dat verwacht mag worden, dat de groep docenten die daarmee verworven wordt, per niveau representatief is. Deze opzet is gekozen omdat vermoed mag worden dat de impact van Leraar24 gemodereerd wordt door de school. De schoolcultuur kan daarbij versterkend of verzwakkend werken. Met behulp van meerniveau-analyse zal deze veronderstelling dan nader getoetst worden. De relatie tussen Leraar24 en effectmaten zal uiteraard geen sluitende conclusies kunnen toestaan over oorzakelijke verbanden, maar de mogelijkheid daarvan wordt verder geëxploreerd door steekproefsgewijze interviews met docenten om de volgtijdelijkheid van professionaliseringsactiviteiten en gebruik van Leraar24 te exploreren. In hoeverre was in de beleving van de respondenten het gebruik van Leraar24 het gevolg van het niveau van professionaliseringsactiviteit dan wel andersom? Het onderzoek naar meer specifieke competenties, dat wil zeggen naar wat men concreet opsteekt uit Leraar24, zal worden gekoppeld aan het mo-