Opbrengst gericht werken in vier ebot pilots

Transcriptie

1 2015 Opbrengst gericht werken in vier ebot pilots Onderzoek naar begeleide onderwijstijd en ict-gebruik in relatie tot de kwaliteit van het onderwijs Datum: M. Kiewiet MLI, Opleiding Verzorgenden, ROC Deltion, Zwolle H. Otten MSc, Opleiding Bouw-Infra, ROC Deltion, Zwolle Dr. W. J. Trooster, Lectoraat Onderwijsinnovatie & ICT, Hogeschool Windesheim, Zwolle

2 1

3 Proloog Voor u ligt het verslag van het onderzoek naar de opbrengsten van een viertal pilots Begeleide Onderwijstijd en ICT in relatie tot de kwaliteit op het ROC Deltion College te Zwolle. Deze pilots zijn uitgevoerd, omdat er binnen het ROC toenemende aandacht is voor het gebruik van ICT in het onderwijs. Daarbij dient zich de vraag aan welke activiteiten nog te scharen zijn onder de noemer begeleide onderwijstijd (BOT). Een vraag die binnen het mbo van groot belang is. Ministerie, inspectie en scholen wensen gezamenlijke verheldering. De beschrijving van de pilots en hun resultaten worden in dit verslag weergegeven. Het onderzoek staat niet op zich zelf, het maakt deel uit van het project Samen Opleiden in het mbo. Dit is een samenwerking tussen het Deltion College en de Hogeschool Windesheim. Dit project maakt op haar beurt weer deel uit van een landelijk project in het kader van de gelijknamige stimuleringsregeling, geïnitieerd en gefinancierd door het Ministerie van OC&W. In meerdere regio s werken ROC s en lerarenopleidingen in het HBO samen om de verbinding te versterken. Beoogd wordt de studenten van de lerarenopleiding VO/BVE steeds beter voor te bereiden op het werken in het mbo. Enerzijds wordt daartoe de opleidingsinfrastructuur van het ROC als leerwerkplek verder opgebouwd, anderzijds wordt via een vijftal themaprojecten inhouden en werkwijzen ontwikkeld die toegepast kunnen worden in het curriculum van de lerarenopleiding. Eén van deze thema s is getiteld Opbrengst Gericht Werken (OGW). OGW houdt in dat leraren (in opleiding) methodisch bezig zijn met het realiseren van opbrengsten bij hun leerlingen. Eenvoudigweg is dit samen te vatten als: plan, do, check en act. Een knelpunt bij dit methodisch werken is het vaststellen van de opbrengsten van de leeractiviteiten: de check-fase. In het ideale geval is de individuele leraar daartoe in staat en heeft hij dit geleerd in zijn opleiding. De moeilijkheidsgraad ervan is echter niet gering. Vaak kunnen leraren niet verder komen dan een oppervlakkige vaststelling van de opbrengsten. In dit onderzoek is voor een aanpak gekozen die meer diepgang biedt, maar nog wel iets afstaat van de directe toepassing in de huidige lerarenopleiding. Twee ervaren leraren van Deltion, die beiden een onderwijskundige masteropleiding hadden afgerond, hebben als leraar-onderzoeker de opbrengsten van de vier genoemde pilots onderzocht. Zij werden hierbij methodisch ondersteund door een ervaren onderzoeker van het lectoraat Onderwijsinnovatie en ICT van de Hogeschool Windesheim. Dit onderzoeksteam voerde dus niet zelf de pilots uit (dat deden de betreffende vakleraren). Zij voerden alleen het onderzoek naar de opbrengsten uit. Deze aanpak is mede een uitvloeisel van de stimulans die Deltion vanaf 2006 heeft gegeven aan haar leraren om een masteropleiding te laten volgen. De gedachte hierbij is dat onderzoek het onderwijs beter kan maken, waarbij het als voorwaarde gezien 2

4 wordt dat onderzoek plaats vindt door de betrokken leraar zelf of door leraren die daar nabij aan zijn. In dit onderzoek is dit op een eigen manier vormgegeven. Dit project levert dus twee soorten opbrengsten. Enerzijds de opbrengsten van de ICT-pilots m.b.t. de mogelijkheden om ICT in te zetten in het onderwijs (afstandsleren en verrijking) waarbij de kwaliteit voorop staat. Anderzijds een onderzoeks-werkwijze als een voorbeeld hoe OGW op school plaats kan vinden. Er zijn ervaringen opgedaan die geëvalueerd moeten worden. Hoe is deze manier van onderzoek bij alle betrokkenen bevallen? Wat zijn voor- en nadelen, is ze geschikt om vaker toe passen? Gezien de complexiteit kunnen deze vragen niet zo maar beantwoord worden. Het project levert wel een belangrijke ervaringsbasis om hiermee het gesprek over dit onderwerp tussen Deltion en Windesheim te verdiepen. Tevens levert het een bijdrage aan het gesprek dat hierover landelijk tussen scholen en lerarenopleidingen gevoerd wordt. De projectleiding Samen Opleiden in het mbo Deltion College/Windesheim - juli

5 Management samenvatting Gedurende schooljaar zijn binnen het Deltion College te Zwolle vier verschillende e-learning- methodes binnen het onderwijs toegepast en onderzocht. Dit rapport beschrijft de resultaten van dit onderzoek. Vier opleidingen hebben aan dit onderzoek deelgenomen. Per opleiding is een andere e- learning-methode getest. Hierbij is onderzoek gedaan naar de leeropbrengsten voor studenten en naar de kwaliteitsbeleving, motivatie en betrokkenheid van studenten en leraren. Ook is bij alle vier methodes onderzocht of ICT zoals dit binnen de vier pilots is ingezet voldoet aan de wettelijke eisen van begeleide onderwijstijd (BOT). Twee opleidingen hadden voor dit onderzoek een specifieke onderzoeksvraag geformuleerd. Op basis hiervan is bij één pilot de reistijd van studenten (van en naar school) onderzocht en bij een andere pilot de mogelijkheden voor differentiatie. Het onderzoek is volgens een mixed method design uitgevoerd. Het onderzoek is uitgevoerd bij een pilot- en controlegroep. De resultaten van de vier pilots laten zien dat de kwaliteit van onderwijs is verbeterd of hetzelfde is gebleven bij het gebruik van ICT. Bij geen van de pilots was de kwaliteit van onderwijs afgenomen. De motivatie en betrokkenheid van de student bleek afhankelijk te zijn van de toegepaste e-learning-methode en de wijze waarop deze didactisch is ingezet. De reistijd van leraren voor BPV bezoeken is door het geven van online-bpv-begeleiding afgenomen en bij de opleiding ICT is gedurende de pilot de reistijd voor studenten afgenomen. Dit stimuleerde in beide gevallen de kwaliteitsbeleving. De pilot bij de opleiding Tandartsassistent heeft geresulteerd in een verminderde lokaalbezetting en bij de opleiding Optiek geldt dat gedurende de pilot een transitie heeft plaatsgevonden van regulier naar Blended onderwijs. In die zin kan globaal gesteld worden dat de participerende opleidingen in de pilots hun specifieke doelen voor de onderwijsontwikkeling hebben gehaald. De betrokkenheid en motivatie bij de deelnemende leraren was hoog. Zij gaven aan dat het experimenteren met alternatieve didactiek hen de gelegenheid gaf te werken aan hun professionaliteit. De pilots voldeden grotendeels aan de criteria van BOT (waarschijnlijk volledig na implementatie). Per pilot worden aanbevelingen gedaan die kunnen bijdragen aan de doorontwikkeling van onderwijskwaliteit. Dit onderzoek is door leraren voor leraren en is een voorbeeld van het doen van onderzoek naar de opbrengsten van onderwijs. 4

6 Inhoudsopgave Proloog... 2 Management samenvatting Inleiding Context Beschrijving pilots Pilot 1 opleiding Verpleegkunde (VP): BPV-begeleiding online Pilot 2 opleiding ICT: Lessen op afstand Pilot 3 opleiding Tandartsassistent (TA): Thuislessen Pilot 4 opleiding Optiek: Blended Learning Probleemstelling Doelstelling Hoofdvraag Generieke deelvragen (voor alle pilots) Specifieke deelvragen (alleen voor bepaalde pilots) Theoretisch kader BOT Kwaliteit Studieresultaten Effectiviteit Motivatie Opbrengstgericht werken Betrokkenheid Differentiatie Reistijd Methode Onderzoeksopzet Respondenten Instrumenten Vragenlijsten Interviews Logboeken

7 3.3.4 Observaties Procedure Data-analyse Resultaten Pilot 1 opleiding Verpleegkunde: BPV-begeleiding online BOT Kwaliteitsbeleving Effectiviteit Motivatie Opbrengstgericht werken Betrokkenheid Differentiatie Pilot 2 opleiding ICT: Lessen op afstand BOT Kwaliteitsbeleving Effectiviteit Motivatie Opbrengstgericht werken Betrokkenheid Reistijd Pilot 3 opleiding Tandartsassistent: Thuislessen BOT Kwaliteitsbeleving Effectiviteit Motivatie Opbrengstgericht werken Betrokkenheid Pilot 4 opleiding Optiek: Blended Learning BOT

8 4.4.2 Kwaliteitsbeleving Motivatie Opbrengstgericht werken Betrokkenheid Conclusie en discussie Opleiding VP, pilot BPV-begeleiding online Opleiding ICT, pilot lessen op afstand Opleiding TA, pilot thuislessen Opleiding Optiek, pilot Blended Learning Aanbevelingen Opleiding VP, pilot BPV-begeleiding online Opleiding ICT, pilot Lessen op afstand Opleiding Tandarts assistent, pilot Thuislessen Opleiding Optiek, pilot Blended learning Slotwoord Literatuurlijst Bijlage A: Bijlage B: Bijlage C: Bijlage D: Vragenlijst Topiclijst Codeboek Logboek leraar 7

9 1. Inleiding 1.1 Context Het Deltion College is op zoek naar de maximale ruimte voor het geven van kwalitatief goed onderwijs en denkt dat de inzet van ICT ten bate van begeleide onderwijs tijd (BOT) hieraan kan bijdragen. Onder BOT vallen onderwijsactiviteiten die worden gegeven onder de verantwoordelijkheid en met actieve betrokkenheid van onderwijspersoneel (MBO Raad, 2012). BOT moet zijn opgenomen in het opleidingsplan en er moet duidelijk zijn wat geleerd moet worden, hoe de begeleiding plaats vindt en hoe beoordeeld wordt (MBO Raad, 2012). Binnen het samenwerkingsinitiatief Samen opleiden van het Deltion College en Hogeschool Windesheim (Lectoraat Onderwijskunde & ICT) worden vier onderwijspilots onderzocht. De pilots zijn gericht op het verbeteren van het onderwijs middels de inzet van ICT en dienen als input voor een vorm van Opbrengst Gericht Werken (OGW). Drie van de vier onderwijs en ICT-pilots zijn beschreven en getoetst bij het adviespunt Onderwijstijd (Kennisnet) of ze voldoen aan de criteria voor BOT. Hierbij gaat het om de pilots BPVbegeleiding online, Thuislessen en Lessen op afstand. Volgens Kennisnet (2014) voldoen deze drie pilots aan de criteria voor BOT die in samenwerking met de Onderwijsinspectie door Kennisnet zijn opgesteld. Kennisnet verwacht dat middels ICT flexibilisering van BOT mogelijk wordt. Kennisnet spreekt dan ook van een interessant en haalbaar concept mits deze concepten in de praktijk zowel technisch als onderwijskundig goed uitgevoerd worden (Kennisnet, 2014a). Bij de vierde pilot gaat het om een transformatie van face to face (f-2-f ) naar Blended onderwijs. Met betrekking tot deze pilot participeert het Deltion College in een landelijk project om van regulier (commercieel) onderwijs Blended onderwijs te maken. In schooljaar geeft de onderwijsinspectie scholen de ruimte om te experimenteren met nieuwe vormen van onderwijs. De onderwijsinspectie kijkt mee bij de uitvoering hiervan zonder dat zij hierbij beoordelend optreden (Kennisnet, 2014a). Ter voorbereiding op de pilots heeft het Bureau Onderwijs & Kwaliteit (O&K) van het Deltion College de initiatieven voor de pilots BPV-begeleiding online, Lessen op afstand en Thuislessen voorgelegd aan de Onderwijsinspectie. Dit om samen met de inspectie te zoeken naar een goede invulling om met behulp van ICT kwalitatief goed onderwijs aan te bieden. Vanaf 1 augustus 2014 kreeg het mbo te maken met een nieuwe wet op het gebied van (begeleide) onderwijstijd (Onderwijsinspectie, 2014). Het onderwijs dient vorm te geven aan BOT en beroepspraktijkvorming (BPV) binnen een vastgesteld aantal uren. Voor een 3-jarige MBO opleiding, Beroeps Opleidende Leerweg (BOL) dient het onderwijsprogramma in totaal ten minste

10 klokuren te bevatten. Hiervan moeten ten minste 1800 klokuren als BOT en ten minste 900 klokuren als BPV worden ingevuld. Het eerste jaar van een 3-jarige BOL opleiding dient minimaal 700 klokuren BOT te bevatten. BOL opleidingen die de opleiding in 4 jaar mogen aanbieden dienen een onderwijsprogramma van ten minste 4000 klokuren aan te bieden. Hiervan moeten ten minste 2350 klokuren als BOT en ten minste 1350 klokuren als BPV worden ingevuld. Ook voor 4-jarige opleidingen geldt dat het 1e leerjaar ten minste 700 klokuren begeleide onderwijsuren omvat. Echter, vanaf 1 augustus 2014 is onderwijstijd geen bekostigingsparameter meer, maar wordt dit betrokken bij de integrale beoordeling van de onderwijskwaliteit. Het onderwerp wordt ingebed in het kwaliteitsonderzoek. Dit betekent dat alleen nader onderzoek plaatsvindt naar BOT als blijkt dat een tekort aan onderwijstijd de oorzaak is van een verslechterde onderwijskwaliteit (Onderwijsinspectie, 2014). Schooljaar streeft de onderwijsinspectie ernaar om aan de hand van innovatieve voorbeelden van instellingen samen met deze onderwijsinstellingen naar vernieuwde definities voor begeleide onderwijstijd te zoeken en doet een oproep aan scholen om nieuwe initiatieven uit te voeren. Hierbij kan gedacht worden aan e-learning programma s waarbij gekeken wordt naar de inrichting en de uitvoering (met begeleiding) hiervan. Aan de hand van deze nieuwe wet- en regelgeving is het Deltion College op zoek naar nieuwe mogelijkheden om met behulp van ICT kwalitatief goed onderwijs aan te bieden. Naast de vraag of de nieuwe onderwijsvormen voldoen aan de criteria van BOT, spelen nog twee andere zaken een rol. Door de verhoogde urennorm neemt de (inzet)druk op leraren en lokalen toe (mondelinge communicatie roosterkamer, Deltion College, 14 oktober 2014). Mede naar aanleiding van deze toenemende druk wordt in schooljaar binnen het Deltion een viertal pilots uitgevoerd. De bedoeling is dat in deze pilots met behulp van ICT een kwalitatief goede leersituatie ontstaat. Het Deltion College beoordeelt de pilots als succesvol indien het leerrendement en de kwaliteit van onderwijs minimaal gelijk blijft en de motivatie van studenten niet afneemt. Tevens is het Deltion College, mede in verband met het samenwerkingsinitiatief Samen opleiden, benieuwd naar de ervaringen van de stakeholders met deze nieuwe vormen van onderwijs. 1.2 Beschrijving pilots Vanuit het Deltion College zijn, ondersteund door bureau O&K en de dienst Media Informatie Centrum Leren en ICT (MICT), vier pilotvoorstellen geformuleerd. Deze pilots worden gedurende schooljaar uitgevoerd. 9

11 1.2.1 Pilot 1 opleiding Verpleegkunde (VP): BPV-begeleiding online Tijdens de stage periode hebben studenten van de opleiding verpleegkunde BOL 4 minder contact met klasgenoten en de leraar. Studenten voelen zich hierdoor minder betrokken met school. De student ervaart een sociaal isolement en heeft het gevoel onvoldoende begeleid te worden (Deltion College, 2014a), wat de kans op uitval vergroot. Gezien studenten vaak ver buiten de eigen regio stage lopen ervaren leraren tijdens de stagebezoeken een lange reistijd (Deltion College, 2014b). Het Deltion College wil online groepsgesprekken gaan voeren. De studenten en leraren ontmoeten elkaar hiervoor in de virtuele wereld Open SIM. Hiermee hoopt men dat leraren meer begeleiding kunnen bieden en studenten tijdens hun stage periode een betere begeleiding ervaren. Tegelijkertijd hoopt zij dat de reistijd van leraren voor stagebezoeken afneemt Pilot 2 opleiding ICT: Lessen op afstand ICT (in dit geval videoverbinding via Lync) wordt binnen het onderwijs ingezet om een klas op afstand les te geven. Hiermee wil het ICT-lyceum tegemoet komen aan studenten die een lange reistijd hebben. Studenten van het ICT-Lyceum van het Deltion College komen uit de regio Zwolle, maar ook van ver daar buiten. In een aantal gevallen is de reistijd zo lang, dat zij (delen van) lessen missen. Organisatorisch is het bij het maken van de lesroosters niet altijd mogelijk hier rekening mee te houden. Om op een verantwoord tijdstip weer thuis te kunnen zijn, zouden de lessen voor deze groep later moeten beginnen en eerder moeten eindigen. Echter, hierdoor neemt de BOT af en komen zij niet aan de minimale hoeveelheid BOT Pilot 3 opleiding Tandartsassistent (TA): Thuislessen Momenteel heeft het Deltion College regelmatig een tekort aan lesruimtes (roosterkamer, Deltion College 14 oktober 2014). Door de invoering van Focus op Vakmanschap (MBO raad, 2014) neemt BOT, en hierdoor de druk op lokalen, verder toe. Het Deltion College verkent mogelijkheden om dit te compenseren. Bij de opleiding tandartsassistent wordt hiervoor de pilot thuislessen uitgevoerd. Hierbij krijgen studenten één dag in de week gedurende twee klokuren via een virtual classroom thuis les. Voor de pilot wordt erna gestreefd om één leraar op afstand 50 studenten te laten begeleiden via Adobe Connect. De studenten worden verdeeld in groepen van ongeveer 6 studenten. Voorafgaand aan de digitale thuisles wordt op school de les opgestart. Via een thuisles wordt vervolg aan de les op school gegeven. Het Deltion College hoopt, zonder in te leveren op de kwaliteit van onderwijs, hiermee de druk op lokalen en leraren te verminderen. 10

12 1.2.4 Pilot 4 opleiding Optiek: Blended Learning De huidige opleiding Optiek is een reguliere opleiding met f-2-f onderwijs. Momenteel wordt deze omgezet naar een Blended-variant. Er wordt bijvoorbeeld gebruik gemaakt van Flipping the classroom en digitale toetsing. Dit wordt ondersteund door het MICT van het Deltion College. Het MICT bouwt de benodigde e-learning voor dit traject in een nieuw opgezette ontwikkelstraat. Bij deze pilot wordt onderzoek gedaan naar de kwaliteit en het rendement van onderwijs in relatie tot BOT. Het is de bedoeling dat het geleerde gebruikt gaat worden om de bestaande reguliere opleidingen te actualiseren. Dit traject heeft diverse raak- en schuurvlakken met BOT. 1.3 Probleemstelling Het Deltion College wil binnen de wettelijke kaders van BOT kwalitatief goed en effectief onderwijs aanbieden en verwacht dat ICT hieraan kan bijdragen. Echter ontbreekt de data om dit te kunnen verantwoorden. 1.4 Doelstelling Dit onderzoek gaat het Deltion College data opleveren of ICT, zoals ingezet tijdens vier pilots, verantwoord kan bijdragen aan de kwaliteit en effectiviteit van onderwijs binnen de wettelijke kaders van BOT. De doelstelling van dit onderzoek is tweeledig. Primair moet dit onderzoek aantonen of de onderwijskwaliteit wordt gehandhaafd of verbeterd en of daarbij onderwijstijd met ICT zoals deze in de pilots wordt ingezet als BOT mag worden meegerekend. Secundair moet uit dit onderzoek blijken of de inzet van onderwijspersoneel en lokalen kan worden verminderd. 1.5 Hoofdvraag Voldoen de pilots aan de criteria van onderwijskwaliteit, en de criteria van BOT, en kan de inzet van faciliteiten hierbij worden verminderd? Generieke deelvragen (voor alle pilots) a. Tellen de in de pilot gestelde ICT uren als BOT? b. Beïnvloedt de inzet van ICT de kwaliteit van het onderwijs in de beleving van de betrokken stakeholders (student/leraar/ouders/werkveld)? c. Beïnvloedt de inzet van ICT de hoeveelheid inzeturen van onderwijspersoneel? d. Beïnvloedt de inzet van ICT de hoeveelheid inzeturen van lokalen? e. Beïnvloedt de inzet van ICT de motivatie van studenten en leraren? 11

13 f. Werken de leraren die de pilots in hun lessen uitvoeren opbrengstgericht? Specifieke deelvragen (alleen voor bepaalde pilots) g. Beïnvloedt de inzet van ICT de betrokkenheid van studenten en leraren in pilot 1? h. Bestaat de mogelijkheid tot het gedifferentieerd aanbieden van onderwijs op leervraag of werkveld vanuit de BPV in pilot 1? i. Ervaren studenten de opleiding ICT als minder belastend en hierdoor als aantrekkelijker door de verminderde reistijd in pilot 2? 12

14 2. Theoretisch kader In dit theoretisch kader worden een aantal begrippen gedefinieerd die verder in dit rapport worden gehanteerd. 2.1 BOT Onder BOT vallen onderwijsactiviteiten die worden gegeven onder verantwoordelijkheid en met actieve betrokkenheid van onderwijspersoneel. BOT betekent Begeleide Onderwijstijd. Voor BOT wordt aangeven wat geleerd moet worden, hoe de begeleiding plaatsvindt en hoe geëvalueerd en beoordeeld wordt (MBO Raad, 2012). Lesuren dienen te worden gegeven door actief betrokken onderwijspersoneel en moeten zijn opgenomen in het curriculum. De leerdoelen zijn duidelijk voor de student. Dit geldt ook voor de wijze waarop begeleiding plaatsvindt, er geëvalueerd wordt en beoordeeld wordt. Tabel 1. De 12 Criteria BOT (Kennisnet, 2014b) Nr. Criterium Beschrijving 1 Urennorm Het onderwijs in het concept voldoet aan de wettelijke kwantitatieve normen voor onderwijstijd. 2 Leraar De lesactiviteit in het concept vindt plaats onder pedagogisch-didactische verantwoordelijkheid van een bekwame leraar. 3 Onderwijsprogramma De activiteiten in het concept dragen bij aan de te realiseren onderwijsdoelen en zijn in het onderwijsprogramma opgenomen. 4 Student De activiteiten in het concept zijn uitdagend, inspirerend en leerzaam. Er is sprake van een proactieve begeleiding met adequate reacties op vragen. 5 Registratie In het concept is sprake van een adequate registratie van deelname/ participatie ten behoeve van de verantwoording over het aantal gerealiseerde uren. 6 Leerrendement Het concept leidt tot gelijkblijvend of verbeterd leerrendement van studenten. 7 Differentiatie Het concept leidt tot aantoonbare differentiatie in de leerprocessen van studenten. 8 Contextrijk leren Het concept betrekt de buitenwereld in het leren. 9 Faciliteiten De (ICT-)faciliteiten zijn toereikend om het programma van het concept ten uitvoer te brengen en worden op een effectieve manier ingezet. 10 Personeel De competenties van het lerarenteam sluiten aan bij de benodigde competenties om het programma te realiseren. 11 Meerwaarde Het concept draagt aantoonbaar bij aan de strategische doelen van de onderwijsinstelling concept 12 Plan van aanpak (PvA) en het onderwijs wordt systematisch geëvalueerd. Er is een uitvoerbaar plan van aanpak ontwikkeld. 2.2 Kwaliteit Kennisnet (2014) hanteert de definitie van Scheerens (1996) die kwaliteit opvat als het geheel van wenselijke hoedanigheden, zoals deugdelijkheid, gezondheid of effectiviteit van organisaties. Een school heeft voldoende kwaliteit als uit de risicoanalyse blijkt dat de opbrengsten minimaal op het niveau zijn dat je mag verwachten van de school. (Onderwijsinspectie, 2014). 13

15 Kwaliteit ligt volgens het Deltion College besloten binnen de interactie tussen student en leraar en wordt behaald door uit te blinken in vakmanschap, de deuren open te zetten en deel uit te maken van een gemeenschap. Binnen de onderwijsuitvoering benoemt men een volmaakte Plan, Do, Check, Act (PDCA) cyclus vanuit strategisch niveau (Deltion College, 2014c). Kwaliteit wordt binnen het onderwijs gebruikelijk gebaseerd op het jaar- en diplomaresultaat. Voor dit onderzoek ligt de focus onder andere op de indicatoren tevredenheid van stakeholders, voorspelbaarheid en overzichtelijkheid onderwijsprogramma en interactie tussen student en leraar. Het construct kwaliteit overlapt met een groot aantal BOT-criteria Studieresultaten Binnen dit onderzoek worden als onderdeel van kwaliteit de studieresultaten van studenten meegenomen. Deze zijn afkomstig van de toetsen die per pilot zijn afgenomen. Deze toetsen zijn ontwikkeld door de betrokken leraren. Aangezien de lesstof in de pilots gericht is op de uitoefening van een beroep, kan er niet gesproken worden van gestandaardiseerde toetsing. Er zijn dan ook geen gegevens bekend over de kwaliteit van deze toetsen. 2.3 Effectiviteit Het woord effectiviteit betekent de mate van verwezenlijking van de doelstellingen op basis van een gunstige kosten/baten verhouding. Scheerens, Luyten en Van Raven (2011) definiëren effectiviteit als de causale relatie tussen input, processen en context enerzijds, en opbrengsten anderzijds. Binnen dit onderzoek wordt als onderdeel van effectiviteit geoperationaliseerd de inzettijd van lokalen en inzettijd van leraren. Daartegenover staan de als opbrengsten het behalen van doelstellingen en leerresultaten. 2.4 Motivatie Het woord motivatie betreft het enthousiasme voor een taak, of de wens om iets dat je wilt ook werkelijk te doen en dus de bereidheid tot het verrichten van een bepaald gedrag. Motivatie is een innerlijk proces dat een persoon aanzet tot bepaald gedrag, richting geeft aan dat gedrag en ervoor zorgt dat dit gedrag in stand gehouden wordt. Motivatie binnen de onderwijspsychologie verwijst in belangrijke mate naar de wil van jongeren om te leren (Woolfolk, Hughs, & Walkup, 2008). 14

16 2.5 Opbrengstgericht werken Door opbrengstgericht te werken kunnen leraren "data driven" onderwijs realiseren, zodat beslissingen bijvoorbeeld op basis van leervorderingen worden genomen, wat ten goede komt aan de effectiviteit van onderwijs (Ledoux, Blok, & Bogaard, 2009). Opbrengstgericht werken betreft een cyclische manier van werken die steeds de stappen plannen, uitvoeren, evalueren en handelen, op basis van betrouwbare gegevens, doorloopt (Ledoux et al., 2009). Dit onderzoek wordt tevens beschouwd als een manier van opbrengstgericht werken en kan als voorbeeld dienen hoe leraren opbrengstgericht kunnen werken in de onderwijspraktijk. 2.6 Betrokkenheid Betrokkenheid is door Van den Berg & Vandenberghe (1981) gedefinieerd als een construct dat verwijst naar gevoelens, bekommernissen, zorgen, vragen, consideraties in verband met een bepaalde verandering. Het begrip bepaalde veranderingen kan hier ook gelezen worden als bepaalde leerprocessen. Binnen deze leerprocessen zijn motivatie voor en betrokkenheid bij het onderwijs intrinsieke drijfveren voor studenten voor het leveren van prestaties (Finn, 1989 in Van Uden, 2010). Binnen het beroepsonderwijs hebben leraren, ouders/vrienden/studiegenoten en werkbegeleiders op de stageplaats invloed op de betrokkenheid van studenten. Betrokkenheid kan volgens Van Uden (2010) gezien worden als een belangrijke voorspeller voor studiesucces. Binnen dit onderzoek wordt betrokkenheid tweeledig opgevat. Ten eerste betreft het de betrokkenheid bij de leerstof, waarbij wordt bedoeld de mate waarin de student daadwerkelijk aandachtig met de taak bezig is (Van Uden, 2010). Ten tweede wordt de betrokkenheid bij het onderwijs bedoeld, waarbij de respondent bewust is van de invloed die hij heeft op het onderwijs en hierin betrokken wil worden. 2.7 Differentiatie Het begrip differentiatie betekent het doen ontstaan van verschillen tussen delen (bijvoorbeeld klassen, subgroepen, individuele leerlingen) van een onderwijssysteem (bijvoorbeeld klas) ten aanzien van één of meerdere aspecten (bijvoorbeeld doelstellingen, leertijd, instructiemethoden) (Bosker, 2005). Deze definitie is vertaald naar de mate waarin differentiatie op leervraag en stageveld mogelijk is in de pilot van de opleiding verpleegkunde. Dit in de beleving van de leraar en de student. 15

17 2.8 Reistijd Voor de opleiding ICT wordt reistijd gemeten in kwantitatief en kwalitatief opzicht. Kwantitatief gaat over de gemiddelde reistijd in minuten van een enkele reis van huis naar school. In kwalitatief opzicht gaat reistijd erover hoe de student de reistijd beleeft. Binnen dit onderzoek wordt naar beide onderdelen gevraagd. 16

18 3. Methode Voor de beantwoording van de onderzoeksvraag en deelvragen werd gekozen voor een mixed method design. Er werd gebruikt gemaakt van meerdere kwalitatieve en kwantitatieve methoden. Op deze manier is triangulatie van datatypen mogelijk. Hiermee werd de interne validiteit vergroot (Van Staa en Evers, 2010). 3.1 Onderzoeksopzet Gedurende de doorlooptijd namen per pilot twee groepen deel aan het onderzoek, een pilotgroep en een controlegroep. De pilotgroep kreeg onderwijs met behulp van ICT aangeboden. De controlegroep werd een parallelgroep en volgde het reguliere onderwijs (zonder het betreffende ICTmiddel) met dezelfde lesdoelen. Bij beide groepen werd voorafgaand en na afloop van de pilot een vragenlijst afgenomen. Op deze manier werd tevens de factor tijd meegenomen in de meting. Figuur 1 toont schematisch de toegepaste onderzoeksopzet. Figuur 1. Schematische weergave van onderzoeksopzet kwantitatieve deelstudie. 3.2 Respondenten Het Deltion College is organisatorisch verdeeld in drie sectoren: Techniek en Vormgeving (T&V), Economie en Dienstverlening (E&D) en Gezondheidszorg, Welzijn en Sport (GW&S). De pilots zijn verdeeld over twee van de drie sectoren; bij T&V pilot Lessen op afstand, bij GW&S de pilots BPV-begeleiding,Thuislessen en Blended Learning. Voor de kwantitatieve methoden werd getracht alle personen uit de betreffende deelgroepen te betrekken. Voor de kwalitatieve methoden is een representatieve afvaardiging van de betreffende deelgroepen benaderd. Verdere karakteristieken van de respondenten per pilot zijn weergegeven in tabel 1. 17

19 Tabel 2. Karakteristieken van de respondenten Leeftijd student pilotgroep Leeftijd student controlegroep Leraar Roostermaker x SD n x SD n n n Pilot 1 VP 23,45 6, ,00 3, Pilot 2 ICT 17,14 1, ,60 1, Pilot 3 TA 17,48 4, ,30 2, Pilot 4 OP 20,30 2,15 19 n.v.t. n.v.t. n.v.t. 2 1 Noot. Voor de opleiding Optiek was geen controlegroep geformeerd. De roostermaker van VP, TA en Optiek was dezelfde persoon. Bij pilot 1 was 19% man, 48% had als vooropleiding VMBO KB. Bij pilot 2 was 100% man, 53% had als vooropleiding VMBO TL. Bij pilot 3 was 6% man, 48% had als vooropleiding VMBO TL. Bij pilot 4 was 36% man, 44% had als vooropleiding VMBO TL. 3.3 Instrumenten Vragenlijsten De kwantitatieve dataverzameling vond plaats door een papieren vragenlijst (zie bijlage A) uit te zetten. De subschalen van de vragenlijsten bevatten voor zowel student als leraar BOT criteria 4, 7, 8 en 9, kwaliteitsbeleving, motivatie en betrokkenheid. Leraren werden tevens bevraagd naar de mate waarin zij opbrengstgericht werken. Voor pilot 1 werd een subschaal differentiatie nieuw ontwikkeld. Voor pilot 2 een subschaal reistijd. Om BOT criterium 4 (te weten: Studentactiviteiten en -begeleiding) te meten werd gebruik gemaakt van door de onderzoekers zelf geconstrueerde items, afgeleid vanuit de formulering van dit BOT criterium. Om BOT criterium 7 ( te weten: Differentiatie) te meten werd gebruik gemaakt van de e-learning vragenlijst van Sun, Tsai, Finger, Chen en Yeh (2008), subschaal diversity in assessment. Om BOT criterium 8 (te weten: Contextrijk leren) te meten werd gebruik gemaakt van de e-learning vragenlijst van Zaharias en Poylymenakou (2009), subschaal motivation to learn (α =.90). Een voorbeelditem is: Door deze lessen kan ik nieuwe vaardigheden toepassen in echte situaties buiten school. Om BOT criterium 9 (te weten: Faciliteiten) te meten werd gebruik gemaakt van de e- learning vragenlijsten van Sun en collega s (2008), subschaal technology quality (α =.83) en Zaharias en Poylymenakou (2009), subschaal learning and support (α =.83). Om de kwaliteitsbeleving te meten werd gebruik gemaakt van de e-learning vragenlijst van Sun en collega s (2008), subschaal perceived e-learner satisfaction (α =.93) en e-learning cours quality (α =.83). Om de motivatie te meten werd gebruik gemaakt van de e-learning vragenlijst van Zaharias en Poylymenakou (2009), subschaal motivation to learn (α =.90). Voor het meten van de mate waarin de leraar opbrengstgericht werk werd gebruik gemaakt van de zelfscan opbrengstgericht werken in en door de sectie, van APS en KPC groep (2013). Om de betrokkenheid te meten werd gebruik gemaakt van 18

20 de vragenlijst fasen van betrokkenheid van Van den Berg en Vandenberghe (1981). Daarnaast werd, om het gehele construct betrokkenheid te dekken, vanuit een analyse van synoniemen tevens aanvullende vragen geconstrueerd. Tot slot werd door de onderzoekers zelf een subschaal ontwikkeld om reistijdbeleving te meten. Deze bleek uiteindelijk een zodanig zwakke interne consistentie (α =.30) te hebben, dat deze buiten dit onderzoek werd gehouden. Voor alle hiervoor genoemde subschalen van de ebot vragenlijst werden de volgende antwoordcategorieën toegepast: (1) Helemaal oneens; (2) Oneens; (3) Niet oneens niet eens; (4) Eens; en (5) Helemaal eens. Waar van alle partijen dezelfde type informatie nodig was, werden dezelfde items van de vragenlijst voor zowel student, leraar, werkveldbegeleider als ouders toegepast. Het woordgebruik in de vraagstelling werd af en toe op de respondenten aangepast. In tabel 2 is de betrouwbaarheidsanalyse van de gehanteerde constructen gegeven. Tabel 3. Betrouwbaarheidsanalyse parameters vragenlijst Schaal Aantal items α Pre VP α Post VP α Pre ICT α Post ICT α Pre TA α Post TA α Pre Optiek α Post Optiek Kwaliteit 23 0,71 0,83 0,77 0,80 0,06 0,71 0,54 0,91 Motivatie 13 0,70 0,79 0,92 1,00 0,35 0,41 0,62 0,86 Betrokkenheid 9 0,55 0,45 0,71 0,79 0,43 0,55 0,57 0,24 Differentiatie 19 0,64 0, Noot. Cronbach alpha > 0.70 betekent dat construct met vragen betrouwbaar is. Als < 0.50, dan is construct met vragen onvoldoende betrouwbaar. Tussen 0.50 en 0.70 is construct met vragen betrouwbaar, maar zwak. Bij items < 0.70 kunnen geen harde conclusies getrokken worden (George & Mallery, 2003): Interviews Om de resultaten vanuit het kwantitatieve onderzoek verdieping te geven werd aan de hand van een topiclijst semigestructureerde interviews afgenomen. Voor de samenstelling van de topiclijst werd gebruik gemaakt van (opmerkelijke) resultaten welke afkomstig zijn van de kwantitatieve data (zie bijlage B). Na de inleiding van het interview werd gevraagd of de respondent gemotiveerd was om de vragenlijst in te vullen. Deze informatie kon van belang zijn voor de interpretatie van de data uit de vragenlijsten. Tevens werd per topic gevraagd naar de invloed van dat topic op de studieresultaten. Alle interviews zijn opgenomen met een geluidsrecorder en vervolgens helemaal getranscribeerd. Vervolgens zijn de interviews gecodeerd (zie bijlage C). De interbeoordelaarsbetrouwbaarheid werd als bepalend gezien om de kwaliteit van de analyse van interviews vast te stellen. Een selectie van fragmenten is onafhankelijk gecodeerd door de twee onderzoekers en daarna vergeleken. Hiermee is een Cohens s Kappa van 0,82 behaald na drie 19

21 coderings- en overlegsessies. Deze mate van overeenstemming wordt voor dit onderzoek geïnterpreteerd als voldoende (Fleiss, Levin, & Paik, 2003) Logboeken De leraren hadden gedurende de pilots een logboek bijgehouden (bijlage D). In deze logboeken blikten de leraren terug op de gegeven les, voor zowel pilot- als controlegroep. De logboeken gaven enerzijds inzicht in het proces van het geven van de lessen en daarnaast input voor de beoordeling van leraar- en lokaleninzet en de mate waarin leraren opbrengstgericht werkten Observaties Tijdens de looptijd van de pilots werd door een onderzoeker per pilot een observatie gedaan bij pilot- en controlegroep. Hiermee kon de onderzoeker een beeld krijgen van de mate waarin de twee groepen een vergelijkbaar lesaanbod kregen. Tijdens de observatie werd het gedrag van leraar en studenten waargenomen en zijn notities gemaakt. 3.4 Procedure Voor de constructie van de vragenlijst werden de vragen vanuit de literatuur vertaald naar het Nederlands. Om de vragenlijst aan te passen op deze onderwijscontext werden deze aan een pilot onderworpen. Middels een hardop denkprotocol hadden drie studenten en een leraar van andere opleidingen de vragenlijst ingevuld. De opmerkingen hieruit werden genoteerd en na het invullen besproken. Daarnaast werd de vragenlijst voorgelegd aan een e-learning-deskundige. De feedback werd geëvalueerd. Indien nodig werden aanpassingen gedaan. Vervolgens werden de vragen gerandomiseerd, zodat de respondenten niet konden zien naar welke constructen de vragen verwezen. De vragenlijst werd als een fysieke lijst tijdens een lesuur van de studenten uitgedeeld. Studenten hebben de vragenlijsten onder toezicht van de leraar ingevuld. Direct na het invullen werden de vragenlijsten door de leraar ingenomen. Voorafgaand aan de start van de pilots werd gecheckt of de pilots op papier voldeden aan de 12 criteria voor BOT (Kennisnet, 2014b). Daarnaast werd er bij de studenten een kennistoets afgenomen als voormeting voor het kennisniveau van de student. De pre-test van de vragenlijst werd tevens afgenomen voorafgaand aan de start van de pilot bij studenten uit pilot- en controlegroep en de betrokken leraar. Gedurende de doorlooptijd van de pilots werden de logboeken van de leraren verzameld. Deze werden wekelijks g d naar de onderzoekers. Daarnaast werd er gedurende het onderwijs per pilot een observatie gedaan bij pilot- en controlegroep. 20

22 Aan het eind van de pilot werd in de laatste week de vragenlijst afgenomen bij studenten en leraar. Ook werden de kennistoetsen afgenomen om de vakken af te sluiten. Tevens werd de uiteindelijke BOT-tijd bepaald vanuit een gesprek en de rapportage van de roostermaker. 3.5 Data-analyse Voor het kwantitatieve deel van het onderzoek werden de onderzoeksvragen beantwoord door het gebruik van statistische methodes voor data-analyse. Conform Norman (2010) werden parametrische data-analyses uitgevoerd op data die gebaseerd waren op Likert scales. Eerst werden betrouwbaarheidsanalyses uitgevoerd. Indien items verwijderd moesten worden om een acceptabele Cronbachs alpha te bereiken groter dan 0,70 is dit gedaan (George & Mallery, 2003). Hierna zijn per parameter voor de pilot en de controle groep de gemiddelde scores in de pretest en in de post-test berekend. Bovendien is telkens uitgerekend hoeveel procent van de respondenten een hoge score (3 of hoger op schaal 1-5)) gekozen had. Tenslotte is per respondent uitgerekend wat de verschilscore tussen post- en pre-test was. Ook van deze zogenaamde deltascores werden telkens de eerder genoemde gemiddelden en percentages berekend. Bij de gemiddelde scores werden gepaarde (pre- versus post-test) en ongepaarde (controlegroep versus pilotgroep) t-testen uitgevoerd. Met de huidige (geringe) groepsgroottes bleek het echter niet mogelijk statistische significantie bij de gevonden verschillen vast te stellen. Vandaar dat bij de resultaten nergens significanties bij verschillen worden vermeld. Voor het kwalitatieve deel van het onderzoek zijn de getranscribeerde interviews in drie fasen geanalyseerd (Boeije, 2006). De eerste vorm van datareductie betreft open coderen, waarbij de meest relevante tekstfragmenten van het eerste interview zijn opgedeeld en voorzien van een label. Deze labels correspondeerden met de parameters die in de onderzoeksvragen naar voren kwamen. Daarna is middels axiaal coderen op basis van nieuwe informatie uit een tweede interview de gehele dataset geanalyseerd. De laatste fase betreft het selectief coderen, waarbij de codeboom is vergeleken met de toegepaste theoretische inzichten, zodat de waarnemingen verklaard konden worden in het licht van de probleemstelling. Binnen dit mixed method design hebben kwantitatieve en kwalitatieve gegevens elkaar gecomplementeerd, zodat de reikwijdte van bevindingen werd vergroot. Door het toepassen van de twee genoemde deelstudies kon confirmatie van bevindingen versterkt worden en konden meerdere uiteenlopende gezichtspunten behulpzaam zijn in het interpreteren van resultaten. 21

23 4. Resultaten De resultaten worden per pilot beschreven aan de hand van de onderzoeksvragen. 4.1 Pilot 1 opleiding Verpleegkunde: BPV-begeleiding online BOT Tabel 4 geeft aan hoe de pilot BPV-begeleiding online scoort op de 12 criteria van BOT. In kolom één staat een korte omschrijving van deze 12 criteria. In kolom twee is te zien hoe de pilot volgens het plan van aanpak uitgevoerd diende te worden. Kolom drie geeft aan of de pilot gepland is volgens het plan van aan pak. Kolom vier geeft aan hoe de pilot is uitgevoerd. Kolom vier is onderverdeeld in vier sub-kolommen. De data in de sub-kolommen is afkomstig van de roosterplanner, opleidingsdocumenten, studenten en leraar, naar aanleiding van hun ervaringen in de pilot. De onderste rij van tabel 4 vat samen of de uitvoering van de pilot voldoet aan BOT. Tabel 4. De 12 criteria BOT, pilot BPV-begeleiding online 12 Criteria BOT PvA Deltion college 1. Urennorm Conform 4 jarige opleiding 4000 uur 2. Leraar pedagogis chdidactisch verantwoo rdelijk en bekwaam 3. Opgenom en in onderwijs programma en onderwijs BPV: 2 f-2-f bezoeken Online sessies: 3 online sessie a 60 min. / 1 groep (12 studenten) Gepland volgens PvA Nee Uitgevoerd: BPV 1 f-2-f BPV bezoek Online sessies: 4 online sessies a 60 min. /2 groepen (6 studenten) Volgens rooster planner Online-sessie niet in rooster ingepland Uitgevoerd volgens PvA Vermeld in Student opleidingsdocumenten Online sessie niet in rooster opgenomen Sommige studenten: vier onlinesessi e teveel Interview studenten Leraar 1 BPV bezoek en 4 online sessie a 60 min. uitgevoerd Interview leraar Bevoegde leraren Ja Ja 2e graads bevoegdheid Online sessies niet ingeroosterd/ geen rooster beschikbaar tijdens BPV Nee, niet in studiegids en opleidingsplan Ja, Met leraar onlinesessi e moment vastgestel d Ja, Per groep studenten onlinesessie moment 22

24 document en 4. Student, activiteite n zijn uitdagend en leerzaam Toename kwaliteit BPVbegeleiding waarbij nadruk op differentiatie en vaker sociaal contact leraar /student/student (onderling) Ja Ja, studenten leren door te horen hoe andere student probleem aanpakt Lesobserva tie Interview leerlingen 5. Registratie i.v.m. BPV geen rooster / Rapid registratie online 6. Gelijk of verbeterd leerrende ment 7. Aantoonbare differentia tie in leerproces sen 8. Contextrijk leren 9. Faciliteiten voldoende Toename leerrendement door online te anticiperen op leervraag en BPV inhoud Tijdens online sessie vindt differentiatie plaats In online sessie aansluiten op leervraag en BPV inhoud Ja Ja Ja Ja, verbeterd. Studenten hebben BPV gehaald, proeven afgerond. Tevreden over inhoud begeleidin g en leerrende ment Lesobserva tie Vragenlijst en interview student Ja Lesobserva tie Vragenlijst en Interview student Ja Lesobserva tie Vragenlijst student Nee, Internet problemen vastgestel d Ja, Tijdens online sessie wordt aangeslote n op BPV situatie Lesobserva tie en interview leraar Nee, niet in Rapid verwerkt Ja, studenten hebben BPV gehaald, proeven afgerond. Tijdens onlinesessi e leert men van elkaar Lesobserva tie Interview leraar Ja Lesobserva tie Vragenlijst leraar Ja Lesobserva tie Vragenlijst leraar Nee Internet problemen 23

25 voor uitvoering programma 10. Lerarente am is competent 11. Past bij strategische doelen Deltion College 12. Uitvoerbaar PvA aanwezig Voldoet aan Bot? Ja Documenten Ja Volgens PvA Ja Volgens Planning Nee In de uitvoering Nee binnen instelling binnen instelling Nee, 2 leraren deel genomen. Kolom twee van tabel 4 laat de doorlooptijd van de pilot zien. Dit is tien weken. Bij criterium 1 urennorm laat kolom twee zien dat in het plan van aanpak werd uitgegaan van twee f-2-f bezoeken en drie online begeleidingssessies van één klokuur in tien weken. Kolom drie en vier laten zien dat zowel in de planning als de uitvoering dit een f-2-f bezoek en vier onlinesessies van een klokuur waren. Volgens het plan van aanpak namen 12 studenten tegelijkertijd deel aan de onlinesessie. Kolom drie laat zien dat in de planning en uitvoering twee pilotgroepen van zes studenten geformeerd waren. Beide pilotgroepen werden door een leraar begeleid. Uit tabel 4 blijkt dat de pilot BPV-begeleiding online voldoet aan BOT criteria 2, 4, 6, 7 en 8. De uitvoerende leraar was pedagogisch didactisch verantwoordelijk en bekwaam, studenten ervaarden de activiteiten als uitdagend en leerzaam, het leerrendement bleek verbeterd, tijdens de onlinesessie werd gedifferentieerd en was sprake van een contextrijke leeromgeving. Uit kwalitatieve data uit interviews bleek dat studenten zeer tevreden waren over de onlinebegeleiding. Uit dezelfde data bleek tevens dat studenten reacties van andere studenten op hun eigen vraag leerzaam vinden. Uit interviews met studenten blijkt dat de leraar tijdens de onlinesessies aansloot op de leervraag van de student. Uit (beleids-)documenten (Deltion, 2014) blijkt dat de pilot past bij de strategisch doelen van het Deltion College en dat een uitvoerbaar PvA aanwezig was. Tabel 4 laat zien dat de pilot nog niet voldoet aan criteria 3, 5, 9 en 10. De onderwijsmethode was niet opgenomen in het onderwijsprogramma en de onderwijsdocumenten. Er had geen studentenregistratie plaatsgevonden en uit kwalitatieve data blijkt dat studenten regelmatig problemen hadden bij het inloggen. Studenten gaven aan dat niet alle (stage-)instellingen over een 24

26 makkelijk toegankelijke Wi-Fi beschikten. Voor criterium 10 geldt dat twee leraren de pilot hebben uitgevoerd. De onderste rij van tabel 4 laat zien dat deze pilot in de uitvoering nog niet geheel voldoet aan BOT. Dit heeft voornamelijk te maken met het pilotkarakter, waarbij na brede implementatie van de pilot wel aan BOT voldaan kan worden Kwaliteitsbeleving In de beantwoording van de vraag of de inzet van ICT de kwaliteit van het onderwijs in de beleving van de betrokken stakeholders (student/leraar/werkveld/ouders) beïnvloedt, is in onderstaande figuur 2 een factsheet weergegeven. Hierin wordt weergegeven wat de beleving van de parameter kwaliteit is door de studenten van de opleiding verpleegkunde. 25

27 Figuur 2. Factsheet kwaliteitsbeleving studenten opleiding VP voor pilotgroep en controle groep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 26

28 Aan het einde van de pilot had 77% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 4% hogere score aan. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 0,13 hoger dan de controlegroep aan het einde van de pilot. In de voormeting werd een vergelijkbaar beeld waargenomen. Aan het begin van de pilot had 85% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 6% hogere score aan. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 0,20 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de kwaliteit en de gemiddelde kwaliteitsbeleving zijn de waarden vergelijkbaar voor pilot- en controlegroep. De meerderheid van de studenten behorende bij de pilotgroep gaf in het interview aan dat zij de hoeveelheid gesprekken tijdens de pilot als positief ervaarden. Zo zegt een student: Ik vind dat je door Open SIM meer contact hebt met je leraar ( ) ten opzichte van gewone begeleiding ( ) en ik heb dat als prettig ervaren. Toch gaven de studenten behorende bij de controlegroep niet aan dat er behoefte is aan meer begeleidingsmomenten. Studenten uit de pilotgroep ervaarden de begeleiding in Open SIM als een goede toegevoegde waarde. Toch bleek er geen behoefte te zijn voor volledige vervanging van de fysieke eindevaluatie door begeleiding in Open SIM. Een student zei dat de leraar moet: kijken waar de student stage loopt, hoe het eruit ziet hier, moet voelen en ruiken. De pilotgroep was tevreden over de begeleiding van de leraar in het programma Open SIM. Over de gehanteerde werkvorm was de pilotgroep kritisch. Zo stelt een student: De context ( ) heeft totaal geen toevoegde waarde. Je bent alleen maar met die tekst bezig. Hiermee doelde de student op het gebruik van de avatar in de virtuele wereld en de chatfunctie van Open SIM. Studenten gaven daarnaast aan lang te moeten wachten tot iedereen zijn inbreng gedaan had in de chat. Een vorm van intervisie kwam hierdoor volgens de studenten van pilot- en controlegroep niet tot stand. De controlegroep beoordeelde de evaluatiemomenten op school niet direct leerzaam, maar was wel tevreden over de mogelijkheid voor het uitwisselen van ervaringen tussen studenten onderling. Zowel pilot- als controlegroep gaven aan moeite te hebben met het maken van afspraken. Bij de controlegroep bleek het lastig te zijn om een moment te plannen dat student, leraar en werkveldbegeleider een BPV-gesprek hadden. Bij de pilotgroep bleek het lastig te zijn om een moment te organiseren waarbij alle studenten in Open SIM aanwezig konden zijn. Daar komt bij dat 27

29 niet elke instelling Wi-Fi bleek te hebben, waardoor sommige studenten vanuit de stage naar huis moesten voor een begeleidingsgesprek in Open SIM. De begeleidende leraar was in het kader van kwaliteit zeer tevreden over de potentie van deze vorm van BPV-begeleiding, omdat het volgens haar past binnen de visie op leren van het opleidingsteam verpleegkunde. Zo stelde de leraar dat: samenwerkend leren een van de pijlers is waarvan wij denken dat ze goed kunnen leren. Daarnaast voorziet deze begeleidingsvorm in een behoefte om een hogere kwaliteit te leveren in minder inzeturen van onderwijspersoneel. Wel vergt het programma een gedegen training van student, en ook vooral van de leraar. Laatstgenoemde moest veel investeren in het contact maken met de student, om de chat inhoudelijk meer diepgang te geven. De leraar waardeerde het leerrendement van de pilotgroep hoger en kon dit aantonen door de geschreven chatsessies, welke opgeslagen konden worden door student en leraar. Bij de controlegroep werden wel evaluatieformulieren ingevuld, maar ontstond er geen gestructureerd en formeel gesprek tussen leraar en student en studenten onderling, waardoor het leerrendement ongewis bleef. Om de kwaliteitsbeleving van het werkveld te meten zijn vragenlijsten opgestuurd naar de werkveldbegeleiders. Er werden twee ingevulde vragenlijsten geretourneerd. Een van de werkveldbegeleiders beschreef dat zij niet op de hoogte was van de pilot waaraan de student deel had genomen. Tevens beschreef diezelfde werkbegeleider dat er in 10 weken tijd geen contact is geweest met een leraar van de opleiding VP. Studenten gaven aan dat het werkveld onvoldoende was geïnformeerd over deze pilot. Daarnaast, en wellicht hierdoor, bestond er ontevredenheid over de BPV-begeleiding van het Deltion College, wat ook zijn weerslag had op de tevredenheid van de student op dit vlak. De beoordelingen van de stages van de studenten VP werden niet in cijfers uitgedrukt. Alle studenten van zowel pilot- als controlegroep hebben de stage als voldoende afgesloten Effectiviteit Tabel 5 geeft de effectiviteit betreffende de leraar-inzettijd van de pilot aan. In de eerste drie kolommen staat de activiteit, frequentie en leraar-inzettijd bij reguliere BPV-begeleiding. De volgende drie kolommen geven de activiteit, frequentie en leraar-inzettijd volgens het plan van aanpak aan. Te zien is hoeveel leraar-inzettijd er volgens het plan van aanpak voor de BPVbegeleiding van één student en drie onlinesessies staat. De laatste drie kolommen geven de daadwerkelijke leraar-inzettijd in de uitvoering aan. In de onderste rij van tabel 5 is een overzicht gegeven van de leraren-inzettijd voor 10 weken volgens in de reguliere situatie, volgens het plan van aanpak en in de uitvoering. 28

30 Tabel 5. Inzet leraar-inzettijd pilot BPV online begeleiding Activiteit en frequentie regulier BPV 10 weken BPVbegeleiding = 2 bezoeken* / student / 4 uur Inzettijd leraar Regulier Planning Regulier 12 studenten 2 BPV bezoeken begeleiding / 4 uur Regulier 10 weken 12 x 4 uur* = 48 uur Activiteit en frequentie volgens PvA 1 x 12 BPV bezoeken* 3 onlinesessies a 3 uur / 12 studenten groep / 1 leraar*** 48 uur Inzettijd leraar PvA Planning PvA 1 x 12 x 2 uur* Totaal 10 weken Activiteit en frequentie uitvoering 24 uur 1 x 12 BPV bezoeken* 3 x 1 uur 3 uur 4 onlinesessies** / 6 studenten groep/ 2 groepen / 2 leraren 27 uur Inzettijd leraar uitvoering Uitgevoerd 1 x 12 x 2 uur 4 x 1 uur x2 groepen Uitgevoerd 10 weken 24 uur 8 uur 32 uur * Reguliere inzet leraar BPV-begeleiding / student = 4 uur. **: 1 BPV bezoek / student = 2 uur. ***: Lerarentijd één online sessie / 1 groep/ één leraar (6 studenten) incl. voorbereidingstijd = 1 uur. Uit tabel 5 blijkt uit de eerste drie kolommen dat de reguliere leraar-inzettijd 4 uur per student/10 weken was. De leraar-inzettijd bij reguliere BPV-begeleiding voor 12 studenten / 10 weken was 48 uur. De tweede reeks van drie kolommen laat zien dat volgens het plan van aanpak de leraar-inzettijd 27 uur was geworden. De laatste drie kolommen geven de leraar-inzettijd in de uitvoering aan. Dit bleek 32 uur te zijn. In tabel 5 valt op dat tijdens de pilot de effectiviteit betreffende de leraar-inzettijd is toegenomen. Ten opzichte van de regulier BPV is de leraar-inzettijd gedaald van 48 uur naar 32 uur. In die uren kon de leraar meer begeleiding geven, doordat de reistijd verminderde doordat de begeleiding voor het grootste gedeelte op afstand plaats vond. Voor wat betreft de lokalen-inzettijd heeft de controlegroep eenmaal tijdens de tussenevaluatie een lokaal gebruikt. Voor de pilotgroep was dit niet nodig Motivatie In de beantwoording van de vraag of de inzet van ICT de motivatie van de betrokken studenten en leraren beïnvloedt, is in onderstaande figuur 3 een factsheet weergegeven. In dit figuur wordt weergegeven wat de beleving is voor de parameter motivatie door de studenten VP. 29

31 Figuur 3. Factsheet motivatie studenten opleiding VP voor pilotgroep en controle groep. A. Postmeting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 30

32 Aan het einde van de pilot had 86% van de ondervraagde studenten van de pilotgroep een positief oordeel over de motivatie. De controlegroep scoorde gelijk. Kijkend naar de gemiddelde motivatie (schaal van 1 tot 5) dan scoorde de pilotgroep gelijk aan de controlegroep aan het einde van de pilot. In de voormeting werd een vergelijkbaar beeld waargenomen. Aan het begin van de pilot had 94% van de ondervraagde studenten van de pilotgroep een positief oordeel over de motivatie. De controlegroep scoorde gelijk. Kijkend naar de gemiddelde motivatie (schaal van 1 tot 5) dan scoorde de pilotgroep 0,15 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de motivatie en de gemiddelde motivatie blijken de delta-waarden vergelijkbaar voor pilot- en controlegroep. Zowel pilot- als controlegroep gaven in het interview aan dat het fijn was om elkaars ervaringen te delen tijdens bijeenkomsten. Als negatieve invloed op de motivatie gaf de pilotgroep het late tijdstip aan van de Open SIM sessies. De controlegroep had de stage niet als uitdagend ervaren, aangezien de stage als niet moeilijk was ervaren. Voor de leraar bleek deze vorm van BPV-begeleiding zeer motiverend. Zo zegt de leraar dat de pilot met BPV-begeleiding via Open SIM haar geeft: Het lef om te denken, ik ga het gewoon doen. ( ) Het geeft lol in mijn werk en we komen samen verder Opbrengstgericht werken Eén van de kernpunten van de stage was voor de student de rolduidelijkheid behorende bij de stap van niveau 3 naar niveau 4. De leraar gaf aan dat dit doel niet specifiek was beschreven. De studenten moesten de proeven van bekwaamheid opnieuw doen, alleen op een ander niveau. Studenten uit de controlegroep hadden aangegeven dat deze stage erg leek op de voorgaande niveau 3 stage, wat de motivatie negatief beïnvloedde. Over het evalueren van het behalen van doelstellingen bij de pilotgroep zei de leraar: Ik wacht op jullie rapport, want ik zie die student niet meer, alleen bij de eindevaluatie. In de laatste chat heb ik het niet gedaan. Hieruit blijkt dat de betrokken leraar niet de volledige cyclus van PDCA doorloopt Betrokkenheid In de beantwoording van de vraag of de inzet van ICT de betrokkenheid van de studenten en leraren beïnvloedt, is in onderstaande figuur 4 een factsheet weergegeven. In deze figuur wordt weergegeven wat de beleving is voor de parameter betrokkenheid door de studenten VP. 31

33 Figuur 4. Factsheet betrokkenheid studenten opleiding VP voor pilotgroep en controle groep. A. Postmeting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 32

34 Aan het einde van de pilot had 61% van de ondervraagde studenten van de pilotgroep een positief oordeel over de betrokkenheid. De controlegroep gaf een 16% lagere score aan. Kijkend naar de gemiddelde betrokkenheid (schaal van 1 tot 5) dan scoorde de pilotgroep 0,29 hoger dan de controlegroep aan het einde van de pilot. In de voormeting lijken de verschillen tussen pilot- en controlegroep kleiner. Aan het begin van de pilot had 73% van de ondervraagde studenten van de pilotgroep een positief oordeel over de betrokkenheid. De controlegroep gaf een 5% hogere score aan. Kijkend naar de gemiddelde betrokkenheid (schaal van 1 tot 5) dan scoorde de pilotgroep 0,20 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de betrokkenheid en de gemiddelde betrokkenheid zijn de waarden gedaald voor pilot- en controlegroep gedurende de pilot. Het percentage studenten dat positief was over de kwaliteit bleek voor controlegroep meer gedaald in vergelijking tot de pilotgroep. Naast de reistijd van de leraar was ook het ervaren sociale isolement van de student tijdens de stageperiode aanleiding van deze pilot. De student werd aan het einde van de stage met één item bevraagd naar het ervaren sociale isolement. Zowel de controlegroep (M: 1.70, SD: 0,80) als de pilotgroep (M: 2,09, SD: 0,92) ervaarden geen sociaal isolement. Over de betrokkenheid bij de leerstof was veel onduidelijkheid bij de studenten, omdat niet expliciet duidelijk was wat daarmee werd bedoeld. De betrokkenheid van de student bij de Open SIM sessie was er niet altijd, aangezien de studenten tijdens de chat heel vaak ook nog wat anders deden. Aangezien de studenten van zowel pilot- als controlegroep nog geen kennis hadden gemaakt met elkaar voorafgaand aan de stage, werd de betrokkenheid bij het onderwijs laag gewaardeerd. De betrokkenheid van de leraar bij de pilot was hoog te noemen. Dit blijkt onder andere uit de volgende uitspraak: Mensen weten dat ik hiermee bezig ben geweest. ( ) En als het filmpje klaar is, ga ik een terugkoppeling geven aan het team op eigen initiatief Differentiatie In de beantwoording van de vraag in hoeverre differentiatie mogelijk wordt geacht, is in onderstaande figuur 5 een factsheet weergegeven. In deze figuur wordt weergegeven wat de beleving is voor de parameter differentiatie door de studenten VP. 33

35 Figuur 5. Factsheet beleving differentiatie studenten opleiding VP voor pilotgroep en controle groep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 34

36 Aan het einde van de pilot had 86% van de ondervraagde studenten van de pilotgroep een positief oordeel over de beleefde differentiatie. De controlegroep gaf een 7% lagere score aan. Kijkend naar de gemiddelde differentiatie (schaal van 1 tot 5) dan scoorde de pilotgroep 0,22 hoger dan de controlegroep aan het einde van de pilot. In de voormeting lijken de verschillen tussen pilot- en controlegroep kleiner. Aan het begin van de pilot gaf 89% van de ondervraagde studenten van de pilotgroep een positief oordeel over de differentiatie. De controlegroep gaf een 2% hogere score aan. Kijkend naar de gemiddelde beleving van differentiatie (schaal van 1 tot 5) dan scoorde de pilotgroep 0,11 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de differentiatie en de gemiddelde differentiatie bleken de waarden vergelijkbaar voor pilot- en controlegroep. Het percentage van de studenten die een positief oordeel gaven is iets sterker gedaald bij de controlegroep dan bij de pilotgroep. Studenten gaven aan dat differentiatie op leerdoel en tempo mogelijk was tijdens de stageperiode (voor de pilotgroep en de controlegroep). In het kader van differentiatie op studentniveau werd het feit dat de relatie tussen leraar en student zeer pril was bij aanvang van de stage aangehaald. Ook de leraar gaf aan dat de namen van studenten niet altijd bekend waren en dat ze deze ook beter kan onthouden in real live dan via Open SIM. Hierdoor kon de leraar in Open SIM de studenten onderling niet van elkaar onderscheiden. Over de mogelijkheden die het programma Open SIM biedt op het gebied van differentiatie was de leraar zeer tevreden. Zo kon gebruik gemaakt worden van verschillende opdrachten, waaronder een discussie over een Loesje-spreuk die in de virtuele omgeving werd opgehangen. 4.2 Pilot 2 opleiding ICT: Lessen op afstand BOT Tabel 6 geeft aan hoe de pilot Lessen op afstand scoort op de 12 criteria van BOT. In kolom één staat een korte omschrijving van deze 12 criteria. In kolom twee is te zien hoe de pilot volgens het plan van aanpak uitgevoerd diende te worden. Kolom drie geeft aan of de pilot gepland is volgens het plan van aan pak. Kolom vier geeft aan hoe de pilot is uitgevoerd. Kolom vier is onderverdeeld in vier sub-kolommen. De data in de sub-kolommen is afkomstig van de roosterplanner, opleidingsdocumenten, studenten en leraar, naar aanleiding van hun ervaringen in de pilot. De onderste rij van tabel 6 vat samen of de uitvoering van de pilot voldoet aan BOT 35

37 Tabel 6. De 12 criteria BOT pilot Lessen op afstand 12 Criteria BOT PvA Deltion college 1. Urennorm 10 weken 6 klokuren online/ 10 weken 1 dag minder op school / 1000 uur (1e jrs) 2. Leraar pedagogis chdidactisch verantwoo rdelijk en bekwaam 3. Opgenom en in onderwijs programma en onderwijs documenten 4. Student, activiteiten zijn uitdagend en leerzaam Bevoegde leraren Gepland volgens PvA Nee Lesuren (45 min.) i.p.v. klokuren (60 min.) Ja 36 Volgens planner Nee, Lesuren i.p.v. klokuren geroosterd, 2 lesuren (1les) uitgevallen Ingeroosterd Uitgevoerd volgens PvA Vermeld in Student opleidingsdo cumenten Ingeroosterd Nee, niet in studiegids & opleidingsplan Lessen ingeroosterd Interview student Lessen ingeroosterd Ja Lesobservati e Vragenlijst Interview Leraar Lessen ingeroosterd, 1 x 2 lesuren uitgevallen. Interview leraar Ja 2e graads bevoegdheid Lessen ingeroosterd 5. Registratie Ja Rapid 6. Gelijk of verbeterd leerrende ment Nee Cijfers pilotgroep lager (3 toetsen op 1 dag gepland) Nee Cijfers pilotgroep lager 7. Aantoonbare differentia tie in leerproces sen 8. Contextrijk leren 9. Faciliteiten Ja Lesobservatie Vragenlijst en Interview student Ja Lesobservatie Vragenlijst en interview student Ja Observatie Ja Lesobservatie Vragenlijst leraar Ja Lesobservatie Vragenlijst leraar Ja Observatie

38 voldoende voor uitvoering programma 10. Lerarente am is competent 11. Past bij strategisc he doelen Deltion College 12. Uitvoerbaar PvA aanwezig Voldoet aan Bot? Ja Documenten Ja Volgens PvA Ja Volgens Planning nee In de uitvoering Nee Vragenlijst en Interview student Vragenlijst en Interview leraar Nee, 3 leraren deel genomen. Kolom twee van tabel 6 laat de doorlooptijd van de pilot zien. Dit is tien weken. Bij criterium 1 urennorm laat kolom twee zien dat in het plan van aanpak wordt uitgegaan van zes klokuren per week gedurende tien weken. Dit was conform de lestijd in de reguliere situatie. Kolom drie en vier laten zien dat zowel in de planning als de uitvoering de klokuren lesuren zijn geworden. Uit kolom vier blijkt dat in de laatste week twee lesuren zijn vervallen. Vanuit een les-observatie bleek dat de leraar de laatste les door zijn lesstof heen was. Tabel 6 laat zien dat de pilot voldoet aan BOT criteria 2, 4 en 5, 7, 8 en 9. De lessen werden gegeven door een pedagogisch didactisch verantwoordelijk en bekwaam leraar, lesactiviteiten waren uitdagend en leerzaam en tijdens de lessen op afstand werden de studenten geregistreerd. Uit het interview met de leraar blijkt dat er sprake is van gedifferentieerd onderwijs. De leraar sloot aan op vragen van studenten. Indien nodig gaf de leraar één op één extra uitleg aan een student. De overige studenten werden in dit geval voor korte tijd gemute. Dit betekende dat zij door de leraar even buiten het gesprek geplaatst werden. Hierdoor kon de leraar in alle rust extra uitleg geven aan de desbetreffende student. In de pilot was sprake van contextrijk leren en de faciliteiten bleken voldoende voor de uitvoering van het programma. De lessen op afstand werden in een speciale ruimte gegeven. De leraar had meerdere beeldschermen tot zijn beschikking. Voorafgaand aan de pilot had de leraar samen met de studenten de benodigde vaardigheden voor Lessen op afstand geoefend. Voor criteria 11 en 12 is in kolom twee te zien dat deze voldoen aan BOT. Documenten toonden aan dat deze pilot paste bij de strategische doelen van het Deltion College. Er was een uitvoerbaar plan van aanpak aanwezig. 37

39 In tabel 6 valt op dat criterium 6 Gelijkblijvend of verbeterd leerrendement negatief scoort. Het bleek dat studenten van de pilotgroep drie toetsen op één dag hadden. Hierdoor zijn volgens studenten en leraar de toets-cijfers lager van de pilotgroep. Tabel 6 laat zien dat de pilot nog niet voldoet aan BOT criterium 3 Opgenomen in onderwijs programma en onderwijsdocumenten en criterium 10 Lerarenteam is competent. De onderste rij van tabel 5 laat zien dat deze pilot nog niet geheel voldoet aan BOT. Dit heeft voornamelijk te maken met het pilotkarakter, waarbij na brede implementatie van de pilot wel aan BOT voldaan kan worden Kwaliteitsbeleving In de beantwoording van de vraag of de inzet van ICT de kwaliteit van het onderwijs in de beleving van de betrokken stakeholders (student/leraar/ouders) beïnvloedt, is in onderstaande figuur 7 een factsheet weergegeven. Hierin wordt weergegeven wat de beleving van de parameter kwaliteit is door de studenten van de opleiding ICT. 38

40 Figuur 7. Factsheet kwaliteitsbeleving studenten opleiding ICT voor pilotgroep en controle groep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 39

41 Aan het einde van de pilot had 95% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 11% lagere score aan. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 0,62 hoger dan de controlegroep aan het einde van de pilot. In de voormeting werd een vergelijkbaar beeld waargenomen. Aan het begin van de pilot had 97% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 11% lagere score aan. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 0,50 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de kwaliteit en de gemiddelde kwaliteitsbeleving zijn de waarden gelijk gebleven voor pilot- en controlegroep. In de interviews gaven de studenten van de pilotgroep aan dat de lessen op afstand hoog gewaardeerd werden doordat de student altijd eerste rang zit. Zo stelde een student: Het is ook zo dat, via digitaal les staat de leraar veel meer centraal. ( ) Je volgt de leraar veel beter. Daarnaast was de verminderde reistijd van positieve invloed op de kwaliteitsbeleving. Vooral het langer slapen in de ochtenduren werd zeer gewaardeerd. Een student stelde; Meer slapen, geconcentreerder en dus betere resultaten. Toch bleek één dag afstandsonderwijs voldoende voor de pilotgroep en hoefde de hoeveelheid lesdagen niet te worden uitgebreid voor een hogere kwaliteitsbeleving. Ook de controlegroep was positief over de kwaliteit, aangezien de lessen als leerzaam werden beschouwd. Het verschil in de kwaliteitsbeleving tussen pilot- en controlegroep was voornamelijk te wijten aan het feit dat de pilotgroep uitverkoren was om deze speciale didactiek te ontvangen en de controlegroep de lessen waardeerde als: het is een gewone les. De leraar was zich bewust van zijn grote invloed op de kwaliteitsbeleving van de student van zijn lessen. Met diverse werkvormen tijdens de lessen op afstand daagde hij de studenten uit mee te doen met de les en bewaakte hij de veiligheid, zodat een ieder antwoorden kan en mag. De leraar zei hierover: Dat je moet denken van, wat heb ik te vertellen, hoe kan ik het aanbieden en interessant krijgen en dat blijft een moeilijk spel, want ( ) het zijn best wel technische (les)onderwerpen en dat heeft niet altijd de interesse van alle studenten, omdat ze niet altijd weten wat het inhoudt. Ondanks dit gegeven stelde de leraar: Met afstandsleren kan ik gewoon prima een klas een mooie les verzorgen ( ) kan ik mooi zien of iemand meedoet of niet. Die laptop, waar je in de klas weinig mee kunt doen, die daar meer voor afleiding zorgt, wordt dan een toevoeging, die heb je voor afstandsleren keihard nodig. De leraar beoordeelde in het interview het kennisniveau van de controlegroep als hoger, maar had een betere klik met de pilotgroep, die tevens zijn mentorklas was. 40

42 Aan het einde van de pilot had 69% van de ondervraagde ouders van de studenten uit de pilotgroep een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 12% hogere score aan. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep gelijk aan de controlegroep aan het einde van de pilot. In onderstaande figuur 8 wordt weergegeven wat de beleving is van de parameter kwaliteit door de ouders van de studenten ICT. Figuur 8. Factsheet kwaliteitsbeleving ouders van studenten opleiding ICT voor pilotgroep en controle groep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. Ouders van de studenten van de pilotgroep gaven driemaal op de vragenlijst aan dat zij geen beeld hadden van de aangeboden lessen, aangezien ze zelf tijdens die lessen van hun kinderen buitenshuis aan het werk waren. Hierdoor werden veel vragen ingevuld met score 3. In onderstaande figuur 9 worden de cijfers weergegeven van de beoordeling van de toets teledatacommunicatie in voor- en nameting van de studenten ICT. 41

43 Figuur 9. Toets-cijfers van studenten voor vak teledatacommunicatie opleiding ICT. A. Gemiddelde score herkansing. B. Gemiddelde score postmeting. C. Gemiddelde score pre-meting. Aan het einde van de pilot scoorde de controlegroep hoger dan de pilotgroep. Dit werd veroorzaakt door de drie toetsen die op een dag werden gegeven aan de pilotgroep. Opvallend is het lage gemiddelde cijfer in beide groepen voor de eerste twee toetsen. De controlegroep scoorde aan het begin van de pilot ook al iets hogere cijfers Effectiviteit Tabel 7 geeft de effectiviteit betreffende de (bespaarde) lokaal-inzettijd tijdens de pilot aan. In de eerste drie kolommen van tabel 7 zijn de activiteit en frequentie volgens het plan van aanpak opgenomen. De laatste drie kolommen geven de bespaarde lokaal-inzettijd in de uitvoering aan. In de onderste rij van tabel 7 is de bespaarde lokaal-inzettijd gedurende tien weken volgens het plan van aanpak en in de uitvoering te zien. 42

44 Tabel 7. Inzet lokalen pilot Lessen op afstand Activiteit en frequentie volgens PvA Planning volgens PvA Planning PvA 10 weken Activiteit en frequentie uitvoering Uitgevoerd Uitgevoerd 10 weken 10 weken 1 dag /week 6 klokuren online les Besparing Inzettijd lokaal PvA 6 uur / dag / 1 dag per week 10 x 6 klokuren 9 x 1 dag / week a 6 lesuren* online les + 1 x 4 lesuren online les 60 uur Besparing Inzettijd lokaal uitvoering 9x270 min.+ 1 x 180 min 2610 min. = 43,5 klokuren (43 uur30 min) 43 uur 30 minuten Noot. * Lesuur is 45 minuten. Kolom 1 van tabel 7 laat zien dat in het plan van aanpak is uitgegaan van zes klokluren per week. Uit de laatste drie kolommen blijkt dat in de uitvoering lesuren in plaats van klokuren zijn gegeven. De onderste rij van tabel 7 laat een aanzienlijk verschil zien tussen de verwachte- en gerealiseerde besparing lokaal-inzettijd. De verwachting was dat de pilot 60 uur lokaal-inzettijd zou opleveren. In de uitvoering blijkt dit 43 uur te zijn. Ten opzichte van de reguliere lokaal-inzettijd waarbij de groep op school les kreeg bleek uit de data dat de pilot een besparing van 43 lokaalinzettijd had opgeleverd. De leraar-inzettijd was gelijk voor de pilot- en controlegroep Motivatie In de beantwoording van de vraag of de inzet van ICT de motivatie van de betrokken studenten en leraren beïnvloedt, is in onderstaande figuur 10 een factsheet weergegeven. In dit figuur wordt weergegeven wat de beleving is voor de parameter motivatie bij de studenten ICT. 43

45 Figuur 10. Factsheet motivatie studenten opleiding ICT voor pilotgroep en controle groep. A. Postmeting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 44

46 Aan het einde van de pilot had 95% van de ondervraagde studenten in de pilotgroep een positief oordeel over de motivatie. De controlegroep gaf een 15% lagere score aan. Kijkend naar de gemiddelden dan scoorde de pilotgroep 0,56 hoger dan de controlegroep aan het einde van de pilot. Aan het begin van de pilot een vergelijkbaar beeld. 94% van de ondervraagde studenten van de pilotgroep hadden een positief oordeel over de motivatie. De controlegroep gaf een 25% lagere score aan. Kijkend naar de gemiddelde motivatie (schaal van 1 tot 5) dan scoorde de pilotgroep 0,83 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Het percentage studenten dat een positief oordeel gaf over de motivatie is gedurende de lesperiode voor de pilotgroep gelijk gebleven, maar voor de controlegroep toegenomen. Een vergelijkbaar beeld werd gevonden voor de gemiddelde waarde. Wellicht was er bij de pilotgroep sprake van een plafond-effect: De studenten scoren van begin af aan bijzonder hoog op de parameter motivatie. Tijdens de interviews gaven studenten van de pilotgroep aan dat de motivatie werd verhoogd door de hogere mate van comfort thuis en het later opstaan. De studenten in de controlegroep gaven aan dat er in periode drie een keuze gemaakt moest worden tussen een vervolg richting applicatieontwikkelaar of netwerkbeheerder. Indien de student voor de eerstgenoemde koos, paste de les teledatacommunicatie minder bij het interessegebied van de student. Dit had gevolgen voor de motivatie van de student. Opvallend was dat de pilotgroep hier niets over heeft gemeld. In het interview met de controlegroep stelden deze studenten dat een nieuwe manier van onderwijs motiverend kon zijn, omdat het nieuw is. De motivatie van de leraar zat voornamelijk in het feit dat de leraar leerde van de pilotlessen op afstand. Hij stelde: Het leuke is dat je kritisch naar jezelf wordt, waardoor ook je normale lessen beter worden. Opvallend is hierbij het genoemde gegeven dat meerdere lessen over de gehele breedte, ongeacht werkvorm, door het experimenteren met didactiek verbeteren kunnen Opbrengstgericht werken De betrokken leraar was volgens de studenten zeer nieuwsgierig naar de resultaten en vroeg vaak naar de ervaringen van studenten na de lessen op afstand. Toch kan van een volledige cyclus van PDCA niet gesproken worden want de leraar stelde: Niet echt een doel. Niet dat ik het expliciet opschrijf, maar dat doe je automatisch wel. Met het ontbreken van een concrete doelstelling per les is het tevens duidelijk dat voornamelijk de beleving van de didactiek wordt geëvalueerd en niet het behalen van de lesdoelen, aangezien die lijken te ontbreken. 45

47 4.2.6 Betrokkenheid Voor de beantwoording van de vraag of de inzet van ICT de beleving van betrokkenheid van de studenten ICT beïnvloedt, zijn de resultaten in onderstaande figuur 11 als factsheet weergegeven. 46

48 Figuur 11. Factsheet betrokkenheid studenten opleiding ICT voor pilotgroep en controle groep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 47

49 Aan het einde van de pilot had 47% van de ondervraagde studenten een positief oordeel over de betrokkenheid. De controlegroep gaf een 20% lagere score aan. Kijkend naar de gemiddelden dan scoorde de pilotgroep in de nameting 0,46 hoger dan de controlegroep. Deze verschillen waren in de voormeting vergelijkbaar: Aan het begin van de pilot had 59% van de ondervraagde studenten een positief oordeel over de betrokkenheid. De controlegroep gaf een 23% lagere score aan. Aan het begin van de pilot scoorde de pilotgroep 0,64 hoger dan de controlegroep. De gemiddelde betrokkenheid scoorde in voor en nameting, voor pilot en controlegroep onder de 3 (schaal van 1 tot 5). Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de betrokkenheid en de gemiddelde betrokkenheid bleken de waarden vergelijkbaar gedaald voor pilot- en controlegroep. De betrokkenheid bij het onderwijs was laag volgens pilot- en controlegroep. Zo stelden de studenten in de pilotgroep dat de leraar zelf zijn onderwijskwaliteit wel kan beoordelen en dat daarbij de hulp van de klas niet nodig was. De betrokkenheid bij de lesstof daarentegen werd door de pilotgroep anders beleefd. Een student stelde in dit kader dat: met digitaal les, komt veel meer eigen verantwoordelijkheid erbij kijken. Je wordt natuurlijk wel gecontroleerd, maar of je tijdens de les ook echt actief meedoet bepaal je zelf. In een klas, je kan niet zomaar weglopen. Maar in een virtual classroom, je kunt gemakkelijk afgeleid raken. Natuurlijk, je kunt achter je laptop door nog op je telefoon zitten, maar in de klas kan dat ook. Diezelfde student vertelde tevens dat de betrokkenheid werd verhoogd, doordat: Als in een klas zit en iedereen loopt door elkaar heen te schreeuwen, dan kan de leraar wel zeggen dat iedereen stil moet zijn, maar dat wordt dan tien, twintig keer gezegd en in een online groep wordt iedereen gemute en die leraar gaat uitleggen. Zo simpel is het. De leraar vond het zeer belangrijk dat de studenten in de pilotgroep betrokken werden bij de leerstof. Hij zei hierover: Je moet zorgen dat je een mooi stuk verhaal hebt, een goed stuk verhaal, met genoeg afwisseling tussen vertellen, opdrachten, enzovoort. Dat moet eigenlijk elke les, Maar bij online les vind ik het heel belangrijk, want dat is de kans misschien groter dat de student is afgeleid, dat je hem kwijt raakt. Verder was de betrokkenheid bij het onderwijs van de leraar groot. Hij had al meerdere collega s bij de pilot weten te betrekken Reistijd In onderstaande figuur 12 wordt de gemiddelde reistijd weergegeven van de studenten ICT. 48

50 Figuur 12. Gemiddelde reistijd enkele reis student opleiding ICT zoals aangegeven in interviews (in minuten; alleen post-meting. De reistijd van de pilotgroep was op reguliere een lesdag op school langer dan die van de controlegroep. De pilotgroep had een gemiddelde reistijd enkele reis van 65,60 minuten. De controlegroep heeft een gemiddelde reistijd enkele reis van 24,40 minuten. Om belasting van reistijd en aantrekkelijkheid van de opleiding ICT te verbinden aan de reistijd gaven studenten van de pilotgroep in een interview aan dat de tijd van het reizen nu besteed kon worden aan slapen en huiswerk. Hiermee werd de opleiding en het geboden onderwijs aantrekkelijker volgens de studenten. Zo stelde een student uit de pilotgroep: Stel je zit op school en je bent 12:30 klaar. Dan moet je dus nog een poos fietsen, of met de bus en ben je 13:30 thuis. Met die thuisles ben je 12:30 uur klaar, dan ga je al het huiswerk van die les maken en dan ben je voor 13:30 uur klaar. Ook droegen studenten een financieel aspect aan, want nog niet iedereen was in het bezit van een OV jaarkaart. 4.3 Pilot 3 opleiding Tandartsassistent: Thuislessen BOT Tabel 8 geeft aan hoe de pilot BPV-begeleiding online scoort op de 12 criteria van BOT. In kolom één staat een korte omschrijving van deze 12 criteria. In kolom twee is te zien hoe de pilot volgens het plan van aanpak uitgevoerd diende te worden. Kolom drie geeft aan of de pilot gepland is volgens het plan van aan pak. Kolom vier geeft aan hoe de pilot is uitgevoerd. Kolom vier is onderverdeeld in vier sub-kolommen. De data in de sub-kolommen is afkomstig van de roosterplanner, opleidingsdocumenten, studenten en leraar, naar aanleiding van hun ervaringen in de pilot. De onderste rij van tabel 8 vat samen of de uitvoering van de pilot voldoet aan BOT. 49

51 Tabel criteria BOT pilot Thuisles 12 Criteria BOT PvA Deltion college 1. Urennorm 1000 uur 1 e jr/ hiervan 2 klokuren (120 min.)/ week thuis les. Eerst voorbereidende les op school, daarna online in groepjes werken aan opdracht / 50 studenten (groepjes van 6)/ 1 leraar 5. Registratie 6. Gelijk of verbeterd leerrende ment Gepland volgens PvA Nee Groep van 50 studenten is verdeeld in 2 groepen /25 studenten Pilot en controlegroep 50 Uitgevoerd volgens PvA Volgens rooster planner Vermeld in opleidingsdo cumenten Student Op rooster 10 weken 2 klokuren online les Ingeroosterd Ingeroosterd Interview student Leraar Lessen ingeroosterd Pilotgroep verdeeld over 4 groepjes Lessen ingeroosterd Lesobservatie Interview leraar Bevoegde leraren Ja Ja 2 e graads bevoegdheid Volgende dag wordt inhoudelijk vervolg aan thuisles gegeven door een verdiepingsles Nee, Studenten kregen voor de online les een voorbereidende les. Ingeroosterd Nee, niet in studiegids en opleidingsplan Ja Ingerooste rd Nee, Studenten matig tevreden over opdracht: website bouwen /studenten werken liever op school (f-2-f) samen Interview student Ja Lesobserva tie Nee, opdracht Ja Ingeroosterd Ja, Opdracht sluit aan bij beroepscom petentie 2. Leraar pedagogis ch-didactisch verantwoo rdelijk en be-kwaam 3. Opgenom en in onder-wijs programma en onder-wijs document en 4. Student, activiteite n zijn uitdagend en leerzaam Lesobservatie Interview leraar Ja, Rapid Lesobservati e Ja, Resultaten theorietoets gelijk

52 7. Aantoonbare differentia tie in leerproces sen 8. Contetrijk leren 9. Faciliteiten voldoende voor uitvoering programma 10. Lerarente am is competent 11. Past bij strategisc he doelen Deltion College 12. Uitvoerbaar PvA aanwezig Voldoet aan Bot? Ja Documenten Ja Volgens PvA Ja Nee, 50 studenten / 1 leraar te veel Interview leraar Volgens Planning Nee In de uitvoering Nee volgens hen niet relevant Interview student Ja Lesobserva tie Vragenlijst en Interview student Ja Lesobserva tie Vragenlijst student Ja Observatie Vragenlijst Interview student Ja, aanvullende opdracht voor goede studenten Lesobservatie Vragenlijst en interview leraar Ja Lesobservatie Vragenlijst leraar Ja Observatie Vragenlijst en Interview leraar Nee, 1 leraar deel genomen. Kolom twee van tabel 8 laat de doorlooptijd van de pilot zien. Dit is tien weken. Bij criterium 1 urennorm laat kolom twee zien dat in het plan van aanpak gedurende tien weken wordt uitgegaan van twee klokuren per week. Dit was conform de lestijd in de reguliere situatie. Kolom drie en vier laten zien dat betreffende de lestijd zowel in de planning als de uitvoering er geen wijzigingen zijn. De thuisles duurde net zolang als in een reguliere lessituatie het geval zou zijn. Kolom twee geeft aan dat volgens het plan van aanpak studenten voorafgaand aan de thuisles een voorbereidings-les op school volgden. Deze les werd in de reguliere situatie gegeven. 51

53 Tijdens deze les zaten de controle- en pilotgroep ieder in een eigen leslokaal. Volgens het plan van aanpak volgden 50 studenten tegelijkertijd een thuisles. Kolom drie laat zien dat dit in de planning en uitvoering is gewijzigd. In plaats van 50 studenten hebben 25 studenten tegelijkertijd aan de thuisles deelgenomen (pilotgroep). De andere 25 studenten hadden het reguliere onderwijs gevolgd (controlegroep). Tabel 8 laat zien dat de pilot voldoet aan criteria 2, 5, 7, 8, 9, 11 en 12. De lessen werden gegeven door een pedagogisch didactisch verantwoordelijk en bekwaam leraar, de studenten werden geregistreerd, tijdens de thuisles werd gedifferentieerd en was er sprake van contextrijk leren. De faciliteiten waren voldoende om het programma uit te voeren, de pilot paste bij de strategische doelen van het Deltion College en er was een uitvoerbaar plan van aanpak aanwezig. Vanuit het interview gaf de leraar aan dat de thuisles uitging van de beroepspraktijk. Zij sloot aan op vragen van leerlingen. Voor de snelle leerlingen had de leraar een extra opdracht gemaakt. Bij criterium 4 activiteiten zijn uitdagen en leerzaam en 6 gelijk of verbeterd leerrendement valt op dat deze criteria door student en leraar verschillend zijn gescoord. Kwalitatieve data tonen aan dat studenten matig tevreden waren over de opdracht. Studenten moesten een informatieve website maken voor cliënten van een tandartspraktijk. Veel studenten vonden dit een nutteloze activiteit en vonden dit niet uitdagend en leerzaam. Studenten vonden de opdracht niet aansluiten bij hun opleiding. De betrokken leraar dacht hier anders over. Kolom vier laat bij criterium 6 Leerrendement zien dat student en leraar hierin verschillen. Uit de interviews met de studenten bleek dat zij onder leerrendement verstaan wat zij tijdens de opdracht leerden. De leraar ging uit van de toets-cijfers. Uit tabel 8 blijkt dat de pilot nog niet voldoet aan criteria 3 en 10. Documentonderzoek toont aan dat het onderwijsconcept Thuislessen nog niet in opleidingsdocumenten stond vermeld en dat het volledige lerarenteam nog niet competent is. In de onderste rij van tabel 8 is te zien dat deze pilot nog niet geheel voldoet aan BOT. Dit heeft voornamelijk te maken met het pilotkarakter, waarbij na brede implementatie van de pilot wel aan BOT voldaan kan worden Kwaliteitsbeleving In de beantwoording van de vraag of de inzet van ICT de kwaliteit van het onderwijs in de beleving van de betrokken stakeholders (student/leraar) beïnvloedt, is in onderstaande figuur 14 een factsheet weergegeven. Hierin wordt weergegeven wat de beleving van de parameter kwaliteit is door de studenten van de opleiding TA. 52

54 Figuur 14. Factsheet kwaliteitsbeleving studenten opleiding TA voor pilotgroep en controle groep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage 53

55 score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. Aan het einde van de pilot had 65% van de ondervraagde studenten een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 6% hogere score aan. Kijkend naar de gemiddelden dan scoorde de pilotgroep 0,19 lager dan de controlegroep aan het einde van de pilot. Het verschil tussen pilot en controlegroep was in de voormeting kleiner. Aan het begin van de pilot had 69% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. De controlegroep gaf een 3% lagere score aan. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 0,06 hoger dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Het percentage studenten dat een positief oordeel gaf over de kwaliteitsbeleving in de pilotgroep was gedurende de pilot gelijk gebleven. Het percentage studenten dat een positief oordeel gaf over de kwaliteitsbeleving in de controlegroep was gedurende de pilot licht gestegen. De gemiddelde kwaliteitsbeleving was voor zowel pilot- als controlegroep licht gedaald gedurende de pilot, maar iets meer in de pilotgroep Tijdens het interview waren de studenten van de pilotgroep kritisch over de kwaliteit van de thuislessen. De pilotlessen hadden niet volledig voldaan aan de verwachtingen van de student. De oorzaak hiervoor lag voornamelijk in de onduidelijkheid van de opdracht vooraf, de onevenredige studiebelasting per les, het thema, dat geen directe link had met tandheelkunde en de samenwerking in het programma. Studenten hadden een duidelijke taakverdeling afgesproken, waarna ieder aan zijn eigen deel ging werken. De communicatie binnen de groepen tijdens de thuisles had voornamelijk via WhattsApp plaatsgevonden. Er zijn per thuisles meerdere bespreekmomenten met de leraar, maar na dit overleg ging ieder weer voor zich aan de slag. Sommige studenten hadden de rust van thuis als prettig ervaren, maar het eigenlijke doel van samenwerking kwam hiermee niet van de grond. Bij de controlegroep leek het veel meer duidelijk wat vooraf de bedoeling was geweest van de opdracht en werd de lessenserie als leerzaam ervaren. De studenten waren actief met de lesstof aan het werk geweest en hadden samen een website gemaakt. De interactie met de leraar werd door zowel pilot- als controlegroep als positief ervaren. De leraar merkte op dat de studenten gemotiveerd waren in de pilotlessen en kon met de huidige organisatie van de lessen meer feedback geven dan in voorgaande jaren. In het begin van de pilotlessen was het gebruik van het programma flink wennen en bleek het best een uitdaging om de samenwerking te bevorderen tussen studenten in de pilotgroep. Studenten bleken weinig vragen te stellen middels het programma, maar dit ging gaandeweg beter. 54

56 Als onderdeel van kwaliteit is ook het leerrendement gemeten. Aan het einde van de pilot scoorde de pilotgroep 0,60 hoger op de toets anamnese dan de controlegroep. Aan het begin van de pilot scoorde de pilotgroep 0,48 lager dan de controlegroep. Het gemiddelde toetscijfer van de pilotgroep was in de nameting 0,83 hoger dan in de voormeting. De controlegroep scoorde in de nameting 0,25 lager dan in de voormeting. Onderstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Bij de pilotgroep was een (lichte) toename te zien van de cijfers gedurende lesperiode, bij controlegroep een afname. In onderstaande figuur 15 worden de toets-cijfers weergegeven van de studenten TA op de lessen anamnese. De websites waar de studenten tijdens de pilotlessen aan hebben gewerkt werden allen beoordeeld met een voldoende. De leraar die de websites van de pilot- en controlegroep had beoordeeld geeft aan dat er geen verschil was tussen de eindproducten van pilot- en controlegroep (J. van Til, in dd ). Figuur 15. Factsheet toets-cijfers anamnese van studenten opleiding TA voor pilotgroep en controle groep. A. Post-meting gemiddelde score. B. Pre-meting gemiddelde score. C. Gemiddelde delta score. 55

57 4.3.3 Effectiviteit Tabel 9 en tabel 10 geven de effectiviteit van de pilot aan. De opbouw van deze tabellen is gelijk. Tabel 9 geeft de lokaal-inzettijd aan, tabel 10 de leraar-inzettijd. In de eerste drie kolommen van tabel 9 en 10 staat de activiteit en frequentie volgens het plan van aanpak vermeld. In de laatste drie kolommen staat hoe de pilot daadwerkelijk is uitgevoerd. In de onderste rij van tabel 9 is de bespaarde lokaal-inzettijd gedurende tien weken volgens het plan van aanpak en in de uitvoering te zien. De onderste rij van tabel 10 laat de leraar-inzettijd gedurende tien weken volgens het plan van aanpak en in de uitvoering te zien. Tabel 9. Inzettijd lokalen pilot Thuislessen Activiteit en frequentie volgens PvA Planning volgens PvA Planning PvA 10 weken Activiteit en frequentie uitvoering Uitgevoerd Uitgevoerd 10 weken 10 weken 2 groepen (50 studenten totaal)/ 2 klokuren week online les Besparing Inzettijd lokaal PvA 2 groepen (50 studenten) x 2 klokuren = 4 klokuren / week 2 groepen x 2 klokuren x 10 weken = 40 klokuren 10 weken 1 groep 25 studenten) / 2 klokuren week online les 40 klokuren Besparing Inzettijd lokaal Uitvoering 1 groep (25 studenten) x2 klokuren= 2 klokuren / week 10 weken x 1 groep x 2 klokuren = 20 klokuren 20 klokuren Kolom één van tabel 9 laat zien dat in het plan van aanpak is uitgegaan van 50 studenten die twee klokuren per week online les van één leraar zouden krijgen. Uit de laatste drie kolommen blijkt dat in de uitvoering 25 studenten aan de online les hebben deelgenomen. Kolom drie laat zien dat uitgaande van het plan van aanpak verwacht werd dat er in de pilot van tien weken 40 klokuren minder lokaal-inzettijd nodig was. In iedere week zouden twee leslokalen (twee groepen in totaal 50 studenten) minder ingezet hoeven te worden. In tien weken zou dit een besparing van 40 klokuren lokaal-inzettijd moeten opleveren. Uit een interview met de leraar de uitvoering didactisch niet mogelijk om als leraar 50 studenten tegelijkertijd online een thuisles te geven. De 50 studenten zijn in een pilot- en controlegroep verdeeld. De controlegroep heeft het reguliere onderwijs gevolgd. Voor deze groep werd een klaslokaal volgens de reguliere situatie ingezet. Op basis van het plan van aanpak werd verwacht dat de pilot 40 klokuren lokaal-inzettijd zou opleveren. Tabel 9 laat zien dat dit aantal uren besparing niet geheel gehaald is. Te zien is dat de besparing op de lokaal-inzettijd ten opzichte van het plan van aanpak gehalveerd is, zodat de pilot toch nog een besparing van 20 klokuren lokaal-inzettijd heeft opgeleverd. 56

58 Tabel 10. Inzettijd leraren pilot Thuislessen Activiteit en frequentie volgens PvA Planning volgens PvA Planning PvA 10 weken Activiteit en frequentie uitvoering Uitgevoerd Uitgevoerd 10 weken 10 weken 50 studenten (2 groepen) / 1 leraar / 2 klokuren week online les Inzettijd leraar PvA 2 klokuren / week 10 x 2 klokuren = 20 klokuren 10 weken 25 studenten Online les / 1 leraar + 25 studenten regulier les/ 1 leraar 20 klokuren Inzettijd leraar uitvoering 2 x 2 klokuren (2groepen) 40 klokuren 40 klokuren Tabel 10 laat zien dat volgens het plan van aanpak één leraar aan 50 studenten tegelijkertijd een thuisles zou geven. De eerste drie kolommen geven aan dat dan de leraar-inzettijd 20 klokuren zou zijn. De laatste drie kolommen geven aan dat de leraar-inzettijd door de halvering van het aantal studenten die de thuisles kregen in de uitvoering 40 klokuren was. Voor de 25 studenten die de reguliere les op school volgden moest een extra leraar worden ingezet. Tabel 10 laat zien dat de leraar-inzettijd ten opzichte van het plan van aanpak verdubbeld is, maar gelijk is gebleven ten opzicht van de leraar-inzettijd in het reguliere programma Motivatie In de beantwoording van de vraag of de inzet van ICT de motivatie van de betrokken studenten en leraren beïnvloedt, is in onderstaande figuur 16 een factsheet weergegeven. In dit figuur wordt weergegeven wat de beleving is voor de parameter motivatie bij de studenten TA. 57

59 Figuur 16. Factsheet motivatie student opleiding TA voor pilotgroep en controle groep. A. Postmeting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 58

60 Aan het einde van de pilot had 65% van de ondervraagde studenten van de pilotgroep een positief oordeel over de motivatie. De controlegroep scoorde 6% hoger. Kijkend naar de gemiddelde motivatie (schaal van 1 tot 5) dan scoorde de pilotgroep gelijk aan de controlegroep aan het einde van de pilot. In de voormeting werd een vergelijkbaar beeld waargenomen. Aan het begin van de pilot had 66% van de ondervraagde studenten van de pilotgroep een positief oordeel over de motivatie. De controlegroep scoorde gelijk. Kijkend naar de gemiddelde motivatie (schaal van 1 tot 5) dan scoorde de pilotgroep gelijk aan de controlegroep aan het einde van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de motivatie en de gemiddelde motivatie waren de waarden vergelijkbaar voor pilot- en controlegroep. Zowel pilot als controlegroep waardeerden het samenwerken en de rolverdeling als motiverend. Het feit dat de groepssamenstelling at random had plaatsgevonden werd door de controlegroep als positief ervaren voor de motivatie. De opdracht had voor de studenten een hoog knip en plak -gehalte, wat een negatieve invloed had op de motivatie van studenten in beide groepen. Een groot deel van de studenten uit de pilotgroep gaf aan de fysieke sociale interactie in de klas thuis gemist te hebben en had huis meer afleiding van de omgeving ervaren. Zo stelde een student: Ik heb gemerkt dat ik op school meer leer dan thuis. Dan doe ik meer tussendoor. Een klein deel van de studenten ervaarde de thuislessen juist als rustiger en gaf aan zich beter te kunnen concentreren thuis. De programmatuur heeft ook zijn weerslag gehad op de motivatie. Een student stelde in dit kader: Het is geen handige methode. Vooral het wachten op feedback van de leraar en de beperkte interactie worden genoemd als negatieve factoren. De motivatie van de leraar zat in het uitproberen van nieuwe dingen. Zo stelde de leraar dat: Het je dwingt om weer naar je lessen te kijken, het dwingt je om te reflecteren op je lessen. De leraar was zeer tevreden met het geboden lesprogramma en de eindproducten van de studenten Opbrengstgericht werken De betreffende leraar had werk gemaakt van het voorbereiden van lessen en heeft tijdens de pilot uitgebreid gerapporteerd over lesdoelen vanuit het kwalificatiedossier en bronvermelding vanuit literatuur in de lesvoorbereidingsformulieren. Daarnaast was gerapporteerd over de evaluatie van lessen in het logboek. Ook studenten van de pilotgroep hadden in de interviews aangegeven dat er wekelijks werd geëvalueerd. 59

61 4.3.6 Betrokkenheid In de beantwoording van de vraag of de inzet van ICT de betrokkenheid van de studenten en leraren beïnvloedt, is in onderstaande figuur 11 een factsheet weergegeven. In deze figuur wordt weergegeven wat de beleving is van de parameter betrokkenheid door de studenten TA. 60

62 Figuur 17. Factsheet betrokkenheid student opleiding TA voor pilotgroep en controle groep. A. Postmeting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 61

63 Aan het einde van de pilot had 58% van de ondervraagde studenten van de pilotgroep een positief oordeel over de betrokkenheid. De controlegroep gaf een 12% hogere score aan. Kijkend naar de gemiddelde betrokkenheid (schaal van 1 tot 5) dan scoorde de pilotgroep 0,21 lager dan de controlegroep aan het einde van de pilot. In de voormeting leken de verschillen tussen pilot- en controlegroep kleiner. Aan het begin van de pilot had de pilotgroep een gelijk percentage positieve studenten ten opzichte van de controlegroep. Kijkend naar de gemiddelde betrokkenheid (schaal van 1 tot 5) dan scoorde de pilotgroep 0,17 lager dan de controlegroep aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de betrokkenheid en de gemiddelde betrokkenheid dalen de waarden meer voor pilotgroep dan voor de controlegroep gedurende de pilot. De lagere betrokkenheid van de pilotgroep werd bevestigd in het interview met de studenten. Studenten in de pilotgroep misten de interactie onderling. Een student stelde: Oogcontact, persoonlijk contact, interactie. Je kunt elkaar helpen. Nu maakt ieder zijn eigen opdracht, stuurt die naar elkaar op en klaar. Je hebt minder persoonlijke inbreng. De studenten uit de controlegroep begrepen waarom de betrokkenheid door de pilotgroep lager werd gewaardeerd. Een student zei hierover: In de les kun je ook andere dingen doen, want je hebt een laptop. Netflix. De leraar gaf in het interview aan dat hij een hogere betrokkenheid zag bij de pilotgroep, aangezien studenten tijdens de pilot op eigen initiatief voor de les al ingelogd en aanwezig waren, waardoor de les direct kon beginnen. Ook waren er studenten geweest die aangegeven hadden dat ze langer door wilde gaan, om de opdracht af te ronden. De leraar zei hierover: Vaker gingen ze juist wat langer door ( ). Nou dat vond ik heel bijzonder. ( ) Dan ben je toch wel geboeid met dat waar je mee bezig bent. Ook waren de studenten uit de pilotgroep meer trouw in het tussentijds aanleveren van conceptversies van de website. De betrokkenheid van leraar bleek aanwezig uit het feit dat deze stelt dat alle collega s mee mochten kijken bij haar thuislessen. Een aantal collega s had hier gebruik van gemaakt. 4.4 Pilot 4 opleiding Optiek: Blended Learning Voor de pilot Blended Learning bij de opleiding Optiek was er geen controlegroep: Alle studenten dienden onderwijs te krijgen volgens het nieuwe concept Blended Learning. Dit betekent dat er geen vergelijking mogelijk is tussen pilot- en controlegroep, waardoor het effect van Blended Learning niet inzichtelijk gemaakt kan worden. Wel is binnen de pilotgroep het effect over tijd inzichtelijk door vergelijking van de voor- en nameting. 62

64 Er is geen effectiviteit gemeten (parameters lokalen- en leraar-inzettijd), omdat bij deze pilot niet de vermindering van inzet van onderwijspersoneel en lokalen beoogd werd BOT Tabel 10 geeft aan hoe de pilot BPV-begeleiding online scoort op de 12 criteria van BOT. In kolom één staat een korte omschrijving van deze 12 criteria. In kolom twee is te zien hoe de pilot volgens het plan van aanpak uitgevoerd diende te worden. Kolom drie geeft aan of de pilot gepland is volgens het plan van aan pak. Kolom vier geeft aan hoe de pilot is uitgevoerd. Kolom vier is onderverdeeld in vier sub-kolommen. De data in de sub-kolommen is afkomstig van de roosterplanner, opleidingsdocumenten, studenten en leraar, naar aanleiding van hun ervaringen in de pilot. De onderste rij van tabel 10 vat samen of de uitvoering van de pilot voldoet aan BOT. Tabel 11. De 12 Criteria BOT pilot Blended Learning 12 Criteria BOT PvA Deltion college 1. Urennorm Conform reguliere Opleiding 3 jarig traject 3000 uur. Contacture n zijn tijdens pilot niet veranderd 2. Leraar pedagogischdidactisch verantwoordelijk en bekwaam 3. Opgenomen in onderwijs programma en onderwijs documenten Bevoegd leraar Gepland volgens PvA Ja, Concept Blended Learning Regliere lessen normaal ingepland Ja Volgens rooster planner Uren-norm voldoende Reguliere lessen normaal gepland Uitgevoerd volgens PvA Vermeld in opleidingsdocumenten Overzicht en producten via N@tschool voor studenten inzichtelijk Nee, niet in studiegids en opleidingsplan wel materiaal geplaatst op n@tschool Student Ja Leraar Ja (geen lesuitval) Ja 2 e graads bevoegdh eid Bekijken online producten is tijden plaatsonafhank elijk onderwijs 63

65 4. Student, activiteiten zijn uitdagend en leerzaam Kwaliteit en leerrendem ent moeten minimaal gelijk blijven Ja, diverse vormen e- didactiek aangeboden 5. Registratie Reguliere lessen gepland 6. Gelijk of verbeterd eerrendem ent 7. Aantoonbare differentiatie in leerprocessen 8. Contextrijk leren 9. Faciliteiten voldoende voor uitvoering programm a Kwaliteit en leerrendem ent moeten minimaal gelijk blijven Ondersteu ning MICT Ja, Producten ontwikkeld en op n@tschool geplaatst Ondersteuni ng MICT Ja, verschillende vormen e- learning Lesobservatie Vragenlijst en interview studenten Ja, tijdens reguliere lessen. Blended lessen niet Ja Gemiddel de cijfers 3 toetsen Ja Lesobserv atie Vragenlijs t en Interview student Ja Lesobserv atie Vragenlijs t Ja Vragenlijst Interview (Op Appletablet weblecture niet Ja, verschille nde vormen e-learning gebruikt. Lesobservatie Vragenlijst en interview leraar Ja, reguliere lessen in Rapid Nee, Blended lessen Ja Gemiddel de cijfers 3 toetsen Ja Lesobservatie Vragenlijstleraar Ja Lesobser -vatie Vragenlijst Ja Vragenlijst Interview 64

66 af te spelen) 10. Lerarentea m is competent 11. Past bij strategisch e doelen Deltion 12. Uitvoerbaa r PvA aanwezig Voldoet aan Bot? Ja Documente n Ja Volgens PvA Nee Volgens Planning Nee In de uitvoering Nee Nee, 5 leraren deel genomen. Kolom twee van tabel 10 laat zien dat de doorlooptijd van de pilot tien weken was. Kolom vier laat zien dat de pilot voldoet aan criteria 1, 2, 4, 5, 6, 7, 8, 9, 11 en 12. Bij criterium 1 is te zien dat de studenten de reguliere lessen hadden gevolgd. De pilot bleek niet van invloed geweest te zijn op het aantal reguliere contacturen. Er was geen lesuitval geconstateerd. De lessen werden gegeven door een pedagogisch didactisch bekwame leraar en studenten hadden de activiteiten als uitdagend en leerzaam ervaren. De studenten werden geregistreerd, het leerrendement bleef gelijk of verbeterde en de leraar differentieerde tijdens de lessen. Verder sloten de lessen aan op de beroepspraktijk, waren de faciliteiten voldoende om het programma uit te voeren en paste de pilot bij de strategische doelen van het Deltion College. Uit het interview met de studenten bleek dat studenten baat hadden bij dit onderwijsconcept. Studenten gaven aan het prettig te vinden een onderdeel van de les in hun eigen omgeving terug te kunnen kijken. Volgens de studenten hadden zij dan geen last van andere studenten. Hierdoor konden zij zich beter op de lesstof concentreren. Studenten vonden het erg prettig dat zij voorafgaand aan een toets de lesstof thuis nog keer konden doornemen. Uit data bleek dat dit ook het geval was voor studenten die moeite hadden met een specifiek onderdeel van de les. Studenten gaven aan dat als een specifiek onderdeel van de lesstof lastig was zij dit thuis opnieuw konden doornemen. Verder bleek de behoefte te bestaan naar meer verdieping in de les dan in de pilot het geval was. Volgens de studenten nam de leraar regelmatig de lesstof van de online geplaatste materialen nog een keer door. Studenten die de lesstof voorafgaand aan de les hadden bekeken zaten hier niet op te wachten. Zij zouden in deze tijd liever dieper op de 65

67 stof ingaan. Studenten gaven aan door Blended Learning meer huiswerk te hebben, maar men vond dit niet vervelend. Kolom vier laat zien dat de pilot afgezien van criterium 3 Opgenomen in onderwijs programma en onderwijsdocumenten en criterium 10 Lerarenteam is competent aan BOT voldoet, maar bij implementatie van deze pilot zal waarschijnlijk ook aan deze criteria worden voldaan Kwaliteitsbeleving In de beantwoording van de vraag of de inzet van ICT de kwaliteit van het onderwijs in de beleving van de betrokken stakeholders (student/leraar) beïnvloedt, is in onderstaande figuur 19 een factsheet weergegeven. Hierin wordt weergegeven wat de beleving van de parameter kwaliteit was bij de studenten van de opleiding Optiek (OP). 66

68 Figuur 19. Factsheet kwaliteitsbeleving studenten opleiding OP voor pilotgroep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Pre-meting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 67

69 Aan het einde van de pilot had 86% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 3,56 aan het einde van de pilot. Aan het begin van de pilot had 79% van de ondervraagde studenten van de pilotgroep een positief oordeel over de kwaliteitsbeleving. Kijkend naar de gemiddelde kwaliteitsbeleving (schaal van 1 tot 5) dan scoorde de pilotgroep 3,20 aan het begin van de pilot. Bovenstaande gegevens resulteren in het volgende beeld bij de deltascores (verschil post pre): Voor het percentage studenten dat positief was over de kwaliteit zijn de waarden 7% gestegen. Voor de gemiddelde kwaliteitsbeleving zijn de waarden met 0,36 gestegen. In het interview gaf de pilotgroep aan dat het voorbereiden van lessen met behulp van videobeelden de kwaliteitsbeleving verhoogt. De studenten waren erg tevreden over de geboden structuur waarin de lessen en het lesmateriaal werden weggezet. Hierdoor hoefde de juiste informatie niet gezocht te worden, want deze was al beschikbaar gesteld. Ook had de student direct naslagwerk beschikbaar en waren toetsen beter te leren met het beeldmateriaal. Een student zei hierover: Voor mijn gevoel heb ik er minder voor gedaan, maar zit het er wel beter in. De leraren zijn zeer tevreden met de huidige opzet van Blended Learning. Het past binnen een landelijke ontwikkeling van lesmateriaal en werd gezien als een manier om met digitale didactiek effectief met lestijd om te gaan. De grootste uitdaging lag in het handelingsrepertoire van de leraar. Wat doet de leraar als de student het filmpje niet heeft gekeken? Er ontstond meermaals een dilemma tussen het herhalen van de lesstof en hiermee de studenten die wel geleerd hebben tekort te doen, of toch te verdiepen, het uiteindelijke doel van de les, en hiermee onvoldoende aan te sluiten op studenten die niet hebben voorbereid. Kijkend naar het leerrendement van deze pilot, dan blijkt aan het einde van de pilot de pilotgroep 2,35 punt hoger te scoren op de toets nevelrefractie dan tijdens de voormeting. In onderstaande figuur 20 worden de cijfers weergegeven van de beoordeling van de toets nevelrefractie in voor- en nameting van de studenten OP. 68

70 Figuur 20. Toets-cijfers van studenten voor vak nevelrefractie opleiding OP voor pilotgroep. A. Gemiddelde score herkansing. B. Gemiddelde score postmeting. C. Gemiddelde Deltascore Motivatie In de beantwoording van de vraag of de inzet van ICT de motivatie van de betrokken studenten en leraren beïnvloedt, is in onderstaande figuur 16 een factsheet weergegeven. In deze figuur wordt weergegeven wat de beleving is van de parameter motivatie voor de studenten Optiek. 69

71 Figuur 21. Factsheet motivatie studenten opleiding OP voor pilotgroep. A. Post-meting percentage score 3, 4, of 5. B. Post-meting gemiddelde score. C. Pre-meting percentage score 3, 4, of 5. D. Premeting gemiddelde score. E. Deltascore percentage score 3, 4, of 5. F. Gemiddelde Deltascore. 70