Onderzoeksvoorstel Rendement Onderwijs Innovatie Groep voor Kennisnet BYOD op het Liemers College gepercepieerd rendement Utrecht, september 2012
INHOUD 1 Introductie... 3 1.1 Inleiding... 3 1.2 BYOD in het onderwijs... 4 1.3 Onderzoekscontext: Het Liemers Collge... 5 1.4 Probleemstelling en onderzoeksvragen... 6 1.5 Relevantie... 7 1.6 Afbakening... 7 1.7 Leeswijzer... 8 2 Theoretisch kader & operationalisering onderzoek... 9 2.1 Theoretisch kader... 9 2.1.1 Randvoorwaarden en gebruik (a & b)... 10 2.1.2 Rendement (v1)... 10 3 Onderzoeksopzet... 14 3.1 Onderzoeksstrategie... 14 3.2 Onderzoeksmethoden... 15 3.2.1 Dataverzameling & instrument... 16 3.2.2 Doelgroepen en selectie... 17 3.3 Oplevering... 18 3.3.1 Data analyse en rapportage... 18 3.3.2 Output... 18 3.4 Planning... 19 3.4.1 Planning... 19 3.4.2 Voortgangs- en responsrapportage... 19 4 Randvoorwaarden en uitgangspunten... 20 5 Projectteam... 21 6 Financiële aspecten... 22 7 Referenties... 23 Bijlage 1 Literatuurlijst...... 24 Bijlage 2 CV s projectteam... 27 Bijlage 3 Definitie randvoorwaarden... 28 Bijlage 4 Definitie gebruik... 31 2
1 Introductie 1.1 Inleiding Het Liemers College is een brede school voor vmbo, havo, atheneum en gymnasium die streeft naar innovatief onderwijs dat rekening houdt met en inspeelt op de verschillen tussen leerlingen. Twee speerpunten in missie en visie die hierbij aansluiten zijn 1) maatwerk (differentiatie) en 2) verbinding met de leefwereld van de leerling. In de realisatie van beide punten ziet de school een belangrijke rol weggelegd voor ICT. Bring Your Own Device (BYOD), waarbij leerlingen hun eigen device meenemen in de les, wordt daarbij gezien als een manier waarop 1 op1 ICT (op korte termijn & binnen de begroting) gerealiseerd kan worden. Daarmee worden ook de missie en visie haalbaar. Als een eerste stap heeft het Liemers College pilots georganiseerd om te zien of eigen devices wel gebruikt worden in de les. Gedurende april en mei 2012 heeft op het Liemers College een onderzoek plaatsgevonden naar dit gebruik van Bring Your Own Device (BYOD) in de pilot klassen. Dit exploratieve onderzoek heeft exisistentie van BYOD gebruik aangetoond. Mede op basis van deze e resultaten, heeft het Liemers College besloten haar plannen om BYOD schoolbreed te implementeren te continueren. Vanaf begin van het schooljaar 2012/2013 mogen alle leerlingen eigen devices meebregen om in te zetten tijdens de les. Kennisnet ondersteunt het onderwijsveld door het stimuleren van kennisontwikkeling over doelmatig gebruik van ICT voor (een levenlang) leren. Kennis van Waarde Maken bevat het kader voor onderzoek hiernaar en nodigt scholen, personen en onderzoeksinstellingen uit om voorstellen voor onderzoek in te dienen. OIG heeft het Liemers College gevraagd mee te werken aan een onderzoek dat inzicht geeft in het gepercipieerde rendement van BYOD en in aanmerking komt voor een subsidie binnen Kennis van Waarde maken van Kennisnet. In dit document is het onderzoeksvoorstel uitgewerkt om bovenstaand onderzoek te realiseren. 3
1.2 BYOD in het onderwijs ICT is inmiddels niet meer weg te denken uit het onderwijs. De vraag is dan ook niet meer of ICT moet worden ingezet in het onderwijs, maar hoe dat dient te gebeuren. Een recente ontwikkeling op dat gebied is het principe van Bring your own device (BYOD). BYOD heeft als uitgangspunt dat medewerkers en leerlingen hun eigen device (laptop, netbook, tablet en smartphone) meenemen naar school om in te zetten voor hun leerproces, om op te werken en mee te leren. In dit onderzoek wordt de volgende definitie gehanteerd voor BYOD: Het in staat stellen van onderwijsprofessionals en leerlingen om een eigen device te gebruiken om toegang te krijgen tot en te werken op het digitale netwerk van de school en de daarop aanwezige software en content. BYOD is een nieuwe ontwikkeling in het onderwijs, waarvan de opbrengsten (o.a. financieel, leerendement) niet zeker zijn. BYOD kent een aantal aangenomen voor- en nadelen (Lloyd, 2011). Deze punten zijn hierna puntsgewijs opgenomen, in het rapport Gebruik van eigen devices in de les - BYOD op het Liemers College (2012) zijn deze vermeld met uitgebreidere toelichting. Voordelen zijn: BYOD betekent een kostenbesparing omdat er minder investeringen in ICT nodig zijn. BYOD maakt efficiënter gebruik van ICT-middelen doordat dezelfde ICT zowel privé als op het werk/op de school gebruikt wordt. BYOD vergroot de werkvreugde (erkening dat niet iedereen op dezelfde manier werkt, werken op een device dat het beste aansluit bij de eigen wensen en bekend is bij de gebruiker (Bradey, 2011) en werken minder plaatsgebonden (Van der Woude, 2011). BYOD realiseert 1:1 gebruik van ICT in het onderwijs. Er zijn ook een aantal knelpunten die de invoer van BYOD kunnen belemmeren (Lloyd, 2011): BYOD kan zorgen voor een ongelijkheid tussen diegenen die wel de beschikking hebben over een device en die dat niet hebben. BYOD zorgt voor ongelijkheid in gebruik van het soort device, waarbij niet alle devices dezelfde capaciteiten hebben of dezelfde software ondersteunen. BYOD vereist niet alleen een zeer goed ingerichte digitale infrastructuur, maar vereist bijvoorbeeld ook het noodzakelijke van de inrichting van een gebouw (voldoende stopcontacten/oplaadpunten) BYOD vereist een zeer goed ingerichte digitale infrastructuur met snel wireless internet met een goede dekking. BYOD vereist dat er digitale software en content aanwezig is om mee te werken en dat deze benaderbaar zijn via het eigen device. BYOD vereist dat men over de vaardigheden beschikt om ICT effectief in te zetten en voor een groot deel zelf over de benodigde ICT-kennis waar het gaat om de werking van het eigen device. BYOD is moeilijk te controleren wat betreft veiligheid en privacy. 4
1.3 Onderzoekscontext: Het Liemers College Het onderzoek naar (gepercipieerd) rendement van BYOD vindt plaats op het Liemers College. Het Liemers College is een brede school voor vmbo, havo, atheneum en gymnasium. Zij heeft drie vestigingen in Zevenaar en één in Didam met in totaal ongeveer 15 managers, 300 docenten en 3.000 leerlingen en 3.000 ouders. Het Liemers College is een vooruitstrevende school, ook op gebied van de inzet van ICT. Zij ziet de inzet van 1 op 1 ICT als een belangrijke stap in het realiseren van haar missie en visie, namelijk 1) maatwerk onderwijs (differentiatie) en 2) verbinding met de leefwereld van de leerling. De afgelopen jaren is er flink geïnvesteerd in het digitale itale netwerk van het Liemers College. De digitale snelweg ligt er en is klaar om optimaal gebruikt te worden. De volgende stap is 1 op 1 ICT. Bring Your Own Device (BYOD) speelt hierin een belangrijke rol omdat dat een manier om op korte termijn 1 op1 ICT te realiseren binnen de begroting. Inmiddels is er binnen de eerste klassen succesvol gepilot met het werken met (eigen) devices in de klas en daarbuiten. Dit is ook aangetoond middels de eerste fase van het onderzoek naar gebruik van BYOD op het Liemers. Als volgende stap heeft het Liemers College besloten om augustus 2012 de digitale snelweg open te gooien en BYOD schoolbreed in te voeren voor alle medewerkers en leerlingen. Dit betekent dat vanaf het schooljaar 2012/2013 medewerkers en leerlingen hun eigen laptop, netbook, tablet en/of smartphone mee mogen brengen. Er wordt voornamelijk gekozen voor BYOD ten opzichte van andere mogelijkheden, zoals de aanschaf van een laptop voor elke leerling omdat: BYOD leerlingen de mogelijkheid geeft te werken op een device naar hun voorkeur. Zij kunnen werken waarmee en hoe zij willen. Tevens vindt er een integratie plaats van het werken voor school, op de school en thuis. Dit moet zorgen voor meer motivatie en werkplezier. BYOD een beperking van de investering op de aanschaf van laptops voor elke leerling betreft waardoor de realisatie van de voordelen van 1 op 1 ICT sneller haalbaar is. Deze investering moet, indien een laptop verplicht wordt, sowieso door de school worden betaald, aangezien de ouderbijdrage vrijwillig is en ouders dus niet gedwongen kunnen worden mee te betalen. Het Liemers College beseft zich hierbij dat de voordelen en argumenten niet onomstreden zijn en dat het succes voor een groot deel afhankelijk ankelijk zal zijn van zowel de behaalde resultaten/rendementen als de perceptie van de betrokkenen. Dat is de reden dat zij het rendement van de schoolbrede uitrol van BYOD middels een onderzoek wil meten. 5
1.4 Probleemstelling en onderzoeksvragen De focus van dit onderzoek is het gericht op het gepercipieerde rendement van BYOD. De probleemstelling ofwel centrale onderzoeksvraag in dit onderzoek is: Wat is het gepercipieerde rendement van BYOD op gebied van financiën, ouderbetrokkenheid en leerrendement op het Liemers College? Deze centrale onderzoeksvraag kan worden onderverdeeld in de deelvragen: a) Wat is het rendement van BYOD op gebied van financiën? Deze deelvraag betreft een verantwoording van de financiering zoals geregeld. Er wordt vooraf gekeken naar wat er begroot is en achteraf of deze begroting gehaald is. b) Wat is het gepercipieerde rendement van BYOD op gebied van ouderbetrokkenheid? Deze deelvraag meet het rendement van de schoolbrede invoer van BYOD op basis van de vergelijking van een identieke meting voor en na de invoer van BYOD onder ouders. c) Wat is het gepercipieered leerrendement van BYOD? Deze deelvraag meet het rendement van de schoolbrede invoer van BYOD op basis van de vergelijking van een identieke meting voor en na de invoer van BYOD onder leerlingen en onder docenten. 6
1.5 Relevantie Binnen het onderwijs wordt ICT steeds meer en breder ingezet. Specifiek bij de inzet van nieuwe technologie is het de vraag wat het resultaat is van de ICT inzet. Bring your own device is een (relatief) nieuw fenomeen, zeker binnen het onderwijs in Nederland. Er circuleren op het internet al enkele beschrijvingen van de voor- en nadelen van de invoer van BYOD in het onderwijs. Het gebruik is in een eerder onderzoek exploratief in kaart gebracht en aangetoond. De rendementen van een schoolbrede uitrol van BYOD zijn niet eerder gemeten. Gezien de huidige trend in andere sectoren in de samenleving en de potentiële voordelen die BYOD kan bieden naar het realiseren van een computer/device voor elke leerling is het ontbreken van een degelijke studie een belangrijk hiaat at in de kennis over de toekomst van ICT in het onderwijs. De kennis die met dit onderzoek wordt opgeleverd richt zich op het (gepercipieerde) rendement van BYOD Het onderzoek naar de invoering van BYOD op het Liemers College is zowel intern (voor het Liemers) als extern (voor scholen inzicht willen in het rendement en de impact van verantwoording) relevant. Dit geldt door de diversiteit van de VO scholen, voor verschillende niveaus in de schoolorganisaties, binnen verschillende onderwijstypen en op zowel kleine als grote vestigingen. 1.6 Afbakening In de implementatie van ICT kan onderscheid worden gemaakt naar verschillende stappen (zie figuur 1 hieronder). Dit onderzoek richt zich in de eerste fase op ervaren en gemeten opbrengsten en de verantwoording daarover. De idee van de ICT toepassing en de existentie van het gebruik is in het eerdere onderzoek middels een literatuurstudie en kwantitatief en kwalitatief onderzoek aangetoond. In het huidige onderzoek wordt de perceptie (ervaren opbrengsten), evidentie (gemeten opbrengsten) en de verantwoording daarover in kaart gebracht. De opbrengsten en verantwoording op de doelstellingen van BYOD Figuur 1: Kennispiramide. worden kwantitatief en kwalitatief onderzocht. 7
1.7 Leeswijzer In dit eerste hoofdstuk is een inleiding gegeven van het onderzoek en zijn de definitie van BYOD en mogelijke voordelen (in het onderwijs) benoemd. Tevens zijn de probleemstelling en onderzoeksvragen van het onderzoek geformuleerd en zijn de relevantie en afbakening van het onderzoek beschreven. Hoofdstuk 2 is een uitwerking van het theoretisch kader en de onderliggende theoretische modellen. Hoofdstuk 3 omvat de onderzoeksopzet. Hier worden het onderzoeksdesign, de methodiek, participanten aan het onderzoek, de oplevering van analyse en rapportage en de planning en haalbaarheid beschreven. Hoofdstuk 4 omvat randvoorwaarden en uitgangspunten. Hoofdstuk 5 geeft het projectteam weer. Hoofdstuk 6 betreft de financiële begroting van het onderzoek. Hoofdstuk 7 geeft meer informatie over onze eerdere onderzoeken. In de bijlagen zijn een literatuurlijst en CV s van het projectteam opgenomen. 8
2 Theoretisch kader & operationalisering onderzoek In dit hoofstuk worden het theoretische kader uitgewerkt waarin de onderzoeksvragen terugkomen. 2.1 Theoretisch kader Om de onderzoeksvragen te beantwoorden is een theoretisch kader opgesteld. Het uitgevoerde onderzoek naar gebruik van BYOD op het Liemers dient hiervoor als één van de uitgangspunten (deel A en B in figuur 2). De onderzoeksvraag van het huidige onderzoek (v1 in figuur 2) richt zich op het (waargenomen) rendement van BYOD, a) financieel rendement, b) ouderbetrokkenheid en c) leerrendement. Dit wordt hierna verder inhoudelijk uitgewerkt en er wordt toegelicht hoe deze onderdelen worden geoperationaliseerd in het onderzoek. A B v1 Rand voorwaarden Gebruik Rendement Leiderschap Visie 1.Toestaan van gebruik van het eigen device Financieel Deskundig heid Samenwerking Software/ content Meten van existentie/gebruik BYOD in interventies 2. Inzet in de les van eigen device Meten van (gepercipieerd) rendement BYOD Ouderbetrokkenheid ICT infrastructuur 3. Aanzet tot gebruik van het eigen device Leerrendement Figuur 2: Overzicht & theoretisch kader onderzoek. 9
2.1.1 Randvoorwaarden en gebruik (a& b) Deze twee onderdelen worden in dit onderzoek niet expliciet bevraagd. Het uitgangspunt is dat zowel de randvoorwaarden als het gebruik aanwezig zijn. Wel worden deze beide onderdelen gebruikt als verklarende factoren indien rendement uitblijft. Voor een toelichting van elk van de randvoorwaarden en onderdelen van gebruik zie Bijlagen 3 en 4. 2.1.2 Rendement (v1) Hierna wordt het onderdeel uitgewerkt dat zich richt op de waargenomen en werkelijke rendementen van BYOD. Er is een balanced scorecard -achtige aanpak gekozen waarin verschillende onderdelen/ rendementen in kaart worden gebracht waarover verantwoording kan worden afgelegd, te weten: financieel (investering en kosten), ouderbetrokkenheid en leerrendement (onder leerlingen en docenten). Elk van de onderdelen wordt hierna toegelicht. Financieel (vraag 1a) Inhoud: In dit onderdeel wordt het financiële resultaat van BYOD in kaart gebracht. Hierbij wordt gekeken naar investeringen en kosten. Doel: Waar het gaat om de het financiële resultaat heeft het Liemers College een tweeledige doelstelling. Het eerste doel is dat de totale investering voor de invoer van BYOD onder de investering (financiële middelen) blijft die nodig is voor de aanschaf van een laptop voor iedere leerling door de school zelf (school owned device). Het tweede doel is dat de uiteindelijke investering en kosten die gerelateerd zijn aan het werken met BYOD niet boven de vooraf opgestelde begroting voor de invoer van BYOD uitkomen. Model: om dit inzichtelijk te maken wordt er gewerkt met begrotingen van het Liemers College. De begroting vooraf met begrote bedragen aan diverse posten wordt vergeleken met de gerealiseerde cijfers achteraf om het financiële resultaat te bepalen en te kijken op welke punten de begroting afwijkt van de realisatie. Een belangrijke factor hierin is de aanname dat 70% van de leerlingen een eigen device meeneemt. Operationalisering: De benodigde gegevens worden middels deskresearch samen met de controller ler van het Liemers College in kaart gebracht. Vooraf wordt bepaald welke investeringen en kosten in kaart worden gebracht en in de verschillende begrotingen inzichtelijk worden gemaakt. Door een identieke meting op het 0-moment en 1-moment te vergelijken wordt het rendement bepaald. Door middel van interviews met de controller worden de cijfers en afwijkingen verklaard en/of toegelicht. Het Liemers geeft hiertoe inzage in haar financiële gegevens. 10
Ouderbetrokkenheid (vraag 1b) Inhoud: In dit onderdeel wordt de betrokkenheid van ouders in kaart gebracht, enerzijds algemeen en anderzijds specifiek ten aanzien de verwachte e meerwaarde en bruikbaarheid van BYOD. Doel: De doelstelling van het Liemers College is de realisatie van de voordelen ordelen van 1 op 1 ICT binnen haar begroting. Om dit te realiseren zijn ouders een belangrijke partij. Zij moeten hun kind toestaan en stimuleren om het eigen device mee te nemen. Daarnaast is de houding van ouders (klanten) een belangrijke indicator voor de school. De wens is dat de beoordeling van BYOD door ouders positief is en de betrokkenheid van ouders toeneemt. Het gaat dan om zowel een algemene betrokkenheid als een specifieke houding ten aanzien van BYOD. Model: Om te meten of de ouders op het Liemers ers College een hogere betrokkenheid laten zien door de invoer van BYOD wordt de vragenlijst van Cohen (2007) naar ouderbetrokkenheid als uitgangspunt genomen (zie figuur 3). Betrokkenheid algemeen Cohen (2007) Betrokkenheid BYOD TPB, Ajzen (1985) Ouderbetrokkenheid Figuur 3: Gehanteerd model voor meten van ouderbetrokkenheid Cohen gebruikt zes dimensies om ouderbetrokkenheid te meten deze omvat zowel schoolgebaseerde betrokkenheid (bv. betrokkenheid in de school) als thuisgebaseerde betrokkenheid (bv. attitudes ten aanzien van het onderwijs, ouder-kinerichte gedragingen, supervisie) en academische socialisatie (bv. aspiraties en communicatie, onderwijsgerichte verwachtingen). Hierin zitten constructen van de Theory of Planned Behaviour van Ajzen & Fishbein waarbij gedrag wordt bepaald door de attitude, sociale norm en ervaren controle. Voor de algemene betrokkenheid worden vragen uit de vragenlijst van Cohen overgenomen. Voor de specifieke betrokkenheid ten aanzien van BYOD worden nieuwe vragen opgesteld in lijn met de vragen uit de vragenlijst van Cohen maar gericht op de invoer van BYOD. Operationalisering: De betrokkenheid van ouders wordt gemeten door middel van kwantitatieve en kwalitatieve methoden. Het kwantitatieve deel omvat een online enquête onder ouders, het kwalitatieve deel omvat verdiepende gesprekken met ouders met leerlingen op het Liemers College. Door een identieke meting op het 0-moment en 1-moment te vergelijken wordt het rendement bepaald. Het Liemers stelt hiertoe de e-mailadressen van haar ouders beschikbaar. 11
Leerrendement (vraag 1c) Inhoud: In dit onderdeel wordt gepercipieerd leerrendement onder leerlingen en docenten gemeten. Doel: Het Liemers College wil met de invoer van BYOD een hoger leerrendement realiseren. Waar het gaat om leerendement heeft het Liemers College twee doelstellingen. Het eerste doel is dat docenten op het Liemers College hun lessen zo aanpassen dat het gebruik van devices aantrekkelijk en effectief wordt en zo leerrendement van leerlingen positief beinvloed. Het tweede doel is dat devices beter aansluiten bij de wensen en leerstijl van de leerlingen en zo het leerrendement van leerlingen positief beinvloed. Hierbij is mede van belang welk deel van de leerlingen een device meeneemt, wat voor device en hoe en hoeveel het wordt gebruikt. Model: Om te meten of docenten en leerlingen op het Liemers College hoger leerendement ervaren door de invoer van BYOD wordt de theorie van Schuit et al (2011) als uitgangspunt genomen omdat deze goed aansluit bij de doelstellingen van het Liemers (zie figuur 4). Proces geor. instructie Differentiatie Verbinding leefwereld Leerrendement Coöperatief leren SDT, Schuit et al (2011) Figuur 4: Gehanteerd analysemodel voor meten van verschillende aspecten van leerrendement. Er worden vier concepten genomen welke een relatie vertonen met leerrendement en motivatie van leerlingen, dit zijn; 1. Procesgeoriënteerde instructie Het leerproces verschuift van de rol van de leraar als instructeur naar zelfgereguleerd leren. Zelfgereguleerd leren heeft te maken met de autonomie van de leerling. Hierbij gaat het om het zelf plannen en organiseren van leeractiviteiten, zelf kiezen van opdrachten en het zelf monitoren van studievoortgang (Schuit et al, 2011, p.24). 2. Differentiatie Differentiatie gaat over het afstemmen van instructie op verschillen in leerbehoefte en leervermogen tussen leerlingen (Schuit et al, 2011, p.26). 3. Verbinding met de leefwereld van de leerlingen De motivatie voor leerlingen om nieuwe dingen te leren is hoger indien de nieuwe informatie meer betekenis of een grotere gebruikswaarde heeft (Schuit et al, 2011, p.29). 12
4. Coöperatief leren Het coöperatief leren heeft betrekking op het in groepsverband samenwerken van leerlingen aan leertaken (Schuit et al, 2011, p.31). Operationalisering: Het gepercipieerde leerrendement wordt gemeten door middel van kwantitatieve en kwalitatieve methoden. Het kwantitatieve deel omvat een online enquête onder leerlingen en docenten, het kwalitatieve deel omvat verdiepende gesprekken met leerlingen en docenten op het Liemers College. Voor de inhoud van de vragenlijst uit het onderzoek oek Benutting en opbrengst elektronische leeromgevingen in het MBO (Onderzoek Benutting en Opbrengst van Elektronische Leeromgevingen in het MBO (BOEL), 2008). Het deel van deze vragenlijst over de waargenomen effecten wordt gehanteerd als leidraad en aangepast aan het onderwerp en de opzet van dit onderzoek. Door een identieke meting op het 0-moment en 1-moment te vergelijken wordt het rendement bepaald. Het Liemers stelt hiertoe de e-mailadressen van haar leerlingen en docenten beschikbaar. 13
3 Onderzoeksopzet In dit hoofdstuk komen het onderzoeksontwerp, de methoden en instrumenten en de dataverzameling en analyse aan bod. Tot slot wordt de betekenis van de resultaten voor de praktijk toegelicht. 3.1 Onderzoeksstrategiestrategie In de vorige paragraaf zijn de doelstelling en onderzoeksvragen verwoord. Deze vormen de basis voor de ontwikkeling van de instrumenten en de metingen. In eerste instantie wordt de situatie bij aanvang van het onderzoek in kaart gebracht, de 0-meting. Vervolgens wordt de situatie ie aan het einde van het schooljaar in kaart gebracht, de 1-meting. Optioneel kan er ook na het volgende schooljaar nog een na-meting worden gedaan. Deze is niet in dit voorstel opgenomen. Na afloop van de 0-meting worden de resultaten samengevat in een tussentijds onderzoeksrapport. Dit rapport bevat de structuur van het eindrapport zodat de resultaten van de 1-meting daarin kunnen worden ingevoegd. Pas in het eindrapport worden analyses opgenomen. Definitie onderzoeksvragen 0-situatie tussenmeting Rapportage nameting 1-situatie Analyse & rapportage Rendement 1) Financieel 2) Ouderbetrokkenheid 3) Leerrendement 0-meting: rendement Verslaglegging 0-meting 1-meting: rendement Verslaglegging 0-, en 1-meting Analyse en conclusies Figuur 6: Onderzoeksdesign. 14
3.2 Onderzoeksmethoden Hieronder is per onderzoeksvraag een overzicht gegeven van de dataverzameling, het instrument, de doelgroep en selectie. Dit is in de volgende paragrafen tekstueel toegelicht. Onderzoeksvraag Dataverzameling Instrument Doelgroep Selectie 1. Rendement a. Financieel Kwalitatief (begroting & jaarcijfers) Deskresearch & interviews Controller en voorzitter CD 2 interviews tijdens zowel de 0- als 1-meting b. Ouder Kwalitatief & Gesprekken & Ouders 1 dagdeel gesprek en betrokkenheid kwantitatief online enquête 3.000 online uitnodigingen tijdens zowel de 0- als 1-meting c. Leerrendement Kwalitatief & Gesprekken & Leerlingen 2 dagdelen gesprek kwantitatief online enquête VMBO, HAVO, en 3.000 online VWO, gyman. uitnodigingen Klas 1 t/m 6 tijdens zowel de 0- als 1-meting c. Leerrendement Kwalitatief & kwantitatief Gesprekken & online enquête Docenten 2 dagdelen gesprek en 300 online uitnodigingen tijdens zowel de 0- als 1-meting Figuur 7: Overzicht onderzoeksmethoden 15
3.2.1 Dataverzameling & instrument Voor onderzoeksvraag 1a rendement financieel vindt de dataverzameling plaats via deskresearch en interviews. Zowel in de 0-meting als de 1-meting vinden twee interviews plaats, totaal vier. De interviews vinden plaats met de controller van het Liemers College en de Voorzitter van de Centrale Directie aangezien zij inzicht hebben in de financiële doelstellingen van BYOD als de manier waarop aan BYOD gerelateerde investeringen en kosten in de begroting zijn opgenomen. Voor onderzoeksvraag 1b rendement ouderbetrokkenheid vindt de dataverzameling plaats via gesprekken en online enquêtes. Zowel in de 0-meting als de 1-meting vinden één dagdeel met gesprekken plaats, totaal twee dagdelen. Ook worden tijdens zowel de 0-meting als de 1-meting online enquêtes afgenomen. De gesprekken vinden plaats met ouders die op de school langskomen. Er worden hiervoor momenten gekozen dat voldoende ouders aanwezig zijn (bijv. ouderavond). Aan hen wordt gevraagd of zij willen meewerken aan dit onderzoek en in een gesprek worden een aantal onderwerpen besproken aan de hand van een topiclijst. De online enquête wordt uitgezet onder alle ouders van leerlingen op het Liemers College waarvan bij het Liemers een e-mailadres bekend is. Voor onderzoeksvraag 1c leerrendement vindt de dataverzameling plaats via gesprekken en online enquêtes. Zowel in de 0-meting als de 1-meting vinden twee dagdelen en met gesprekken plaats, totaal vier dagdelen. Ook worden tijdens zowel de 0-meting als de 1-meting online enquêtes afgenomen. De gesprekken vinden plaats met leerlingen en docenten die op de school zijn en vrij of beschikbaar zijn. Aan hen wordt gevraagd of zij willen meewerken aan dit onderzoek en in een gesprek worden een aantal onderwerpen besproken aan de hand van een topiclijst. De online enquête wordt uitgezet onder alle leerlingen en alle docenten op het Liemers College. 16
3.2.2 Doelgroepen en selectie Het onderzoek richt zich op één onderwijssoort, namelijk het voortgezet onderwijs (VO). Binnen deze onderwijssoort worden alle aanwezige onderwijstypen (VMBO, HAVO, VWO), klassen (1 tot en met 6) bevraagd. Management (vraag 1a: financieel) De doelgroep management omvat het de controller van het Liemers College en de Voorzitter van de Centrale Directie. Voor de interviews worden de meest relevante managers geselecteerd op basis van achtergrondkennis en onderwerpen die zij in portefeuille hebben (o.a. ICT, BYOD, ). Ouders (vraag 1b: ouderbetrokkenheid) De doelgroep ouders betreft ouders van leerlingen van vestigingen van het Liemers College. Voor het kwalitatieve onderdeel is het streven om binnen een dagdeel diverse ouders te spreken. Hierbij vinden gesprekken plaats met ouders van leerlingen die beschikbaar zijn tijdens een en gekozen moment (bijv. ouderavond) en bereid zijn mee te werken aan het onderzoek. Er vindt geen specifieke selectie plaats. Voor het kwantitatieve onderdeel van het onderzoek is het streven om per doelgroep uitspraken met een betrouwbaarheid van 95% met een nauwkeurigheid van 5% te doen. De doelstelling is daarmee dat in elke meting minimaal 340 ouders responderen. Gezien de beschikbare aantallen e- mailadressen lijkt dit aantal haalbaar. De totale populatie (3.000) wordt aangeschreven. Leerlingen en docenten (vraag 1c: leerrendement) De doelgroepen leerlingen en docenten betreffen leerlingen en docenten van diverse vestigingen van het Liemers College. Voor het kwalitatieve onderdeel is het streven om binnen twee dagdelen diverse leerlingen en docenten te spreken op verschillende locaties. Hierbij vinden gesprekken plaats met leerlingen en docenten die beschikbaar zijn (lerarenkamer en studieruimte) en bereid zijn mee te werken aan het onderzoek. Er vindt geen specifieke selectie plaats. Voor het kwantitatieve onderdeel van het onderzoek is het streven om per doelgroep uitspraken met een betrouwbaarheid van 95% met een nauwkeurigheid van 5% te doen. De doelstelling is daarmee dat in elke meting minimaal 340 leerlingen en 165 docenten responderen. Gezien de beschikbare aantallen e-mailadressen lijkt dit aantal haalbaar. De totale populatie (leerlingen 3.000 en docenten 3.00) wordt aangeschreven. 17
3.3 Oplevering 3.3.1 Data analyse en rapportage Interviews: Van elk interview wordt een samenvatting geschreven welke de lijn volgt van het interviewprotocol. De uitkomsten van de interviews uit de 0-meting worden vergeleken met de uitkomsten van 1-meting. Gesprekken: Van elk van de dagen dat er gesprekken zijn gevoerd wordt per doelgroep een samenvatting geschreven welke de lijn volgt van het theoretische kader. De uitkomsten van de gesprekken op de 0-meting worden vergeleken met de uitkomsten van 1-meting. Online enquête: De verzamelde data worden in SPSS geïmporteerd en geanalyseerd. De data van beide meetmomenten worden samengevoegd. De volgende analyses worden uitgevoerd: 1) Factor- en betrouwbaarheidsanalyse om schalen te toetsen en schaalconstructie. 2) Beschrijvende analyses, waaronder de rechte tellingen (procentuele verdeling bij nominale variabelen) en gemiddelde scores met standaarddeviaties van variabelen op interval-/rationiveau. 3) Verdiepende analyses, waaronder toetsen van verschillen (Chi-kwadraattoets, T-test en Anova) en toetsen van verbanden (correlatie- en regressieanalyses). De uitkomsten worden weergegeven in een afzonderlijk tabellenrapport. 3.3.2 Output Elk onderdeel van het onderzoek levert een bepaalde output. Het kwalitatieve deel van het onderzoek levert de volgende output: Rapport met kwalitatieve gegevens uit de interviews en gesprekken Interviewprotocollen Geluidsbestanden Overzicht van interviews Het kwantitatieve deel van het onderzoek levert de volgende output: Rapport met kwantitatieve gegevens uit de enquêtes en toegepaste analyses Vragenlijst online enquête Codeboek Databestand SPSS Tevens wordt er een eindrapport geschreven waarin de kwalitatieve en kwantitatieve gegevens zijn samengevat. Hierin wordt ook antwoord gegeven op de onderzoeksvragen. 18
3.4 Planning 3.4.1 Planning Onderstaande planning geeft de fases en tijdslijn van het onderzoek. ek. De definitieve planning wordt afgestemd in overleg met de het Liemers College. Hierin wordt rekening gehouden met vakanties van betrokkenen (bijv. voor review van uitnodigings e-mails) en roosters op scholen. Afwijkingen op de planning worden met Kennisnet afgestemd. Bij de aanvang van het onderzoek vertaalt OIG deze planning in een detailplanning. Hierin worden alle (sub)activiteiten en deliverables benoemd en op een exacte datum ingepland. 1. Analyse Bepalen doelstellingen Uitwerken onderzoeksvoorstel Akkoord onderzoeksvoorstel 2. Voorbereiding Ontwikkelen vragenlijst Ontwerp, bouw en test website Akkoord start onderzoek 3. Uitvoer Uitzetten onderzoek (metingen) Monitoren, verhogen en verwerken respons Opleveren digitaal onderzoeksrapport Akkoord onderzoeksrapport 4. Evaluatie Bespreken resultaten Bespreken uitvoer communicatie resultaten 2012 2013 sept/okt 2wk 4wk nov/dec jan/feb mrt/apr mei/jun 0-meting tussenrapport 1-meting wk 43 wk 22 6 wk 6 wk juli/aug oplevering n.t.b. Vakantie Go no-go moment Figuur 8: Concept planning hoofdlijnen Optioneel kan er eind 2013 of in mei/juni 2014 nog een na-meting worden uitgevoerd. 3.4.2 Voortgangs- en responsrapportage Na elk van de fases in het onderzoek rapporteert OIG over de voortgang. Het doel van deze rapportage is om alle betrokkenen op de hoogte te houden over de voortgang van het onderzoek en eventuele knelpunten op gebied van inhoud, planning of budget tijdig inzichtelijk te kunnen maken. Tevens wordt er gerapporteerd over de respons. Dit gebeurt periodiek gedurende de weken na het versturen van de uitnodiging. Deze responsrapportage geeft een overzicht van de binnengekomen respons, de representativiteit van de data en de non-respons. Zo kan tijdig actie worden ondernomen wanneer een specifieke groep achterblijft. 19
4 Randvoorwaarden en uitgangspunten Bij het uitvoeren van de opdracht gaan wij uit van de volgende uitgangspunten en randvoorwaarden: a) OIG is initiatiefnemer en eigenaar van het onderzoek. OIG ontwikkelt de instrumenten en doet de uitvoer van het veldwerk. Kennisnet subsidieert het onderzoek. Het Liemers College verleent haar medewerking in het onderzoek en treedt op als sparringpartner. b) Het Liemers College en OIG werken nauw samen om de opdracht succesvol te maken. Gezien de planning is hierin de tijdige beschikbaarheid van mensen voor o.a. review van vragenlijsten en accorderen stappen van groot belang. c) OIG stelt de vragenlijst samen in samenspraak met het Liemers College. Het Liemers College denkt mee over relevante vragen. d) Het Liemers College stelt de e-mailadressen van de personen in de doelgroep beschikbaar aan OIG. Dit is alleen voor benadering in het kader van dit onderzoek en niet voor andere doeleinden. e) OIG levert na afronding van het veldwerk een onderzoeksrapportage op als eindproduct aan het Liemers College en Kennisnet. f) OIG is eigenaar van het onderzoek en de resultaten en verleent het Liemers College en Kennisnet het gebruiksrecht van de onderzoeksresultaten. Hieronder vallen opslaan, verveelvoudigen en publiceren van de onderzoeksresultaten. Onder onderzoekresultaten is tevens te verstaan het voorbereidend materiaal, de eventuele ontwikkelde technische en/of gebruikersdocumentatie en de tussentijdse rapportage(s) en eindrapport. g) In de publicaties van het Liemers College en Kennisnet over de resultaten van dit onderzoek worden de naam en logo van Onderwijs Innovatie Groep opgenomen. h) In haar communicatie municatie mag OIG het onderzoek en samenwerking met het Liemers College en Kennisnet noemen. i) OIG mag het onderzoeksrapport op haar website publiceren met het logo van het Liemers College en Kennisnet. j) De overeenkomst betreft een eenmalige ondersteuning bij het uitvoeren van het onderzoek. Na afloop vindt een evaluatie plaats, waarbij bij een positieve uitkomst verdere samenwerking wordt besproken. Concreet betreft dit de na-meting op dit onderzoek. 20
5 Projectteam De activiteiten in dit voorstel worden uitgevoerd door een projectteam van professionals. Rol 1. Project management Verantwoordelijkheden Overall projectmanagement en afstemming Vaste contactpersoon voor Liemers College en Kennisnet Naam Kim Schut 2. Onderzoek Inhoudelijke expertise onderzoek Uitvoer veldwerk en analyse Maarten Lamé Nicole van Dartel 3. Klankbord Inhoudelijke expertise onderwijs en implementatie BYOD op het Liemers College Vaste contactpersoon Liemers College Harald Wiggers 21