Berekeningen in Kwaliteitscholen

Transcriptie

1 Berekeningen in Kwaliteitscholen Inhoud: Dit document geeft uitleg hoe de berekeningen in Kwaliteitscholen plaatsvinden. Leidraad is de opbouw in informatieblokjes van een rapport: Inhoudsopgave Berekeningen Respondentgroepen... 2 Berekeningen in Overzicht domeinen... 3 Stap 1: waarden worden opgeslagen... 3 Stap 2: berekenen Stellinggemiddelde... 4 Stap 3: berekenen Domeingemiddelde... 4 Stap 4: berekenen benchmarkgemiddelde... 5 Stap 5: Visuele weergave... 5 Hoe wordt de grafische exact weergave bepaald?... 6 Berekeningen in Verdieping domeinen en stellingen... 8 Aantal... 8 Standaarddeviatie van een domein (en stelling)... 8 Rang... 9 Prognose en Ambitie Berekeningen in Uitsplitsing Overzicht stellingen Stellingen details Verdeling categorieën in stellingen details Achtergrondinformatie Non-Respons Speeders & Straightliners Afronden Representativiteit Berekening scores per aspect waarderingskader inspectie Cases en vragen Aanpassing 6 mei

2 Berekeningen Respondentgroepen In dit overzicht worden de aantallen getoond van het aantal respondenten dat is geselecteerd. Er zijn drie groepen: per respondenttype, schooltype en leerjaren. Achter het aantal staat het percentage. Dat wordt als volgt berekend: het filter / totaal aantal. Bijvoorbeeld 2 leerlingen havo / 6 (totaal aantal schooltypen) = 33,3% aandeel voor schooltype havo 2

3 Berekeningen in Overzicht domeinen Tabel met de kengetallen van de geselecteerde domeinen, afgezet tegen de benchmark. U ziet hier een berekening en een visuele interpretatie van die gegevens. De berekening van deze domeinenscores is gebaseerd op de scores van de stellingen. De procedure wordt hierna uitgelegd. Stap 1: waarden worden opgeslagen Elk antwoordtype kent een waarde. Op een 5-puntschaal kan die uiteenlopen van zeer eens tot zeer oneens : De respondent vult zeer eens in, in de database wordt een 5 opgeslagen. Naast deze waarde wordt ook de score opgeslagen, alsmede allerlei kenmerken van de respondent. Het respondent-id wordt niet opgeslagen bij anonieme onderzoeken. Er kunnen verschillende waarden worden toegekend aan de verschillende antwoordopties, dat is afhankelijk van de antwoordenset die men samenstelt. De antwoordschalen kunnen lopen van een 2- puntschaal tot een x-puntschaal, daar is geen limiet aan verbonden. Echter, uit pragmatisch oogpunt stelt Kwaliteitscholen de limiet in een antwoordschaal, die meetelt voor een domeinscore, op 10. Nul-waarde: Voor elke vraag kan een optie niet van toepassing en/of weet niet worden aangegeven. Dat krijgt de waarde 0. Dat antwoord wordt niet meegenomen in de berekening van een gemiddelde. Positief-negatief: een stelling kan positief of negatief bijdragen aan een domein. De stelling Ik slaap meestal 8 uur per dag, draagt positief bij aan een mogelijk domein Gezondheid van de leerling, maar weer negatief aan het domein Slapeloosheid. Of een stelling positief of negatief telt, wordt bij de vraag vastgelegd door middel van een schuifje. In dat geval worden de antwoorden geflipt opgeslagen, dat wil zeggen een 5 wordt een 1, een 4 een 2, een 2 een 4 en een 1 een 5. Tekstvak: een tekstvak wordt niet meegenomen in de berekening. In een tekstvak kunnen maximaal tekens worden opgenomen. 3

4 Stap 2: berekenen Stellinggemiddelde Omrekenen naar 10-puntschaal De antwoordschalen worden met de volgende formule omgerekend naar een 10-puntschaal: 9 score = (X 1) max min + 1 Waarbij, X = de score zoals de respondent die invult Max = de maximale score mogelijk op een schaal Min = de minimale score mogelijk op een schaal Voorbeeld, van 4 naar 7,75 op een 5-puntschaal Berekenen stellinggemiddelde Na de omrekening naar een 10-puntschaal per stelling wordt er per stelling een gemiddelde berekend van alle respondenten. Domein 1 Domein 1 Leerling# School Leerjaar Vraag_1 Vraag_2 Vraag_3 Gemiddelde 1001 A 1 3,25 5,50 7,75 5, A 1 1,00 3,25 5,50 3, B 2 7,75 10,00 10,00 9, B 2 5,50 7,75 10,00 7, B 2 10,00 10,00 10,00 10, B 2 7,75 7,75 7,75 7, B 3 5,50 5,50 5,50 5, B 3 5,50 7,75 10,00 7, B 3 10,00 7,75 5,50 7, B 3 10,00 7,75 7,75 8,50 Gemiddelde = 6,63 7,30 7,98 Stap 3: berekenen Domeingemiddelde Omrekenen naar 10-puntschaal Ook voor een domeingemiddelde worden de scores van de respondenten omgezet naar een score op een 10-puntschaal. Domeinscores berekenen Voor de domeinscores wordt bij elke respondent een score op een domein berekend. De respondent moet méér dan de helft van de vragen hebben ingevuld (met uitsluiting van de tekstvragen dus 5 4

5 stellingen met 1 tekstvraag moet minimaal op 2 stellingen een score hebben), om domeinscore te laten berekenen. Voorbeeld Omgepoolde scores Domein 1 Domein 1 Leerling# School Leerjaar Vraag_1 Vraag_2 Vraag_3 Gemiddelde 1001 A 1 3,25 5,50 7,75 5, A 1 1,00 3,25 5,50 3,25 Domeingemiddelden berekenen De domeinscores van individuele respondenten worden omgezet naar een domeingemiddelde voor de hele groep. Voorbeeld, domein bestaat uit vraag 1, 2 en 3 Van de kengetallen worden ongewogen gemiddelde berekend van de geselecteerde respondenten. Stap 4: berekenen benchmarkgemiddelde De berekening van de benchmark gaat op dezelfde manier als het berekenen van het domeingemiddelde. Het ongewogen gemiddelde wordt berekend door alle domeinscores van de deelnemende locaties of respondenten op te tellen en te delen voor het aantal deelnemende scholen of respondenten. Er worden alleen resultaten meegenomen van afgeronde onderzoeken. Stap 5: Visuele weergave Er zijn drie manieren waarop een visuele weergave kan worden opgevraagd: weersymbolen; klavertjes-4 en blokjes. Of een domein (of een stelling, zie verderop) een zonnetje of een wolkje krijgt, of een gevulde of (deels) gevulde klaverbladen en blokjes, is afhankelijk van het totaal aantal domeinscores. Er wordt per domein uitgegaan van het aantal deelnemende scholen, respondenten of geëvalueerden. Er zijn 5 categorieën, die elk een bereik van 20% van de scores aangeven. De 20% van de beste scores op een domein krijgen het stralende zonnetje toebedeeld. De van 80% 5

6 tot 60% hoogste scores krijgen een zonnetje met lichte bewolking ervoor, et cetera. De totale hoeveelheid scholen / geëvalueerden bepaalt daarmee de aantallen per categorie. Dit is te zien in bijgaande afbeelding. Hierin is te zien dat bij 185 scholen, de hoogst scorende groep plek 1 t/m 37 bevat % 60 80% 40 60% 20 40% 0 20% Hoe wordt de grafische exact weergave bepaald? De grafische weergave is een 5-puntschaal met de volgende gradaties: veel slechter dan benchmark - slechter dan benchmark - zelfde als benchmark - beter dan benchmark - veel beter dan benchmark. Voor het berekenen van de score werd gerekend met de percentielscore. In de nieuwe rapportage kiest de gebruiker zelf het benchmarkniveau: totaal, bestuur, school, locatie of geen (bij geen vervalt de grafische weergave). Op benchmarkniveau is de gemiddelde waarde (benchmarkscore) en de standaarddeviatie beschikbaar. Om de afwijking t.o.v. het gemiddelde te normaliseren wordt er gebruik gemaakt van een Z-score. Hierbij word de afwijking uitgedrukt in een aantal standaarddeviaties. Om de z-score op een soortgelijke wijze als hiervoor te verdelen worden de volgende grenzen gebruikt: (zie 6

7 De z score berekenen we in dit geval door de "score" voor de waarde waar we naar aan het kijken zijn (X) te vergelijken met de "benchmarkscore" (B) en de standaarddeviatie van de benchmark (s) Z = (X - B) / s Op deze manier zal de visuele weergave overal op dezelfde manier berekend en vastgesteld kunnen worden. Beperking Bij weinig respondenten in de benchmark is de waarde van de benchmarkscore en de bijbehorende standaarddeviatie natuurlijk veel onzuiverder dan wanneer er veel respondenten in die benchmark zitten. Om die reden ziet u pas een grafische weergave bij > 500 respondenten in de benchmark minstens 100 respondenten in de eigen selectie. 7

8 Berekeningen in Verdieping domeinen en stellingen Informatieblok Verdieping bevat de volgende onderdelen: Horizontaal: aantal, score standaarddeviatie (SD), Prognose en Ambitie (indien aanwezig). Verticaal: eigen (= selectie), de locatie, school, bestuur en benchmark. De filters van de benchmark, school en bestuur komen overeen met die van de selectie. Als onder Filter alle resultaten wordt beperkt op bijvoorbeeld alleen havo, dan worden zowel op de benchmark als de eigen resultaten alleen de havorespondenten geselecteerd: De Score is hierboven behandeld. Aantal Eigen, School, Bestuur en Benchmark toont het aantal respondenten dat voldoet aan de filters. Dat kan bijvoorbeeld zijn het aantal leerlingen van een locatie met schooltype havo. Standaarddeviatie van een domein (en stelling) De standaarddeviatie of standaardafwijking geeft de gemiddelde (of standaard) afstand tot het gemiddelde weer. Dit zegt iets over de spreiding binnen de gegeven antwoorden van een bepaalde score. Hoe hoger de standaarddeviatie, hoe meer verschil is te vinden tussen de respondenten. De standaarddeviatie wordt berekend met de volgende formule. (x x )2 s = n 1 waarbij x = score, x = gemiddelde op variabele x, n = aantal responsen Voorbeeld: 8

9 Voor elk domein en elke stelling wordt een standaarddeviatie berekend. In het voorbeeld is te zien dat vraag 1 een hogere standaarddeviatie heeft (3,05), omdat er meer spreiding is in de scores. Voor alle standaarddeviaties die weergegeven worden op domeinniveau, geldt hetzelfde als voor het gemiddelde, namelijk dat de scores voor een respondent eerst berekend moeten worden, voordat dit omgezet kan worden in een standaarddeviatie. Als er helemaal geen variatie in de getallenreeks is dan is de uitkomst 0 (nul). Alle getallen komen dan overeen met het gemiddelde. De standaarddeviatie is een indicator voor het normaal verdeeld zijn van de variabele. (vb Wikipedia) Bij een normale verdeling valt ongeveer 69% van de waarden minus 1 en plus 1 van het midden van de verdeling. Bij plus of min twee maal de standaarddeviatie ligt ongeveer 95%, en bij plus of min drie maal de standaarddeviatie ligt 99%. Is dit niet het geval dan heeft men een andere verdeling. Hoe te gebruiken Een kleine standaardafwijking betekent dat er weinig verschillen zijn tussen de scores van leerlingen, ouders of medewerkers, terwijl een grote standaardafwijking betekent dat er grote verschillen zijn. Dan moet je voorzichtig zijn bij de interpretatie. Dan kan het zijn dat een aantal uitschieters de gemiddelde score sterk hebben beïnvloed. Hoe hoger de standaarddeviatie, hoe meer verschil er is tussen de respondenten. Met behulp van de standaarddeviatie zijn uitbijters (dat zijn gegevens die flink afwijken van de rest) aan te wijzen. Deze kunnen worden verwijderd. Als een uitbijter wordt weggelaten, moet opnieuw het gemiddelde en de spreiding worden berekend. Rang De rang wordt alleen weergegeven bij de opvraging van een uitsplitsing, zoals alle beoordeelden bij een xy-vragenlijst. Om de rang te bepalen, worden alle gemiddelden van een domein op volgorde 9

10 gezet. De hoogste score krijgt plaats 1, de een-na-hoogste krijgt plaats 2 etc. De rang laat twee getallen zien: de eigen plaats / het totaal aantal plaatsen. Prognose en Ambitie De kengetallen van de Prognose en Ambitie worden net zo berekend als bij de domeinen en stellingen. Er vindt een omrekening plaats naar een 10-puntschaal. Per respondent wordt de gemiddelde domeinscore berekend. Voor prognose ambitie worden de volgende filters NIET toegepast: onderzoek; individuele beoordeelde; individuele respondent; team (beoordeelde en respondent); klas; persoonstype; schooltype; leerjaar; leeftijdsgroep; profiel sector/keuze. Bij EIGEN word gekeken naar de geselecteerde invuller P&A (als dat gevuld is). Op andere niveaus (dus locatie, school, bestuur, benchmark) word niet gekeken of het de geselecteerde P&A invuller is. Berekeningen in Uitsplitsing Horizontaal: per uitsplitsing wordt de score getoond van de eigen selectie, de benchmark, de rang, locatie, school en bestuur. Verticaal: de uitsplitsing, dat kan zijn op leerjaren, klassen, schooltype, beoordeelde, vak, degenen die P&A hebben ingevuld (zie filterlijst Uitsplitsing). Per uitsplitsing wordt de score berekend van de selectie, de benchmark, de rang, locatie, school en bestuur. Met andere woorden: als er gekozen wordt voor uitsplitsing op schooltypen, dan ziet men verticaal [totaal] van de selectie en daaronder de lijst van schooltypen die voldoen aan de selectie, zoals atheneum, brugperiode, gymnasium in scholengemeenschap en havo. Eigen: de score van de selectie, dat kan zijn van een afdeling, locatie of locaties, school en bestuur. BM en Rang: is de score van de benchmark, met daarachter het aantal locaties (of scholen/besturen als een rapport opgevraagd wordt van een hele school of een heel bestuur) dat voldoet aan de selectie. Zie voor nadere info over benchmark en rang hierboven. Het blokje met Locatie School - Bestuur: de score van de interne benchmark: vergelijking met de eigen school en bestuur. (Als een bestuur bestaat uit 1 school en die ene school uit 1 locatie, dan staan daar drie dezelfde getallen per schooltype.) 10

11 Overzicht stellingen De scores van de stellingen met een visuele weergave. Score: zie hierboven, Berekenen Stellinggemiddelde. BM: zie Berekenen benchmarkgemiddelde Visueel: zie Visuele weergave Stellingen details Uitwerking van details van elke stelling die onderdeel uitmaakt van het domein, met de verdeling over de antwoordensets. Visueel weergegeven met blokjes. Er kunnen twee opties worden gekozen in de rapportagetool: 1. Van de eigen score, afgezet tegen school, bestuur en benchmark. 2. Van de Uitsplitsing. 11

12 Verdeling categorieën in stellingen details Met de opmaak in blokjes kunnen waarden in een cel visueel worden gemaakt door ze in te delen in een categorie. Voor de verdeling in categorieën is een pictogrammenset gekozen met blokjes. Cellen die voldoen aan een bepaald criterium worden voorzien van geen, één, twee, drie of vier blokjes. Deze indeling komt overeen met Excel / Start / Voorwaardelijke opmaak / Pictogramseries / Classificaties. Met deze pictogramserie worden de gegevens van een bepaald filterkenmerk ingedeeld in vijf categorieën die van elkaar worden gescheiden door een drempelwaarde. Elk pictogram stelt een waardenbereik voor en elke cel bevat het pictogram dat dat bereik vertegenwoordigt. De drempelwaarden staan hieronder weergegeven: Achtergrondinformatie Non-Respons Weet-niet-antwoorden en Niet-van-toepassing-antwoorden worden opgeslagen als een 0. Deze tellen niet mee in domeinscore. Het kan in rapporten voorkomen dat er om die reden bij het ene domein wel een kengetal te zien is en bij het andere niet. Dat geldt alleen voor anoniem opgeslagen antwoorden, dan is er een minimum van 5 respondenten vereist. Men kan op stellingniveau een detailweergave zien indien n > 5. Bij een niet-anonieme vragenlijst is dat niet van toepassing. Speeders & Straightliners Van elk antwoord wordt de invultijd genoteerd. Scholenopdekaart filtert zelf de speeders en straightliners. Er is nog studie nodig hoe dat geïmplementeerd kan worden in Kwaliteitscholen, er zitten allerlei haken en ogen aan. Vooralsnog worden alle antwoorden opgeslagen. Het vervolgens filteren op speeders en straightliners kan het opvragen van een rapport enorm vertragen. Om die reden lijkt het het beste om die antwoorden niet op te slaan. De vraag die dan gesteld wordt, is: vanaf hoeveel vragen gaat de regel van speeders en straightliners gelden? Wat te doen met de xyvragenlijsten? Kortom: voorlopig noteren we de invultijden en de straightliners. Via een data-export kan worden gecontroleerd hoe de vragenlijst ingevuld is. 12

13 Afronden Gezien het formaat van de data in Kwaliteitscholen heeft een klein verschil in afronding mogelijk een grote impact op de resultaten. Daarom worden in de database van Kwaliteitscholen resultaten afgerond op 10 decimalen. Dit minimaliseert de impact van afrondingsverschillen in de benchmark. Representativiteit (geen onderdeel rapport, staat op pagina Beheer onderzoek) De uitkomst van de representativiteitsformule geeft wenselijke en het minimaal aantal respondenten voor een bepaald resultaat aan. Wanneer de uitkomst voor de minimale steekproefgrootte met 93% betrouwbaarheid 91.3 respondenten bedraagt, dan zijn er minimaal 92 respondenten nodig. Gehanteerde formules representativiteit: De formule voor minimale respons is: N: de grootte van de populatie Minimale respons = N Z 2 p(1 p) Z 2 p(1 p) + (N 1) F 2 z: de standaardafwijking die bij het gekozen betrouwbaarheidsniveau (90%) hoort = 1,64. p: de kans dat iemand een bepaald antwoord geeft = 50% F: de gewenste nauwkeurigheid = 7% De formule voor de gewenste respons is: N: de grootte van de populatie Wenselijke respons = N Z 2 p(1 p) Z 2 p(1 p) + (N 1) F 2 z: de standaardafwijking die bij het gekozen betrouwbaarheidsniveau (95%) hoort = 1,96 p: de kans dat iemand een bepaald antwoord geeft = 50% F: de gewenste nauwkeurigheid = 5% Berekening scores per aspect waarderingskader inspectie Bij het berekenen van de scores per aspect van het waarderingskader worden alleen de vragen mee berekend die een score op de 10-puntsschaal hebben. Voor de score per vraag wordt een gemiddelde genomen over alle antwoorden.. Voor de score per aspect word het gemiddelde genomen over de eerdere berekende scores per vraag. Logica rond de berekening van de domeinscores (zoals minimaal aantal beantwoorde vragen etc) is hier niet van toepassing. De antwoorden van de prognose en ambitie worden niet meegenomen. 13

14 Er wordt gekeken naar de anonimiteit: bij 1-4 anonieme antwoorden en minder dan 25 respondenten wordt er geen score weergegeven. 14

15 Cases en vragen Hieronder staan de beschrijving van enkele veel voorkomende vragen. Hoe wordt de score van de school en de benchmark berekend als je uitsplitst op schooljaren, bijvoorbeeld Uitsplitsing Schooljaren en dan van schooljaar 2014 en 2018? Als je resultaten opvraagt van 1 juli 2014 tot en met 12 december 2018, dan worden alle resultaten van die periode (in dit voorbeeld ruim 4 jaar) meegenomen, zowel van de school als van de benchmark. Zie hier. Waarom zie ik bij Quickscan Medewerkersonderzoek met als Uitsplitsing Schooljaren in schooljaar 2014 wel een score bij Tevredenheid Algemeen en bij 2018 niet? Vanaf schooljaar 2018 worden geen domeinscores meer getoond bij domeinen die bestaan uit 1 stelling. In 2014 nog wel. In dit specifieke voorbeeld van de Quickscan Medewerkersonderzoek geldt dat de domeinnaam nog wel is blijven staan, omdat u dan wel een (algemene) score krijgt van de stelling. Als u dat niet wilt, kunt u exporteren naar Word dan kunt u die score verwijderen. Waarom zie ik bij een domein 127 respondenten en bij een stelling van dat domein 125? Als een domein bestaat uit 5 stellingen en iemand beantwoordt 3 van de 5 stellingen, dan telt diegene mee als respondent bij dat domein. (niet als diegene op 3 van de 5 stellingen geen antwoord geeft, zie uitleg in bestand "Berekeningen in Kwaliteitscholen".) Als iemand op een stelling "nvt / weet niet" kiest, telt deze niet mee als respondent van die stelling. Dus dan kan het voorkomen dat een domein meer respondenten kent dan genoemd bij een stelling. Dat kan uiteraard ook zo zijn dat een domein 125 antwoorden kent en een stelling van dat domein 127. Hoe kan het komen dat ik andere aantallen zie bij eigen en school? Dat kan als bij Eigen bijvoorbeeld 1 leerjaar is gekozen. Dan worden die resultaten vergeleken met alle andere locaties. Het kan zijn dat de locatie onderdeel uitmaakt van een school of scholengroep, dat wordt dan getoond bij school. Bij bestuur wordt het aantal deelnemende leerlingen getoond die behoren bij het bestuur van de school. 15

16 Dit is dezelfde locatie school bestuur. De benchmark is ook hetzelfde. Dat hoeft niet zo te zijn: als van een docent in de ene selectie van klassen alleen havo-leerlingen worden geselecteerd en in een andere alleen vwo-leerlingen, dan zal de benchmark ook aangepast worden: de beperking op bijvoorbeeld schooltypen geldt voor Alle resultaten, zowel voor de benchmark als de selectie. Hoe kan het komen dat ik bij verschillende domeinen andere aantallen respondenten zie van mijn eigen locatie? Dat kan meerdere oorzaken hebben: o Een domein kan voorafgaan door een relevantievraag. Dat domein zal dan door een groep respondenten worden overgeslagen. o Een domein kan door een aantal respondenten op meerdere stellingen geen antwoord gegeven worden. o Het kan bij Vrije Rapportage ook zo zijn dat een domein afgenomen is in twee onderzoeken en een ander domein niet. o Er kunnen ook andere respondenten zijn. Wanneer zie ik in een rapport een zonnetje of een wolkje? Of men een zonnetje of een wolkje (of blokjes of klavertjes-4) krijgt, wordt per domein bepaald. Per domein wordt gekeken naar het aantal deelnemende scholen of geëvalueerden. Er zijn 5 categorieën met elk een bereik van 20% van de scores. De 20% van de beste scores op een domein krijgen het stralende zonnetje te zien. De van 80% tot 60% hoogste scores krijgen een zonnetje met lichte bewolking ervoor, et cetera. De totale hoeveelheid scholen/geëvalueerden bepaalt daarmee de aantallen per categorie. Dit is te zien in onderstaande afbeelding. Hierin is te zien dat bijvoorbeeld in het geval van 185 scholen, de hoogst scorende groep plek 1 t/m 37 bevat. Waarom staan er zonnetjes en wolkjes bij de stellingen en wat betekent dat? 16

17 Dat is dezelfde verbeelding van de relatieve score als bij de domeinen. De score wordt vergeleken met de benchmark en ook bij de stellingen wordt getoond wat de plaats van de stelling is, ingedeeld in groepen van 5. Zie de uitleg bij het domein. In het rapport staat op pagina 2 respondenten: %. Het onderzoek is echter uitgezet onder 53 respondenten. Dus ik zou graag zien dat er dan staat 44 ingevuld van de 53 = 83%. Het kopje representativiteit heb ik gevonden inderdaad, daar staat het wel duidelijk en correct weergegeven. Het informatieblokje toont het aantal respondenten. Voor de representativiteit moet inderdaad gekeken worden naar de pagina van het onderzoek. Dit heeft te maken met het feit dat je via Vrije Rapportage resultaten van meerdere onderzoeken samen kunt voegen. In dat geval is het een hele klus om uit de onderzoeken alle non-respondenten te peuteren. En de rapportgenerator is niet zo ingesteld dat er onderscheid wordt gemaakt via welke route je een resultaat opvraagt. Wel de selectie van domeinen, de gekozen rapportinstellingen, de periode, de geselecteerde de respondenten, maar het aanroepen van de database en het opbouwen van het rapport is verder generiek. We zullen tzt een pdf aanbieden van de pagina representativiteit. Dan kan dat als bijlage worden meegestuurd als een resultaat via een onderzoek wordt opgevraagd. Hoe worden de teamresultaten opgeslagen? Kun je teamresultaten volgen op schooljaar? Teams zijn NIET per schooljaar, maar lopen door zodat we ook weten wanneer iemand voor 2e jaar in een team zit. Bij de scores vanaf dit schooljaar wordt het team ook bij de respondent / beoordeelde vastgelegd, dus er zijn teamresultaten op het moment van definitief maken van de antwoorden. Bij meerdere metingen kunnen de teamresultaten dan opgevraagd worden per periode (kan zijn trimester of kwartaal of schooljaar). Bij de tevredenheidsenquêtes is het zo dat bij negatief gestelde vragen er een omkering plaatsvindt. Op een stelling als mijn kind is de afgelopen maanden op school gepest is een hoge score een goed teken. Maar hoe zit het met de stelling Ik zou meer contact willen met de mentor van mijn kind.? Betekent een hoge score hier dat het NIET goed is, en betekent een lage score dat het goed is? De vraag maakt deel uit van het domein Zicht op begeleiding. Klik op de groene knop [Bekijk vragen]. Achter de stelling staat een uitleg van de antwoordenset: (neg) betekent dat de scores worden omgedraaid: zeer eens krijgt 1 punt en zeer oneens 5. Het antwoord op de stelling is inderdaad zoals die is bij een vergelijkbare stelling als van pesten. Op deze manier kunnen de resultaten worden opgeteld tot 1 domeinscore. De score van de stelling werkt ook hetzelfde als met andere domeinen. Als de score een 7 is en die van de benchmark is een 6, dan doe je het beter dan de benchmark, is de benchmark een 8, dan doe je het slechter. 17

18 Men kan de stelling ook uitsplitsen op een resultaat, bijvoorbeeld: Ik heb stellingen toegevoegd bij een domein, maar die resultaten worden niet meegenomen in de berekening van dat domein. Hoe kan dat? De scores van een domein worden opgeslagen op het moment dat een respondent een onderzoek afsluit / resultaten verzendt. De domeinscores worden dus per respondent vastgelegd en niet achteraf herberekend. Het toevoegen / verwijderen van een stelling in/uit een domein kan het beste aan het eind of begin van een schooljaar gebeuren. 18

19 Aanpassing 6 mei 2019 Weergave en berekening van de grafische weergave en ranking is aangepast Er komen twee aanpassingen in de rapportage: Bij Verdieping vervalt de rang en wordt de visuele weergave anders berekend. Alleen bij Uitsplitsing wordt nog de rang getoond, en wel van de onderlinge verschillen. Waarom deze aanpassingen? Neem onderstaand voorbeeld: De Rang bij Eigen en School en Bestuur was nietszeggend en riep vragen op. Wat als je een selectie maakt van 3 docenten en die afzet tegen de benchmark? Dan zie je een ranking van 1/2, maar dat zegt niets. Ook de visuele weergave liep scheef. Eenzelfde fenomeen zag je bij een uitsplitsing op respondent of beoordeelde, zie de 1/1: Wat zijn de gevolgen? De optie om de ranking te onderdrukken zal verdwijnen, omdat deze niet meer getoond wordt bij individuele resultaten van bijvoorbeeld een docent. De ranking wordt alleen nog getoond bij de uitsplitsing. Door deze andere manier van berekenen zal het opbouwen van de rapportage sneller worden. Het berekenen van de visuele weergave is niet meer gebaseerd op de percentielscore, dat gaf teveel onduidelijkheid. De grafische weergave wordt nu bepaald door een vergelijking te maken met de door de gebruiker gekozen benchmark. Bepaling van de ranking 19

20 Nadat er in het verleden veel vragen zijn gekomen over de weergave van de ranking (en deze ook op veel plaatsen ongewenst bleek) kiezen we er nu voor om deze alleen weer te geven voor een uitsplitsing, zoals naar klas, leerjaar, beoordeelde enz. De ranking wordt bepaald door alle scores van de uitsplitsing op volgorde te sorteren. De rang zal dan de onderlinge verschillen aangeven van de gekozen uitsplitsing. Dat is nu niet het geval. Bij een uitsplitsing van bijvoorbeeld 25 respondenten is de ranking dan van 1 t/m 25. Dit is een eenvoudige logica die voor iedereen te volgen is. Hoe wordt de grafische weergave bepaald? De grafische weergave is een 5-puntschaal met de volgende gradaties: veel slechter dan benchmark - slechter dan benchmark - zelfde als benchmark - beter dan benchmark - veel beter dan benchmark. Voor het berekenen van de score werd gerekend met de percentielscore. In de nieuwe rapportage kiest de gebruiker zelf het benchmarkniveau: totaal, bestuur, school, locatie of geen (bij geen vervalt de grafische weergave). Op benchmarkniveau is de gemiddelde waarde (benchmarkscore) en de standaarddeviatie beschikbaar. Om de afwijking t.o.v. het gemiddelde te normaliseren wordt er gebruik gemaakt van een Z-score. Hierbij word de afwijking uitgedrukt in een aantal standaarddeviaties. Om de z-score op een soortgelijke wijze als hiervoor te verdelen worden de volgende grenzen gebruikt: (zie De z score berekenen we in dit geval door de "score" voor de waarde waar we naar aan het kijken zijn (X) te vergelijken met de "benchmarkscore" (B) en de standaarddeviatie van de benchmark (s) Z = (X - B) / s Op deze manier zal de visuele weergave overal op dezelfde manier berekend en vastgesteld kunnen worden. Beperking (bv 5 * > dan de benchmark) Bij weinig respondenten in de benchmark is de waarde van de benchmarkscore en de bijbehorende standaarddeviatie natuurlijk veel onzuiverder dan wanneer er veel respondenten in die benchmark zitten. Om die reden ziet u pas een grafische weergave als de benchmark 5 keer groter is dan het aantal opgevraagde respondenten. 20

21 Bijvoorbeeld: Aantal respondenten opvraging Aantal respondenten Benchmark Voor het y resultaat wordt sneller het aantal van de benchmark gehaald als respondenten meerdere beoordeelden evalueren. Als bijvoorbeeld een leerling drie docenten heeft geëvalueerd, dan telt deze als 3 respondenten bij het totale aantal respondenten 21