Aanvulling handleiding Drempelonderzoek Deel 2 Voor degene die gaat werken met de uitslag 678 Onderwijs Advisering T.J. Kapinga
Voorwoord Meerdere malen is het Drempelonderzoek in de laatste twintig jaar in samenstelling of qua rapportagevorm gewijzigd. In de 4 e versie in 2006 werd de toets begrijpend lezen vervangen en die voor technisch lezen werd aan het onderzoek toegevoegd. Tevens werd het mogelijk om ook de differentiatie tussen havo en vwo zichtbaar te maken. Ook werd per augustus 2006 de ADCDE-notatie op de rapportagebladen vermeld. Uit het voorwoord van de vierde versie nemen we over: Met de toets Technisch lezen 90B zijn nu alle onderdelen opgebouwd via het principe waarmee het Drempelonderzoek zich onderscheidt van andere instrumenten. Uit de leerstof voor groep 5 t/m 8 van de basisschool zijn toetsen samengesteld die gemakkelijk beginnen maar sterk klimmen in moeilijkheidsgraad. De leerling op weg naar de Praktijkschool vindt hierdoor nog maakbare opgaven in de toets en de vwo-er komt na vele gemakkelijke opgaven aan het eind de struikelblokken tegen. De toetsen hebben een groot meetbereik. De toets Begrijpend lezen voor het Drempelonderzoek is van de grond af opgebouwd met als doel om een toets te maken met een zo groot mogelijke differentiatiebereik. Dat is gelukt. De toets is valide voor de groepen 5, 6, 7 en 8 basisschool en dat is uitzonderlijk. Het onderzoekswerk heeft daarnaast vijf toetsen opgeleverd die onder de naam Begrijpend lezen 345678 zijn uitgegeven. De 5 e versie 2010 die nu voor u ligt markeert de invoering van het Didactisch Quotiënt (DQ) dat het mogelijk maakt om nauwkeuriger te adviseren en dat het plaatsbepalingssysteem onafhankelijk maakt van het gebruik van de dle-systematiek. Hiermee komen we tegemoet aan de bewaren die de Commissie TestAangelegenheden Nederland (COTAN) heeft tegen het gebruik van DLE. Deze bezwaren worden door ons onderschreven. In het schooljaar 2008-2009 hebben we de normering van de toetsen spelling, woordenschat en rekenen gecontroleerd. Na goedkeuring door de Cotan zullen de nieuwe normtabellen vanaf 1 augustus 2010 gebruikt worden. Het Didactisch Quotient is de naam die we geven aan de systematiek van het werken met normscores zoals die ook gebruikt worden bij intelligentietoetsen als de NIO of de NDT. Niet alleen het Drempeladvies is gekoppeld aan deze maat, ook de ABCDE-notatie wordt hiervan afgeleid. Op deze wijze lukte het om de complete schoolverlatersgroep van het primair onderwijs, de basisschool leerlingen plus de leerlingen uit het speciaal basisonderwijs, in het normsysteem op te nemen. De plaatsbepalingsformulieren voor het voortgezet onderwijs en voor het basisonderwijs zijn zowel inhoudelijk als qua uiterlijk ingrijpend gewijzigd en gebaseerd (voor het proefjaar 2009-2010) op gegevens van meer dan 25.000 leerlingen. Er wordt gewerkt met vijf adviseringsperioden; september/oktober, november/december, januari/februari, maart/juni groep 8 en klas 1 vo. Deze handleiding heeft een bijzondere samenstelling. De toetsafnemer vindt de belangrijkste informatie voorin en degene die gaat werken met de uitslag hoeft niet veel verder te lezen. De cijfermatige verantwoording komt verderop aan bod. We kozen voor deze vorm vanuit eigen praktijkervaring en ook om de gebruikers op de ruim tweeduizend scholen die met het Drempelonderzoek werken snel te informeren. De afgelopen jaren ontvingen we van veel gebruikers complimenten over de eenvoud van afname en verwerking en de snelheid en duidelijkheid van de rapportage. In het cursusjaar 2009-2010 maakten we rapporten via zowel het oude DLE-als het nieuwe DQ-systeem. Met ingang van augustus 2010 werken we voornamelijk met de DQmaat en wordt de DLE alleen nog vermeld op de rapportages. We hebben suggesties ter verdere verbetering zoveel we konden opgevolgd. Hartelijk dank voor uw positieve reacties. We blijven daar voor open staan. Leerlingen op de juiste plek en oma mag alle rapporten zien. Daar gaan we voor en we hebben er vertrouwen in dat het Drempelonderzoek hierin een rol kan spelen. We wensen u veel succes op uw verwijzingspad. Ton Kapinga Winter 2009-2010 Drempelonderzoek 678 Deel 2 2 5 e versie 2010
Deel 2 Maatsystemen binnen het Drempelonderzoek en advisering Normscores De aantallen goed van de toetsonderdelen technisch lezen, spelling, woordenschat, begrijpend lezen en rekenen worden genormeerd per normeringsperiode in groep 8 basisonderwijs en begin klas 1 voortgezet onderwijs. De resulterende verdeling zijn genormaliseerd en hebben een gemiddelde van 100 en een standaardafwijking van 15. Bij een intelligentietoets als de NIO (Van Dijk & Tellegen, 2004) worden de scores van de deeltoetsen op dezelfde manier berekend. De normscores in het Drempelonderzoek noemen we Didactisch Quotiënt (DQ). We hebben gekozen voor een scorerange van 65 135. Lagere scores dan 65 worden verhoogd tot dit getal en hogere dan 135 blijven 135. Hierdoor is de standaardafwijking iets kleiner. Het gemiddelde Didactisch Quotiënt (QGM) is een gewogen gemiddelde van de normscores van de onderdelen spelling, woordenschat, begrijpend lezen en rekenen. Hier is het gemiddelde wel 100, maar de standaardafwijking wordt hierdoor verkleind naar ongeveer 12,5. (Vanaf 1 augustus 2010 wordt het gemiddelde genormaliseerd naar een standaardafwijking van 15.) Stanines Om aan te geven hoe de leerling presteert met de leerlingen binnen praktijkonderwijs, vmbo, havo en vwo die het Drempelonderzoek maakten, worden de aantallen goed per domein en de QGM per onderwijsniveau omgezet in stanines. Dit is een 9-puntschaal met negen niveaus waarbij rekening gehouden wordt met de normaalverdeling. Deze schaal maakt meer onderscheid binnen de zwakke en binnen de goede presteerders dan een decielschaal met tien groepen van gelijke grootte. De negen niveaus van de 9-puntschaal omvatten respectievelijk 4, 7, 11, 17, 20, 17, 11, 7 en 4 procent van het totale aantal leerlingen in de normeringgroep. 9-puntschaal 4 7% 12% 17% 20% 17% 12% 7% 4 notatie 1 2 3 4 5 6 7 8 9 Met stanine 1 wordt de 4% laagste prestaties aangeduid; stanine 9 doet dit voor de 4% hoogste prestaties. ABCDE ABCDE - schaal 10% 15% 25% 25% 25% notatie E D C B A Bij de ABCDE-schaal is er sprake van vijf niveaus waarbij in de categorie zwakkere leerlingen meer onderscheid wordt gemaakt. Niveau A verwijst naar de 25% hoogst scorende leerlingen, niveau B naar de 25% net boven het gemiddelde scorende leerlingen, niveau C naar de 25% net onder het gemiddelde scorende leerlingen, niveau D naar de 15% ruim onder het gemiddelde scorende leerlingen en tenslotte verwijst niveau E naar de laagst scorende leerlingen. Niveau D en E hebben betrekking op de zwakke tot zeer zwakke leerlingen. Didactische leeftijdsequivalent (DLE) Melis (1989) omschrijft de DLE in zijn SAVU-leerlingvolgsysteem als volgt: Didactische leeftijdsequivalent = een prestatieniveaumaat die de didactische leeftijd aangeeft, waarop men verwacht dat leerlingen gemiddeld genomen een bepaalde toetsscore behalen. Drempelonderzoek 678 Deel 2 3 5 e versie 2010
Voor de didactische leeftijd (DL) begint men te tellen aan het begin van groep drie; dl is in augustus dan 0 (nul). Een leerjaar wordt gesteld op 10 maanden. Aan het eind van groep acht van de basisschool is de DL 60. Een DLE van 45 is een prestatieniveau dat gelijk is aan het niveau dat de middelste basisschoolleerling (mediaanprestatie of 50 e percentielscore) van groep zeven bij een toetsafname in de maand januari laat zien. Dit wil zeggen dat iets meer dan de helft van deze leerlingen evenveel of meer weet en iets minder dan de helft weet of presteert minder. Een DLE van 60, het hoogste getal, wordt via deze systematiek dan ook slechts door de helft van de basisschoolleerlingen gehaald. Om differentiatie van havo- en vwo-groepen mogelijk te maken gebruiken we vanaf augustus 2006 in het DLE-sysyteem de notatie 60h en 60v om aan te duiden dat de ruwe score wijst naar havo of vwo. Op deze wijze is er onderscheid zichtbaar tussen havo- en vwo-prestaties. Bezwaren tegen het gebruik van DLE Onder de titel Het drijfzand van didactische leeftijdsequivalenten heeft de Commissie Testaangelegenheden Nederland (COTAN) ernstige bezwaren geuit tegen het gebruik van verhoudingsnormen. De kritiek richt zich met name op het gebruik van DLE s. Al in 1990 werden er door Moelands, Mommers en Oud stevige vraagtekens gezet bij de bruikbaarheid van DLE s. De COTAN neemt bij monde van Evers en Resing in het artikel uit 2007 stelling tegen het onverantwoord en onverminderd gebruik van DLE s. De maat is volgens hen ongeschikt om uitspraken te doen over de achterstand of voorsprong van leerlingen. Onderverdeeld in vier categorieën noemt de COTAN tien ernstige bezwaren. Onjuiste fundamentele veronderstelling Ten onrechte wordt verondersteld dat de prestaties van leerlingen lineair toenemen. Dit werkt willekeurige over- of onderschatting in de hand. Dezelfde DLE s van leerlingen met verschillende leeftijden zijn onderling niet vergelijkbaar. Het aanbieden van dezelfde leerstof en begeleiding leidt niet tot verbetering. De DLE-score wordt ten onrechte gelijkgesteld aan aantal maanden achterstand en deze achterstand wordt te letterlijk genomen. Tekortkomingen van de toets in relatie tot DLE s Er wordt geen rekening gehouden met bodem- en/of plafondeffecten in het geval dat een toets te moeilijk of te eenvoudig is voor een groep leerlingen. Over- of onderschatting van het niveau is het gevolg. Onzuiverheid van normgroepen vertekent de scores. Toetsen bevatten minder items dan DLE-klassen. Verschillen tussen leerlingen worden hierdoor overschat. Statistisch probleem inherent aan DLE s De standaardmeetfout ontbreekt met als gevaar dat er te veel waarde gehecht wordt aan leerachterstanden van enkele maanden. De spreiding is op verschillende leeftijden ongelijk zodat veranderingen in de mate van achterblijven of progressie van leerlingen foutief worden ingeschat. Uitwassen Er wordt onterecht geëxtrapoleerd buiten de meetpunten met willekeurige over- of onderschatting als gevolg. Hierdoor kunnen grote fouten ontstaan. Er worden onmogelijke DLE s gerapporteerd buiten de schaal van 0-60. Het artikel bespreekt en onderbouwt elk bezwaar uitgebreid. U vindt het op de website van de COTAN onder het kopje Publicaties (http://www.psynip.nl/upload3/cotan/eversresing.pdf). Standpunt 678 We zijn het met de COTAN eens dat de DLE is een hachelijke maat is om leerprestaties in kaart te brengen. De werkwijze die door 678 gebruikt wordt bij het construeren van DLE-schalen ondervangt een aantal van de genoemde bezwaren. We hebben de schalen altijd gebaseerd op metingen over een zo groot mogelijk aantal groepen in het basisonderwijs. Binnen het Drempelonderzoek zijn alle toetsen ook daadwerkelijk gemaakt in de groepen 5 t/m 8. Dit verkleint het gebied waarin gebruik wordt gemaakt van extrapolatie aanzienlijk. De DLE geheel weglaten uit de rapportage is onmogelijk. Bij wet wordt deze maat gebruikt voor het bepalen van de leerachterstand die nodig is voor het toekennen van beschikkingen voor leerwegondersteuning en praktijkonderwijs. Drempelonderzoek 678 Deel 2 4 5 e versie 2010
Leerachterstand De minister gebruikt de DLE als maat om leerachterstand te berekenen. Het televisieprogramma De School van Prem heeft begin 2009 pijnlijk duidelijk gemaakt met hoeveel misverstanden het woord leerachterstand omgeven is. Leerachterstand roept een schrikreactie op. Achterstand is een woord waar inhalen bij past. Harder werken, extra les en hoe komt dit weer goed zijn de eerste reacties en daarna wordt de vraag gesteld hoe die achterstand kon ontstaan. Prem wijst in zijn programma zonder aarzelen de schuldige aan: Leerachterstand is een wanprestatie van de school. Onzin want volgens de definitie van DLE-getallen heeft bijna de helft van de schoolverlaters een leerachterstand van minimaal 1 maand, maar zo n zinnetje blijft wel hangen. Het is vreemd, maar als de uitslag van een intelligentietest een IQ van 87 is, dan is er niemand die roept dat er harder gewerkt moet worden, dat vrije tijd huiswerktijd wordt. Een IQ is er vanaf de geboorte. De een heeft meer gaven dan de ander, daar moet je mee leven. Dat er mee geleefd moet worden is correct, maar het getal 87 geeft gewoon de plaats aan in de groep proefpersonen waarmee de intelligentieschaal is genormeerd. Een andere test met een andere normeringsgroep geeft ongetwijfeld een ander getal. Wordt er naar verhouding meer bijgeleerd, dan schuift de plek in de normgroep op naar boven en gaat het IQ dus omhoog. Zouden we een score van bijvoorbeeld zeven maanden achterstand berekenen op de manier waarop IQ s bepaald worden, dan komen er, afhankelijk van de gekozen toets, getallen uit tussen ongeveer 85 en 93. Daar schrikken we niet van. Leerachterstand bestaat niet Stel: er is een onderzoek gedaan naar het drinkgedrag van jongeren die gaan stappen en er wordt een verontrustende grafiek gepubliceerd. 16-jarigen drinken gemiddeld drie bier op een avond, 17-jarigen vier en zo loopt de stand elk jaar een biertje op tot 22 jaar. Nu gaat uw 19-jarige zoon met zijn even oude vrienden op stap en de groep gedraagt zich voorbeeldig. Gemiddeld drinken ze zes biertjes, maar natuurlijk niet allemaal evenveel. Tien drinken precies zes biertjes, tien drinken er negen en uw zoon houdt het met negen anderen op drie glazen. Even rekenen. Die van u drinkt als een 16-jarige. Hij heeft drie jaar achterstand. Dit voorbeeld maakt niet alleen duidelijk hoe leerachterstand berekend wordt, het laat ook zien waar de fout zit. Het is natuurlijk onzin om te zeggen dat iemand op zijn 19 e zes bier moet drinken als dat cijfer nu toevallig het gemiddelde is. Zo zit dat ook met reken- en taalscores. De gemiddelde prestaties van leerlingen in groep 5, 6, 7 en 8 vormen de bouwstenen van het begrip achterstand. Iedereen snapt wel dat er grote verschillen in kennis en kunde bestaan tussen leerlingen die de basisschool verlaten. De leerlingen met grote mogelijkheden liggen mijlenver voor op hen die het met minder moeten doen. De fout ontstaat als er in de prestaties een lijn wordt getrokken die goed en fout van elkaar scheidt. De minister doet dit met haar criteria van minimaal 25% leerachterstand op twee domeinen om in aanmerking te komen voor een beschikking voor leerwegondersteuning. Dit is een zuiver financiële maatregel, geboren uit de wens om de onderwijsbegroting die jarenlang onbedoeld uitdijde, beheersbaar te maken. In de loop van de jaren is 25% leerachterstand een vlijmscherp mes geworden. Bij 24.8% achterstand wordt niet voldaan aan de eis, bij 25% wel. Het werken met procenten (factoren) tot achter de komma geeft de indruk van een zuiverheid die er zeker niet is. Het werkt prima als er geld uitgedeeld moet worden, maar in de onderwijspraktijk is er maar weinig verschil tussen een achterstand van 20 of 30%. Niet zelden is het een verschil van maar twee of drie vragen meer of minder goed op een toets. Drempelonderzoek 678 Deel 2 5 5 e versie 2010
Didactisch Quotient We werken per 1 augustus 2009 met een Didactisch Quotiënt (DQ) binnen het Drempelonderzoek naast de DLE en de ABCDE-scores. Dat heeft voordelen. Als uitgelegd kan worden dat tien maanden leerachterstand benoemd wordt met het getal 85 als de systematiek van intelligentiescores gebruikt wordt, krijgt die achterstand een ander perspectief. Het wordt beter mogelijk om het verband tussen het intelligentieniveau en de didactische prestaties zichtbaar te maken. Zijn de getallen ongeveer gelijk, dan presteert de leerling volgens verwachting. Ligt zowel IQ als DQ in de range van bijvoorbeeld 80 90 dan kan er eigenlijk niet gesproken worden van achterstand. Onderwijs op maat is dan gewenst, maar extra begeleiding gericht op inhalen niet. Is het gat tussen IQ en DQ groot, dan is het verstandig om op zoek te gaan naar oorzaken en mogelijke remediëring. Hoe werkt zo n normscore? Als we de systematiek van IQ-getallen loslaten op de uitgaansgroep in ons voorbeeld, dan krijgt zes bier de score 100. Drie bier, de helft van het gemiddelde en 3 jaar drinkachterstand komt uit op een score van 86. Daar mag je als ouder best gelukkig mee zijn. De normscore wordt berekend met behulp van het gemiddelde en de standaardafwijking. Het is interessant om te zien hoe zo iets werkt. Het getal van 86 zegt iets over het drinken van drie biertjes maar ook over de rest van de groep. In Tabel 2.1 staan de tellingen van een paar weken uitgaan op een rijtje. De groep blijft gemiddeld zes biertjes drinken. Tussen haakjes staan de resulterende normscores bij het drinken van 3 t/m 9 biertjes. (We gebruiken een paar extreme verdelingen.) Tabel 2.1 Verdeling drinkgedrag over vier weken aantal bier 3 4 5 6 7 8 9 week 1 10 (86) 10 (100) 10 (114) week 2 5 (80) 5 (90) 5 (97) 5 (103) 5 (110) 5 (120) week 3 2 (73) 5 (85) 16 (100) 5 (115) 2 (127) week 4 1 (69) 3 (80) 6 (89) 10 (100) 6 (111) 3 (120) 1 (131) Naarmate je een buitenbeentje bent en eenzaam afwijkt van de groep in het midden, wordt de score dus hoger of lager. Drie biertjes levert, afhankelijk van wat de anderen drinken, steeds een andere score op. Zo werkt het ook met taal- en rekenscores. Getallen onder de 70 en boven de 130 geven aan dat de prestatie ver uit het midden ligt en dat slechts een gering percentage (minder dan 2%) van de leerlingen zich in dit gebied bevindt. Normgroepen Een belangrijk verschil tussen een DLE en een normscore (Didactisch Quotiënt) is de normgroep waarmee gerekend wordt. Bij een DLE gaat het om prestaties van leerlingen in de lagere leerjaren, bij een DQ wordt gerekend met de prestaties van een groep leerlingen die in dezelfde onderwijsperiode de toetsen maakten. Binnen het Drempelonderzoek is het gelukt om te werken met een normering voor de maanden september/oktober, november/december, januari/februari, maart/juni in groep 8 en eentje voor klas1 voortgezet onderwijs. Anders dan bij de DLE wordt het op die manier mogelijk om de gehele schoolverlatersgroep in beeld te krijgen, inclusief de landelijke 5.2% sbo-leerlingen en de paar promille leerlingen uit groep 7 die ook van school gaat. Door de verschillen in benadering - bij een DLE is het bijvoorbeeld onmogelijk om prestaties van sbo-leerlingen mee te nemen - zijn DLE-getallen en DQ-getallen onvergelijkbaar. Het zijn verschillende maten die niet in elkaar omzetbaar zijn. Normscores binnen het Drempelonderzoek Bij de toetsonderdelen technisch lezen, spelling, woordenschat, begrijpend lezen en rekenen zijn de DQ-getallen op dezelfde manier berekend als gebruikelijk bij een moderne intelligentietest als bijvoorbeeld de NIO. Binnen het Drempelonderzoek worden erg lage normscores verhoogd naar 65 en erg hoge scores verlaagd naar 135. We doen dit omdat binnen onze adviseringssystematiek de buitengrenzen voor advisering - die tussen praktijkonderwijs en basisberoepsgerichte leerweg en die tussen havo en vwo - zich in de buurt bevinden van respectievelijk 77 en 113. De range van 65-135 voldoet zo voor ons doel en we hoeven in voorkomende gevallen geen extreme DQ s van bijvoorbeeld onder de 60 te vermelden. Drempelonderzoek 678 Deel 2 6 5 e versie 2010
Advisering Het getal 60 is bij het DLE de maximale maat en dit getal wordt toegekend aan ruim de helft van de leerlingen die naar het voortgezet onderwijs gaat. De DQ-getallen boven de 100 maken het mogelijk om veel nauwkeuriger onderscheid te maken tussen theoretische leerweg, havo en vwo. Het advies wint hierdoor aan kwaliteit. We hebben van de basisscholen het schoolverlatersadvies gekregen en kunnen nu in beeld brengen welke relatie de scores van de leerlingen hebben met de plek binnen het voortgezet onderwijs waarnaar verwezen wordt. De invulling van de vakjes (stanines) wordt bij de onderdelen begrijpend lezen (b), rekenen (r), spelling (s) en woordenschat (w) berekend op basis van de ruwe score (aantal goed) en bij het gemiddelde (g) op basis van een gewogen gemiddelde berekend via DQ-getallen. De DLE is hiermee uit de advisering verdwenen. In het gewogen gemiddelde (QGM) krijgen de onderdelen spelling, woordenschat, begrijpend lezen en rekenen elk een eigen gewicht en wel zo dat het resulterende gemiddelde zo hoog mogelijk correleert met de wijze waarop leerlingen een advies voor een vo-leerweg krijgen. Door verschillende oorzaken krijgt rekenen het hoogste gewicht en volgen de onderdelen spelling woordenschat en begrijpend lezen op enige afstand. Deze gewichten worden elk jaar opnieuw berekend. Het gemiddelde van de DQ-getallen heeft na deze berekening een midden van 100 (over de gehele groep) maar de standaardafwijking wordt verkleind naar ongeveer 12.7. Per 1 augustus 2010 wordt deze genormaliseerd naar een standaardafwijking van 15 en dan zijn de QGM getallen zijn vergelijkbaar met de IQ-totaalscore van bijvoorbeeld de NIO. Ook deze scores worden begensd op de range 65 135. De 5% sbo-leerlingen zorgt er voor dat de gemiddelde score van 100 bij lagere ruwe score wordt toegekend dan wanneer de QGM alleen over de prestaties van basisscholen berekend zou worden. Een onderzoek naar de normen van de Rakit (Tellegen, 2002) laat zien dat de grotere populatie vooral bij scores ver onder de 100 een verhogend effect heeft. Het gemiddelde van de basisschool ligt (afhankelijk van het domein) tussen 101 en 102. Dit is de oorzaak dat een QGM van 101 correspondeert met een citoscore van 534 (de middenscore van de reeks 500-550) en dat 102, het midden van de QGM-score voor de basisschool, een relatie heeft met citoscore 535. Dit laatste getal is het gemiddelde dat kranten vaak melden als de citoscores bekend worden eind februari, begin maart. In de onderstaande schema s is de prestatie van een leerling via stanines aangegeven per leerweg. De afkorting g staat voor gemiddeld, b voor begrijpend lezen, r voor rekenen, s is spelling en w is woordenschat. Meteen is zichtbaar dat de leerling in het praktijkonderwijs bij de 4% beste leerlingen zou horen en in het vwo eerder bij de 4% minst presterende leerlingen. De leerweg die in dit geval het beste ligt, zit daar ergens tussen in. Binnen het Drempelonderzoek wordt gekeken naar de 23%-lijn, de overgang van stanine 3 naar 4 (van tamelijk laag naar laag-gemiddeld, de in het schema dikke onderste lijn). De leerling in het schema heeft voor de havo een QGM-score (g) in het vakje laag (stanine 2). Voor de gemengd-theoretische leerweg (gt) is de score tamelijk laag (stanine 3) en voor basiskader (bk) is dit gemiddeld (stanine 5). Basis-kader wordt nu het advies. zeer hoog hoog tamelijk hoog hoog gemiddeld gemiddeld laag gemiddeld tamelijk laag laag zeer laag pro bl bk gt havo g b r s w g b r s w g b r s w g b r s w g b r s w vwo g b r s w pro bl bk gt havo vwo Een uitzondering op deze regel maken we bij de keuze voor de leerwegen basis-lwoo (bl) en praktijkonderwijs (pro). De score tamelijk laag (stanine 3) voor basis-lwoo correspondeert met een score tamelijk hoog of hoog (stanine 7 of 8) voor pro. We kiezen er daarom voor om de leerweg basis-lwoo ook te adviseren bij een score tamelijk laag (stanine 3). Zie hiernaast. zeer hoog hoog tamelijk hoog hoog gemiddeld gemiddeld laag gemiddeld tamelijk laag laag zeer laag g b r s w g b r s w g b r s w g b r s w g b r s w g b r s w Drempelonderzoek 678 Deel 2 7 5 e versie 2010
Begrijpend lezen in de advisering De onderdelen spelling en rekenen hebben het grootste aandeel in de berekening van het gemiddelde DQ (QGM). Begrijpend lezen komt er bekaaider van af. Toch is dit onderdeel belangrijk. Een leerling die niet zo goed is met spelling en rekenen maar wel heel goed is met begrijpend lezen (en vaak woordenschat) kan wel een leerweg hoger geadviseerd worden dan het standaardadvies aangeeft. Dit is het geval als het gemiddelde in het vak laag is (stanine 3) en de score voor begrijpend lezen in diezelfde leerweg hoog is (stanine 8). Dan kiezen we toch voor die leerweg. Anderzijds is het ook zo dat een leerling die wel aardig rekent en spelt maar heel weinig begrijpt, beter een stapje lager in het voortgezet onderwijs kan instromen. We hebben hier geen adviseringssystematiek voor ontwikkeld, maar in het persoonlijk profiel van de leerling wordt dit wel duidelijk. We verwachten dat de adviserende school hiermee rekening houdt als het uiteindelijke schoolverlatersadvies wordt opgesteld. Ontbreken van de onderdelen woordenschat of technisch lezen Technisch lezen heeft geen enkele functie in de opstelling van het advies. Als gewichten van de subtoetsen berekend worden voor de samenstelling van het gewogen gemiddelden (QGM, DGM) blijkt dat technisch lezen slechts voor minder dan 2% hier in bijdraagt. We laten het daarom buiten beschouwing bij het opstellen van het advies. Aan de score van het onderdeel technisch lezen valt niet af te lezen in welke leerweg van het voortgezet onderwijs de leerling het best kan instromen. (We laten het ook weg omdat er toetssituaties zijn waarbij het lastig is om even 90 seconden met elke individuele leerling te lezen, zodat er scores aangeleverd worden zonder dit onderdeel.) Zonder woordenschat Er zijn ook gebruikers die de toets woordenschat niet afnemen, vaak omdat het onderdeel tijd vraagt en/of omdat het geen RVC-domein is. Als een afnemer zowel het didactisch onderzoek als een intelligentieonderzoek op eenzelfde dag afneemt, levert het weglaten van woordenschat tijdwinst op. De advisering van het Drempelonderzoek is ook doorberekend met weglating van het onderdeel woordenschat. Dit advies blijkt in waarde niet zo veel te verschillen met het advies op basis van vier onderdelen maar we hebben zelf het onderdeel woordenschat er graag bij omdat het aanvullende en belangrijke informatie geeft over de scores voor begrijpend lezen, met name in die gevallen dat er een behoorlijk verschil is in beide scores. De correlatie van het gemiddelde Didactisch Quotiënt (QGM) met het schoolverlatersadvies in groep 8 is.90; zonder woordenschat wordt dat.88. QGM met en zonder woordenschat correleert met.99. (Berekend op basis van de gegevens van 23.000 leerlingen die in 2009 beschikbaar waren) Onderscheid binnen Drempeladviezen Het Drempelonderzoek onderscheidt zes niveaus binnen het voortgezet onderwijs: De vwo-groep bestaat uit leerlingen die les krijgen binnen vwo. De havo-groep bestaat uit leerlingen die les krijgen binnen havo. De gemengd-theoretische groep (gt) bestaat uit leerlingen die voornamelijk les krijgen op een niveau dat vroeger met mavo werd aangeduid. De gemengde leerweg wordt vrijwel nergens al in de eerste klas als zodanig benoemd. De basis-kadergroep (bk) bestaat uit leerlingen die in groepen van reguliere grootte les krijgen richting basis- of kaderberoepsgerichte leerweg. De basis-lwo (bl) groep bestaat uit leerlingen die les krijgen in qua grootte kleinere groepen en waarbij de school de term leerwegondersteuning specifiek in de naam gebruikt. De praktijkonderwijs (pro) leerlingen krijgen les op onafhankelijke scholen voor praktijkonderwijs of op afdelingen voor praktijkonderwijs binnen grote scholen voor voortgezet onderwijs. Leerwegondersteuning is de verzamelnaam geworden van extra activiteiten op organisatorisch of onderwijskundig gebied met als doel leerlingen binnen leerwegen naar het einddoel te begeleiden. Dat kan de verkleining van groepsgrootte zijn op het basisberoepsgericht niveau en lijkt dan in veel gevallen op de situatie binnen het vroegere ivbo-onderwijs, maar het kan ook een systeem van gerichte remedial teaching of aanvullend onderwijs zijn op kaderberoepsgericht of theoretisch niveau. Drempelonderzoek 678 Deel 2 8 5 e versie 2010
Het Drempeladvies heeft zo een relatie met het didactisch niveau binnen de leerwegen terwijl de term leerwegondersteuning steeds meer betekent dat de leerling voldoet (op didactisch gebied) aan de criteria die de Regionale Verwijzings Commissie hanteert voor het verstrekken van een zorgbeschikking leerwegondersteuning of praktijkonderwijs. Het is hierdoor mogelijk dat een leerling met een advies richting theoretisch leerweg tevens voldoet aan RVC-criteria. In Tabel 2.2. wordt de verfijning in de advisering van het Drempelonderzoek getoond. Tabel 2.2 Verwoording van het Drempeladvies in combinatie met leerwegondersteuning Drempeladvies Voldoet Verwoording aan RVCcriteria vwo vwo havo havo theoretisch of gemengde leerweg nee gemengd-theoretisch theoretisch of gemengde leerweg ja gemengd-theoretisch met leerwegondersteuning kaderberoepsgericht of basisberoepsgericht kaderberoepsgericht of basisberoepsgericht basisberoepsgericht, voorheen ivbo basisberoepsgericht, voorheen ivbo nee ja nee ja basis-kader in reguliere groep basis-kader in reguliere groep met leerwegondersteuning basisgericht in kleine groep basisgericht in kleine groep met leerwegondersteuning praktijkonderwijs ja praktijkonderwijs De adviezen gt+lwo en basisgericht in kleine groep zonder lwo komen minder vaak voor. Leerlingen met een gt+lwo advies kunnen in de meeste gevallen een regulier traject zonder aparte zorg doorlopen. Leerlingen met een advies dat wijst naar een kleine groep hebben een didactisch profiel dat meestal betekent dat zorg noodzakelijk zal zijn. Drempelonderzoek 678 Deel 2 9 5 e versie 2010
Drempelonderzoek 678 Deel 2 10 5 e versie 2010
Het profiel van de leerling DQ-getallen hebben ten opzichte van DLE-getallen het voordeel dat ook boven de gemiddelde score differentiatie mogelijk is. Het profiel van de leerling kan er voor zorgen dat bij een gemiddelde score een ander dan gebruikelijk advies hoort. De DQ-scores van de onderdelen technisch lezen, spelling en begrijpend lezen bij bovenstaande leerling zijn gemiddeld voor de leerweg basis-kader. De gearceerde vakken in de rij basis-kader geven aan dat het gevonden DQ in deze leerweg past bij de 20% leerlingen in deze groep rond het midden (percentiel 40-60). De score voor woordenschat bevindt zich in het 40-60 percentiel voor de theoretische leerweg en de rekenscore is boven de 60-percentiel voor de theoretische leerweg maar onder de 40-percentiellijn voor havo. In het schema valt op dat bij technisch lezen en spelling het vak tussen theoretische leerweg en havo leeg is. Dit geeft aan dat de 40-60 percentiel van beide leerwegen elkaar overlappen. De scores bij de toetsonderdelen in de rij pro-laag geven aan dat de prestatie voor het praktijkonderwijs bij de 40% minst presterende leerlingen behoort. Helemaal bovenaan geeft vwo hoog aan dat de score hoort bij de 40% hoogst presterende vwo-ers. In de kolom gemiddeld staan per leerweg de DQ-getallen vermeld die het resultaat zijn van het adviseringssysteem. Het scorevak 65-67 in de kolom gemiddeld bij pro laag geeft aan dat de prestatie bij de 23% laagste scores hoort en bovenaan geeft het vak 122-133 aan dat de prestatie hoort bij de 23% hoogste scores binnen het vwo. Zoals gemeld kan een hoge score voor begrijpend lezen het advies hoger doen uitvallen. (Zie vorige bladzijde.) Informatie naar ouders Het rapportageblad op basis van het DQ is bij uitstek geschikt is voor gebruik naar ouders, samen natuurlijk met het algemene blad met de hokjes. Op het DQ-blad staat het advies dat we geven vermeld; op het algemene blad niet. De gebruiker kan hier op eigen wijze mee omgaan. Drempelonderzoek 678 Deel 2 11 5 e versie 2010
Diverse profielen De leerling hierboven heeft een harmonisch profiel. Alle scores zijn in de buurt van het gemiddelde dat naar basis-kader wijst. Het advies is duidelijk. (Boven) Hoog begrijpend lezen en woordenschat maar laag spelling en technisch lezen kan wijzen op dyslexie. Deze leerling heeft een negatief profiel. De scores voor spelling en rekenen zijn gemiddelde voor de theoretische leerweg maar die voor woordenschat en begrijpend lezen wijzen eerder naar praktijkonderwijs. Het advies komt uit op basiskader maar een plaatsing binnen basis-lwoo zou verstandig kunnen zijn Het positieve profiel hierboven geeft een omgekeerd beeld. De scores voor begrijpen lezen en woordenschat wijzen richting havo. Het gegeven advies is basis-kader, maar een keus voor de theoretische leerweg zou best een goede kunnen zijn. Drempelonderzoek 678 Deel 2 12 5 e versie 2010
Als het bovenstaande profiel hoort bij een leerling die nog niet zo lang in ons land is en thuis een andere taal spreekt, dan geeft de rekenscore zijn potentie op termijn aan. Een leerweg boven kader kan mogelijk zijn Bij de leerling hierboven is de score voor begrijpend lezen erg laag. De gehele taallinie is zo zwak dat leerwegondersteuning niet achterwege kan blijven. Dit is een onmogelijk profiel. In voorkomende gevallen bleek dat bij woordenschat niet het aantal goed maar het aantal fout werd genoteerd! Ook hier is een verkeerde telling van het aantal goed een voor de hand liggende oorzaak. We vonden echter ook gevallen waarbij de toets begrijpend lezen volledig mislukt was. Dan is extra onderzoek gewenst. Drempelonderzoek 678 Deel 2 13 5 e versie 2010
ABCDE-notatie Het werken met representatieve schoolverlatersgroepen inclusief de sbo-leerlingen maakt het ook mogelijk op een andere manier om te gaan met ABCDE-scores. Tot nu toe was deze notatie gekoppeld aan de didactische leeftijd (dl) van de leerling. Dat had tot gevolg dat, bij bijvoorbeeld een afname in november in groep 8, de meeste leerlingen een notatie kregen behorend bij een dl van 53 en de zittenblijvers strenger beoordeeld werden vanwege de dl van 60. Nu de notatie gekoppeld is aan de volledige groep behorend bij de normperiode, vervalt dit onterechte onderscheid. De notatie ABCDE loopt ongeveer gelijk met normscores van de verschillende domeinen zoals getoond in Tabel 2.3. Tabel 2.3 Relatie normscores en ABCDE-notatie Notatie Normscore Notatie Normscore A >112 D 81-88 B 100-112 E <81 C 89-99 Een schoolverlatersgroep bestaat niet alleen uit leerlingen in groep 8 maar vaak zijn er ook enkele leerlingen uit groep 7 die van school gaan. De leerlingen in groep 7 hebben in de regel een dl gelijk aan de leerlingen in groep 8. Als er langer gekleuterd is, zit de dl in de range 41 ABCDE DQ ABCDE 50. Dit geldt ook voor leerlingen die in groep 8 zitten maar een leerjaar overgeslagen hebben. Ook deze A A leerlingen worden via de ADCDE-notatie binnen het drempelonderzoek vergeleken met de complete 110 schoolverlatersgroep in de periode van afname. In het Drempelonderzoek worden scores van bao 101 schoolverlaters uit het speciaal basisonderwijs voor 5% 100 bao meegerekend. De leerlingen uit het sbo halen echter C lagere scores dan die uit het basisonderwijs. Dit heeft tot C gevolg dat de ABCDE-notatie voor alle leerlingen milder 90 D is. Het gemiddelde DQ voor de basisschoolleerling ligt D tussen 101 en 102. De figuur hiernaast laat dit zien. E Omzetting naar citoscores E Sbao 5% In het cursusjaar 2008-2009 hebben we voor het eerst gewerkt met een omzetting naar citoscores. Gedurende het jaar bleek dat we in september eigenlijk een andere schaal moeten gebruiken dan in december of februari. Stel (we nemen voorbeeldgetallen) dat bij spelling in september 28 woorden goed het gemiddelde is van baoleerlingen, in november is dat 29 goed en in februari weer wat hoger. De gehele groep zit immers niet stil maar leert bij! Dan zou dat per normperiode een aparte cito-tabel betekenen. We hebben ook de cito-conversie (nu 17.000 lln) gekoppeld aan het DQ. Omdat het gemiddelde aantal goed voor een bao-leerling in alle maanden een DQ oplevert van 101 wordt de leerwinst al verwerkt in het Didactisch Quotiënt. Hierdoor is het mogelijk om te werken met slechts 1 omzettingstabel. We vermelden de gemiddelde DQ van de gehele groep op de rapportagebladen en daarbij een citogemiddelde met 1 decimaal. Deze getallen kunnen gebruikt worden als eindopbrengst richting inspectie. Op elk rapportageblad wordt bij de behaalde Drempelscore (QGM) de gemiddelde citoscore vermeld. Het is Relatie Drempel - Cito belangrijk te weten dat dit slechts een gemiddelde is. In het schooljaar 2009-2010 hoort bij een QGM van 101 een Aantal goed bao DQ Cito Cito werkelijk citogemiddelde van 534. Ten onrechte denken ouders wel 1% > 545 eens dat deze score gelijk is aan de citoscore die de leerling sep-okt zal behalen als in februari de Cito Eindtoets gemaakt wordt. In DQ 101 28 537 meer dan 90% van de gevallen is deze echte score hoger of lager. Om een indruk te geven van de spreiding vermelden we 25% nov-dec op het rapportageblad ook hoeveel procent van de leerlingen 29 DQ 101 101 534 534 echte citoscore behaalt die meer dan vijf punten hoger ligt. Ongeveer even groot percentage haalt in februari een score 25% die meer dan vijf punten lager ligt. jan-feb DQ 101 530 De figuur hiernaast laat zien dat ook scores hoger dan 545 en 30 lager dan 519 voorkomen. De inspectie werkt met klassegemiddelden en in deze middeling heffen de individuele 1% < 519 verschillen zich op. Leerwinst in DQ B B Drempelonderzoek 678 Deel 2 15 5 e versie 2010
DLE en leerachterstand Op beide rapportagebladen worden zowel de DLE als de bijbehorende leerachterstand vermeld. Op bladzijde 16 gaven we al de bezwaren van de COTAN weer en onze mening daarover. De Regionale Verwijzings Commissies (RVC) gebruiken bij wet echter de DLE en de DL als basis voor leerachterstand via de formule 1 (DLE / DL). Dit levert een factor (percentage) op. Als dit percentage gelijk aan of hoger is dan exact 25% voldoet de leerling op het betreffende domein aan de didactische eis van leerachterstand voor het verkrijgen van een beschikking voor leerwegondersteuning of praktijkonderwijs (gelijk aan of hoger dan 50%). Beide rapportagebladen van het Drempelonderzoek worden door de RVC als bewijs aanvaard voor het bestaan van leerachterstand (als die er is natuurlijk). Individuele rapportagebladen Op bladzijde 28 staat een voorbeeld van het algemene rapportageblad. Bladzijde 29 geeft een voorbeeld van het in 2009 geïntroduceerde DQ-blad. Drempelonderzoek 678 Deel 2 16 5 e versie 2010
Algemeen rapportageblad Drempelonderzoek 678 Deel 2 17 5 e versie 2010
Drempelonderzoek 678 Deel 2 18 5 e versie 2010 DQ-blad