Fysieke Vaardigheid Toets DJI

Transcriptie

1 Fysieke Vaardigheid Toets DJI Naar normering van toetstijden dr. R.H. Bakker dr. G.J. Dijkstra TGO, februari 2013 TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 1

2 TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 2

3 Inhoudsopgave 1 Inleiding 5 2 Methode 6 3 Resultaten 6 4 Conclusies en beschouwing 7 TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 3

4 TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 4

5 1 Inleiding Binnen de Dienst Justitiële Inrichtingen (DJI) is vanaf oktober 2009 gestart met de invoering van de Fysieke Vaardigheid Toets (FVT). De FVT is een fitheidtoets voor executieve medewerkers van DJI, die binnen Politie Nederland is ontwikkeld en vervolgens is aangepast, zodat deze ook kon worden toegepast op de situatie van DJI. Deze aanpassing bestond uit het toevoegen van twee trappen als extra onderdeel binnen de toets, omdat traplopen een wezenlijk onderdeel is van het dagelijks werk van een executief medewerker binnen DJI. Medio 2010 is een rapport verschenen met de resultaten van een pilotonderzoek dat in 2009 en 2010 werd uitgevoerd bij DJI door de afdeling Toegepast Gezondheids Onderzoek (TGO) van het Universitair Medisch Centrum Groningen. 1 Het onderzoek bestond uit een procesevaluatie en een kwantitatieve evaluatie. De procesevaluatie gaf antwoord op de vraag of de aangepaste FVT Politie als functiegerelateerde fitheidtoets geschikt is voor DJI. De kwantitatieve analyse richtte zich op de berekening van de toetstijden van de personen die tot juni 2010 aan de FVT DJI hadden deelgenomen, 820 executieve medewerkers in totaal. Deze toetstijden zijn daarbij afgezet tegen geslacht, leeftijd, instelling en functiegroep. Voor verdere details wordt naar het rapport verwezen. 1 In februari 2012 is door TGO een vervolgrapport uitgebracht over ruim 3000 executieve medewerkers die in 2011 aan de FVT hebben deelgenomen. 2 In dit rapport zijn hun toetstijden in tabellen gepresenteerd, met uitsplitsing naar geslacht en leeftijd. Aan de hand van de frequentieverdelingen zijn tevens normtijden berekend. Met de opdracht voor dit rapport wilde DJI een eerste aanzet geven tot het ontwikkelen van geslachts- en leeftijdsgebonden streeftijden voor de FVT in In het rapport is een kleurcodering aangebracht voor de normering van de geslachts- en leeftijdsgebonden toetstijden, waarbij voor groen gold dat de toetstijd binnen de vereiste norm viel, voor oranje op of vlak rond de vereiste norm en voor rood dat de toetstijd onder de norm viel. Deze kleurcodering was gebaseerd op de 80% percentielscore, waarvoor geldt dat 80% van de executieve medewerkers de FVT heeft uitgevoerd in of binnen de daaraan gekoppelde tijd. Eén van de kanttekeningen van het in 2012 uitgebrachte rapport was dat, ondanks het aantal van 3000 deelnemers aan de toets, door opsplitsing in vijfjaarscategorieën van sommige leeftijdscategorieën executieve medewerkers van DJI te weinig toetstijden bekend waren om gefundeerde uitspraken te doen over norm- en streeftijden. Dat gold met name voor mannen in de leeftijdscategorie jaar en voor vrouwen in de leeftijdscategorieën 19-24, 50-54, en Een tweede kanttekening van het rapport van destijds was dat de ruim 3000 toetstijden in het rapport waren gebaseerd op vrijwillige deelname aan de FVT. Vrijwillige deelname aan de FVT kan selectiebias tot gevolg hebben, bijvoorbeeld omdat personen met een redelijk tot goede conditie eerder geneigd zijn aan de FVT deel te nemen dan personen met een matige tot slechte conditie. Zou er van deze selectiebias sprake zijn dan leidt dit tot strengere streeftijden c.q. normen dan bij afwezigheid van dit soort bias. Een belangrijke aanbeveling van het rapport was om op termijn de uitgevoerde berekeningen opnieuw te doen, zodat deze 1 Dienst Justitiële Inrichtingen. Klaar voor de start! Evaluatie Pilot Fysieke Vaardigheids Toets (FVT) DJI. Ministerie van Justitie, augustus R.H. Bakker, G.J. Dijkstra. Toetstijden FVT DJI per februari Rapport Toegepast Gezondheids Onderzoek februari TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 5

6 betrekking zouden hebben op een groter aantal deelnemers en ook de extremere leeftijdscategorieën beter gevuld zouden zijn. In januari 2013 heeft TGO daartoe in opdracht van DJI opnieuw een aantal berekeningen gemaakt, nu gebaseerd op een veel groter aantal deelnemers aan de FVT. Bovendien is voor het jaar 2012 deelname aan de FVT wel verplicht voor executieve medewerkers, met uitzondering van hen die werkzaam zijn in Justitiële Jeugdinrichtingen (JJI) en bij de Directie Forensische Zorg (DforZo). In dit rapport worden deze nieuwe gegevens gepresenteerd. 2 Methode Bij de in dit rapport gehanteerde stoplichttabellen met kleurcoderingen is dezelfde methodiek gehanteerd als bij de normering die Politie Nederland heeft gehanteerd en die ook in het TGO-rapport voor DJI van 2012 is gebruikt (zie voetnoot bladzijde 3). Binnen de groene code vallen alle toetstijden op of onder de 80%-percentielscore (P80). Dat betekent dat minimaal 80% van de deelnemers de bij deze percentielscore behorende tijd hebben gelopen. Binnen de oranje code alle tijden op of onder de tijd die wordt verkregen indien de P80 met 20 seconden wordt verhoogd (een keuze van Politie Nederland, die is overgenomen door DJI), en binnen de rode score vallen alle toetstijden die boven deze laatste verhoogde tijd liggen. Voor een betrouwbare interpretatie van de resultaten en een verantwoorde afleiding van normtijden wordt een ondergrens van 100 deelnemers per leeftijdscategorie gehanteerd Totaal mean min p p p p max n Tabel 1a Toetstijden van mannen, afgezet tegen 5-jaars leeftijdscategorieën 3 Resultaten In de tabellen 1a en 1b worden de toetstijden, percentielscores en stoplichtscores van mannen weergegeven, in de tabellen 2a en 2b die van vrouwen. Uit tabel 1a blijkt duidelijk dat de toetstijd oploopt met het klimmen der jaren. Opvallend is dat de minimale toetstijden binnen zowel de leeftijdscategorie van jaar als van jaar lager liggen dan die voor de jarigen. Ook de maximumscores laten met het stijgen der leeftijd geen geleidelijk opwaartse tendens zien. De reden is dat zowel de minimum als de maximumscores zijn gebaseerd op één persoon, of hoogstens een zeer kleine groep personen die exact dezelfde tijd hebben gelopen. De toetstijden in de leeftijdscategorie jarigen kunnen vanwege het kleine aantal van 25 niet als betrouwbaar worden aangemerkt en niet als basis voor normtijden dienen. Ze TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 6

7 zijn om die reden blauw gearceerd. Bovengenoemde bevindingen komen grotendeels overeen met de bevindingen uit het TGO-rapport van februari Tabel 1b Stoplichtscores voor mannen per 5-jaars leeftijdscategorie Leeftijd groen oranje rood Ook in tabel 1b is de categorie jarigen gearceerd vanwege het kleine aantal deelnemers waarop de scores zijn gebaseerd. De stoplichtscores zijn voor deze leeftijdscategorie dan ook niet bruikbaar en kunnen pas betrouwbaar worden toegekend indien het aantal ingestroomde kandidaten is toegenomen. Voor een verdere interpretatie van de stoplichtscores wordt verwezen naar de discussie. Tabel 2a Toetstijden van vrouwen, afgezet tegen 5-jaars leeftijdscategorieën Totaal mean min p p p p max n Ook voor vrouwen geldt dat de minimum en maximumscores bij het stijgen der leeftijd een grillig verloop laten zien. Vanwege het kleine aantal deelnemers kunnen de toetstijden in de leeftijdscategorieën 19-24, 50-54, en niet betrouwbaar worden geïnterpreteerd en daarom niet als basis voor normtijden dienen. Tabel 2b Stoplichtscores voor vrouwen per 5-jaars leeftijdscategorie Leeftijd groen oranje rood Conclusies en beschouwing In 2011 hebben ruim 3500 executieve medewerkers binnen DJI de FVT uitgevoerd. Deze vormden de basis voor het in februari 2012 uitgebrachte rapport, waarop de streeftijden voor 2012 waren gebaseerd. In dat rapport is aangegeven dat zowel het geringe aantal deelnemers van de FVT binnen een aantal leeftijdscategorieën (met name waar het vrouwen betrof) als de vrijwillige setting waarin deelname aan de FVT tot eind 2011 plaats vond, de gevonden streeftijden nuanceerden. Het onderhavige rapport is gebaseerd op 6002 deelnemers aan de FVT, 4875 mannen en 1127 vrouwen; een aanmerkelijk grotere groep dan in Uitgaande van de norm van minimaal 100 deelnemers per leeftijdscategorie blijven desondanks dezelfde leeftijdscategorieën als in 2011 TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 7

8 onvoldoende gerepresenteerd, hoewel het aantal deelnemers per leeftijdscategorie uiteraard wel is toegenomen. Dit geldt met name voor zowel mannen als vrouwen in de leeftijdscategorie van jaar en voor vrouwen daarnaast voor de leeftijdscategorieën en jaar. Ook de categorie vrouwen van jaar zit onder de norm van 100, zij het net. Dat betekent dat de tijden binnen de genoemde leeftijdscategorieën nog steeds niet als norm kunnen worden gehanteerd, maar alleen maar als een streefrichting. Wat betreft de verplichte deelname aan de FVT in 2012 voor het gevangeniswezen (GW), de Dienst Bijzondere Voorzieningen (DBV) en de Dienst Vervoer en Ondersteuning DV&O) is hier nog een belangrijke nuancering op zijn plaats. Uit gegevens waarover de DJI beschikt is gebleken dat ondanks de verplichte setting van de FVT in 2012 er een substantieel aantal medewerkers niet aan de toets heeft deelgenomen. Zo blijkt binnen het GW, de DBV en de DV&O dat slechts 60% van de executieve medewerkers van DJI in 2012 aan de toets heeft deelgenomen. Dat betekent dat binnen deze afdelingen 40% om uiteenlopende redenen geen toets heeft gelopen. Binnen die 40% zal het voor een (relatief klein) deel om personen gaan die hier goede (medische) redenen voor hadden en die bij een volgende toetsafname in 2013 wel aanwezig zullen zijn. Het is echter zeer onwaarschijnlijk dat alle personen die niet aan de toets hebben deelgenomen hier een plausibele reden voor hadden. Dat betekent dat de uitkomsten van de FVT ook in dit rapport geen geheel betrouwbaar beeld geven, vanwege het risico op selectiebias. Het is namelijk zeer goed mogelijk dat de personen die, ondanks het in 2012 verplichte karakter van de toets, niet aan de toets hebben deelgenomen een slechtere fysieke conditie vertonen dan zij die wel deelnamen. Indien het verplicht stellen van de FVT onderdeel van een geloofwaardig beleid dient te zijn is het van groot belang dat het (midden)management binnen de DJI ook op deelname toe ziet en sancties koppelt aan het zonder geldige reden wegblijven bij de toets. Daar staat echter tegenover dat deelname aan de toets roostertechnisch geen belemmeringen mag kennen. In het in 2010 verschenen rapport van TGO (zie voetnoot bladzijde 3) blijkt uit de procesevaluatie dat krappe roosters toentertijd soms aanleiding hebben gegeven voor het niet verschijnen van kandidaten tijdens de momenten waarop de toets werd afgenomen. TGO Fysieke Vaardigheid Toets DJI: naar normering van toetstijden 8