Quick scan - evaluatie Voortgang leergang bevelvoerder

Vergelijkbare documenten
Nieuwsflits Implementatie & Communicatie KBP. - maart 2010-

Bevelvoerder Handleiding voor docenten en instructeurs

Antwoorden op de vragen van het LPO

Het NIEUWE onderwijs. Welkom. Adri Koedam Hoofd Preparatie Brandweer Ede Vertegenwoordiger onderwijsraad BOGO namens HGM Docent bij de BOGO 1

Bevelvoerder Handleiding Leerwerkplekbegeleider

0-meting opleidingsinstituut [naam opleidingsinstituut] leergang [naam leergang]

Voertuigbediener Handleiding voor docenten en instructeurs

KWALIFICATIEPROFIEL VOOR MEDEWERKER OPLEIDEN EN OEFENEN

Nieuwsflits kwaliteit brandweerpersoneel

De brandweer wordt nog veiliger en beter

Brandweerduiker Werkboek

Instructeur Tekstboek

Landelijke evaluatie pilot leergang manschap A

Beschrijving op hoofdlijnen van de proeve van bekwaamheid. Instructeur. Versie 0.1

NB: Dit voorstel is op 28 augustus 2008 besproken in het overleg van de pilotregio s. De uitkomsten van dit overleg zijn in de notitie verwerkt.

Branchestandaard blijvende vakbekwaamheid

Project Kwaliteit brandweerpersoneel. De brandweer wordt nog veiliger en beter

Bevelvoerder Werkboek

Leergangkader Ploegchef

PORTFOLIO FUNCTIE MANSCHAP A

KWALIFICATIEPROFIEL VOOR INSTRUCTEUR

Functiehuis Bedrijfsbrandweer

Beschrijving in hoofdlijnen van de proeve van bekwaamheid medewerker brandpreventie

Regionale bijeenkomsten Kwaliteit brandweerpersoneel Rapportage

Beschrijving in hoofdlijnen van de proeve van bekwaamheid Chauffeur

KWALIFICATIEPROFIEL VOOR DOCENT

Nieuwsflits Implementatie & Communicatie KBP. - augustus 2010-

Beschrijving in hoofdlijnen van de proeve van bekwaamheid bedrijfsbrandweer manschap optionele richting technische hulpverlening

Branchestandaard blijvende vakbekwaamheid

Branchestandaard blijvende vakbekwaamheid

2. Opleidingskader voor de opleiding Teamleider Preparatie nafase

Nieuws. van de Brandweeracademie. Examens bedrijfsbrandweer. In dit nummer: juli 2015

Manschap a Oriëntatie

Opleidingsplan Bevelvoerder (definitieve versie)

Stand van zaken herziening leergang Docent januari 2017

KWALIFICATIEPROFIEL VOOR MANSCHAP B

KWALIFICATIEPROFIEL VOOR BRANDWEERDUIKER

Evaluatie invoering kwaliteitstelsel voor vakbekwaam worden en vakbekwaam blijven

Opleidingsplan leergang Manschap B

KWALIFICATIEPROFIEL VOOR MEDEWERKER OPERATIONELE VOORBEREIDING

Uitvoeringsregeling Inzage en bezwaar Brandweeronderwijs

woensdag 12 januari 2011

woensdag 19 januari 2011

KWALIFICATIEPROFIEL VOOR GASPAKDRAGER

Licentieregeling Reddingsbrigade Nederland

KWALIFICATIEPROFIEL VOOR CONTROLEUR BRANDPREVENTIE

3. Opleidingskader voor de opleiding Informatiecoördinator

KWALIFICATIEPROFIEL VOOR CHAUFFEUR

Examinering van het brandweeronderwijs op hoofdlijnen

Opleidingsplan Instructeur

HOGESCHOOL WINDESHEIM

Opleidingsplan leergang Chauffeur. (werkzaam bij de brandweer) 21 januari 2010 (eindversie) Brandweeracademie Postbus HA Arnhem

Opleidingsplan Verkenner gevaarlijke stoffen

Brandweeropleidingen. Jaarplanner 2015 OP B A S I S VA N O PEN INSCH R IJVING RISC

Leergangkader Meetplanleider

Bijlage A, behorende bij artikel 2 lid 1 Besluit personeel veiligheidsregio s

Model implementatieplan Vakbekwaam worden en blijven

Leergangkader Medewerker Brandpreventie

Aanbieding rapport Inspectie OOV" de examinering van het brandweeronderwijs"

KWALIFICATIEPROFIEL VOOR OEFENCOORDINATOR

KWALITEITSONDERZOEK MBO. ROC Ter AA te Helmond. Helpende zorg en welzijn

Overgangsregeling brandweeropleidingen

KWALIFICATIEDOSSIER MANSCHAP B

Werkzaam bij de brandweer

Verslag van werkzaamheden schooljaar

Formulier Erkenningsaanvraag

Dit is een door het CCV goedgekeurd lesplan

U19-1 Leefstijl e-learning CBR Registratienummer. 2. Naam opleider

Quick scan Ambulant begeleid wonen

Opleidingsplan Bedrijfsbrandweer manschap optionele richting technische hulpverlening. Versie 1.0, mei 2011

Studiegids Manschap A. Versie: 2.1, 1 januari 2018

Gaspakdrager Werkboek

Competentiegericht opleiden

Uitvoeringsregeling Vrijstellingen Brandweeronderwijs

KWALIFICATIEPROFIEL VOOR CENTRALIST MELDKAMER

Opleidingsplan Manschap a

Evaluatierapport Project Ontwerpen van een Werktuig en Module 1

Wijzigingsbijlagen leergang Bevelvoerder

Leergangkader Meetplanleider. Versie: 1.2, 22 februari 2018

KWALIFICATIEDOSSIER MANSCHAP B

Sociale wijkzorgteams Den Haag

1e druk, 4e oplage, februari Instituut Fysieke Veiligheid (IFV) ISBN:

Gezondheidskundig Adviseur Gevaarlijke Stoffen (GAGS) Toetswijzer deel l voor de kandidaat. Versie: 1.0 Datum: 19 juli 2018

Uitvoeringsregeling Commissie Toezicht Lokale Toetsing Brandweeronderwijs

Toetsbekwaamheid BKE november 2016

Examenprofiel mbo Schilderen en Onderhoud en Afbouw

PORTFOLIO VOERTUIGBEDIENER

IFV Uitvoeringsregeling Aangepast proeve-onderdeel

ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU. ROC Midden Nederland te Utrecht. Medewerker ICT

Samenwerking implementatie ELO Brandweer opdrachtgever: Brandweer Gelderland-Midden, Bert van Veldhuizen opdrachtnemer: Hogeschool Utrecht, Johan

Notitie : 6SVS-BVE N Van : secretariaat Status : vastgesteld door bestuur d.d Datum : 15 juni 2016 Betreft : jaarverslag 2015

De Onderzoeksraad voor Veiligheid Postbus CB Den Haag

Digibib. Hoe te werken met de oefenopdrachten en examens?

Uitvoeringsregeling Aangepast(e) toets of examenonderdeel Brandweeronderwijs

KeCo De leerling actief!

IFV Uitvoeringsregeling Caribisch Nederland

Onderbouwing model kwalificatiedossier. Versie: 12 december 2014

PORTFOLIO FUNCTIE BEVELVOERDER

Leergangkader Docent (vanaf 2015)

Leergangkader Adviseur gevaarlijke stoffen

Transcriptie:

Quick scan - evaluatie Voortgang leergang bevelvoerder Opdrachtgevers Paul Joosten NVBR Caroline van den Brekel VNG / CvA Status rapport Versie: eindconcept Datum: 23 februari 2010 Status: concept Opgesteld door: implementatiemanagers Kwaliteit brandweerpersoneel Alex Overbeeke Jantine Trommelen Concept gecontroleerd: Annemarie Breur Mariëlle van der Wijngaard Caro van der Lijcke

Versiehistorie Versie Omschrijving Datum 0.1 Eerste schematische opzet 15 januari 2010 0.2 Aanpassing op basis van controle 1 e 2 februari 2010 concept eindconcept Aanpassing op basis van commentaar op versie 0.2 door Nbbe, Veiligheidsregio Noord-Holland Noord, NIFV 23 februari 2010 Quick scan evaluatie bevelvoerder 2

Inhoudsopgave 1 AANLEIDING... 4 2 WERKWIJZE... 5 3 ONDERZOEKSVRAAG... 6 4 RESULTATEN EN ANALYSE... 7 4.1 DE VOORBEREIDING VAN HET ONDERWIJS...7 4.2 DE UITVOERING VAN HET ONDERWIJS...7 4.3 DE LES- EN LEERMIDDELEN...8 4.4 DE ONLINE THEORIETOETS...9 5 AANBEVELINGEN... 12 6 BIJLAGEN... 13

1 Aanleiding In de regio Noord-Holland Noord zijn in december 2009 de eerste theorie-examens voor bevelvoerder afgenomen. Van de 17 1 kandidaten die hebben deelgenomen aan het examen zijn 6 kandidaten geslaagd. Dit resultaat sluit niet aan bij de verwachtingen van de docenten en de kandidaten in Noord-Holland Noord 2. Naar aanleiding hiervan heeft de projectorganisatie Implementatie en communicatie een korte evaluatie uitgevoerd. De projectorganisatie heeft vanuit een breed perspectief de ervaringen met, de successen van en verbeteringen voor de leergang bevelvoerder onderzocht. De projectorganisatie heeft in deze quick scan ook het signaal onderzocht dat door de regio s wordt afgegeven met betrekking tot de les- en leerstof bevelvoerder. De les- en leerstof zou te omvangrijk zijn en nog teveel ballast bevatten, waardoor het lastig is om onderscheid te maken tussen need to know voor de praktijk en nice to know als achtergrondinformatie. Dit rapport vat de evaluatieresultaten samen. 1 De omvang van de groep (17 deelnemers) is beperkt. Een uitgebreide evaluatie op basis van de gegevens uit deze groep is niet mogelijk. De evaluatie heeft daarom het karakter van een quick scan. 2 Alhoewel het slagingspercentage op zichzelf geen doelstelling was voor de invoering van het nieuwe onderwijs, is het aanleiding geweest tot de uitvoering van een evaluatie. Daarom is ervoor gekozen om als onderzoeksvraag voor de evaluatie niet het examen en het slagingspercentage centraal te stellen. De onderzoeksvraag gaat juist in op de aansluiting tussen de plannen (PLAN) en de realisatie van de plannen (DO) in het verband van de Demingcircle. Quick scan evaluatie bevelvoerder 4

2 Werkwijze De uitvoering van de quick scan heeft om een aantal overwegingen en keuzes gevraagd. Dit hoofdstuk beschrijft de genomen processtappen, de geraadpleegde evaluatiebronnen, de gehanteerde evaluatieonderwerpen en de reikwijdte en afbakening van het onderzoek. Processtappen Achtereenvolgens zijn de volgende processtappen gedefinieerd: ontwerp van de evaluatiemethode in overeenstemming met de opdrachtgevers; plannen en houden van interviews; opstellen van het conceptrapport met analyse en resultaten; inhoudelijk verifiëren van de evaluatieresultaten bij de geïnterviewden en doorvoeren van mogelijke aanpassingen; aanbieden van het eindconcept aan de opdrachtgevers. Evaluatiebronnen Het evaluatieresultaat is bepaald door interviews met: Nederlands Instituut Fysieke Veiligheid (NIFV): Marianne Heijndijk en Lydia van der Hulst (les- en leermiddelen) Nbbe: Anne Marie Bosman (proeve van bekwaamheid) Regio Noord-Holland Noord: o Trajectbegeleider / docent: Frans Anthonisse en Christel Borgstrom o Cursist: Mieke Beemsterboer (Brandweer Heiloo), Willem Post (Brandweer Den Helder) o Mentor / Leerwerkplekbegeleider: Ernst Bakkernes (Brandweer Enkhuizen) Evaluatieonderwerpen De volgende evaluatieonderwerpen dienen als basis voor de interviews: voorbereiding van het onderwijs; uitvoering van het onderwijs; les- en leermiddelen; online theorietoets. Reikwijdte en afbakening De reikwijdte van de quick scan is de periode tussen de voorbereidingen op de uitvoering van de nieuwe leergang bevelvoerder en de afname van de eerste theorietoets van de eerste cursusgroep. De evaluatie heeft dus niet alleen betrekking op de toets. Voor zover de evaluatie over toetsing gaat, wordt uitsluitend de toets Uitruk & Verkenning geëvalueerd. De quick scan beperkt zich tot één interviewronde en gaat uitsluitend in op de bovengenoemde evaluatieonderwerpen. De quick scan beperkt zich tot de leergang bevelvoerder die is georganiseerd in Noord- Holland Noord. Quick scan evaluatie bevelvoerder 5

3 Onderzoeksvraag De onderzoeksvraag van de quick scan concentreert zich op de check-fase van de Demingcircle. De onderzoeksvraag is: Hoe zorgen alle activiteiten voor het organiseren en uitvoeren van de leergang bevelvoerder ervoor, dat de leergang aansluit op de uitgangspunten uit het kwalificatiedossier voor bevelvoerder (minimale eisen voor de beginnend beroepsbeoefenaar) Figuur 1 illustreert de positie van de quick scan in de Deming circle. Plan: 1. roosters 2. kwalificatiedossier 3. opleidingsplan 4. proeve van bekwaamheid 5.... Adapt: 1. voornemen van NIFV om lesen leermiddelen te evalueren 2. Nbbe heeft samen met de startregio's de toetsvragen voor bevelvoeder gescreend 3.... Do: 1. wijze van lesgeven 2. les- en leermiddelen 3. online theorietoets 4. leerwerkplekopdrachten 5. afstemming en communicatie 6.... Check: Hoe zorgen alle activiteiten voor het organiseren en uitvoeren van de leergang bevelvoerder ervoor, dat de leergang aansluit op de uitgangspunten uit het kwalificatiedossier voor bevelvoerder Figuur 1: positie quick scan (check-fase) in de Deming circle Nota bene: in de planfase is de proeve van bekwaamheid opgenomen. Een uitgebreide beschrijving van de proeve van bekwaamheid en de methodenmix is als bijlage bij dit rapport opgenomen. Quick scan evaluatie bevelvoerder 6

4 Resultaten en analyse 4.1 De voorbereiding van het onderwijs Het uitgangspunt voor de voorbereidingen is het kwalificatiedossier voor bevelvoerder. Dit kwalificatiedossier is tot stand gekomen in een ontwikkelgroep voor de functie bevelvoerder, die bestond uit professionals uit het veld, NIFV en Nbbe. De plannen omvatten ondermeer het kwalificatieprofiel voor bevelvoerder, de proeve van bekwaamheid en het opleidingsplan. Alle documenten zijn gevalideerd volgens een schema van goedkeuring. Het NIFV heeft de regie gevoerd over het opstellen van het opleidingsplan vanuit de deelname van het NIFV aan het Project Kwaliteit Brandweerpersoneel. Op basis van de bovenstaande documenten zijn lesplannen ontwikkeld. De kwartiermaker in Noord-Holland Noord heeft ervoor gekozen om voor de eigen regio de lesplannen enigszins aan te passen, zodat dit beter aansluit bij de eigen organisatie. De aanpassing beoogt tevens dat de werkdruk voor de cursist geleidelijker is verdeeld en dat de cursist een beter beeld kan vormen van de belasting op de langere termijn. 4.2 De uitvoering van het onderwijs Plannen Als één van de startregio s is Noord-Holland Noord in 2008 gestart met de voorbereidingen op de invoering van functiegericht onderwijs. Op basis van de les- en leermiddelen van het NIFV en de handleidingen voor docenten en leerwerkplekbegeleiders is men aan de slag gegaan. 25 cursisten hebben zich aangemeld voor de eerste nieuwe leergang bevelvoerder. Met name het functiegerichte karakter van de leergang sprak de cursisten aan. Naar inschatting van de docenten is het niveau van de groep vergelijkbaar met het niveau van de vroegere onderbrandmeesteropleidingen. Een gedeelte van de cursisten heeft voorafgaand een entreetoets afgelegd, de anderen zijn direct door de werkgever aangemeld voor de leergang. Voor iedere cursist is er leerwerkplekbegeleiding geregeld. De leerwerkplekbegeleider wordt in Noord- Holland Noord mentor genoemd en geeft in de regel de feedback aan de cursist over de voortgang van het werkend leren. Wat is op basis van de plannen gedaan De docenten houden zich grotendeels aan de lesplannen, maar letten steeds kritisch op de werkvormen en lesmethoden die in de leermiddelen zijn voorgesteld. Steeds opnieuw wordt gezocht naar alternatieve manieren om de leerdoelen nog beter te kunnen bereiken. De leervragen vormen wel steeds het uitgangspunt voor de lessen. Eens in de twee weken evalueren docenten de voortgang. Tussentijds is aan de cursisten feedback gevraagd over de nieuwe leergang bevelvoerder, naar aanleiding van signalen dat men de studiebelasting te hoog vond. Zeven personen zijn voortijdig met de leergang gestopt, meestal omdat de randvoorwaarden (voldoende leertijd) niet haalbaar waren. Een aantal deelnemers met een drukke weektaak haakt tijdens de leergang niet af en rondt succesvol de eerste toets af. Dankzij de actieve rol van de trajectbegeleiders verloopt het leerwerkplekleren volgens plan. De cursisten verwachten in de regel van de docent of trajectbegeleider ook feedback op de uitvoering van de leerwerkplekopdrachten, naast de terugkoppeling die zij krijgen van de mentor. De leerwerkplekopdrachten vormen naar mening van de cursisten een Quick scan evaluatie bevelvoerder 7

prima aanvulling op de leerstof. Het is wel zo dat het alweer een extra tijdsbelasting betekent in de leergang die in de beleving toch al zwaar is. Cursisten herkennen niet 100% het functiegerichte karakter van de leergang. De indruk bestaat dat de kenniscomponent sterk is toegenomen ten opzichte van de module Onderbrandmeester en dat de toets ook veel kennisvragen bevatte. Dat deze beelden bij docenten en cursisten bestaan is voor het NIFV een aanleiding om de nieuwe leergang te evalueren. Naarmate de leergang vorderde kwam de voorlichting over de leergang aan de cursisten goed op gang. Onbekendheid met de nieuwe leergang en de nieuwe manier van examineren wordt door de cursisten in veel gevallen als moeilijk ervaren. Cursisten geven aan meer duidelijkheid nodig te hebben met betrekking tot hetgeen van hen verwacht wordt (bij de leergang en bij de toets). 4.3 De les- en leermiddelen Plannen Het ontwikkelen van les- en leermiddelen voor de functie bevelvoerder valt niet onder de wettelijke taak van het NIFV en is door het NIFV ontwikkeld als een niet-wettelijke taak. Het NIFV heeft in de ontwikkelgroep voor de functie bevelvoerder de regie gevoerd op de ontwikkeling van het opleidingsplan. Het opleidingsplan is één op één doorvertaald naar de les- en leermiddelen, bestaande uit het theoriedeel, het werkboek voor de cursist en de leerwerkplekopdrachten. Deze zaken zijn aangevuld met handleidingen voor de instructeurs / docenten en de leerwerkplekbegeleider. Voor het ontwikkelen van deze producten heeft het NIFV een interne richtlijn / notitie. De basis voor het opstellen van de les- en leermiddelen is geweest dat deze aan moeten sluiten op functiegericht onderwijs voor de functie bevelvoerder. Het is de bedoeling dat overbodige informatie voor de functie bevelvoerder niet in de les- en leermiddelen staat. Voordat het les- en leermateriaal is gebruikt in Noord-Holland Noord, is door de docenten nogmaals de stof gecheckt op overbodigheid. Hun conclusie was dat een deel uit de lesstof kon vervallen zonder hiermee het functiegerichte leren geweld aan te doen. Wat is op basis van de plannen gedaan Gebruikers van de les- en leermiddelen signaleren dat (onbedoeld) de lesstof onnodige informatie bevat. Ook lijken de signalen erop te wijzen dat de studiebelasting volgens de les- en leermiddelen afwijkt van de studiebelasting volgens het opleidingsplan. Dit is voor het NIFV een aanleiding om in het tweede kwartaal van 2010 een evaluatie te doen met als onderwerp de les- en leerstof (voor bevelvoerder). In de uitvoering zijn de les- en leermiddelen uitgewerkt volgens de interne richtlijnen die het NIFV voor de eigen organisatie heeft opgesteld. Het product dat hiermee is ontwikkeld, is omvangrijk. Dit roept bij de cursisten de vraag op of er een onderscheid is te maken in lesstof die nice to know is en lesstof die need to know is. Tevens leeft het gevoel bij de cursisten dat de lesstof nog onvoldoende aansluit bij de praktijk van de functie bevelvoerder. Deelnemers geven aan dat nog niet wordt voldaan aan de behoefte om de stof in een heldere structuur aan te bieden. Feitelijk is in de planfase al een inspanning gedaan om overbodige lesstof te vermijden (ballast). In de evaluatie die door het NIFV in 2010 wordt gedaan, zal worden gecheckt in hoeverre aan de doelstelling is voldaan. Voor de leergang manschap A is een pilot uitgevoerd, die tot een aantal aanbevelingen heeft geleid. Er is toen voorgenomen om de aanbevelingen ook mee te nemen in de ontwikkelingen van de andere leergangen zoals bevelvoerder. Quick scan evaluatie bevelvoerder 8

Advies Hoewel de evaluatie van lesstof nog moet plaatsvinden, is het raadzaam om het onderscheid tussen nice to know en need to know te veranderen in een onderscheid tussen parate kennis en achtergrondkennis: in feite is alle lesstof need-to-know voor het optreden als bevelvoerder. Er is echter een onderscheid denkbaar tussen de kennis die de bevelvoerder direct beschikbaar moet hebben (parate kennis) en de noodzakelijke kennis, waarvan de bevelvoerder weet waar hij of zij de kennis kan raadplegen (achtergrondkennis). 4.4 De online theorietoets Context Op 17 december 2009 hebben de cursisten van de nieuwe leergang bevelvoerder in Noord-Holland Noord een online theorietoets afgelegd. Voor dit examen zijn 6 van de 17 cursisten geslaagd. De cursisten onderbrandmeester die op dezelfde dag in Noord- Holland Noord deelnamen aan het oude examen zijn bijna allemaal geslaagd. Voor het Nederlands bureau brandweer examens (Nbbe) is dit een aanleiding geweest om de kwaliteit van de examenvragen te verbeteren. Hierover heeft begin januari 2010 overleg plaatsgevonden tussen de vier regio s 3 die zijn gestart met de nieuwe leergang bevelvoerder en het Nbbe. Naar aanleiding van dit overleg is de procesafspraak gemaakt dat het Nbbe en de docenten uit de vier regio s in januari en februari 2010 gezamenlijk alle examenvragen screenen die zijn ontwikkeld voor de online theorietoetsen voor bevelvoerder. Voor de leergang bevelvoerder gaat het om de eerste theorietoets uit een serie van 3. De toets heeft betrekking op de eerste kerntaak uit het kwalificatieprofiel: Uitruk en verkenning. Plannen De basis voor de online toets is de proeve van bekwaamheid zoals deze is ontwikkeld door de ontwikkelgroep. Zoals in het ontwerp van de les- en leerstof is vastgelegd in het opleidingsplan, zo is ook de inhoud en de zwaarte van de proeve van bekwaamheid vastgelegd. De bijlage bij dit rapport bevat een uitleg over de onderdelen van de proeve van bekwaamheid en de methodenmix. Voor de eerste theorietoets heeft het Nbbe vragenproducenten (uit het brandweerveld) ingeschakeld. Hoewel het kwalificatieprofiel het uitgangspunt is voor de ontwikkeling van het examen, zijn alle vragen voorafgaand aan het examen naast de lesstof gelegd. Dit heeft twee redenen: (1) op deze manier kon men nagaan of de geformuleerde vragen ook terugkwamen in de lesstof, en (2) men kon het opleidingsplan als uitgangspunt gebruiken, aangezien dit concreter is uitgewerkt dan het kwalificatieprofiel en de proeve van bekwaamheid. Dit heeft ertoe geleid dat er vragen zijn verwijderd. Deze vragen betroffen onderwerpen waar de lesstof onvoldoende op ingaat. Op basis van de door het Nbbe ontvangen lesstof zijn de examenvragen concreet uitgewerkt. Er is geen afstemming geweest tussen NIFV en Nbbe tijdens de ontwikkeling van lesstof en examenvragen. 3 Het betreft de regio s Haaglanden, Noord-Holland Noord, Utrecht en Zuid-Limburg. Deze regio s zijn in november 2008 en januari 2009 gestart met de leergang bevelvoerder. Quick scan evaluatie bevelvoerder 9

Wat is op basis van de plannen gedaan 17 cursisten in Noord-Holland Noord hebben op 17 december 2009 deelgenomen aan het examen. De docenten / trajectbegeleiders hebben 2 weken voorafgaand aan het examen inzage gekregen in de examenvragen. De inzage gaf aanleiding tot het leveren van commentaar op de examenvragen, vooral omdat men vindt dat er veel weet-vragen en bijna geen inzichtvragen in het examen zaten 4. Gezien de korte termijn tot het examen (2 weken) is de theorietoets slechts gedeeltelijk gewijzigd op basis van het relevante en zo benoemde commentaar, met uitzondering van één opmerking dat het examen te weinig inzichtvragen bevat. In verband met het krappe tijdsbestek heeft deze opmerking geen navolging gehad. Vooral de vragen die niet aansloten bij de leergang in de ogen van de docenten van Noord-Holland Noord, zijn vervallen. Het was niet meer mogelijk om in te gaan op het verzoek om meer beeldmateriaal in het examen te verwerken. Dit verzoek was gedaan opdat interpretatieverschillen tot een minimum beperkt zouden worden. De theorietoets van de leergang bevelvoerder gaat voor het grootste deel over kennis en in veel mindere mate over inzicht. In de online toets zijn relatief veel kennisvragen opgenomen. Bij de beantwoording van de inzichtvragen is uitgegaan van het feit dat de cursisten over parate kennis beschikken. Tijdens het examen hebben geen onregelmatigheden plaatsgevonden: er waren geen systeemproblemen, er werd gebruik gemaakt van een valide vragenset en er was sprake van toezicht. De resultaten van de online theorietoets hebben ertoe geleid, dat het Nbbe in overleg met de startregio s en het NIFV een aanpassing gaat doorvoeren in de examenvragen. Deze aanpassing zal volgens plan in maart 2010 zijn gerealiseerd. In deze maand zullen cursisten uit de andere startregio s ook deelnemen aan het eerste online theorieexamen. Er is gespeeld met de gedachte om voorafgaand aan het echte examen een pilotexamen af te nemen bij een referentiegroep. Er wordt onvoldoende samenhang ervaren tussen het kwalificatieprofiel, de lesstof en het examen. Met name het praktijkgerichte element van het nieuwe onderwijs sluit in de beleving van de deelnemers en docenten onvoldoende aan op de werkpraktijk. Bijvoorbeeld: het examen maakt in beperkte mate gebruik van beeldcasussen het online theorie-examen is sterk gericht op kennis en veel minder op toepassing en inzicht Wel wordt samenhang van beroepspraktijk en het leren ervaren bij: de lessen waarin veel met beeldmateriaal wordt gewerkt. het onderwijs / leertraject dat gericht is op tactisch en technisch inzicht. Samengevat Op basis van de ervaringen in de leergang bevelvoerder sluit de leergang op de volgende punten aan op de functie bevelvoerder: in lesstof wordt veel gewerkt met beeldmateriaal en casuïstiek 4 Uiteraard heeft in het competentiegericht leren het domein kennis een plaats. De examenvragen die deze kennis toetsen hebben naar mening van de docenten en cursisten in Noord-Holland Noord vooral het karakter van weet - vragen in plaats van inzicht vragen. Quick scan evaluatie bevelvoerder 10

Op basis van de ervaringen in de leergang bevelvoerder sluit de leergang op de volgende punten onvoldoende aan op de functie bevelvoerder: volgens de docenten en onderwijsdeelnemers onderscheidt de lesstof parate kennis en achtergrondinformatie in onvoldoende mate volgens de docenten en onderwijsdeelnemers bevat de theorietoets te veel kennisvragen die gebaseerd zijn op achtergrondinformatie (informatie die onvoldoende relevant is voor de praktijk) volgens de docenten en onderwijsdeelnemers bevat de theorietoets te weinig kennis- en inzichtvragen die zijn gebaseerd op de praktijk Quick scan evaluatie bevelvoerder 11

5 Aanbevelingen 1. Regel dat geborgde kennis de bron wordt waar onafhankelijk van elkaar zowel les- en leerstof als toetsvragen afgeleid kunnen worden. 2. Stel voor zover dit niet het geval is expertgroepen samen van inhoudsdeskundigen die betrokken zijn bij de ontwikkeling en invulling van de instrumenten (toetsvragen en les- en leerstof) 3. Geef in ontwikkelgroepen duidelijke kaders aan voor de invulling van proeveonderdelen 4. Onderzoek de signalen dat de lesstof meer kennis aanbiedt dan noodzakelijk is voor het uitoefenen van de functie. 5. Cursisten hebben behoefte aan lesstof waarin een duidelijk onderscheid is tussen parate kennis en achtergrondkennis. Geef invulling aan deze behoefte. 6. Dit is de 1 e toets uit een serie van 3 toetsen. Alleen voor deze toets / kerntaak wordt nu door het Nbbe en de regio s de screeningslag gedaan. Voer deze screening ook uit voor de andere 2 toetsen. 7. Neem voorafgaand aan de 2 e online toets over kerntaak 2, de toets eerst af bij een referentiegroep en check iedere nieuwe toets eerst bij een referentiegroep 8. Neem bij kandidaat deelnemers van de leergang bevelvoerder een entreetoets af Quick scan evaluatie bevelvoerder 12

6 Bijlagen Bijlage A Lijst geïnterviewden Ernst Bakkernes, brandweer Enkhuizen Willem Post, brandweer Den Helder Mieke Beemsterboer, brandweer Heiloo Lydia van der Hulst, NIFV Marianne Heijndijk, NIFV Anne Marie Bosman, Nbbe Frans Anthonisse, Regio Noord-Holland Noord Christel Borgstrom, Regio Noord-Holland-Noord Quick scan evaluatie bevelvoerder 13

Bijlage B Traject behandeling evaluatierapport Interne check op inhoud Project Implementatie en communicatie Check bij geïnterviewden Reactie voor 10 februari 2010 Check bij projectleider Implementatie en communicatie Aanbieding eindconcept aan opdrachtgever en cc aan NIFV, VR NHN en Nbbe Aanbieding eindrapport aan stuurgroep Behandeling in stuurgroep 16 maart 2010 (volgens plan Voorstel: vrijgave bevindingen rapport aan LOBO / NVBR Na behandeling in de stuurgroep / RRC Quick scan evaluatie bevelvoerder 14

Bijlage C Proeve van bekwaamheid en methodenmix (bron Nbbe) De proeve van bekwaamheid als geheel De proeve van bekwaamheid is het geheel aan toetsen dat de kandidaat in de gelegenheid stelt om aan te tonen dat hij/zij de benodigde competenties beheerst om te kunnen omgaan met de keuzes en dilemma s van de kerntaken uit het kwalificatieprofiel. Hierbij is gekozen voor een methodenmix, dat wil zeggen dat een combinatie van verschillende toetsvormen de proeve van bekwaamheid vormt. Opbouw De proeve van bekwaamheid voor de Bevelvoerder bestaat uit de volgende proeveonderdelen: Praktijksimulatie: optreden bij brandbestrijding Computersimulatie: optreden bij technische hulpverlening Computersimulatie: optreden bij incidenten met gevaarlijke stoffen Theorietoets uitruk en verkenning Theorietoets inzet Theorietoets afbouw / nazorg In onderstaand schema wordt een overzicht gegeven hoe de gekozen methodenmix zich verhoudt tot de taakgebieden van de kerntaken in het kwalificatieprofiel voor de Bevelvoerder. Hoe? Taakgebied? Praktijksimulatie optreden bij brandbestrijding 1. Brandbestrijding Computersimulatie optreden bij technische hulpverlening Computersimulatie optreden bij incident met gevaarlijke stoffen Theorietoets uitruk en verkenning 2. Technische hulpverlening 3. Optreden bij incidenten met gevaarlijke stoffen 1. Brandbestrijding 2. Technische hulpverlening en 3. Incident met gevaarlijke stoffen 4. Waterongevallen Theorietoets Inzet 1. Brandbestrijding 2. Technische hulpverlening en 3. Incident met gevaarlijke stoffen 4. Waterongevallen Theorietoets afbouw / nazorg 1. Brandbestrijding 2. Technische hulpverlening en 3. Incident met gevaarlijke stoffen 4. Waterongevallen Quick scan evaluatie bevelvoerder 15

Voorwaardelijkheid en volgordelijkheid Het is wenselijk om de gesloten vragentoetsen met een positief resultaat af te ronden voordat deelname aan de praktijksimulaties plaatsvindt. Verder zijn er geen voorwaardelijkheden en volgordelijkheden in deze proeve van bekwaamheid. Quick scan evaluatie bevelvoerder 16

Bijlage D Relevante gebeurtenissen na theorietoets De startregio s en het Nbbe hebben in gezamenlijke sessies de theorietoets voor Uitruk en verkenning herzien. De startregio s hebben op 17/2 aangegeven dat zij volledig achter de invulling van de toetsvragen staan. In hun opinie blijft de toets echter in ontwikkeling omdat op de wens om met meer beeldvragen te werken, niet volledig is ingegaan. Ook voor de theorietoets Inzet worden de vragen door het Nbbe samen met de startregio s in sessies beoordeeld. De vragen worden eventueel herzien op een manier zoals dit ook gedaan is voor de toets Uitruk en verkenning met het doel deze toets in april 2010 af te nemen. Door gegrondverklaring van een aantal ingediende bezwaarschriften zijn de resultaten door het Nbbe aangepast. Als gevolg hiervan zijn in plaats van 6 geslaagden, nu 11 van de 17 kandidaten geslaagd voor de theorietoets Uitruk en verkenning. Quick scan evaluatie bevelvoerder 17