Toetsmatrijzen. Formats, achtergrond en instructies. O&K servicedocument

Transcriptie

1 Toetsmatrijzen Formats, achtergrond en instructies O&K servicedocument April

2 Voorwoord Beste opleidingsmanagers, beste voorzitters van de examencommissies en toetscommissies, Toetsmatrijzen zijn nuttige hulpmiddelen om kwalitatief goede toetsen te ontwikkelen. Veel opleidingen van DEM hebben inmiddels toetsmatrijzen opgesteld of zijn bezig deze op te stellen. De aansturing hiervan vindt tot op heden plaats vanuit de afdelingen. Met als gevolg dat er binnen DEM veel verschillende formats circuleren. Dit niet wenselijk is werkt verwarrend. Er was ook kritiek op de gebruiksvriendelijkheid van de bestaande formats of er ontbraken duidelijke instructies en tips. Inmiddels hebben we een kwaliteitsslag gemaakt en bieden jullie nu een set universele formats aan. Dit servicedocument bevat: 1. Heldere en begrijpelijke formats, te gebruiken voor alle didactische concepten, voor: Schriftelijke toetsen Schriftelijke taaltoetsen Overige toetsen 2. Voorbeelden van ingevulde toetsmatrijzen. 3. Duidelijke instructies voor het gebruik. 4. Een voorbeeld van een procedure voor het opstellen en gestructureerd werken met toetsmatrijzen. Het gebruik van deze formats stimuleert het denken over wat een goede toets is. Het correct gebruik en toepassing bij het maken van de toetsen zelf, is een waarborg voor accreditatiewaardige toetsing! Of en hoe deze formats gebruikt worden is aan de opleidingen zelf. Mocht een opleiding besluiten te werken met toetsmatrijzen, dan is het van belang met elkaar een procedure en taakverdeling af te spreken. Wie doet wat? Wie borgt de kwaliteit? Daarom is ook een voorstel voor een procedure bijgevoegd. De conceptversies van het servicedocument hebben we aan eindgebruikers voorgelegd. Kun je hier mee werken? Biedt het je meerwaarde, is de toelichting duidelijk? Wij hopen dat dit servicedocument ondersteunend is bij het streven naar kwaliteit van de diverse toetsen binnen de opleidingen. Suggesties voor verbetering horen wij graag. Wij zijn beschikbaar voor advies, ondersteuning en eventueel trainingen. Voor de Engelstalige opleidingen zijn Engelstalige formats en instructies beschikbaar. Op de toetspagina s van nnet zijn de losse formats en instructiepagina s te downloaden. Hier staat ook algemene informatie over kwaliteitseisen rond toetsen. Het O&K team 2

3 Inhoudsopgave Een toetsmatrijs als hulpmiddel voor het maken van een goede toets... 4 Instructies bij Toetsmatrijs 1 Schriftelijke toets... 5 Toetsmatrijs 1 Schriftelijke toets: ingevuld voorbeeld... 7 Instructies bij Toetsmatrijs 2 Schriftelijke taaltoets... 8 Toetsmatrijs 2 Schriftelijke taaltoets: ingevuld voorbeeld Instructies bij Toetsmatrijs 3 Overige toetsen (met beoordelingsmodel) Toetsmatrijs 3 Overige toetsen met beoordelingmodel: ingevuld voorbeeld Bijlagen Procedure borging kwaliteit toetsen (voorbeeld) Bijlage 1. Tips en adviezen voor het opstellen en beoordelen van schriftelijke (taal)toetsen Bijlage 2. Taxonomie van Bloom Format Toetsmatrijs 1 Schriftelijke toets Format Toetsmatrijs 2 Schriftelijke taaltoets Format Toetsmatrijs 3 Overige toetsen (met beoordelingsmodel)

4 Een toetsmatrijs als hulpmiddel voor het maken van een goede toets De toetsmatrijs is een instrument, een hulpmiddel waarmee kwalitatief goede toetsen opgesteld kunnen worden. Kwalitatief goede toetsen is een belangrijke accreditatie-eis. Een toetsmatrijs is een blauwdruk van een toets, die er op is gericht om op een systematische wijze toetsen op te stellen. In het bijzonder: 1. Een toetsmatrijs helpt de validiteit en betrouwbaarheid van een toets te vergroten. Validiteit houdt in dat een toets ook daadwerkelijk meet wat het moet meten, namelijk of de leerdoelen al dan niet worden behaald. Een toets is betrouwbaar als deze bij herhaalde afname steeds tot hetzelfde resultaat leidt, steeds onder dezelfde omstandigheden. 2. Met een toetsmatrijs is geborgd dat de verschillende versies van een toets (bijvoorbeeld reguliere afname en herkansing) gelijkwaardig zijn voor wat betreft inhoud en de moeilijkheidsgraad. 3. Het beoordelingsmodel bij toetsmatrijs 3 Overige toetsen zorgt er voor dat uniforme en van de leerdoelen afgeleide beoordelingscriteria worden gehanteerd. 4. Een toetsmatrijs kan worden gebruikt als communicatiemiddel voor docenten die samen een toets opstellen. 5. Een toetsmatrijs kan worden gebruikt als controle-instrument: worden de leerdoelen van een onderwijseenheid (module, project, werkplaats etc.) inderdaad gemeten? Met bijgaande universele formats kunnen alle toetsen binnen DEM, ongeacht didactisch concept, beschreven worden. De gebruikte aanduidingen van toetsvormen is ontleend aan de terminologie zoals die in SIS wordt gehanteerd. Het SIS, de studiegidsen (met daarbinnen de beschrijvingen van onderwijseenheden) en toetsmatrijzen zijn hiermee zowel inhoudelijk als wat betreft de terminologie op elkaar afgestemd. Format toetsmatrijs 1 Het format toetsmatrijs 1 - schriftelijke toets is alleen bedoeld voor schriftelijke toetsen, met inbegrip van schriftelijke toetsen die digitaal worden afgenomen. In de studiegids is dit aangeduid als ' toets digitaal. Format toetsmatrijs 2 Het format toetsmatrijs 2 - schriftelijke taaltoets is alleen bedoeld voor schriftelijke taaltoetsen, als onderdeel van taalmodulen/cursussen/trainingen, met inbegrip van schriftelijke taaltoetsen die digitaal worden afgenomen. In de studiegids is dit aangeduid als ' toets digitaal. Format toetsmatrijs 3 Het format toetsmatrijs 3 overige toetsen is alleen bedoeld voor de volgende (open) beoordelingsmethoden: assessment, opdracht, paper, rapport, scriptie, portfolio, presentatie, beroepsproduct, project, stage, toets digitaal (met uitzondering van gedigitaliseerde schriftelijke toetsen), toets mondeling en toets practicum. Een toetsmatrijs en dan?... Na de toetsmatrijs moet de toets zelf nog gemaakt worden. In bijlage 1. zijn alle tips en adviezen voor het opstellen en beoordelen van schriftelijke (taal)toetsen gebundeld. 4

5 Instructies bij Toetsmatrijs 1 Schriftelijke toets Het format toetsmatrijs 1 - schriftelijke toets is alleen bedoeld voor schriftelijke toetsen, met inbegrip van schriftelijke toetsen die digitaal worden afgenomen. In de studiegids is dit aangeduid als ' toets digitaal. Voor schriftelijke taaltoetsen en overige toetsen (zoals opdrachten en beroepsproducten) zijn aparte formats ontwikkeld. Met bijgaand universeel format kun je alle schriftelijke toetsen binnen DEM, ongeacht didactisch concept, beschrijven. De gebruikte aanduiding van toetsvormen is ontleend aan de terminologie zoals die in SIS wordt gehanteerd. Het SIS, de studiegidsen (met daarbinnen de beschrijvingen van onderwijseenheden) en toetsmatrijzen zijn hiermee zowel inhoudelijk als wat betreft de terminologie op elkaar afgestemd. Waarom een toetsmatrijs? De toetsmatrijs is een instrument, een hulpmiddel waarmee je, samen met collega s, kwalitatief goede toetsen (een accreditatie-eis) kunt ontwerpen. Met een toetsmatrijs maak je op een systematische wijze een blauwdruk van een toets. In het bijzonder: 1. Een toetsmatrijs helpt de validiteit en betrouwbaarheid van je toets te vergroten. Validiteit houdt in dat een toets ook daadwerkelijk meet wat het moet meten, namelijk of de leerdoelen al dan niet worden behaald. Een toets is betrouwbaar als deze bij herhaalde afname steeds tot hetzelfde resultaat leidt, steeds onder dezelfde omstandigheden. 2. Met een toetsmatrijs verzeker je ervan dat de verschillende versies van een toets (bijvoorbeeld reguliere afname en herkansing) gelijkwaardig zijn voor wat betreft inhoud en de moeilijkheidsgraad. Met een toetsmatrijs heb je een communicatiemiddel in handen om met collega s samen een toets op te stellen. Een toetsmatrijs kan ook worden gebruikt als controle-instrument: worden de leerdoelen van een onderwijseenheid (module, project, werkplaats etc.) inderdaad gemeten?. Het kopje algemene informatie 1. De beschrijving van de onderwijseenheid in de studiegids is startpunt voor de toetsmatrijs. Zorg er daarom voor dat je de beschrijving van de onderwijseenheid, die op deze toets van toepassing is, tot je beschikking hebt. 2. De algemene informatie over de toets haal je uit de beschrijving in de studiegids. Neem deze gegevens over naar de desbetreffende vakjes van de toetsmatrijs. 3. Voor de gegevens bij de Multiple Choice (MC) vragen gelden de volgende richtlijnen om de betrouwbaarheid van de toets te garanderen: vier antwoordalternatieven = minimaal 40 MC vragen; drie antwoordalternatieven = tenminste 60 MC vragen; twee antwoordalternatieven = tenminste 80 MC vragen. Tips en adviezen voor het opstellen van schriftelijke (taal)toetsen zijn te vinden in bijlage 1. De blauwdruk Dit is gedeelte is de feitelijke toetsmatrijs. 1. Beschrijf in de 1 e kolom de leerdoelen die worden gemeten in deze toets. Het is belangrijk dat de leerdoelen in de toetsmatrijs overeenkomen met de leerdoelen zoals vermeld in de beschrijving van de onderwijseenheid in de studiegids. Als een onderwijseenheid door meerdere deeltoetsen wordt afgesloten, is het van belang dat de som van de leerdoelen uit de afzonderlijke toetsmatrijzen overeenkomt met de leerdoelen van de onderwijseenheid. Een voorwaarde om een goede toets op te kunnen stellen is dat de leerdoelen zo zijn geformuleerd 5

6 dat deze meetbaar zijn en passen bij de fase van de opleiding. 2. Geef in de kolom 'Gewicht' per leerdoel het percentage aan waarvoor dat leerdoel meetelt in het eindcijfer. 3. Geef het type vragen aan waarmee je elk leerdoel gaat meten. Het type vraag (gebaseerd op de taxonomie van Bloom) representeert het niveau van de vragen. Het gewicht dat je aan elk type vraag toekent, is het resultaat van de verdeling van het percentage dat je onder de kolom Gewicht hebt aangegeven. Meer informatie is te vinden in bijlage 2. Taxonomie van Bloom 4. Tel de percentages bij elk type vraag op. De totale som moet kloppen met de totale som van de kolom Gewicht (100%). Het kopje aanvullende eisen Onder deze kop, die optioneel is, kun je aanvullende eisen vermelden die het ontwerp van de toets beïnvloeden. Zoals: elke toets, die gebaseerd is op deze toetsmatrijs behelst ten minste een casus. Of: is het studenten toegestaan om een rekenmachine, woordenboek en dergelijke te gebruiken tijdens de toets? 6

7 Toetsmatrijs 1 Schriftelijke toets: ingevuld voorbeeld Algemene informatie Opleiding en F BE- Voltijd Toetsmatrijs opgesteld Johan Sonnenberg Toets nr. 1 variant Fraijlemaborg door: (SOG) Studiejaar 4 Omschrijving toets Casustoets Datum: 8 mei 2012 Titel module Financial Accounting 1 Studiegids nr. 2000FA 1_09 (fictief) Code FA1VS3BE01 Aantal MC vragen 0 Geldend collegejaar Aantal antwoord alternatieven nvt Aantal open vragen 30 Weging eindcijfer 100% Toetsvorm SIS Toets schriftelijk Blauwdruk Leerdoelen Reproductie Onthouden, Begrijpen Type vragen Productie Toepassen Analyseren Evalueren Creëren Gewicht De student kan duidelijk overeenkomsten en verschillen aangeven tussen de 10% 10% bedrijfseconomische en fiscale administratie De student kan uit de grootboeken de vereiste financiële overzichten 25% 25% samenstellen De student weet aan de hand van cijfers uit de administratie de juiste cijfers te 15% 15% 30% berekenen voor de fiscale aangifte De student kan uit de financiële administratie van een onderneming voor de 5% 20% 25% fiscale aangifte relevante cijfers halen De student kan de gevonden uitkomsten d.m.v. verschillende berekeningen 10% 10% verantwoorden Totaal 10 % 45 % 35 % 10 % 0 % 100% Aanvullende eisen Open vragen worden gesteld op basis van een case. Voor elk leerdoel wordt een case opgenomen in de toets (fictief) 7

8 Instructies bij Toetsmatrijs 2 Schriftelijke taaltoets Het format toetsmatrijs 2 - schriftelijke taaltoets is alleen bedoeld voor schriftelijke taaltoetsen, als onderdeel van taalmodulen/cursussen/trainingen, met inbegrip van schriftelijke taaltoetsen die digitaal worden afgenomen. In de studiegids is dit aangeduid als ' toets digitaal. Voor schriftelijke toetsen en overige toetsen (zoals opdrachten en beroepsproducten) zijn aparte formats ontwikkeld. Met bijgaand universeel format kun je alle taaltoetsen binnen DEM, ongeacht didactisch concept, beschrijven. De gebruikte aanduiding van toetsvormen is ontleend aan de terminologie zoals die in SIS wordt gehanteerd. Het SIS, de studiegidsen (met daarbinnen de beschrijvingen van onderwijseenheden) en toetsmatrijzen zijn hiermee zowel inhoudelijk als wat betreft de terminologie op elkaar afgestemd. De toetsmatrijs is een instrument, een hulpmiddel waarmee je, samen met collega s, kwalitatief goede toetsen (een accreditatie-eis) kunt ontwerpen. Met een toetsmatrijs maak je op een systematische wijze een blauwdruk van een toets. In het bijzonder: Een toetsmatrijs helpt de validiteit en betrouwbaarheid van je toets te vergroten. Validiteit houdt in dat een toets ook daadwerkelijk meet wat het moet meten, namelijk of de leerdoelen al dan niet worden behaald. Een toets is betrouwbaar als deze bij herhaalde afname steeds tot hetzelfde resultaat leidt, steeds onder dezelfde omstandigheden. Met een toetsmatrijs verzeker je ervan dat de verschillende versies van een toets (bijvoorbeeld reguliere afname en herkansing) gelijkwaardig zijn voor wat betreft inhoud en de moeilijkheidsgraad. Met een toetsmatrijs heb je een communicatiemiddel in handen om met collega s samen een toets op te stellen. Een toetsmatrijs kan ook worden gebruikt als controle-instrument: worden de leerdoelen van een onderwijseenheid (module, project, werkplaats etc.) inderdaad gemeten? Het kopje algemene informatie 1. De beschrijving van de onderwijseenheid in de studiegids is startpunt voor de toetsmatrijs. Zorg er daarom voor dat je de beschrijving van de onderwijseenheid, die op deze toets van toepassing is, tot je beschikking hebt. 2. De algemene informatie over de toets haal je uit de beschrijving in de studiegids. Neem deze gegevens over naar de desbetreffende vakjes van de toetsmatrijs. 3. Voor de gegevens bij de multiple choice (MC) vragen gelden de volgende richtlijnen om de betrouwbaarheid van de toets te garanderen: - vier antwoordalternatieven = minimaal 40 MC vragen; - drie antwoordalternatieven = tenminste 60 MC vragen; - twee antwoordalternatieven = tenminste 80 MC vragen. Tips en adviezen voor het opstellen van schriftelijke (taal)toetsen zijn te vinden in bijlage 1. De blauwdruk Dit is gedeelte is de uiteindelijke toetsmatrijs. 1. Beschrijf in de 1 e kolom de leerdoelen die worden gemeten in deze toets. Het is belangrijk dat de leerdoelen in de toetsmatrijs overeenkomen met de leerdoelen zoals vermeld in de beschrijving van de onderwijseenheid in de studiegids. Als een onderwijseenheid door meerdere deeltoetsen wordt afgesloten, is het van belang dat de som van de leerdoelen uit de afzonderlijke toetsmatrijzen overeenkomt met de leerdoelen van de onderwijseenheid. Een voorwaarde om een goede toets op te kunnen stellen is dat de leerdoelen zo zijn geformuleerd dat deze meetbaar zijn en passen bij de fase van de opleiding. 8

9 5. Geef per leerdoel aan, met welke eindkwalificaties uit het ECFL (European Common Framework for Languages) deze correspondeert. 6. Geef in de kolom ernaast aan op welk niveau van het ECFL je dit leerdoel gaat toetsen. 7. Geef in de kolom 'Gewicht' per leerdoel het percentage aan waarvoor dat leerdoel meetelt in het eindcijfer. 8. Het Type vragen (gebaseerd op de taxonomie van Bloom) representeert het niveau van de vragen. Geef het type vragen aan waarmee je elk leerdoel gaat meten. Het gewicht dat je aan elk type vraag toekent, is het resultaat van de verdeling van het percentage dat je onder de kolom Gewicht hebt aangegeven. Meer informatie is te vinden in bijlage 2. Taxonomie van Bloom. 9. Tel de percentages bij elk type vraag op. De totale som moet kloppen met de totale som van de kolom Gewicht (100%). In de matrix is nu duidelijk welk percentage de combinatie leerdoel type vraag uitmaakt van de toets. Het kopje aanvullende eisen Onder deze kop, die optioneel is, kun je aanvullende eisen vermelden die het ontwerp van de toets beïnvloeden. Zoals: elke toets die gebaseerd is op deze toetsmatrijs behelst ten minste een casus. Of: het is studenten toegestaan om een rekenmachine, woordenboek en dergelijke te gebruiken. 9

10 Toetsmatrijs 2 Schriftelijke taaltoets: ingevuld voorbeeld Algemene informatie Opleiding en variant: FSM voltijd Fraijlemaborg Toets nr.: 1 Studiejaar: 1 Omschrijving toets: Grammatica en woordenschat Titel module: Engels 1 Studiegids nr.: 2000EN1_09 (fictief) Code: EN1VPAVF01 Aantal MC vragen: 20 Geldend collegejaar: Aantal antwoord alternatieven: 4 Aantal open vragen: 60 Weging eindcijfer: 50% Toetsvorm SIS Toets schriftelijk Toetsmatrijs opgesteld door: SPS Datum: 10 juni 2011 Blauwdruk Leerdoelen De student is in staat om Engelse spelling en grammatica op correcte wijze toe te passen in een zakelijke context. Eindkwalificatie uit ECFL 1 Lezen Begrijpen Schrijven Niveau ECFL Type vragen Reproductie Productie Gewicht B1 25% 25% 50% De student is in staat om voor het werkveld relevante Engelstalige woordenschat te gebruiken Lezen Begrijpen Schrijven B1 25% 25% 50% Totaal 50% 50 % 100% Aanvullende eisen 1. Twee soorten open vragen: a. Invullen van het ontbrekende woord. Uit context van de zin moet student kunnen afleiden welk woord dit is. b. Woord kiezen uit de aangegeven alternatieven (bijv. hele werkwoorden). De student moet deze vervolgens correct aanpassen aan de zin. 2. Een woordenboek is niet toegestaan bij deze toets. 1 European Common Framework for Language 10

11 Instructies bij Toetsmatrijs 3 Overige toetsen (met beoordelingsmodel) Het format toetsmatrijs 3 Overige toetsen is alleen bedoeld voor de volgende (open) beoordelingsmethoden: assessment, opdracht, paper, rapport, scriptie, portfolio, presentatie, beroepsproduct, project, stage, toets digitaal (met uitzondering van gedigitaliseerde schriftelijke toetsen), toets mondeling en toets practicum. Voor schriftelijke toetsen zijn er andere formats. Met bijgaand universeel format kun je alle overige toetsen binnen DEM, ongeacht didactisch concept, beschrijven. De gebruikte aanduiding van toetsvormen is ontleend aan de terminologie zoals die in SIS wordt gehanteerd. Het SIS, de studiegidsen (met daarbinnen de beschrijvingen van onderwijseenheden) en toetsmatrijzen zijn hiermee zowel inhoudelijk als wat betreft de terminologie op elkaar afgestemd. Waarom een toetsmatrijs? De toetsmatrijs is een instrument, een hulpmiddel waarmee je, samen met collega s, kwalitatief goede toetsen (een accreditatie-eis!) kunt ontwerpen. Met een toetsmatrijs maak je op een systematische wijze een blauwdruk van een toets. In het bijzonder: 1. Een toetsmatrijs helpt de validiteit en betrouwbaarheid van je toets te vergroten. Validiteit houdt in dat een toets ook daadwerkelijk meet wat het moet meten, namelijk of de leerdoelen al dan niet worden behaald. Een toets is betrouwbaar als deze bij herhaalde afname steeds tot hetzelfde resultaat leidt, steeds onder dezelfde omstandigheden. 2. Met een toetsmatrijs verzeker je ervan dat de verschillende versies van een toets (bijvoorbeeld reguliere afname en herkansing) gelijkwaardig zijn voor wat betreft inhoud en de moeilijkheidsgraad. 3. Met het beoordelingsmodel verzeker je ervan dat uniforme en van de leerdoelen afgeleide beoordelingscriteria worden gehanteerd. Met een toetsmatrijs heb je een communicatiemiddel in handen om met collega s samen een toets op te stellen. Een toetsmatrijs kan ook worden gebruikt als controle-instrument: worden de leerdoelen van een onderwijseenheid (module, project, werkplaats etc.) inderdaad gemeten? Het kopje algemene informatie 1. De beschrijving van de onderwijseenheid in de studiegids is startpunt voor de toetsmatrijs. Zorg er daarom voor dat je de beschrijving van de onderwijseenheid, die op deze toets van toepassing is, tot je beschikking hebt. 2. De algemene informatie over de toets haal je uit de beschrijving in de studiegids. Neem deze gegevens over naar de desbetreffende vakjes van de toetsmatrijs. De blauwdruk Dit is gedeelte is de feitelijke toetsmatrijs. 1. Beschrijf in de 1 e kolom de leerdoelen die worden gemeten in deze toets. Het is belangrijk dat de leerdoelen in de toetsmatrijs overeenkomen met de leerdoelen zoals vermeld in de beschrijving van de onderwijseenheid in de studiegids. Als een onderwijseenheid door meerdere deeltoetsen wordt afgesloten, is het van belang dat de som van de leerdoelen uit de afzonderlijke toetsmatrijzen overeenkomt met de leerdoelen van de onderwijseenheid. Een voorwaarde om een goede toets op te kunnen stellen is dat de leerdoelen zo zijn geformuleerd dat deze meetbaar zijn en passen bij de fase van de opleiding. 2. Geef voor elk leerdoel de koppeling met de eindkwalificatie (beroepstaak en/ of competentie) aan en vermeld tevens op welk niveau deze wordt getoetst (niveau-indicaties zie verderop). Ook deze informatie kan rechtstreeks worden overgenomen uit de beschrijving van deze onderwijseenheid in de studiegids. 11

12 3. Geef in de laatste kolom Getoetste beroepsproducten/beroepshandelingen een exacte beschrijving (beroeps)producten die studenten moeten opleveren en/of beroepshandelingen die zij moeten verrichten waarop zij beoordeeld worden. 4. Voeg een beoordelingsmodel / beoordelingsformulier(en) toe. Deze beschrijven de objectieve beoordelingscriteria en de manier waarop punten worden toegekend (tips voor het opstellen van beoordelingscriteria zie verderop). Het kopje aanvullende eisen Onder deze kop, die optioneel is, kun je aanvullende eisen vermelden die het ontwerp van de toets beïnvloeden. Zoals: Is dit een individuele toets of krijgen de studenten (deels) een groepsbeoordeling en cijfer? Niveau-indicaties bij te toetsen beroepsproducten, -handelingen en (mondelinge) vaardigheden. Aspect van de competenties Aard van de taak Aard van de context Aard van het handelen Niveau 1 (propedeuse) Niveau 2 (kernfase) Geleid Begeleid Zelfstandig Gestructureerd, Minder gestructureerd, Bekende methoden past bekende methoden kunnen direct toegepast aan wisselende situaties worden volgens aan. vaststaande normen. situatie aan. Bekend, eenvoudig en gestructureerde context. Beschikt over en ontwikkelt basiskennis en vaardigheden, werkt vooral met routines, krijgt instructies, volgt aansturing door leidinggevende. Bekend, complexere en deels gestructureerde context. Past kennis toe, werkt met richtlijnen en procedures in complexe situaties, verdiept zich in vraagstukken van complexiteit in het werk. Eindniveau (profileringfase) Complex, ongestructureerd; verbetert methoden en past normen aan de Onbekend, complexere en (deels) ongespecificeerde context. Analyseert problemen, vragen en knelpunten in complexe situaties, handelt in de praktijk zelfstandig, neemt beslissingen, ontwikkelt nieuwe procedures of nieuw plan van aanpak, gebruikt creativiteit in het aanpakken en uitvoeren van opdrachten. Tabel 1: Niveau indicaties (afgeleid van landelijke opleidingsprofielen en het European Qualification Framework) Tips voor het opstellen van beoordelingscriteria 1. Formuleer criteria die realistisch zijn, die in de praktijk ook voor een dergelijk product gehanteerd worden. De criteria geformuleerd bij de 9 generieke DEM competenties (vastgesteld door MT november 2011) kunnen een leidraad vormen, afhankelijk van de mate waarin deze competenties als eindkwalificatie in het opleidingsprofiel is opgenomen. Naast deze generieke beoordelingscriteria gebruik je uiteraard ook inhoudelijke. 2. Formuleer kwalitatieve criteria. In de beroepspraktijk worden kwalitatieve eisen gesteld, die in de criteria tot uitdrukking moeten komen. Eisen als goed, juiste wijze of is aanwezig worden in de beroepspraktijk doorgaans niet aan onderdelen van een beroepsproduct gesteld. Maar wel eisen als creëert draagvlak, past recente (wetenschappelijke) kennis adequaat toe, doet realistische aanbevelingen. 12

13 3. Bepaal van te voren wanneer het werk onvoldoende, voldoende, goed en uitmuntend is. Bepaal welke aspecten essentieel zijn en dus voldoende moeten zijn en welke aspecten mogelijk compenseerbaar of welke aspecten voor uitmuntend in aanmerking komen. Bijvoorbeeld: met een marktanalyse waarin ook de markt van een ander land op heldere wijze wordt beschreven, kan de student in aanmerking komen voor een uitmuntende beoordeling. 4. Zorg ervoor dat de criteria onderscheidend zijn en dus niet elkaar overlappen. 5. Formuleer maximaal 10 beoordelingscriteria bij een schriftelijk product en maximaal 4-5 bij een mondelinge toets. Het toepassen van meer beoordelingscriteria op direct observeerbaar gedrag levert anders snel een cognitieve overbelasting op bij de beoordelaars. 6. Zorg dat de beoordelingscriteria niet te globaal en niet te gedetailleerd zijn. Het criterium voor een goed beoordelingskader is dat docenten en studenten er gemakkelijk mee kunnen werken en over kunnen discussiëren. 13

14 Toetsmatrijs 3 Overige toetsen met beoordelingmodel: ingevuld voorbeeld Algemene informatie Opleiding en variant: BE vt WBW Toets nr.: 1 Studiejaar: 1 Omschrijving toets: verschillende beroepsproducten Titel module: Project Business Basics 1 Studiegids nr.: 2000EN1_09 (fictief) Code: EN1VPAVF01 Weging eindcijfer: 50% Geldend collegejaar: Toetsvorm SIS opdracht Toetsmatrijs opgesteld door: Ronald Warmenhoven Datum: Blauwdruk Leerdoelen Eindkwalificatie uit het opleidingsprofiel Niveau De student kan: (1, 2, 3) bondig schriftelijk en mondeling rapporteren in correct Nederlands; Communiceren 1 een eenvoudig onderzoek (deskresearch en fieldresearch) op Beroepstaak 1 Integrale benadering bedrijfsfuncties 1 planmatige wijze uitvoeren; de markt van een onderneming omschrijven; Integrale benadering bedrijfsfuncties. 1 de marketingmix vaststellen en verwoorden en plaatsen binnen de Integrale benadering bedrijfsfuncties. 1 bedrijfsstrategie; de bedrijfscultuur en structuur omschrijven; Integrale benadering bedrijfsfuncties. 1 een aantal HRM instrumenten m.b.t. instroom doorstroom en Integrale benadering bedrijfsfuncties. 1 uitstroom benoemen; een jaarverslag interpreteren en de belangrijkste economische Beroepstaak 5. Analyseren en beheersen van kosten 1 kengetallen beoordelen; en opbrengsten een interview opstellen en afnemen; Onderzoekend vermogen 1 samenwerken in een team; Samenwerken 1 de verschillende bedrijfsfuncties en hun samenhang beschrijven. Integrale benadering bedrijfsfuncties 1 Te toetsen beroepsproduct/ beroepshandelingen; (mondelinge) vaardigheden - bedrijfsrapportage - infomateriaal over bedrijf - interviewverslag - procesverslag Aanvullende eisen Het individuele cijfer wordt gebaseerd op het groepsproduct, maar ook op de kwaliteit van de interviewverslagen van de individuele student en het individuele procesverslag; 1 beoordelingscriterium mag een onvoldoende zijn als daar minstens 2 criteria tegenover staan waarop het product goed is beoordeeld. 14

15 Beoordelingsmodel bij Project Business Basics 1 Precondities: Het product is op tijd ingeleverd (deadline) Voorblad met: naam project; klas; teamnummer; teamleden met SIS-nummer De spellingscontrole is gebruikt Het product voldoet aan de formele eisen die de docent heeft gesteld (paginanummers, lettertype, literatuurlijst, bronvermelding, voorwoord, inleiding, getypt, per mail verstuurd en/of hardcopy ingeleverd). In de tekst en de literatuurlijst worden de gebruikte bronnen volgens de APA richtlijnen vermeld. Bij controle door Ephorus mag niet meer dan 10% gekopieerde tekst zijn geconstateerd. Het getoonde Nederlandse taalniveau is B2. Er zijn geen taalfouten op de gemerkte taalaspecten gemaakt. heeft als bijlagen: 3 interviewverslagen, 3 personeelsadvertenties en het procesverslag conform de gestelde vereisten(als één van deze bijlagen ontbreekt wordt de bedrijfsrapportage niet beoordeeld). Beoordelingscriteria De bedrijfsrapportage De missie, visie en doelstellingen van de organisatie zijn helder beschreven en toegelicht met voorbeelden. De concurrentiestrategie (Porter) van de organisatie is duidelijk beschreven en de bijbehorende marketingmix is adequaat uitgewerkt. Doelgroepen/segmenten van de organisatie zijn zo beschreven dat behoeften van klanten en geboden oplossingen. Inzichtelijk zijn gemaakt De belangrijkste markt(en) waarin de organisatie actief is, is volgens het model van Abell weergegeven. De organisatiestructuur is inzichtelijk gemaakt met een organogram. De structuur en de functies zijn kort toegelicht. De organisatiecultuur is beschreven volgens de Handy bedrijfscultuur typologie en het ui-model van Sanders en Nuijen. Er is duidelijk beschreven wat de organisatie werknemers op hbo-niveau te bieden heeft qua inhoud werk, en primaire en secundaire voorwaarden. Er is duidelijk beschreven wat de instroom-, doorstroom- en uitstroommogelijkheden voor werknemers zijn. De beoordeling van de huidige financiële positie, ontwikkeling en prognoses van de organisatie is op feiten gebaseerd. Als financiële gegevens van het bedrijf ontbreken, is er een financiële analyse van de branche gemaakt Het aandeel van iedere student is helder beschreven en geeft inzicht in zijn team- en taakgericht gedrag Het aandeel van ieder teamlid is in evenwicht met dat van de andere teamleden De bedrijfsstand De vormgeving en het taalgebruik zijn in de lijn met de huisstijl en afgestemd op de doelgroep. De stand ziet er professioneel en overzichtelijk uit en biedt de kandidaat alle relevante materiaal (brochure, presentatie, vacature, kleding et cetera). De presentatie of film geeft overtuigend inzicht in hoe het is om voor de betreffende organisatie te werken en wat de organisatie haar (toekomstige) medewerkers te bieden heeft. Het bedrijf wordt professioneel vertegenwoordigd door de aanwezige personen. De stand is origineel en onderscheidt zich van de andere stands. Het interviewschema (maximaal 1 1/2 A4) geeft de interviewer aanwijzingen voor een professioneel en doelmatig verloop van het te voeren interview Per interview geeft het verslag:een helder beeld van de omstandigheden waaronder het is af genomen en een helder beeld van de belangrijkste uitkomsten van het interview (max. 500 woorden); weging 80% 20% Voldaan/ niet voldaan Voldaan/ niet voldaan 15