Handleiding onderwijsevaluaties. Studentenbevraging Opleidingsonderdeel

Transcriptie

1 Handleiding onderwijsevaluaties Studentenbevraging Opleidingsonderdeel Inhoud 1. Timing Cyclus Moment van afname Proces Opleidingsspecifieke vragen Rapporten Raadpleging rapporten Interpretatie rapporten Signaalfunctie Statistieken Inzage rapporten Contextualisering Vrijgeven rapporten Werkwijze ingeven commentaar en vrijgeven rapport Afhandelen knelpunten Bijlagen Bijlage 1: Opzetten onderwijsevaluaties OPO Bijlage 2: Tips & Tricks voor het opstellen van vragen Bijlage 3: Flow Verspreiden van rapporten - OPO Bijlage 4: Toelichting bij Flow Verspreiden van rapporten OPO... 12

2 1. Timing 1.1. Cyclus Elk opleidingsonderdeel dient minstens tweejaarlijks (d.i. om de twee jaar) bevraagd te worden. Dit kan in een cyclus worden vastgelegd voor een langere periode. Bijvoorbeeld: de ene helft van de opleidingsonderdelen in de even jaren, de andere helft in de oneven jaren. In deze planning kan rekening gehouden worden met oa. knelpunten uit onderwijsevaluaties, evaluatievergaderingen, curriculumwijzigingen, visitaties Indien nodig kan de frequentie verhoogd worden naar een jaarlijkse bevraging. De verdeling van de te bevragen opleidingsonderdelen wordt best zo evenwichtig mogelijk gehouden, om studenten niet te overbevragen Moment van afname Een opleidingsonderdeel dat over meerdere periodes gespreid is, zal aan het einde van de laatste periode (na de laatste examenperiode van het betreffende opleidingsonderdeel) bevraagd worden. Bijvoorbeeld: een opleidingsonderdeel staat ingepland in het 1 e en 2 e trimester, de bevraging gebeurt na de examenperiode van het 2 e trimester. Evaluaties van opleidingsonderdelen worden opgezet na de examens en voor het bekendmaken van de resultaten. 2. Proces De studieloopbaanbegeleiders en het OMT stellen bij aanvang van het academiejaar of halfjaarlijks een planning van de onderwijsevaluaties op. De planning voor het betreffende academiejaar of onderwijsperiode wordt door de studieloopbaanbegeleiders aan de coördinerend verantwoordelijken bezorgd. De coördinerend verantwoordelijke bekijkt in samenwerking met de OMT-voorzitter of het nodig is voor een bepaald opleidingsonderdeel om opleidingsspecifieke vragen (zie punt 3) toe te voegen. Zie bijlage 1 3. Opleidingsspecifieke vragen Er wordt ruimte gelaten voor toevoeging van maximum 5 opleidingsspecifieke vragen, o.a. naar aanleiding van: grondige curriculumwijzigingen grondige wijzigingen in een opleidingsonderdeel knelpunten gesignaleerd door kwaliteitszorginstrumenten (vb. bemerkingen vanuit evaluatievergaderingen, visitatiecommissie, ) De coördinerend verantwoordelijke van een opleidingsonderdeel stelt de opleidingsspecifieke vragen op. De OMT-voorzitter dient deze vragen goed te keuren. Deze opleidingsspecifieke vragen dienen zowel in het Nederlands als het Engels te worden opgesteld. Enkel de antwoordcategorieën van de standaardvragenlijst kunnen toegepast worden (6 categorieën van helemaal niet akkoord tot helemaal akkoord + de categorie niet van toepassing ) /Onderwijsevaluaties/OPO Pagina 1

3 Uiterlijk 3 weken vóór het online gaan van de vragenlijsten bezorgt de coördinerend verantwoordelijke de opleidingsspecifieke vragen aan de studieloopbaanbegeleider, na goedkeuring door de OMT voorzitter. Deze vragen blijven in de applicatie opgeslagen, waardoor vergelijkbaarheid mogelijk is in de tijd op voorwaarde dat dezelfde vragen herhaald worden. Het OMT waakt over de opvolging hiervan. Een korte handleiding met nuttige tips en tricks vindt u in bijlage Rapporten 4.1. Raadpleging rapporten Toegang De rapporten van de evaluatie van opleidingsonderdelen door studenten zijn te raadplegen via: Login op Intranet Personeel Applicatieportaal Klik vervolgens op Onderwijsevaluatie onder de rubriek Onderwijsadministratie U komt meteen uit op de applicatie onderwijsevaluatie. Daar kiest u in het keuzemenu rapporten OO voor Rapporten. Voor resultaten en rapporten van bevragingen van vóór kan u terecht onder Historiek Applicatie Startscherm rapporten OO Maak keuze van de gewenste faculteit, opleidingsonderdeel, evaluatietype, soort rapporten personeelslid, /Onderwijsevaluaties/OPO Pagina 2

4 In dit scherm krijgt u het volgende te zien: Alle opleidingsonderdelen die nog lopen, commentaar vereisen of zijn afgelopen De data bij begin en einde geven aan wanneer de bevraging open staat voor studenten De deadlines van de coördinerend verantwoordelijke en OMT geven aan tot wanneer deze nog commentaar en verbeteracties kunnen ingeven Een groen vinkje geeft aan dat de persoon in kwestie het rapport heeft vrijgegeven of de termijn is verstreken en dit automatisch is gebeurd. Een potloodje geeft aan dat u het rapport kan voorzien van commentaar en verbeteracties. De status geeft aan hoe ver het rapport staat in het proces: 1. Het opleidingsonderdeel wordt op dit ogenblik bevraagd 2. De bevraging is afgerond, het rapport wordt ter beschikking gesteld van de coördinerend verantwoordelijke wanneer de examenresultaten ingegeven zijn 3. De coördinerend verantwoordelijke kan het rapport voorzien van commentaar 4. De OMT-voorzitter kan het rapport voorzien van commentaar 5. Het studentenrapport is afgeleverd, de onderwijsevaluatie is afgehandeld 4.2. Interpretatie rapporten Signaalfunctie De bevragingen zijn generiek van aard. De resultaten van de bevragingen zullen dan ook eerder een signaalfunctie hebben naar de verschillende actoren (beleid op niveau van de instelling/faculteit/opleiding en naar de betrokken lesgevers). In de context van de resultaten van deze bevragingen wordt bekeken of er verder kwalitatief of kwantitatief onderzoek nodig is. Dit kan door middel van evaluatiecommissies, focusgroepen of door het opzetten van studietijdmetingen, specifieke vragenlijsten, /Onderwijsevaluaties/OPO Pagina 3

5 Statistieken Signaalrapport N: totaal aantal studenten die de vragenlijst kunnen invullen n1: aantal studenten die de vraag hebben ingevuld (exclusief nvt) n2: aantal studenten die positief geantwoord hebben (eerder akkoord- akkoord- helemaal akkoord) n3: aantal studenten die nvt als antwoord hebben gegeven De staaf geeft de proportie (P) aan van het aantal studenten die positief geantwoord hebben (eerder akkoord-akkoord-helemaal akkoord) Zwarte lijn geeft het betrouwbaarheidsinterval aan (BI): 95% kans dat het BI de werkelijke populatiegrootheid bevat Responsgraad (R): aantal studenten die vraag hebben ingevuld (n1) op het aantal studenten die de vraag konden invullen (N) Foutenmarge (e): de fout die we toelaten op de schatting van een proportie doordat we niet de volledige populatie (N) bevragen maar slechts een steekproef (n1) Berekening: e = n N n N 1 Kritische grenzen (kleurindicaties): ROOD: indien P en BI volledig onder 40% grens liggen ORANJE: indien P onder 40% grens ligt en BI zowel onder en boven 40% grens ligt indien P en BI tussen 40% en 60% grens liggen indien P boven 60% grens ligt en BI zowel onder en boven 60% grens ligt GROEN: indien P en BI boven 60% grens liggen /Onderwijsevaluaties/OPO Pagina 4

6 Detailrapport Betekenis horizontale as: 0) Niet van toepassing 1) Helemaal niet akkoord 2) Niet akkoord 3) Eerder niet akkoord 4) Eerder akkoord 5) Akkoord 6) Helemaal akkoord N: totaal aantal studenten die de vragenlijst kunnen invullen n1: aantal studenten die de vraag hebben ingevuld (exclusief nvt) n2: aantal studenten die positief geantwoord hebben (eerder akkoord- akkoord- helemaal akkoord) n3: aantal studenten die nvt als antwoord hebben gegeven Foutenmarge (e): de fout die we toelaten op de schatting van een proportie doordat we niet de volledige populatie (N) bevragen maar slechts een steekproef (n1) Berekening: e = n N n N Open vragen rapport De open vragen rapporten bevatten de commentaar van de studenten op open vragen. Deze commentaren zijn confidentieel en dus enkel zichtbaar voor de coördinerend verantwoordelijke van een opleidingsonderdeel en de OMT-voorzitter van de betreffende opleiding. Ieder opsommingsteken - stelt de commentaar van 1 individuele student voor /Onderwijsevaluaties/OPO Pagina 5

7 4.3. Inzage rapporten Contextualisering De coördinerend verantwoordelijken (desgevallend co-titularissen) krijgen als eerste inzage in de rapporten en kunnen van commentaar en verbeteracties voorzien. Deze context/commentaren kunnen zijn: een nuancering van een schijnbaar negatief resultaat, extra informatie die nodig is om de resultaten te interpreteren, Verbeteracties geven aan op welke manier minder goede resultaten zullen bijgestuurd worden. Deze verbeteracties zullen zichtbaar zijn in het rapport dat voor studenten beschikbaar is. De commentaren en verbeteracties worden bij voorkeur omschreven op generiek niveau. Dit wil zeggen dat deze contextualisering o.b.v. het signaal- of detailrapport wordt geformuleerd, en niet zozeer als reactie of antwoord op individuele bemerkingen van studenten (open vragen rapport). Zie bijlage Vrijgeven rapporten De coördinerend verantwoordelijke krijgt als eerste de mogelijkheid commentaar en verbeteracties toe te voegen aan het rapport. Na een termijn van 28 dagen wordt het rapport automatisch vrijgegeven aan andere betrokken actoren en kan de OMT (co-)voorzitter het rapport becommentariëren en verbeteracties indien nodig aanpassen. Hiervoor is een deadline vooropgesteld van 90 dagen volgend op het beëindigen van de bevraging. Zie bijlage 3 en Werkwijze ingeven commentaar en vrijgeven rapport Om commentaar en verbeteracties in te geven klikt u op het potloodje. Dit symbool verschijnt enkel wanneer u commentaar en verbeteracties kunt ingeven. Wat afhankelijk is van uw functie voor desbetreffend opleidingsonderdeel en de status van de bevraging /Onderwijsevaluaties/OPO Pagina 6

8 Verbeteracties van de coördinerend verantwoordelijke (desgevallend co-titularis) verschijnen automatisch in het formulier van de OMT-voorzitter. De OMT-voorzitter kan deze verbeteracties indien nodig aanpassen en aanvullen. 5. Afhandelen knelpunten De knelpunten worden op volgende wijze opgevolgd: Het OMT bespreekt de resultaten van de bevragingen van de verschillende opleidingsonderdelen en houdt daarbij ook rekening met de resultaten van evaluatievergaderingen met studenten. Indien nodig worden knelpunten ook besproken op de faculteitsraad/owr. Voor alle aandachtspunten worden verbeteracties opgezet ter opvolging. De OMT-voorzitter voegt het verslag van de bespreking in een OMT-vergadering (desgevallend faculteitsraad of OWR) en het eventuele verbeterplan toe aan het rapport. De coördinerend verantwoordelijke van het betreffende opleidingsonderdeel voegt de rapporten toe aan zijn persoonlijk dossier Studenten kunnen een beknopt deelrapport op geaggregeerd niveau met verbeteracties inkijken. De instellingsbrede vragen hebben een signaalfunctie waardoor bijkomend kwalitatief of kwantitatief onderzoek nodig kan zijn. De OMT-voorzitter, in samenwerking met de studieloopbaanbegeleiders, waakt erover dat dit gebeurt d.m.v. opvolging in evaluatievergaderingen, focusgroepen, studietijdmetingen, specifieke vragenlijsten,... Resultaten hiervan kunnen worden toegevoegd aan de onderwijsevaluaties /Onderwijsevaluaties/OPO Pagina 7

9 6. Bijlagen 6.1. Bijlage 1: Opzetten onderwijsevaluaties OPO Coörd. Verantw. SLB OMT- voorzitter /Onderwijsevaluaties/OPO Pagina 8

10 6.2. Bijlage 2: Tips & Tricks voor het opstellen van vragen 1. Hanteer begrijpelijk taalgebruik afhankelijk van opleiding(-sonderdeel)/doelgroep (vb. vragenlijst op niveau van student) vermijd te moeilijke woorden en te lange zinnen vermijd afkortingen eventueel begrip definiëren gebruik eenvoudige, begrijpelijke en eenduidige woorden toets de vragen en specifieke termen af bij de studenten, vb. weten studenten wat leeractiviteiten of syllabus betekent? centrale begrippen worden gedefinieerd; voorbeelden kunnen de centrale begrippen verhelderen vb. De vorm waarin het studiemateriaal (vb. reader met selectie van wetenschappelijke artikels, syllabus, handboek, multimediaal studiemateriaal, handleiding, ). 2. Formuleer concrete vragen eenduidigheid in interpretatie vb. aantal lesuren van 50 minuten expliciet besteed aan wiskunde tijdens de voorbije lesweek: (reken eventueel om indien u geen lestijden van 50 minuten gebruikt) 3. Vermijd vage bewoordingen zoals af en toe, soms, vaak vermijd vage bewoordingen: vage omschrijvingen laten veel ruimte voor interpretatie en leveren daarom meestal onnauwkeurige resultaten op vb. De studiebelasting voor dit vak is aanvaardbaar kan concreter geformuleerd worden als De tijd die ik aan dit vak heb besteed, staat in verhouding tot het aantal toegekende studiepunten. 4. Vermijd dubbele negaties vb. twee keer niet in één vraag gebruiken vb. Het is niet onmogelijk dat gebruik positieve formuleringen: helemaal akkoord moet overeenkomen met het beste antwoord 5. Stel neutrale vragen en vermijd vooronderstellingen leg de respondent geen antwoorden in de mond. Bepaalde vraagstelling kan ook de suggestie wekken dat een bepaald antwoord goed of fout is. Let dus op dat je het antwoord van de respondent niet beïnvloedt. vragen veronderstellen geen voorkennis die de respondent mogelijk niet bezit geen bevraging van individuele docenten geen vermelding van namen 6. Stel één vraag tegelijk een vraag mag slechts peilen naar één aspect vb. De docent gaf een antwoord op mijn vragen en gaf goed les. beter: opsplitsen in twee items die apart gescoord worden: De docent gaf een antwoord op mijn vragen. De docent gaf goed les /Onderwijsevaluaties/OPO Pagina 9

11 7. Wees voorzichtig met voorbeelden en opsommingen kunnen suggestief zijn kunnen te beperkend zijn als rekening gehouden wordt met de context van de bevraging, kunnen aanvullingen als in (het kader van) dit vak weggelaten worden omdat dit toch uit de context blijkt opsommingen ter verduidelijking kunnen eventueel in een aparte zin worden toegevoegd, vb. Met werkvormen bedoelen we: hoorcolleges, practica, oefenzittingen, excursies, opdrachten, vermijd (lange) opsommingen, en voeg die enkel toe als het een meerwaarde betekent en als de zin daardoor niet nodeloos verzwaart. 8. Wees consequent in de bewoordingen vak vs. opleidingsonderdeel kennen en kunnen vs. kennis en vaardigheden vanuit het standpunt van één student (de respondent) (bv. met mij ) of van alle studenten bekeken ( met ons of met de studenten ) consequentie in aanspreekvormen én de respondent wordt persoonlijk aangesproken: Wat vind jij in plaats van Wat vinden de studenten /Onderwijsevaluaties/OPO Pagina 10

12 6.3. Bijlage 3: Flow Verspreiden van rapporten - OPO /Onderwijsevaluaties/OPO Pagina 11

13 6.4. Bijlage 4: Toelichting bij Flow Verspreiden van rapporten OPO 1. Invullen vragenlijst (studenten) De studenten kunnen de vragenlijst invullen vanaf het examenmoment tot het moment waarop de resultaten beschikbaar zijn. Uitzonderingen hierop zijn mogelijk. De precieze data worden tijdens het overleg tussen de studieloopbaanbegeleider en de OMT-voorzitter vastgelegd en door de studiebegeleider in het systeem ingegeven bij het opzetten van de onderwijsevaluaties (zie flow opzetten onderwijsevaluaties). 2. Rapport bekijken (met studentencommentaar) en toevoegen van commentaar en verbeteracties (coördinerend verantwoordelijke of co-titularis) Wanneer de bevraging is afgesloten en de examenresultaten beschikbaar zijn, krijgt de coördinerend verantwoordelijke automatisch een mail met de melding dat het rapport ingekeken kan worden en dat hij commentaar en verbeteracties kan toevoegen aan het rapport. Verbeteracties worden opgesteld voor vragen waarvan de proportie studenten die de vraag als positief beoordeelde onder de 40% ligt en waarvan het betrouwbaarheidsinterval onder de 40%-grens ligt. 3. Rapport vrijgeven (coördinerend verantwoordelijke of co-titularis) De coördinerend verantwoordelijke wordt geacht zijn commentaren en verbeteracties door te sturen ( submit ) binnen de 28 dagen na het afsluiten van de bevraging. Commentaar en verbeteracties kunnen in tussentijd voorlopig bewaard worden ( save ). Na het klikken op submit kan de input niet meer gewijzigd worden en wordt het rapport vrijgegeven voor de leden van het onderwijsteam en voor de OMT voorzitter. Commentaar van de coördinerend verantwoordelijke komt automatisch in het rapport terecht en verbeteracties worden automatisch overgenomen naar het commentaarscherm van de OMT-voorzitter, die deze indien nodig nog kan aanpassen. 4. Rapport bekijken (met studentencommentaar), commentaar toevoegen en verbeteracties bijsturen (OMT-voorzitter) Wanneer de OMT-voorzitter het rapport raadpleegt, staan de commentaren van de coördinerend verantwoordelijke reeds in het rapport. De verbeteracties van de coördinerend verantwoordelijke worden overgenomen en de OMT-voorzitter kan deze indien nodig bijsturen. Bovendien kan hij zelf commentaar aan het rapport toevoegen en voorlopig opslaan ( save ). Indien er gekozen wordt voor submit, worden de definitieve rapporten (inclusief commentaar en verbeteracties) automatisch vrijgegeven. Er mag op dit ogenblik nog niet voor submit gekozen worden, het rapport dient eerst voorgelegd te worden aan het OMT, zie punt 5 en punt 8 5. Goedkeuring rapport in OMT-vergadering (OMT-voorzitter en OMT-leden) Dit rapport (becommentarieerd door de coördinerend verantwoordelijke en de OMT voorzitter) wordt besproken tijdens de OMT-vergadering. Voor knelpunten wordt een oplossing gezorgd en deze worden aan het rapport toegevoegd. Indien er geen knelpunten meer bestaan, worden de definitieve commentaren en verbeteracties toegevoegd aan het rapport (er kan overgegaan worden naar punt 8). Knelpunten waar geen oplossing voor gevonden wordt, kunnen opgenomen worden op de faculteitsraad (zie punt 6). 6. Bespreking rapport in faculteitsraad (Decaan) Indien er knelpunten zijn waar men in de OMT-vergadering geen oplossing voor vindt, wordt het rapport van het opleidingsonderdeel voorgelegd aan de decaan die dit voorlegt aan de faculteitsraad. Indien de faculteitsraad een oplossing voor het conflict vindt, wordt er overgegaan naar punt 8. Indien er geen oplossing gevonden wordt, wordt het rapport voorgelegd aan de vicerector onderwijs (zie punt 7). 7. Bespreking rapport in onderwijsraad (Instelling) Indien er op de faculteitsraad geen oplossing is gevonden, wordt het rapport voorgelegd aan de vicerector onderwijs die het voorlegt aan de onderwijsraad (OWR). De onderwijsraad beslist dienaangaande (punt 8). 8. Bevestigen, aanpassen of toevoegen van commentaar en verbeteracties aan rapport (OMTvoorzitter) n.a.v. de OMT-vergadering (desgevallend van faculteitsraad en/of Onderwijsraad) De OMT-voorzitter kan de voorlopige commentaar en verbeteracties nog aanpassen, en bijsturen. Door te klikken op save worden de acties voorlopig bewaard. Door te klikken op submit worden de definitieve rapporten vrijgegeven (punt 9). Verbeteracties worden automatisch overgenomen in het studentenrapport (punt 10) /Onderwijsevaluaties/OPO Pagina 12

14 9. Definitief rapport vrijgeven (OMT-voorzitter) Het definitief rapport wordt vrijgegeven in het geval de OMT-voorzitter de commentaar en verbeteracties submit of indien de termijn van 3 maanden volgend op de onderwijsevaluatie is verstreken. 10. Beknopt deelrapport (met verbeteracties) bekijken (studenten) De studenten krijgen een beknopt deelrapport (per bevraagde rubriek) met de door de coördinerend verantwoordelijke en OMT-voorzitter geformuleerde verbeteracties, desgevallend bijgestuurd door de faculteitsraad of door de onderwijsraad. 11. Toevoegen van definitief rapport aan het academisch dossier van de (coördinerend verantwoordelijke of cotitularis) /Onderwijsevaluaties/OPO Pagina 13