Vragenlijst Questionmark - RMS Number of results 27 Number of finished 17 Number of unfinished 10 Earliest date taken Last date taken Jun 20 Assessment name Vragenlijst Questionmark - RMS Assessment description versie mei Assessment ID 0057822000057822 1 vragenlijst\rms - Yes/No 01 RMS belangrijk ja of nee Het is voor mijn organisatie belangrijk dat we een bepaalde vorm van RMSfunctionaliteit kunnen gebruiken, zodat we toetsresultaten achteraf eenvoudig en snel kunnen aanpassen als dat nodig is. Ja 100.00% 21 Nee 0.00% 0 Not answered 0.00% 0 Total 100% 21 Times presented 21 Times answered 21 Min weight 0 Max weight 1 Mean weight 1 Median weight 1 2 02 vraagscore aanpassen Het is voor mijn organisatie belangrijk: dat we een vraag kunnen 'omscoren' en dat hierna de individuele toetsresultaten herberekend kunnen worden. Mee eens 83.33% 15 Neutraal 11.11% 2 Mee oneens 0.00% 0 Not answered 5.56% 1 Times presented 18 Times answered 17 Min weight 0 Max weight 2 Mean weight 1.88 Median weight 2 Jun 07 niet helemaal duidelijk wat met omscoren wordt bedoeld. Ik denk dat na de analyse bij open vragen de scores worden veranderd? Bij MC vragen kan ik me niet iets voorstellen (behalve als het gaat om de sleutel te wijzigen): dan is het antwoord ja
15:13:28 15:07:36 Heel belangrijk! Wij willen open vragen gaan laten scoren maar is nu zo complex Heel belangrijk. Analyses die nu worden gemaakt op basis van scanformulieren, kunnen die wel. Dit kan een reden zijn om hiervoor te kiezen ipv voor digitale toetsen met QM. het liefst dan ook de mogelijkheid om achteraf alle eerder afgenomen toetsen met deze vraag herberekenen. 03 laten vallen vraag 3 Het is voor mijn organisatie belangrijk: dat we vragen die na analyse niet blijken te voldoen kunnen weglaten uit het totaalresultaat van de toets ('laten vallen' van de vraag). Mee eens 83.33% 15 Neutraal 11.11% 2 Mee oneens 0.00% 0 Not answered 5.56% 1 Times presented 18 Times answered 17 Min weight 0 Max weight 2 Mean weight 1.88 Median weight 2 Jun 07 De wijze van hoe er wordt omgegaan met een slechte vraag moet op verschillende manieren kunnen: score toekennen voor iedereen, vraag laten vervallen en mogelijk andere alternatieven Vanuit het bestuursrecht is het lastig om een individuele student te benadelen door een goede prestatie op een bepaalde vraag achteraf te schrappen. Door dat bijvoorbeeld een belastingwet is gewijzigd maar niet is mee genomen in de toets maar wel met een 'undo' functie, zie bij algemene opmerkingen. Heel belangrijk. Analyses die nu worden gemaakt op basis van scanformulieren, kunnen die wel. Dit kan een reden zijn om hiervoor te kiezen ipv voor digitale toetsen met QM.
4 04 vraag goed rekenen Het is voor mijn organisatie belangrijk: dat bij het niet voldoen van een vraag het toetsresultaat kan worden aangepast alsof de vraag door iedereen goed beantwoord is. Mee eens 72.22% 13 Neutraal 11.11% 2 Mee oneens 11.11% 2 Not answered 5.56% 1 Times presented 18 Times answered 17 Min weight 0 Max weight 2 Mean weight 1.65 Median weight 2 08:41:42 maar wel met een 'undo' functie, zie bij algemene opmerkingen. Thans niet in gebruik, wel in gebruik geweest. Heel belangrijk. Analyses die nu worden gemaakt op basis van scanformulieren, kunnen die wel. Dit kan een reden zijn om hiervoor te kiezen ipv voor digitale toetsen met QM. 5 05 bewaren in resultaten Questionmark Het is voor mijn organisatie belangrijk: dat het resultaat van een herberekening van toetsresultaten kan worden teruggeschreven naar de resultaten van Questionmark Mee eens 66.67% 12 Neutraal 22.22% 4 Mee oneens 5.56% 1 Not answered 5.56% 1 Times presented 18 Times answered 17 Min weight 0 Max weight 2 Mean weight 1.65 Median weight 2 May 30 13:24:43 Als het toetsresultaat wordt teruggeschreven naar QMP dan ga ik ervan uit dat middels Qmwise het gewijzigde toetsresultaat ook opgevraagd
Jun 07 15:13:28 08:41:42 12:08:16 Jan 01 0001 00:00:00 Jun 20 kan worden. We kunnen dan ook andere pakketten voeden met het gewijzigde toetsresultaat. het is van belang om een goede registratie/documentatie te hebben van wijzigingen De origineel gegeven antwoorden moeten nog wel terug te vinden zijn, in verband met inzage. Dan heb je 1 plek waar actuele cijfers te vinden zijn Ik overzie de voordelen daarvan niet. Het zou handig zijn om deze gegevens bij inzage e.d. te kunnen gebruiken náást de oorspronkelijke scoring. Deze vraag heb ik nog niet gehoord, maar ik kan mij zo voorstellen dat ze het wel willen als het kan Heel belangrijk. Als dit niet kan, staan er als herberekening wel mogelijk is, achterhaalde resultaten in QM. dit zal wellicht een wens zijn van het genre "we missen het niet, maar als het kan dan willen we het wel gebruiken" dit zou een goede toevoeging voor ons zijn. 06 verwerking toetsresultaat 6 Het is voor mijn organisatie belangrijk: dat het gewijzigde toetsresultaat beschikbaar komt in een vorm die ik kan gebruiken om verder te verwerken, bijvoorbeeld in een leerlingvolgsysteem, een studentadministratiesysteem of een LMS. Mee eens 50.00% 9 Neutraal 22.22% 4 Mee oneens 16.67% 3 Not answered 11.11% 2 Times presented 18 Times answered 16 Min weight 0 Max weight 2 Mean weight 1.38 Median weight 2 0 Jun 07 Jun 20 via QMWise Dit zie ik nog niet zo snel gebeuren binnen onze organisatie Er zal altijd een gokkanscorrectie moeten worden toegepast en een cesuur, dus excel is een handige output. Ik kopieer nu de wordoutput in excel. wij hebben OSIRIS studentenvolgsysteem en een koppeling zou handig zijn.
7 07 investering Ik verwacht dat het voor mijn organisatie geen probleem is om samen met andere klanten een financiële bijdrage te leveren om de hier eerder genoemde/gewenste functionaliteit te kunnen realiseren. Mee eens 11.11% 2 Neutraal 55.56% 10 Mee oneens 22.22% 4 Not answered 11.11% 2 Times presented 18 Times answered 16 Min weight 0 Max weight 2 Mean weight 0.88 Median weight 1 May 30 13:24:43 Jun 07 May 30 13:24:45 12:08:16 Jan 01 0001 00:00:00 Jun 20 Daar ga ik niet over, dat zal mijn leidinggevende moeten bepalen. Nu hebben we deze functionaliteit niet, dus doen we het handmatig als het al moet gebeuren. Het is de vraag of dit opweegt en dus interessant is. Hangt uiteraard van de kosten af. Op voorhand kan geen toezegging worden gedaan. Ik denk dat dit wel mogelijk is als het niet meer dan 5000 bedraagt en ieder een gelijk deel betaald. Mits het naar verhouding van gebruik gaat Daar kan ik geen uitspraak over doen, momenteel wordt herberekening nog maar dusdanig weinig gedaan dat het handmatig gedaan wordt. Of dat in de toekomst ook zo blijft is een lastige vraag en daarmee ook lastig inschatten of het financieel interessant is om het te automatiseren. geen idee, ik ga niet over het geld. Dat zou aangevraagd moeten worden. Ik verwacht dit inderdaad als deze wens geuit wordt door onze docenten. Ik ben echter niet degene die hierover gaat, dus enige terughoudendheid is er wel bij mij om hierover iets te zeggen. Kan ik niet inschatten, wellicht dat er geld voor vrij gemaakt kan worden. Ik hoop van harte dat het wel zo is. dat ligt aan de kosten
08 inhoudelijke bijdrage 8 Om duidelijkheid te krijgen over de functies waarvan ontwikkeling gewenst is en de wijze waarop deze concreet in de praktijk zullen gaan uitwerken, is meer nodig dan alleen een vragenlijst. Ik wil voor mijn organisatie inhoudelijk bijdragen aan, en tijd vrijmaken voor, enkele sessies waarbij gemeenschappelijk wordt vastgesteld wat concreet ontwikkeld zal gaan worden. Mee eens 61.11% 11 Neutraal 22.22% 4 Mee oneens 11.11% 2 Not answered 5.56% 1 Times presented 18 Times answered 17 Min weight 0 Max weight 2 Mean weight 1.53 Median weight 2 May 30 13:24:43 May 30 13:24:45 Jun 20 Kan ik nu geen concreet antwoord op geven. Zeker interesse. Wil meedenken over de gebruikerskant, heb geen verstand van de technische kant. Gebruik RMS al wel 8 jaar. Lastig in te schatten op dit moment, het is wel een interessant concept, dus blijf graag op de hoogte. we worden graag op de hoogte gehouden en meedenken over de vormgeving
vragenlijst\rms - Text Match 10 algemeen ontbrekende functies U kunt hieronder: 10 gewenste RMS-functionaliteiten aangeven die in de voorgaande vragen niet genoemd zijn maar volgens u wel van belang zijn voor uw organisatie algemene opmerkingen maken of aanvullingen/suggesties doen ID Details Group Date Nu heb ik geen aanvullingen, maar mogelijk komt dat nog ;-) Is geen RMS-functionaliteit, maar een beter Scoringtool wordt ook als een belangrijke wens gezien Wat ik erg mis is de volgnummers van de afname. Die zijn in analytics wel beschikbaar. Daarnaast zou een 'undo' functie handig zijn. Als ik nu een vraag voor alle studenten op 'credit' zet, vervolgens wil kijken wat het doet op het resultaat, kan ik niet meer terug naar de oorspronkelijke situatie. Dan kan ik alleen nog kiezen voor 'drop'. RMS werkt nu niet naar behoren. De analyse op vraagniveau neemt lang niet altijd alle respondenten mee (gelukkig wel in de berekening). Dat ligt niet aan de vraag, exact dezelfde vraag kan in de ene toets problemen geven en in de andere niet. Op dit moment geen aanvullingen. wij zouden ook heel graag willen dat er cijfers berekend kunnen worden op basis van in te voeren cesuur. toetsen met ad random vragen, er zitten minder vragen in de toets dan in de vragenbank. Als een vraag gedropt wordt dan is het omslachtig om de studenten terug te vinden. Een herberekening hiervoor moet makkelijk zijn, geen work arounds. Kunnen we een gewenst sjabloon voor resultaten aanmaken? Zodat onnodige gegevens eruit gefilterd kunnen worden op dezelfde manier als in QMP zelf. - Times presented 18 Times answered 6 Min weight 0 Max weight 0 Mean weight - Median weight - Standard deviation - May 30 13:24:43 Jun 07 May 23 May 30 13:24:45 Jun 20
11 13 video Het beter kunnen gebruiken van video-toepassingen Belangrijk 35.29% 6 Neutraal 35.29% 6 Onbelangrijk 23.53% 4 Max weight 2 Mean weight 1.12 Median weight 1 12 14 text-2-speach De integratie van text-2-speach functionaliteit (automatisch voorlezen van toetsvragen) Belangrijk 41.18% 7 Neutraal 23.53% 4 Onbelangrijk 29.41% 5 Max weight 2 Mean weight 1.12 Median weight 1 13 15 gebruik proctoring Gebruik van proctoring (toezicht) bij individuele toetsafname op afstand Belangrijk 11.76% 2 Neutraal 47.06% 8 Onbelangrijk 35.29% 6 Max weight 2 Mean weight 0.75 Median weight 1
14 16 integraties SIS/LMS Integraties van Questionmark met een LVS, SIS of LMS (LVS: Leerlingvolgsysteem; SIS: Studenteninformatiesysteem; LMS: Learning Management Systeem) Belangrijk 41.18% 7 Neutraal 23.53% 4 Onbelangrijk 29.41% 5 Max weight 2 Mean weight 1.12 Median weight 1 15 17 niet-standaard rapportages Het benutten van niet-standaard rapportages via maatwerk (bijv. toetsresultaat als cijfer, dashboard-overzicht) Belangrijk 64.71% 11 Neutraal 23.53% 4 Onbelangrijk 5.88% 1 Max weight 2 Mean weight 1.62 Median weight 2 16 18 beheerfuncties Het automatiseren van bepaalde beheerfuncties (via maatwerk) Belangrijk 29.41% 5 Neutraal 58.82% 10 Onbelangrijk 5.88% 1 Max weight 2 Mean weight 1.25 Median weight 1
17 vragenlijst\rms - Text Match 19 andere onderwerpen Wilt u hieronder aangeven of er nog andere onderwerpen voor u belangrijk zijn of worden. Ten aanzien van punt 5 'het benutten van niet-standaard rapportages via maatwerk' zou het fijn zijn als we zelf maatwerkrapportages kunnen maken op de QMP-database. afnemen van praktijktoetsen in een groep, waarbij iedereen in de groep tegelijk kan worden gescoord (groepsobservatie); observatielijst + te scoren kandidaten in 1 scherm overzichtelijk bij elkaar. ID Details Group Date Nette printversie van toetsen met breuken. De mogelijkheid voor toegang tot afgeschermde applicatie waarbinnen examendocumenten/wetteksten (voorbeeld KOWA bij de KMar) zijn geplaatst zonder dat van daaruit weer doorgelinkt kan worden naar bijv. Internet. Ik wil zelf "maatwerk-rapportages" kunnen maken op de QMP database. complete 'authormanager'-functionaliteit beschikbaar in browser Het bieden van een random samengestelde toets die voor ieder student hetzelfde is. Een verbeterde scoringtool. Een verbeterde inzagemogelijkheid. De mogelijkheid om een wachtwoord te zetten op het schedule ipv op een monitor. De mogelijkheid om al dan niet bij het schedule te kiezen voor gebruik van QM secure. Mogelijkheid om via Questionmark hertentamens aan te vragen/aanmelden. mogelijke koppeling tussen OSIRIS en QMP voor wat betreft Assessments. Times presented 17 Times answered 9 Min weight 0 Max weight 0 Mean weight - Median weight - Standard deviation - May 30 13:24:43 May 23 15:13:28 May 23 May 24 07:23:12 May 30 13:24:45 May 23 14:40:37 May 29 May 23 15:07:36 Jun 20