Beschrijving Evaluatiemodule Analysefunctie Coachview.net Uitwerking gewenste analyse-mogelijkheden van de evaluatiemodule. Dé nieuwe manier van samenwerken 05 december 2012
Inleiding Binnen Coachview.net is het op dit moment mogelijk om evaluatie-vragen te formuleren, samen te voegen in een vragenlijst en deze voor de deelnemers van een opleiding online of offline (print) beschikbaar te stellen. Grote beperking in de huidige mogelijkheden is dat er enkel een niet-grafische analyse mogelijk is per individuele opleiding. En dus niet per vraag, per opleidingssoort, per opdrachtgever, etc. Auteur: Marcel Kremers, Hilde Driehuis Initiële datum: 17 juni 2010 Coachview.net versie: 2.3 Document versie: 1.0 5-december-2012 Coachview.net Postbus 135, 5460 AC Veghel Poort van Veghel 4939, 5466 SB Veghel Tel. 088 44 88 550 helpdesk@coachview.net www.coachview.net Coachview.net is een product van InnoPhase BV. 2
Inhoud Dit document bevat allereerst een globale beschrijving van de reeds aanwezige evaluatie- functionaliteiten, waarna vervolgens wordt geïnventariseerd en beschreven welke aanvullende functionaliteiten t.a.v analyses gewenst zijn. Relevante callnummers: N.v.t. Doel / Doelgroep Naast het eenduidig beschrijven van de gewenste aanpassingen in Coachview.net, wordt het document ook gebruikt om de verandering binnen Coachview.net bij alle partijen inzichtelijk te maken. Dankzij de inbreng van onderstaande partijen wordt de aanpassing van alle kanten goed belicht. Dit zal uiteindelijk de kwaliteit en bruikbaarheid van de aanpassing ten goede komen. De partijen die betrokken worden bij de totstandkoming van dit document zijn: Sleutelgebruikers: ervaren Coachview.net gebruikers Helpdesk functionarissen van Coachview.net Trainers Coachview.net Architecten Coachview.net Uiteindelijk dient dit document ook als leidraad voor de te realiseren technische aanpassing in Coachview.net. 3
Huidige situatie in Coachview.net Inrichten VraagTemplates en EvaluatieTemplates Standaard-vragen kunnen worden ingevoerd (zogenaamde VraagTemplates), inclusief antwoordtype (Open, MultipleChoice, numeriek). Vervolgens kunnen standaard-vragenlijsten (zgn EvaluatieTemplates) klaargezet worden, zijnde een verzameling van één of meerdere VraagTemplates. Vragen kunnen gedefinieerd worden op het niveau van: Opleiding Docent Locatie Onderdeel Geen niveau / algemeen Genereren Evaluaties Bij een opleiding of algemeen via de menu-optie Evaluatie kan een nieuwe evaluatie gegenereerd worden. Hierbij kan een keuze gemaakt worden uit de standaard-vragenlijsten (EvaluatieTemplates) of kan een geheel nieuwe evaluatie-vragenlijst samengesteld worden. Dit laatste kan op basis van bestaande (VraagTemplates) of nieuwe vragen. De nieuwe vragen worden dus enkel gemaakt voor die ene specifieke evaluatie. En zijn dus twee type gegenereerde evaluaties: Algemene evaluaties Opleidingevaluaties Indien alles compleet is ingericht, wordt de evaluatie op status Open gezet. Indien de evaluatie van de het type Opleiding is, worden vervolgens automatisch de deelnemers van de opleiding als items aan de evaluatie toegevoegd. De evaluatie kan aansluitend geprint of online beschikbaar gesteld worden. Invullen evaluatie De evaluatie kan op twee wijzen ingevuld worden: Online (via link in uitnodigingsmail) Offline (via geprint formulier) Indien online ingevuld worden de resultaten uiteraard direct in de database opgeslagen. Indien offline ingevuld, dient de opleidingsadministratie de gegeven antwoorden alsnog over te nemen in Coachview.net. In de huidige situatie gaat dit via dezelfde interface als bij de online-invulling (dus per deelnemer bladeren door de individuele vragen). Resultaten per evaluatie Per vraag is een samenvatting van de resultaten van de invulling in te zien (zie rode kader in onderstaand schermvoorbeeld). Via de tab Antwoorden zijn in een lijstvorm de individuele antwoorden te bekijken. Via het inrichten van een documenttemplate kan een samenvattende evaluatie gegenereerd worden: een samenvatting van de antwoorden per vraag weergegeven. 4
Analyse van de resultaten In de huidige situatie is er geen mogelijkheid om analyses uit te voeren over de invulling van meerdere evaluaties. Gewenste verbeteringen t.o.v. de huidige situatie 1. Gewenste grafische weergave instelbaar per vraagtype dan wel -template 2. (Grafisch) Inzicht samenvattende resultaten op evaluatievraag-niveau (zonder document te hoeven te genereren) 3. (Grafisch) Inzicht samenvattende resultaten op evaluatie-niveau (zonder document te hoeven te genereren) 4. Samenvattende evaluatie extern beschikbaar te stellen via te genereren document, online pagina, o.i.d. 5. Analyse-mogelijkheden over meerdere evaluaties heen, met meerdere doorsnede- en filteringmogelijkheden (zoals klant, docent, locatie, soort, enz.). 5
Gewenste situatie in Coachview.net 1. Gewenste grafische weergave instelbaar per vraagtype Per vraagtype wordt een aparte grafische weergave gekozen: De verschillende vraagtypen zijn: 1. Numeriek 2. MC één antwoord 3. MC meerdere antwoorden 4. Open vragen De bij het vraagtype ingestelde weergave wordt standaard getoond bij de op basis van dit type gecreeerde vragen. De volgende vraagtype-grafische weergave-combinaties zijn gekozen: 1. Numeriek: gaugh 2. MC één antwoord: taart 3. MC meerdere antwoorden: kolom 4. Open vragen: tekstuele opsomming antwoorden De voor de weergave in te stellen parameters nader inventariseren, bijvoorbeeld: 1. Type grafiek 2. Schaal x-as / y-as 3. Toelichting x-as, y-as 4. (afhankelijk mogelijkheden gekozen component) 2. Visuele weergave samenvattende evaluatie bij Vraag Op Vraag-niveau wordt de grafiek getoond, gebaseerd op de daadwerkelijk antwoorden op die vraag. Indien nog geen antwoorden beschikbaar, wordt de tekst Geen data beschikbaar o.i.d. getoond. De grafiek wordt weergegeven aan de rechterkant scherm van de tab Algemeen. Tevens worden cijfermatige kengetallen getoond: 1. Totaal aantal respondenten 2. Aantal respondenten vraag beantwoord 3. Respons % vraag 4. Gemiddelde (indien vraagtype = numeriek ) 3. Inzicht samenvattende evaluatie bij Evaluatie incl. externe beschikbaarheid Betreft samenvattende evaluatie op opleidingsniveau. Via een url is een pagina op te starten waarin de analyseresultaten van alle vragen van deze evaluatie opgesomd staan, inclusief grafische weergave. Voor de layout van de analysepagina, zie bijlage Evaluatierapport opleiding. Als logo op het analyserapport wordt het klant-eigen logo getoond, zoals ingesteld bij de evaluatie. De grafische weergave van de beantwoording van een vraag (indien <> vraagtype Open ) is afhankelijk van de weergave zoals die is ingesteld bij het Vraagtype. De url naar de analysepagina wordt beschikbaar gesteld in de document-datagroepen: 1. Evaluatie 6
2. Evaluatie-item 3. Opleidingsaanvraag 4. Deelnemer De hierboven aangegeven datagroepen worden tevens verrijkt met de cijfermatige kengetallen: 1. Op evaluatieniveau: Totaal respondenten Aantal ingevuld Respons % 2. Op vraagniveau: Aantal respondenten vraag beantwoord Respons % vraag Het is per evaluatie instelbaar of ook de antwoorden van de open-vragen opgesomd moeten worden in het rapport. 4. Analyse mogelijkheid over meerdere evaluaties heen Aparte functie Evaluatie analyse in menu onder Evaluatie. Autorisatie functie valt onder module Evaluatie. Analyse betreft enkel de afgeronde evaluaties. Gebaseerd op de individuele antwoorden van alle vragen die gebaseerd zijn op een vraagtemplate. Let op: de individueel aangemaakte vragen, zonder vraagtemplate, zijn dus niet beschikbaar in de analysefunctie. De volgende filtercriteria worden beschikbaar gesteld: 1. EvaluatieTemplate 2. Vraagtemplate 3. Vraagcategorie 4. Periode (invuldatum) 5. Periode opleiding (start-/eind) 6. Opleidingssoort 7. SoortOnderdeel 8. Soortcategorie 9. Opleidingscategorie 10. Bedrijf aanvraag 11. Bedrijfscategorie 12. Docent (let op: zowel filteren op enkel directe docent-vragen resp. alle vragen van alle opleidingen waar deze ocent bij betrokken is. 13. Locatie (bedrijf vs locatie) Na klik op genereer analyse o.i.d. verschijnt een link naar een output-pagina met een opsomming van alle vraagtemplates uit de selectie, met per vraagtemplate weergegeven: 1. Vaste kengetallen: Totaal aantal respondenten Aantal respondenten vraag beantwoord Respons% 2. Grafische weergave zoals ingesteld bij vraagttype Voor de layout van de analysepagina, zie bijlage Evaluatierapport overall analyse. Als logo op het analyserapport wordt het klant-eigen logo getoond, zoals ingesteld bij de evaluatie. De output-pagina moet tevens aan derden beschikbaar gesteld kunnen worden (voorkeur als online pagina/url). De gemaakte selectie moet tevens geëxporteerd/gedownload kunnen worden als csv- /excelbestand. In een volgende fase moeten tevens klantspecifieke maatwerkrapporten aangeboden kunnen worden. Een koppeling met een online reporting tool wordt hierbij onderzocht. 5. Overige vragen, te beantwoorden in technisch ontwerp In hoeverre werkt Html5 met IE8? Ter info: in oktober gebruikte 54% van onze websitebezoekers IE8; 43% zit op IE9. Restrictie maken dat evaluatiefunctie enkel werkt met IE 9? Keuze component voor grafieken: voorkeur Infragistics. 7