HBO-raad project EMMA MMS @ HKU [ Research-rapport ] Client: HBO-raad Courseleader: Rene Lansink MMS Project-team: Simon van Lammeren Hanneke Noordam Guido Nuijten Hubertien Schutter Rienk Vlieger
INLEIDING: In opdracht van de HBO-raad zal een website gecreëerd worden op het domein www.innovatiebron.nl. Deze website is een onderdeel van het plan de Innovatiebron dat de HBO-raad heeft geïnitieerd. Het gewenste projectresultaat (zie ook [plan van aanpak]) is het volgende: Een gebruiksvriendelijke website, waarin het hoofddoel, uitwisselen van kennis, bereikt wordt door de implementatie van drie beoogde fuctionaliteiten. Deze drie beoogde functionaliteiten zijn: leveren van informatie, uitwisseling van ervaringen en mogelijkheid tot het indienen van een projectvoorstel. Het doel is dat gegevens en ervaringen m.b.t. verloop van projecten door gebruikers via de website ingevoerd en opgehaald moeten kunnen worden. Op deze manier wordt er dus van anderen geleerd en kunnen tegelijkertijd ideeën opgedaan worden. Voor het bereiken van dit gewenste projectresultaat is de research in de pre-productiefase opgedeeld in drie verschillende delen: Doelgroeponderzoek Onderzoek naar techniek Onderzoek naar vormgeving Methodes die gehanteerd zijn bij deze research worden verder in dit rapport duidelijker beschreven, maar in grote lijnen is er gebruik gemaakt van de volgende methodes: Literatuur-onderzoek Webresearch Vragenlijsten Expert-interviews Informatie-inwinning: - P. Cramers van de HBO-raad (niet de opdrachtgever) - Emile Bijk van de HKU - W.J. Rengers van de HKU - J. van Steenhoven, de medebedenker van de Innovatiebron Een bezoek aan het SURF-educatie<F> congres Voor de duidelijkheid wordt eerst de research per apert onderdeel behandeld, waarna een conclusie getrokken zal worden. De resultaten en conclusies van de research zullen de basis vormen voor het concept van het te maken product.
Doelgroeponderzoek A. Onderzoeksopzet: Gegeven informatie: de drie doelgroepen. Onze doelgroepen zijn reeds door de opdrachtgever gedefinieerd, we gaan geen verder onderzoek uitvoeren naar de correctheid van deze groepen. De doelgroepen zijn als volgt: 1. Instellingen van hoger onderwijs die zich op bepaalde manier bezighouden met vernieuwingsprojecten (management/ docenten/ studenten). 2. Commissies van Vernieuwingsfonds en Fonds Kwaliteit en Studeerbaarheid die projectaanvragen van instellingen beoordelen. 3. Andere belanghebbende instanties: ministerie van OCW, HBO-raad, VSNU, LVSb. Doelstelling onderzoek: Het achterhalen van de gewenste inhoud een opzet van de te creëren website, vanuit het oogpunt van de drie gegeven doelgroepen. Probleemstelling: Wat zijn de voorwaarden waaraan de website volgens de drie reeds gegeven doelgroepen moet voldoen. Subprobleemstellingen: Per doelgroep bepalen aan welke van de volgende randvoorwaarden de website moet voldoen: Technische randvoorwaarden Technische kennis doelgroep Gebruikerscondities Inhoudelijke voorwaarden Ad.1: wat is de hard- en software standaard van de gebruikersgroep: aan welke technische voorwaarden moet de site voldoen zodat deze voor een zo groot mogelijk deel van de doelgroep bereikbaar en bruikbaar is. Voorbeelden items uit enquete: Soort computer Soort aansluiting internetgebruik Ad.2: wat is de technische kennis van de gebruikersgroep, voorbeeld item uit enquete: geschatte computervaardigheid ervaring met zoekmachines Ad.3: wensen doelgroep met betrekking tot gebruik van de site, voorbeeld item uit enquete: indeling/structuur van de website gewenste zoekmachines welke communicatie/ interactiemogelijkheden: mailinglist, discussieforum, whiteboard, etc. op welke manier aanvraagformulier structureren en vormgeven Ad.4: wat zijn de inhoudelijke eisen van de gebruiker, voorbeeld enquete items: Wat is de informatiebehoefte van de gebruikers. wat is de communicatiebehoefte van de gebruiker, willen ze ervaringen delen en in welke mate wat is de aanvraagbehoefte van de gebruiker: vinden ze het praktisch om het aanvraagformulier via de website in te dienen.
Grondvorm van onderzoek: Survey-onderzoek, enquete. Populatie: Alle mensen die betrokken zijn bij vernieuwingsprojecten. Deze populatie is reeds door de opdrachtgever onderverdeeld in drie doelgroepen die wij eerder ook al genoemd hebben. Wij trekken deze onderverdeling niet in twijfel. Even een herhaling van de gevormde drie doelgroepen: 1. Instellingen van hoger onderwijs die zich op bepaalde manier bezighouden met vernieuwingsprojecten (management/ docenten/ studenten). 2. Commissies van Vernieuwingsfonds en Fonds Kwaliteit en Studeerbaarheid die projectaanvragen van instellingen beoordelen. 3. Andere belanghebbende instanties: ministerie van OCW, HBO-raad, VSNU, LVSb. Selectie van onderzoekseenheden en steekproefomvang Doelgroep 1; Er zal gebruik gemaakt worden van een bestaand administratief kader, de database met deelnemende instellingen aan het Vernieuwingsfonds. Dit zijn 74 instellingen. Hier gaan we een systematische steekproef van 10 scholen (contactpersonen) trekken, elk 7e school zal geselecteerd worden voor telefonische enquête. Via sneeuwbalmethode willen we via de contactpersoon in contact komen met andere betrokken medewerkers van de instelling bij de uitvoer van het project, zoals docenten en studenten. In totaal komt dit voor de telefonische enquête op een steekproefomvang van 30 respondenten. Doelgroep 2: Deze gebruikersgroep bestaat uit 2 fondsen, van elk fonds willen contact zoeken met een expert voor een diepte-interview. In totaal komt dit neer op 2 expert-interviews. Doelgroep 3: Benadering van expert uit het ministerie van OCW, aangezien zij als financier van deze fondsen veel belang hebben bij dit project. Verder zijn we reeds bekend met de mening van de HBO-raad (tevens belanghebbende) aangezien zij onze opdrachtgever zijn.. De andere twee belanghebbenden bij dit project zullen we niet benaderen wegens tijdgebrek. Dataverzamelingsmethode: Doelgroep 1 Interview: Voor doelgroep 1 in de vorm van een telefonische enquête. De opzet van de enquête zal gestructureerd en grotendeels direct zijn. Doelgroep 2 en 3: Expert-interview. De topiclist van het expert-interview zal op basis van de vragenlijst van doelgroep 1 worden opgesteld. De structuur van het interview zal een mengeling zijn van voornamlijk open, en enkele gesloten vragen. Motivatie gekozen data-verzamelingsmethode: 1. telefonische enquête: Hoge respons binnen korte tijd, aangezien er slechts beperkte tijd is voor uitvoering van de research. Verder kan een interview zo goed gestuurd worden en kan de respondent makkelijk van uitleg voorzien worden als dit nodig is.
2. expert-interview: Binnen enkele diepte-interviews kan er zeer veel betrouwbare informatie over een onderwerp opgedaan worden. Periode van dataverzameling: De gegevens zullen tot week 42 verzameld kunnen worden, de deadline voor presentatie van researchresultaten staat op vrijdag 22 oktober. Dataverwerking- en analyse: Telefonische enquête: voor zover mogelijk kwantitatief via verwerking in bijv. Microsoft Excel, op basis van de categorieën van de vragenlijst. De gegevens kunnen dan geanalyseerd worden middels simpele statistische berekeningen vervolgens kunnen de verwerkte data verduidelijkt worden door middel van grafieken en tabellen. De enkele open vragen zullen kwalitatief verwerkt worden. Expert-interview: kwalitatieve verwerking van voornamelijk open vragen. De gegevens zullen in Excel verwerkt worden, voor gesloten vragen invullen van 0 en 1. Voor open vragen categorisering. Vervolgens kunnen ze verduidelijkt worden in schema s en of tabellen.
B. Uitvoering van de research: A. Onderzoek naar doelgroep 1: (instellingen hoger onderwijs): Opstellen van vragenlijst: We hebben een vragenlijst opgesteld voor de eerste doelgroep, op basis van de elementen geformuleerd in kopje sub-probleemstelling (voorbeeld-enquête, of enkele vragen). De enquête hebben we meerdere malen aangepast en na het afnemen van enkele proefpersonen weer aangepast. Ook hebben we onze opdrachtgever naar de enquête laten kijken en van hen hebben we ook enkele nuttige tips gekregen. Opstellen van een vragenlijst is eigenlijk een soort project op zich, waar de verschillende produktiefasen allemaal moeten worden doorlopen. De uiteindelijke vragenlijst is nu te zien en in te vullen op de volgende URL (http:/mms-hr.hku.nl/enquete.htm). Steekproefprocedure: Aangezien we een zo breed mogelijk beeld willen krijgen van de wensen van de potentiële gebruikers van de website, hebben we de selectievorm uit de onderzoeksopzet besloten aan te passen: We hebben geen systematische steekproef getrokken, maar de database onderverdeeld naar de verschillende soorten faculteiten en hieruit weer een evenredig respondenten geselecteerd. Op deze manier zouden we alle soorten onderwijs in de steekproef betrekken. Verder hebben we ook zoveel mogelijk geprobeerd te letten op een zo gespreid mogelijke verdeling van de te benaderen instellingen binnen Nederland. We kwamen zo uit op een steekproef van 10 contactpersonen. Aangezien enkel de namen van de contactpersonen in de database stonden hebben we de telefoonnummers van de hogescholen waar ze werkzaam zijn opgezocht in de cd-foongids. Feitelijke afname enquête: Faciliteiten: We hebben voor het telefonisch benaderen van de 10 geselecteerde contactpersonen gebruik gemaakt van het projectbureau op de HKU. Dataverzamelingsmethode A: telefonisch Benaderen respondenten: Vier middagen hebben we respondenten die we hadden geselecteerd uit de database proberen te bereiken. Tevens hadden we nieuwe respondenten uit de database geselecteerd in het geval van non-respons. Ondervonden problemen: Waar we al enigszins voor vreesden bleek waar te zijn: de contactpersonen waren praktisch onbereikbaar: Ten eerste duurt het lang voordat je doorverbonden wordt met de juiste persoon en ten tweede was de te bereiken persoon vervolgens 9 van de 10 keer niet aanwezig. Als gevolg hiervan konden we dus ook niet in contact komen met andere bij het Vernieuwingsproject betrokken medewerkers van de instelling aan het Vernieuwingsproject en zouden we zo te veel respondenten mislopen. Kortom de respons was te laag in verhouding tot de energie die we erin staken en daarom waren we in verband met tijdgebrek genoodzaakt de onderzoeksmethode te evalueren en eventueel te hierzien..
Tussentijdse evaluatie onderzoeksmethode We zijn tot de conclusie gekomen om de afname van de enquete volledig via internet te laten plaatsvinden. Dit aangezien de contactpersonen van wie we het mailadres hadden kunnen achterhalen de enquete snel hadden ingevuld en teruggemaild. De reden waarom we in eerste instantie niet voor elektronische afname hadden gekozen was dat we bang waren voor een hoge non-respons. Dit bleek toch een minder groot struikelblok te zijn dan de onbereikbaarheid per telefoon van de contactpersonen. We hebben vervolgens de enquête op onze website gezet en de URL in het mailtje geplaatst dat we naar de contactpersoon stuurden. Dataverzamlingsmethode B: elektronisch Strategie benadering respondenten: We hebben onze opdrachtgever op de hoogte gebracht van de problemen met de telefonische afname van de enquete. De vraag van ons aan hem was of hij in het bezit was van de e-mailadressen van de contactpersonen in de database, of andere mailinglisten waarbij personen uit de doelgroep aangesloten zijn. (bijv. Mailinglist van ICT-Surfcongres). Via mailinglisten zouden we veel meer personen kunnen bereiken en hoopten we ook een op een hogere respons dan via de telefonische enquête of het mailen van wat losse enquetes. Uitvoering afname enquete: Enkele dagen na onze clientmeeting kregen we van onze opdrachtgever de COMITmailinglist (contactpersonen van hogescholen voor ICT-processen) en de SURFdiscussie- en mailinglist ( nieuws- en discussielijst voor instellingscontactpersonen Surfeducatie forum ). Deze personen hebben veel te maken met de vernieuwing en de verbetering van de kwaliteit van het hoger onderwijs. De kans zou daarom groot zijn dat velen ook ervaring hadden met Vernieuwingsproject en onze vragenlijst in zouden kunnen vullen. Begin deze week hebben we de enquête naar de twee mailingslisten gestuurd. Respons: Aantal respondenten: in totaal 26, waaronder 19 via e-mail, 3 via telefoon en 4 schriftelijk De respons verloopt tot nu toe volgens planning, de resultaten komen nog steeds binnen Aangezien de reacties nog steeds binnen komen, zullen we de researchfase nu nog niet meteen afsluiten. Verdere resultaten willen we ook nog proberen mee te nemen in onze productie en zullen in elk geval doorgesluisd worden naar onze opdrachtgever. Tenslotte krijgen we waarschijnlijk ook nog de bezoekersmailinglist van het SURFcongres van donderdag 14 okt. jl. waar een groot gedeelte van de drie doelgroepen aanwezig zou zijn. Via deze mailinglist zouden we nog veel resultaten kunnen verzamelen. Periode van dataverzameling: Deze periode liep in week 40 en week 41. Aangezien de deadline voor het researchrapport in week 41 lag, hebben we de researchperiode dus verlengd. De reden hiervoor was dat we voor het bereik van onze respondenten afhankelijk waren van mailinglisten waar ze op aan gesloten waren. Hier hebben we pas in week 41, de week van de deadline, de beschikking over gekregen. Verwerking en analyse enqueteresultaten: Zoals in de onderzoeksopzet is aangegeven zijn de resultaten van de enquete deels kwantitatief (procentueel) en kwalitatief (woordelijk) verwerkt in Microsoft-Excel. Er is hierbij gebruik gemaakt van dezelfde categorie-indeling als waarop de enquete is gebaseerd.
Voor de volledige analyse van de enquete verwijzen we naar bijlage 2. Conclusie doelgroeponderzoek: Het product wat er moet komen volgens de resultaten van de enquête onder de doelgroep is het volgende: 1. Technische randvoorwaarden: Een website gelinked aan een database, gebouwd voor Windows PC (versie 95 en hoger) en Mac, toegankelijk voor browsers versie 4.x en hoger, met op deze website een downloadmogelijkheid voor Adobe acrobat reader. 2. Technische kennis: Het medium Internet en het bezoeken van WWW is voor de doelgroep geen probleem. 3. Gebruikerscondities: De webite moet een heldere structuur hebben, navigatiemogelijkheden moeten duidelijk zijn, de vormgeving op deze website moet in dienst staan van het functionele, de site moet makkelijk toegankelijk en overzichtelijk zijn, de bestanden moeten dus zo klein mogelijk gehouden worden. De site moet aansluiten bij de andere favoriete informatieve sites van de doelgroep, de site moet dus actueel gehouden worden (goed onderhouden worden), er moeten ook links komen van en naar de andere favoriete sites van de doelgroep. De zoekmachine die toegang geeft tot de database werkt met een trefwoordensysteem, waarbij de resultaten te reduceren zijn tot een of enkele rubriek(en). De communicatieplatformen moeten de vorm van een mailinglist en een newsgroup hebben, waarbij bij de newsgroup gedacht kan worden aan een soort online-forum, het plaatsen van een openbaar e-mailtje in een virtuele ruimte, hiernaast wordt e-mail als communicatievorm naar contactpersonen van projecten ook als communicatievorm opgenomen. Tussentijdse rapportage zal als fake button in de pilot opgenomen worden, in de vorm van een interactief formulier (digitale rapportage per e-mail), het is aan de HBO-raad om dit te laten lopen door de digitale tussentijdse rapportage af te stemmen met de huidige rapportage en deze ook bv. verplicht te stellen. 4. Inhoudelijke voorwaarden: De functionaliteiten van de website staan in verband met de gewenste triggers van en informatie op de site, het volgende moet dus duidelijk op de site aanwezig zijn: Functionaliteiten: Triggers: Informatie: - informatie - lopende projecten - resultaten - ideeën/ervaringen - fondsen - projectbeschrijving (communicatie) - aanvraag - ervaring - contactpersonen - samenwerking
Er is dus een grote overeenkomst tussen het product wat we gevraagd waren te maken en de uitkomst van de enquête, behalve het digitale aanvraag aspect. Het aanbod (het plan de Innovatiebron) komt dus in hoge mate overeen met de vraag van de doelgroep. B. Uitvoering onderzoek naar doelgroep 2 en 3 (fondsen en andere belanghebbenden): Aandachtsverbreding in concept: De uitvoering van de research naar deze twee doelgroepen zal samenvallen met de produktiefase. De reden hiervoor is dat na de presentatie van ons bronnenonderzoek enkele veranderingen in ons concept zijn opgetreden. Zoals in de onderzoeksopzet stond aangegeven wilde we voor elke doelgroep nagaan welke wensen ze hebben ten aanzien van de toekomstige website van de Innovatiebron. We hebben nu echter besloten om een extra aandachtspunt in de produktie op te nemen en dat is de promotie van de pilot. De mensen achter de Innovatiebron zullen straks met onze pilot op zoek gaan naar potentiele samenwerkingspartners. Door middel van een goede ondersteunende promotie bij de pilot, moeten ze overtuigd worden van het nut van de Innovatiebron. Om dit te effect te bereiken hebben we andere informatie nodig van de experts van doelgroep 2 en 3 dan we in de onderzoeksopzet voor ogen hadden. De opzet en de uitvoering van de research voor deze doelgroepen is nu als volgt gepland. Wat is na deze aandachtsverbreding het onderzoeksdoel voor doelgroep 2 en 3: Wie ziet de HBO-raad als potentiele samenwerkingspartners Hoe voorzien we de pilot van de nodige instrumenten om deze potentiele partners te overtuigen van het nut van de Innovatiebron. Uitwerking bovenstaand doel: Welke precieze informatie hebben we nodig van de experts: wat vinden zij vanuit hun expertise interessant aan het concept de Innovatiebron : wat vinden ze van de drie functionaliteiten (voor ons de sellingpoints) wat zien zijn als de meerwaarde in het concept - waarom zien ze dit zo - hoe zouden we deze meerwaarde nog beter uit kunnen bouwen wat zien zij als de zwakke punten: hoe kunnen we deze verbeteren De experts moeten van te voren natuurlijk al wel goed op de hoogte zijn (anders worden gebracht) van de doelen en de achtergronden van de Innovatiebron. Anders heeft het interview weinig zin en effect. Selectie respondenten; benadering van experts: Via Felipe horen we wie de Innovatiebron als potentiele partners voor ogen hebben. Via de HKU kunnen we experts over de aanvraag en uitvoering vernieuwingsproject benaderen Welke personen willen voor expertinterview gaan benaderen: Van de HKU: Emile Bijk en Ad Wisman, beide betrokken bij indiening en uitvoering Vernieuwingsproject Via Felipe: - Dhr. Fransen (voorzitter Vernieuwingsfonds) - Simone Terwindt (projectleidster van Innovatiebronpresentatie op Surfcongres) - Ton Dausma (Programma Manager), voorbereiding congres - Dhr. H. de Wolf (gezeten in Wetenschappelijke Technische Raad van Surf) - Prof.dr. W. Wijnen (voorzitter van de Commissie Wijnen ) - Prof.dr. F.Leijnse (voorzitter HBO-Raad)
Methode van dataverzameling: Expertinterview. De interviews willen we opnemen op video. Verwerking en analyse resultaten: De voor ons produkt relevante gedeelten uit de interviews worden geselecteerd. Deze worden vervolgens als begeleidend promotiemateriaal ingezet voor de pilot. Surfcongres Onderwijsvernieuwing met ICT? Verder hebben twee van onze groepsleden in het kader van expertonderzoek donderdag 14 oktober het Surf-congres Onderwijsvernieuwing met ICT? bezocht. Het plan de Innovatiebron is daar ook gepresenteerd door Patrick Cramers van de HBO-raad. Bij deze presentatie werd ook hun samenwerking met de HKU aangehaald en werd ons project kort uitgelegd. Voor een uitgebreid verslag van de voor ons belangrijke uitkomsten van het congres zie bijlage Bijlagen: Vragenlijst voor doelgroep 1 Database met analyse resultaten Uitwerking bezoek SURF-congres
Technisch onderzoeksgedeelte: Doelstelling: Research naar welke hard- en software te gebruiken. Software kan opgesplitst worden in: - Web-coderings software - Vormgevings-software - Database development software Methoden: - Web-research - Literatuur onderzoek - Analyse van software-pakketten Hardware: - 1 Pentium PC - HTML codering - 1 Pentium III - Vormgeving, plus test-run website - 1 I-mac - tekstverwerking + internetresearch Software: HTML en Design pakketten: - Macromedia Flash - Macromedia Fireworks - Macromedia Dreamweaver - Adobe Photoshop Database: Domein www.innovatiebron.nl staat momenteel op een unix platform bij XS4ALL. Dit heeft de volgende techinische consequenties: - Database formaat: Sql, ssl, MySql - Database aanspreek-taal: Perl/Cgi Momenteel staat de Database in Ms Access formaat. Tevens is reeds de kennis in huis om deze middels ASP (Active Server Page) te benaderen. Om de database op Unix draaiende te krijgen zal dus nieuwe kennis opgedaan moeten worden op bovenstaande twee items. Mocht dit nu onmogelijk blijken binnen het tijdbestek, dan is er de mogelijkheid om de site over te zetten naar een NT platform bij XS4ALL. Hierdoor kan men met de microsoft pakketten biljven werken, en is codering met ASP mogelijk. Dit alles is een stuk eenvoudiger te implementeren. Boeken: Ter ondersteuning van het produktie proces, zijn op het technische research vlak de volgende boeken gekocht voor het project: - Dynamisch Webdesign o Dreamweaver, flash, fireworks
- Photoshop voor het web