Digitale portfolio s in het hoger onderwijs

Digitale portfolio s in het hoger onderwijs Formuleren van richtlijnen voor ontwerp, realisatie en implementatie van digitale portfolio s en toepassen ervan bij de Faculteit der Geneeskunde van de Universiteit Maastricht Verslag van het onderzoek ter afronding van de studie WO-Informatica, afstudeerrichting informatiesystemen aan de Open Universiteit te Heerlen Opdrachtgever prof.dr.c.p.m. van der Vleuten, Namens Faculteit der Geneeskunde Universiteit Maastricht Afstudeercommissie dr.ir. K.A.M. Lemmen, voorzitter drs. H.R.V. van der Vleugel, secretaris dr.j.vantartwijk,lid Studentgegevens G.J.M. Seegers (Trudie) Studentnummer: 831874425 Plantijndomein 9 6229 GG Maastricht Telefoon werk: 043-3882947 Telefoon thuis: 043-3617551 e-mail: Trudie.Seegers@oifdg.unimaas.nl

Voor u ligt het rapport waarin verslag wordt uitgebracht over het onderzoek dat is uitgevoerd als afstudeeropdracht van de opleiding Informatica, afstudeerrichting informatiesysteemontwikkeling van de Open Universiteit te Heerlen. De praktijktoepassing van het onderzoek heeft plaatsgevonden bij de Faculteit der Geneeskunde van Universiteit Maastricht te Maastricht. Digitale portfolio s in het hoger onderwijs i

Inhoudsopgave Inhoudsopgave Samenvatting...1 1 Inleiding...5 1.1 Portfolio s in het hoger onderwijs... 5 1.2 Ontwikkelen van digitale portfolio s... 5 1.3 Overzicht van het rapport... 6 1.3.1 Over portfolio s en informatiesysteemontwikkeling...6 1.3.2 Van probleemsituatie tot oplossing: theorie en praktijk...7 1.3.3 Beschouwing en aanbevelingen...7 1.3.4 Begrippenkader...7 2 Portfolio s in het hoger onderwijs...9 2.1 Het gebruik van portfolio s... 9 2.1.1 Drie model -portfolio s...9 2.1.2 Het gebruik van portfolio s...10 2.1.3 Portfolio s en kwaliteitszorg...11 2.2 Het gebruik van digitale portfolio s... 11 2.2.1 Papier versus digitaal...12 2.2.2 Aandachtspunten digitaal portfolio...12 2.3 Conclusies... 13 3 Ontwikkelen van informatiesystemen...15 3.1 Ontwikkelmethoden... 15 3.1.1 Procesgerichte ontwikkelmethoden...16 3.1.2 Technologie gerichte ontwikkelmethoden...17 3.2 Contingentiebenadering... 19 3.3 Raamwerken... 20 3.3.1 Het raamwerk van Zachman...20 3.3.2 Het MADIS-raamwerk...22 3.3.3 Het raamwerk van Van Swede en Van Vliet...24 3.3.4 Raamwerken voor de ontwikkeling van informatiesystemen en informatiestrategie...25 3.3.5 Verschillen en overeenkomsten...27 3.4 Conclusies... 30 4 Van probleem naar oplossing...33 4.1 Het generiek model... 33 4.1.1 De informatiebehoeften...33 4.1.2 Keuze van de methodiek...34 4.1.3 Het omgevingsmodel...35 4.1.4 Het gedragsmodel...39 4.1.5 Het gebruikers implementatiemodel...42 4.2 De context van het generiek model... 43 Digitale portfolio s in het hoger onderwijs iii

Inhoudsopgave 4.2.1 Keuze van het raamwerk...43 4.2.2 Definiëren van een afbeeldingsmechanisme...44 4.2.3 De afbeelding van de probleemsituatie...45 4.2.4 Aanvullingen op het generiek model...47 4.3 Pakketselectie voor het generiek model... 48 4.3.1 De ontwerpaanpak...48 4.3.2 Het selectieproces...49 4.4 Richtlijnen van probleem tot oplossing... 51 4.4.1 Van probleem naar eisen en randvoorwaarden...51 4.4.2 Van eisen en randvoorwaarden naar oplossing...52 4.5 Conclusies... 54 5 De praktijktoepassing in Maastricht...57 5.1 Het portfolio... 57 5.2 Van richtlijn analyse naar eisenspecificatie... 58 5.2.1 Het gebruik van de richtlijn analyse...58 5.2.2 De eisenspecificatie...58 5.3 Van richtlijn selectieproces naar oplossing... 59 5.3.1 Voorbereiding voor de selectie...59 5.3.2 Vaststellen kernkandidaten...60 5.3.3 Scoren, wegen en beoordelen...61 5.3.4 Advies en keuze opdrachtgever...63 5.4 Uitvoeren van de praktijktest... 63 5.4.1 Portfoliostructuur...63 5.4.2 Alternatieve oplossingen...63 5.4.3 Organisatie van de praktijktest...64 5.5 Evaluatie van de praktijktest... 65 5.5.1 Het evaluatieproces...65 5.5.2 Resultaten...67 5.6 Conclusies... 70 5.6.1 De praktijktoepassing en de praktijktest...70 5.6.2 Vaststellen eisenspecificatie...71 5.6.3 Beschikbaar stellen oplossing...71 5.6.4 De praktijktest...72 5.7 Advies aan de opdrachtgever... 73 5.7.1 Gestelde eisen en wensen...73 5.7.2 Gekozen oplossing...73 5.7.3 Beschikbaar stellen van de oplossing...74 5.7.4 Algemene aanbevelingen...76 6 Beschouwing en aanbevelingen...77 6.1 Beschouwing...77 6.1.1 Standaardpakketten voor portfolio s...77 6.1.2 Relevantie van ontwerpgebieden...77 6.1.3 De technologie gerichte aanpak...78 6.1.4 Goed is goed genoeg...80 Digitale portfolio s in het hoger onderwijs iv

Inhoudsopgave 6.2 Aanbevelingen... 80 6.2.1 Aanbevelingen voor verder onderzoek...80 6.2.2 Aanbevelingen voor het ontwikkelen van digitale portfolio s...81 Nawoord...82 Literatuur...83 Onderwijskundig... 83 Softwareontwikkeling... 84 Gebruikte begrippen en definities...86 Bijlage 1: Modelleringsbijdrage per aspectgebied en modelleringslaag...b1 Bijlage 2: Richtlijn analyse...b4 Bijlage 3: Generiek antwoordformulier bij de richtlijn analyse...b13 Bijlage 4: Richtlijn selectieproces...b17 Bijlage 5: Antwoordformulier bij de richtlijn analyse voor Maastricht...B21 Bijlage 6: Hoofdstructuur van het digitaal portfolio van Maastricht voor ren 1 en 2...B25 Bijlage 7: Eisenspecificatie Maastricht...B27 Bijlage 8: Beschrijving kandidaten voor het selectieproces...b29 Bijlage 9: Prototype Wordportfolio Faculteit der Geneeskunde - UM...B33 Bijlage 10: Scores kernkandidaten...b35 Bijlage 11: Technische handleiding digitale portfolio omgeving...b39 Bijlage 12: Vragenlijst studenten Digitaal Portfolio...B49 Bijlage 13: Gestructureerd interview mentoren Digitaal Portfolio...B53 Bijlage 14: Resultaten van de relevante eisen en wensen uit de eisenspecificatie...b55 Digitale portfolio s in het hoger onderwijs v

Inhoudsopgave Digitale portfolio s in het hoger onderwijs vi

Samenvatting Samenvatting Het begrip portfolio is afkomstig uit de wereld van de kunst en architectuur (Bird, 1991). Ook in het onderwijs heeft het begrip portfolio zijn intrede gedaan. Een portfolio kan ingezet worden om de student te volgen, te begeleiden en/of te beoordelen. Vaak wordt het benodigde materiaal in een ordner verzameld. De logistieke problemen die het gebruik van deze ordners met zich meebrengt, vormen binnen het hoger onderwijs een belangrijke reden om de voorkeur te geven aan het gebruik van een digitaal portfolio boven de papieren variant. Het doel van dit onderzoek is (een bijdrage te leveren aan) het formuleren van algemene richtlijnen voor het ontwerpen, realiseren en implementeren van digitale portfolio omgevingen in het hoger onderwijs, opdat het digitaal portfolio op onderwijskundig verantwoorde wijze en naar tevredenheid van de stakeholders samengesteld en gepresenteerd kan worden. Voor de Faculteit der Geneeskunde in Maastricht is aan de hand van deze algemene richtlijnen onderzocht aan welke functionele en niet functionele eisen op dat moment (naar 2002) behoefte was, welke randvoorwaarden van belang waren, welke oplossing zo goed mogelijk aan de gestelde eisen tegemoet kwam en, of een eerste praktijktoepassing ervan aanleiding gaf tot bijstellingen. Om het doel te bereiken is eerst een generiek model opgesteld van de digitale portfolio omgeving in het hoger onderwijs. Dit model heeft als uitgangspunt gediend voor het formuleren van een richtlijn die onderwijskundigen op weg kan helpen bij het vaststellen van de eisenspecificatie voor een digitale portfolio omgeving (richtlijn analyse (zie bijlage 2)). Vervolgens is onderzocht op welke wijze een voor het hoger onderwijs geschikte digitale portfolio omgeving ontwikkeld kan worden. Dit resulteerde in een tweede richtlijn. Deze richtlijn kan voor onderwijskundigen als leidraad dienen bij het selecteren van een voor de opleiding geschikte digitale portfolio omgeving (richtlijn selectieproces (zie bijlage 4)). Een portfolio kan ingezet worden om de student te volgen, te begeleiden en/of te beoordelen. Om dit mogelijk te maken moet de student respectievelijk plannen wat hij gaat doen, analyseren wat hij gedaan heeft en aantonen hoe hij het gedaan heeft. Onderwijskundig gezien leidt dit tot drie verschillende model portfolio s. Belangrijk voor ons onderzoek is dat de inhoud van deze drie model -portfolio s verschillend is. Er zijn portfolio s die overzichten bevatten van taken en vaardigheden, portfolio s die reflecties en beschouwingen bevatten, met de mogelijkheid te verwijzen naar bewijsmateriaal en portfolio s die enkel en alleen samengesteld zijn uit bewijsmateriaal. Ook combinaties van deze vormen behoren tot de mogelijkheden. In alle gevallen stelt de student het portfolio samen en is er een begeleider of beoordelaar die het portfolio van de student moet kunnen bekijken en, afhankelijk van de wens van de instelling, al dan niet feedback of een beoordeling moet kunnen geven aan de betreffende student. Voor het bepalen van de Informatiebehoeften leek het gezien vanuit de probleemsituatie voor de hand liggend gebruikers en deskundigen te ondervragen, bestaande digitale portfolio omgevingen te onderzoeken en de verzamelde informatie te analyseren met als doel een generiek model voor de digitale portfolio omgeving op te stellen. Met de contingentiebenadering voor de probleemonzekerheid kon bevestiging gevonden worden voor het gebruik van deze strategie voor de informatiebehoeftenbepaling (Davis & Olson, 1987; Lemmen et al., 1993). Digitale portfolio s in het hoger onderwijs 1

Samenvatting Het generiek model is vervolgens opgesteld met behulp van GAO (Gestructureerde Analyse en Ontwerp) (Yourdon, 1990), een procesgeoriënteerde methodiek. Bij het ontwikkelen van het generiek model is rekening gehouden met de drie eerder genoemde model -portfolio s. In de literatuur wordt er regelmatig op gewezen dat bij het toepassen van methodieken al gauw het gevaar bestaat dat de context van het informatiesysteem onderbelicht wordt (Van Rees, 1982; Bots et al., 1999). Met het gebruik van raamwerken voor de modellering is geprobeerd dit geheel te overzien en de systeemontwikkeling in de juiste richting te sturen (Van Swede & Van Vliet, 1994). Alvorens een keuze voor een raamwerk te maken is een aantal raamwerken onderzocht op toepasbaarheid. Op basis van dit onderzoek is uiteengezet waarom het MADIS-raamwerk (Modelling Approach for Designing Information Systems) (Lemmen et al., 1993) voor onze probleemsituatie het meest geëigende raamwerk voor de informatiesysteem modellering is. Alvorens de probleemsituatie af te kunnen beelden op het MADIS-raamwerk is een afbeeldingsmechanisme opgesteld. De met het mechanisme verkregen afbeelding van de probleemsituatie laat zien, dat, naast de aan de hand van GAO opgestelde modellen, allocatie en realisatie aspecten een punt van aandacht vormen. Met de voor deze aspecten bij het raamwerk gegeven modelleringsvragen is bij de verdere analyse zo goed mogelijk rekening gehouden. Uit de aldus uitgevoerde analyse van de probleemsituatie zijn vragen afgeleid die relevant zijn voor het analyseren van de probleemsituatie op conceptueel niveau. Deze vragen zijn uitgewerkt en beschreven in de richtlijn analyse (zie bijlage 2). Voor het realiseren van een digitale portfolio omgeving zijn pakketten op de markt. Ook zijn er instellingen die een digitale portfolio omgeving gerealiseerd hebben die samengesteld is uit binnen de instelling reeds aanwezige deeloplossingen, al dan niet in combinatie met een op de markt verkrijgbaar pakket. Dit brengt met zich mee dat het in de lijn der verwachting ligt dat een op technologie gerichte oriëntatie, dus een aanpak op basis van pakketselectie, geschikt is. Intuïtief hoort bij een technologie gerichte oriëntatie een ontwerpaanpak die, in de terminologie van Lemmen et al. (1993), gestoeld is op de oberstrategie of op de uitbouwstrategie. Aan de hand van de contingentiebenadering voor de oplossingsonzekerheid is hiervoor bevestiging gevonden. Op basis van literatuur over pakketselectie is, uitgaande van de richtlijn analyse, een voor de digitale portfolio omgeving geschikte richtlijn voor de pakketselectie afgeleid: de richtlijn selectieproces (zie bijlage 4). Na een eerste praktijktest met een digitale portfolio omgeving die niet aan de verwachtingen voldeed in het naar van 2001, wilde de opleiding geneeskunde van Universiteit Maastricht een andere, beter op de situatie toegesneden, digitale portfolio omgeving. Met behulp van de opgestelde richtlijnen is voor de opleiding geneeskunde van Universiteit Maastricht, een eisenspecificatie opgesteld en onderzocht hoe zo goed mogelijk aan de opgestelde eisen tegemoet kon worden gekomen. Om zo goed mogelijk na te gaan of er aanleiding was voor bijstellingen en welke consequenties aan schaalvergroting verbonden zijn, is in Maastricht een tweede praktijktest uitgevoerd. Gezien de korte termijn waarop de portfolio omgeving beschikbaar moest komen is de praktijktest deels uitgevoerd met de geselecteerde oplossing, deels met noodverbanden. Uit de evaluatie van deze praktijktest kon afgeleid worden dat het geteste deel van de digitale portfolio omgeving naar tevredenheid heeft gefunctioneerd. Met als uitgangspunt dat de nog te ontwikkelen programmatuur voldoende aan de verwachting tegemoet komt, leent de geselecteerde oplossing zich, naar het zich laat aanzien, voor opschaling. Digitale portfolio s in het hoger onderwijs 2

Samenvatting Uit de praktijktoepassing mag tevens afgeleid worden dat de beide richtlijnen een positieve bijdrage hebben geleverd bij het oplossen van de probleemsituatie. De richtlijn analyse is, op grond van onze ervaring, op detailniveau aangepast voor toekomstige gebruikers. Digitale portfolio s in het hoger onderwijs 3

Inleiding 1 Inleiding 1.1 Portfolio s in het hoger onderwijs Het begrip portfolio is afkomstig uit de wereld van de kunst en architectuur (Bird, 1991). Voor een kunstenaar of architect is het van belang om potentiële opdrachtgevers van de kwaliteit van zijn werk te overtuigen. Betrokkene selecteert daartoe een aantal eigen producten, en verzamelt deze samen met recensies en relevante krantenknipsels in grote mappen. Deze mappen worden portfolio s genoemd. Ook in het onderwijs heeft het begrip portfolio zijn intrede gedaan. Gedurende de hele opleiding laten studenten en leerlingen in een portfolio de ontwikkeling van hun competentieniveau zien. Hierbij wordt competentie gedefinieerd als de combinatie van kennis, vaardigheden en attitudes, nodig voor een adequate uitvoering van maatschappelijke en beroepsmatige taken (Van Tartwijk et al., 2002). Studenten beginnen met het verzamelen van illustratief materiaal zoals toetsuitslagen, evaluaties en video opnamen die het functioneren laten zien. Vaak bevat het portfolio bij dit materiaal beschrijvingen, bijschriften genaamd (Barton & Collins, 1997). In deze bijschriften geeft de student aan wat het illustratief materiaal is en waarom het in het portfolio is opgenomen. Veel opleidingen vragen daarnaast van de student beschouwingen waarin een analyse wordt gemaakt van de eigen resultaten (Driessen et al., 2002). De student reflecteert over de opgedane ervaringen en geeft aan wat hij hieruit geleerd heeft en welke leerpunten nog niet gehaald zijn. Tevens geeft de student aan hoe hij denkt de niet gehaalde leerpunten alsnog te realiseren. Het illustratief materiaal wordt gebruikt als bewijsmateriaal om de beweringen die de student in de analyses maakt te onderbouwen. Opleidingen geven steeds vaker de voorkeur aan een digitaal portfolio boven de papieren variant. De belangrijkste redenen hiervoor zijn praktische problemen van logistieke aard (zie ook paragraaf 2.2.1). Deze problemen blijken een sta-in-de-weg voor een succesvolle invoering van papieren portfolio s in het onderwijs (Van Tartwijk et al., 2002) en spelen niet of nauwelijks bij digitale portfolio s. In de literatuur worden de begrippen elektronisch portfolio en digitaal portfolio veelal door elkaar gebruikt. Barrett (2000) maakt onderscheid tussen een digitaal en een elektronisch portfolio. Zij omschrijft een elektronisch portfolio als een portfolio dat zowel uit analoge als digitale onderdelen kan bestaan; een digitaal portfolio daarentegen bestaat geheel uit door de computer leesbare informatie. In dit onderzoek wordt bij deze terminologie aangesloten. 1.2 Ontwikkelen van digitale portfolio s Met de komst van digitale portfolio s in het onderwijs moet aan studenten een werkomgeving aangeboden worden waarin ze hun digitaal portfolio kunnen samenstellen en aan hun begeleider, beoordelaar of andere stakeholders kunnen aanbieden. Hierbij spelen zowel onderwijskundige als technische aspecten een rol. Deze dienen op elkaar afgestemd te worden. Oplossingen voor samenstellen, distribueren of publiceren van het digitaal portfolio zijn nog niet beschikbaar (Van Tartwijk et al., 2002). Ook met het zelf ontwerpen, realiseren en implementeren van digitale portfolio omgevingen is nog weinig ervaring opgedaan. Het doel van dit onderzoek is (een bijdrage te leveren aan) het formuleren van algemene richtlijnen voor het ontwerpen, realiseren en implementeren van digitale portfolio omgevingen in het hoger onderwijs, opdat het digitaal portfolio op onderwijskundig verantwoorde wijze en naar Digitale portfolio s in het hoger onderwijs 5

Inleiding tevredenheid van de stakeholders samengesteld en gepresenteerd kan worden. Geprobeerd wordt een bijdrage te leveren aan het beantwoorden van de volgende vragen: 1. Welke functionele en niet functionele eisen zijn relevant voor de (deel)processen van een digitale portfolio omgeving? En welke consequenties hebben bepaalde keuzes? 2. Welke eisen en randvoorwaarden zijn van belang bij het ontwerp, de realisatie en de implementatie van een digitale portfolio omgeving? 3. Wat is een geschikte aanpak om een digitale portfolio omgeving te ontwerpen, te realiseren en te implementeren? Praktijktoepassing Binnen de opleiding geneeskunde in Maastricht was tot naar 2002 nog geen overeenstemming bereikt over de eisenspecificatie van een digitale portfolio omgeving. Onderzocht is aan welke functionele en niet functionele eisen op dat moment behoefte was, welke randvoorwaarden van belang waren, welke oplossing zo goed mogelijk aan de gestelde eisen tegemoet kwam en of een eerste praktijktoepassing ervan aanleiding gaf tot bijstellingen. Hierbij is zo veel mogelijk gebruik gemaakt van de eerder geformuleerde algemene richtlijnen voor het ontwerpen, realiseren en implementeren van digitale portfolio s in het onderwijs. 1.3 Overzicht van het rapport Het onderzoek beoogt een bijdrage te leveren aan het beantwoorden van bovenstaande vragen door een generiek model op te stellen en richtlijnen te geven voor ontwerp, realisatie en implementatie van een digitale portfolio omgeving. Bij het opstellen van het generiek model is zo goed mogelijk rekening gehouden met de verschillende doelstellingen die met een portfolio worden nagestreefd. In de richtlijnen is zoveel mogelijk ingegaan op de mogelijkheden en beperkingen die bij de verschillende instellingen een rol kunnen spelen ten aanzien van ontwerp, realisatie en implementatie. In de paragrafen 1.3.1 tot en met paragraaf 1.3.3 wordt inzicht gegeven in de opbouw van het rapport. In paragraaf 1.3.4 worden de begrippen digitale portfolio omgeving en generiek model nader toegelicht. 1.3.1 Over portfolio s en informatiesysteemontwikkeling Om voldoende inzicht te verkrijgen voor het uitvoeren van het onderzoek is onder meer een literatuurstudie uitgevoerd naar het toepassen van (digitale) portfolio s in het hoger onderwijs. Hoofdstuk 2 geeft een beeld van de verschillende doelstellingen van een portfolio. Afhankelijk van de doelstelling worden, vanuit onderwijskundig oogpunt, drie relevante model -portfolio s onderscheiden. Ook wordt ingegaan op het gebruik van portfolio s met meerdere doelstellingen. De varianten worden dan naar inzicht van de instelling gecombineerd tot een voor de betreffende instelling geschikt portfolio. Vervolgens wordt aangegeven waarom instellingen overgaan op digitale portfolio s en worden een aantal aandachtspunten vermeld. In hoofdstuk 3 wordt ingegaan op enkele methoden en technieken die in de vakliteratuur voor het ontwikkelen van informatiesystemen van belang worden geacht. Tevens wordt er aangegeven waarom deze specifieke methoden en technieken in dit rapport aan bod komen. Eerst worden enkele procesgerichte en technologiegerichte ontwikkelmethoden beschreven. Vervolgens wordt aangegeven hoe bij de informatiesysteemontwikkeling rekening gehouden kan worden met risico s en onzekerheden. Tot slot worden een viertal raamwerken voor de ontwikkeling van informatiesystemen op hoofdlijnen beschreven en met elkaar vergeleken. Digitale portfolio s in het hoger onderwijs 6

Inleiding 1.3.2 Van probleemsituatie tot oplossing: theorie en praktijk Hoofdstuk 4 begint met het opstellen van het generiek model. Hiertoe wordt eerst ingegaan op de Informatiebehoeften. Naast de eerder genoemde literatuurstudie is een aantal demonstraties van digitale portfoliosystemen bijgewoond, zijn bestaande digitale portfolio omgevingen geanalyseerd en is gesproken met deskundigen op het gebied van portfolio s. Aan de hand van de analyse van de verzamelde informatie is een generiek model opgesteld met behulp van Gestructureerde Analyse en Ontwerp (GAO) (Yourdon, 1990). Om het generiek model verder aan te vullen en inzicht te krijgen in richtlijnen voor ontwerp, realisatie en implementatie is het opgestelde generiek model vervolgens in een breder kader geplaatst. Het betreft een raamwerk dat speciaal gericht is op het modelleren van informatiesystemen, een raamwerk waarin de totale modelleringsruimte is ondergebracht. In dit onderzoek wordt hiervoor gebruik gemaakt van het MADIS-raamwerk (Modelling Approach for Designing Information Systems) (Lemmen et al., 1993). In dit hoofdstuk worden tenslotte richtlijnen voor het achterhalen van de Informatiebehoeften en voor het selecteren van een geschikte oplossing geformuleerd. Deze richtlijnen helpen onderwijskundigen op weg om van de probleemsituatie rondom de introductie van een digitaal portfolio te komen tot de implementatie van de gewenste digitale portfolio omgeving. Uitgaande van de in hoofdstuk 4 opgestelde richtlijnen is een geschikte digitale portfolio omgeving voor de Faculteit der Geneeskunde in Maastricht ontwikkeld en in de praktijk toegepast. De aanpak hiervan, alsmede de resultaten, de conclusies en het advies aan de opdrachtgever zijn beschreven in hoofdstuk 5. 1.3.3 Beschouwing en aanbevelingen In hoofdstuk 6 wordt een beschouwing over het onderzoek gegeven en worden aanbevelingen gedaan voor vervolgonderzoek alsmede voor het introduceren van een digitale portfolio omgeving in het hoger onderwijs. Na hoofdstuk 6 volgt een nawoord, waarin de onderzoeker aandacht besteedt aan de opgedane ervaring en de gang van zaken tijdens het onderzoek. Als laatste zijn in dit rapport een begrippenlijst, een overzicht van de gebruikte literatuur en de bijlagen opgenomen. 1.3.4 Begrippenkader De digitale portfolio omgeving De papieren versie van het portfolio is in de praktijk meestal een ordner met materiaal. Een digitaal portfolio kan bijvoorbeeld de vorm hebben van een website of uit een verzameling Worddocumenten bestaan. Zo n digitaal portfolio is bestemd voor andere personen en is het resultaat van een aantal bewerkingen dat de student heeft uitgevoerd. Als we de bewerkingen als een black box beschouwen, heeft de black box allerlei (digitaal) materiaal als input en het portfolio als output. Het geheel van input, black box en output noemen we in dit onderzoek een digitale portfolio omgeving (zie figuur 1). Figuur 1: Een digitale portfolio omgeving Digitale portfolio s in het hoger onderwijs 7

Inleiding In een specifieke situatie geldt dat een model van een informatiesysteem beschrijft wat aan informatievoorziening gerealiseerd moet worden. Het doel van dit onderzoek is (een bijdrage te leveren aan) het formuleren van algemene regels voor het ontwerpen, realiseren en implementeren van digitale portfolio s in het hoger onderwijs. Om dit te kunnen bewerkstelligen dient een model opgesteld te worden van een digitale portfolio omgeving dat passend is voor zoveel mogelijk hoger onderwijs instellingen. Dit model noemen we een generiek model. Het generiek model De bewerkingen in de black box van de digitale portfolio omgeving vormen meerdere deelprocessen 1. Een aantal deelprocessen maakt per definitie deel uit van de digitale portfolio omgeving. Andere deelprocessen kunnen ook buiten de digitale portfolio omgeving gerealiseerd worden. Een specifieke instelling kan besluiten deze laatste deelprocessen al dan niet tot de digitale portfolio omgeving te rekenen. Het generiek model moet voorzien in deze keuzemogelijkheden van de instellingen. Zoals in paragraaf 1.3.1 beschreven is zijn er, vanuit onderwijskundig oogpunt, drie model - portfolio s. Deze varianten kunnen naar inzicht van de instelling gecombineerd worden tot een voor de betreffende instelling geschikt portfolio. In het op te stellen generiek model moet rekening gehouden worden met al deze mogelijke combinaties van de drie model -portfolio s. Aan elk deelproces wordt een aantal eisen gesteld. Sommige eisen zijn strikt noodzakelijk om de digitale portfolio omgeving te laten functioneren, andere zijn optioneel. Samengevat bevat een generiek model van een informatiesysteem voor digitale portfolio s: 1. De minimaal noodzakelijke deelprocessen en een aantal optionele deelprocessen. 2. Per deelproces de minimaal noodzakelijke eisen en de optionele eisen. 3. De keuzemogelijkheid voor (de combinatie van) de verschillende model -portfolio s. Het uitgangspunt hierbij is dat het generiek informatiesysteemmodel mede de informatiebehoeftenvoorziening ten aanzien van de primaire processen in de organisatie ondersteunt. 1 De verschillende deelprocessen van de black box worden in hoofdstuk 4 aan de orde gesteld Digitale portfolio s in het hoger onderwijs 8

Portfolio s in het hoger onderwijs 2 Portfolio s in het hoger onderwijs Ten behoeve van dit onderzoek is een literatuurstudie uitgevoerd naar het gebruik van (digitale) portfolio s in het hoger onderwijs. Analyse van de literatuur heeft, vanuit onderwijskundig oogpunt gezien, geleid tot het onderkennen van drie verschillende model -portfolio s. In paragraaf 2.1 wordt besproken welke model -portfolio s er zijn en met welk doel (combinaties van) deze model -portfolio s kunnen worden ingezet in het onderwijs. Ook wordt in deze paragraaf aandacht besteed aan portfolio s en kwaliteitszorg. In paragraaf 2.2 wordt aangegeven waarom steeds meer opleidingen overgaan op digitale portfolio s en welke aandachtspunten hierbij van belang zijn. Paragraaf 2.3 bevat de conclusies van dit hoofdstuk. 2.1 Het gebruik van portfolio s Binnen het hoger onderwijs vindt een verschuiving plaats van kennen naar kunnen. De nadruk verschuift van kennisoverdracht naar kennisverwerving en competentieontwikkeling. Portfolio s kunnen hierbij een belangrijke rol spelen. In paragraaf 2.1.1 wordt een beschrijving gegeven van de model -portfolio s en uitgelegd met welk doel deze in het onderwijs kunnen worden ingezet. In paragraaf 2.1.2 wordt het gebruik van (combinaties van) deze model -portfolio s toegelicht. In paragraaf 2.1.3 tenslotte, wordt kort aandacht besteed aan portfolio s en kwaliteitszorg. 2.1.1 Drie model -portfolio s Een portfolio kan ingezet worden om de student te volgen, te begeleiden en/of te beoordelen. Om dit mogelijk te maken moet de student respectievelijk plannen wat hij gaat doen, analyseren wat hij gedaan heeft en aantonen hoe hij het gedaan heeft. Als we op deze manier naar portfolio s kijken zijn er drie manieren waarop portfolio s in het onderwijs kunnen worden samengesteld (zie figuur 2): 1. De traditionele manier waarbij het vooral gaat om een ordner (letterlijk portfolio) met vaak wisselend bewijsmateriaal. In dit geval zijn er dus geen reflecties of beschouwingen of gegevens over taken en vaardigheden opgenomen. Het betreft enkel en alleen bewijsmateriaal. De student toont hiermee aan wat hij kan. Het portfolio wordt vooral gebruikt om te beoordelen. 2. Een uitgebreid curriculum vitae waarin de student beschrijft welke ervaring binnen en buiten de opleiding is opgedaan. In beschouwingen wordt een toelichting op het materiaal gegeven dat daardoor betekenis krijgt en wordt vanuit relevante competentieprofielen of rollen geanalyseerd wat de student al kan en waar nog ontwikkeling nodig is. Ter onderbouwing wordt verwezen naar documenten en evaluaties. Het portfolio wordt in principe levenslang aangevuld. De student reflecteert over zijn sterke en zwakke kanten. Het portfolio wordt vooral gebruikt om te begeleiden. 3. Een schematisch overzicht van activiteiten van de student waarin de student bijvoorbeeld per studieonderdeel (b.v. rijen in een tabel) laat zien welke taken zijn vervuld of welke vaardigheden worden beheerst (b.v. kolommen in een tabel) en aan welke taken en vaardigheden nog gewerkt wordt. Het portfolio werkt als een taken / vaardighedendossier waaraan de student ook na de studie door kan werken. Het portfolio wordt door de student vooral gebruikt om te plannen en door de docent om de student te volgen. Digitale portfolio s in het hoger onderwijs 9

Portfolio s in het hoger onderwijs Figuur 2: Drie model -portfolio s 2.1.2 Het gebruik van portfolio s Naast de zuivere model -vorm blijkt dat in de praktijk ook vaak een combinatie van twee vormen gebruikt wordt. Indien de drie model - portfolio s voorgesteld worden door de hoekpunten van de driehoek (zie figuur 2), dan wordt door het maken van combinaties de totale oppervlakte van de driehoek bestreken. Onderstaand volgt een beschrijving van een drietal vaak voorkomende (combinaties van) model -portfolio s. Het portfolio als volg- en begeleidingsinstrument Een student werkt tijdens zijn gehele opleiding aan het portfolio en geeft daarmee voortdurend een beeld van de stand van zaken van zijn ontwikkeling. Het bijhouden van de ontwikkelde en nog te ontwikkelen taken en vaardigheden biedt de mogelijkheid om inzicht te krijgen in de activiteiten die de student verricht. Het beschrijven hoe het bereikte niveau van de competenties tot stand is gekomen en welke scholing gevolgd wordt om het niveau te verbeteren geeft begeleiders inzicht in de individuele leerroute van de student ( De Vries & Keesen, 1997; Elshout-Mohr & Oostdam, 2000). Bij tussentijdse evaluaties, bijvoorbeeld bij voortgangsgesprekken, kan vastgesteld worden of de student over de benodigde kennis, vaardigheden en/of attitudes beschikt. Indien bijsturing noodzakelijk blijkt, kan afgeleid worden welke specifieke competenties al dan niet verder geschoold of getraind dienen te worden. Naar een leven lang leren In het huidige onderwijs ligt meer dan in het verleden de nadruk op de verantwoordelijkheid van de student voor het eigen leerproces. De student gebruikt het portfolio om inzicht te krijgen in en richting te geven aan dat leerproces. Aan de hand van verzameld materiaal beschrijft de student hoe hij taken heeft vervuld. Daarnaast analyseert en evalueert de student het eigen handelen, waarbij ook gekeken wordt hoe de theorie in de praktijk is gebracht. Doordat het in het portfolio opgenomen materiaal het uitgangspunt vormt voor de analyse en de analyse dus in Digitale portfolio s in het hoger onderwijs 10

Portfolio s in het hoger onderwijs overeenstemming dient te zijn met dit door de student zelf verzamelde materiaal, heeft de analyse geen vrijblijvend karakter. De begeleider krijgt een relatief betrouwbaar beeld van de ontwikkeling van de student. De benoemde sterke en zwakke kanten van de taakuitvoering zijn van belang voor het ontwikkelen van alternatieve handelswijzen en kunnen gebruikt worden bij het geven van gerichte feedback door de begeleider of tussen studenten onderling. Korthagen (1998) ziet bij dit proces van systematische reflectie een rol voor het portfolio. Wanneer de student zelf verantwoordelijk is voor de inhoud van het portfolio en (tot op zekere hoogte) structuur en presentatie, wordt de student gestimuleerd bewust verantwoordelijkheid te nemen voor de eigen ontwikkeling en de daarbij te maken keuzes. De begeleider fungeert als gesprekspartner en geeft zo nodig advies. Op deze manier wordt de student voorbereid op een leven lang leren. Beoordelen van competentieontwikkeling In traditionele beoordelingsvormen worden leerresultaten geëvalueerd door kennis en vaardigheden los van elkaar te toetsen. Dat zal er vaak toe leiden dat de student studeert als voorbereiding op de toets. Bij een beoordeling met behulp van een portfolio wordt van de student gevraagd te laten zien wat hij geleerd heeft door inzicht te geven in de wijze waarop taken zijn vervuld in een zo authentiek mogelijke omgeving. Hiermee wordt beter duidelijk in hoeverre de student competent geacht kan worden om de taken waarvoor hij opgeleid wordt in een authentieke situatie uit te voeren (Korthagen, 2001). Een beoordeling op basis van een portfolio is dan ook een betere afspiegeling van het gedrag in praktijksituaties. Een portfolio kan gebruikt worden om aan het eind van een opleiding of onderdeel daarvan vast te stellen of het bereikte competentieniveau voldoende is. Portfolio s kunnen ook op andere plaatsen waar een vorm van beoordeling aan de orde is, worden ingezet. Zo kan het portfolio gebruikt worden bij een sollicitatieprocedure, waarbij het de plaats inneemt van het curriculum vitae. Soms worden portfolio s door een opleiding ook gebruikt om de beginsituatie van de student vast te stellen. Op basis daarvan krijgt de student een opleidingstraject aangeboden of wordt met de student een opleidingstraject op maat afgesproken (van Tartwijk et al., 2002). 2.1.3 Portfolio s en kwaliteitszorg Het portfolio kan een rol spelen bij kwaliteitszorg. De inhoud van de portfolio s van de studenten is een potentiële bron van feedback op de kwaliteit van het gegeven onderwijs. Wanneer uit een substantieel aantal portfolio s van studenten naar voren komt dat bepaalde opleidingsdoelen niet gerealiseerd worden, is dat een indicatie dat de oorzaak daarvoor misschien niet bij individuele studenten ligt, maar bij de kwaliteit van de opleiding en/of de docenten. Ook andere participanten in het onderwijs, zoals docenten, kunnen portfolio s samenstellen. In dit onderzoek wordt hierop niet verder ingegaan. 2.2 Het gebruik van digitale portfolio s In paragraaf 2.2.1 wordt een aantal redenen gegeven die voor het gebruik van een digitaal portfolio pleiten. In paragraaf 2.2.2 wordt gewezen op de belangrijkste, in de literatuur genoemde, punten die aandacht behoeven bij het invoeren van digitale portfolio s om problemen bij het gebruik zoveel mogelijk te voorkomen. Digitale portfolio s in het hoger onderwijs 11

Portfolio s in het hoger onderwijs 2.2.1 Papier versus digitaal In deze paragraaf worden een aantal voordelen gegeven van digitale portfolio s ten opzichte van de papieren variant. Opbergruimte en transport Een knelpunt bij het werken met papieren portfolio s is dat ze vanwege hun fysieke omvang onhandig zijn in het gebruik. Vaak wordt het materiaal in een ordner of doos verzameld. De ruimte die nodig is voor het opslaan van ordners betreft al snel tientallen meters in kasten of rekken. Een docent die meerdere studenten begeleidt of beoordeelt, moet, in voorkomende gevallen, de benodigde ordners ter evaluatie of beoordeling naar zijn werkkamer transporteren en daar enige tijd opslaan. Dit is niet altijd eenvoudig. Door gebruik te maken van digitale portfolio s wordt de opbergruimte beperkt en het transport vereenvoudigd. Zo hoeft bij gebruik van een CD-rom slechts de CD-rom opgeslagen en getransporteerd te worden en bieden bij gebruik van een website geheugenruimte en een internetaansluiting soelaas. Toegang Van een papieren portfolio bestaat meestal maar één exemplaar. Dit leidt tot problemen indien meerdere personen het portfolio moeten beoordelen of evalueren, bijvoorbeeld een beoordelingscommissie of intervisiegroep. Het portfolio moet tussen de verschillende personen rouleren, hetgeen (ontoelaatbare) vertraging met zich meebrengt en mogelijk leidt tot zoekraken. Een digitaal portfolio is via internet of een fileserver voor meerdere personen toegankelijk te maken of kan, in tegenstelling tot een papieren portfolio, eenvoudig gekopieerd worden, bv bij gebruik van een CD-rom. De privacy gevoeligheid van de informatie vraagt hierbij wel om authenticatie en autorisatie of, in geval van een CD-rom, om gedragsregels. Gebruiksgemak In een papieren portfolio moet vaak in bijgeleverde ordners gezocht worden naar het in de beschrijving of analyse genoemde bewijsmateriaal. Indien gebruik wordt gemaakt van geluid of video, moet een afspeelapparaat voor handen zijn en moet doorgespoeld worden naar het aangegeven fragment. In een digitaal portfolio zijn vaak functies aanwezig waarmee op tekst of trefwoorden gezocht kan worden. Ook kan gebruik worden gemaakt van verwijsmogelijkheden als hyperlinks. Bij het aanklikken hiervan komt automatisch het gewenste document in beeld of wordt het juiste fragment afgespeeld en hoeft niet gezocht te worden. Het is als het ware een all-in-one oplossing. Daar staat tegenover dat veel docenten problemen hebben met lezen vanaf het scherm. Vaak geven ze wat dit betreft de voorkeur aan een papieren portfolio. 2.2.2 Aandachtspunten digitaal portfolio In de literatuur aangaande het invoeren van een digitaal portfolio in het onderwijs worden de volgende aandachtspunten genoemd: Digitale portfolio s in het hoger onderwijs 12

Portfolio s in het hoger onderwijs SDe technische infrastructuur 2 van de instelling moet geschikt zijn om het digitaal portfolio in te kunnen zetten. SStudent en docent moeten opgeleid worden of extra tijd steken in het leren omgaan met de programmatuur. SStudent dient het digitaliseren van analoog materiaal en het bewerken van digitaal multimedia materiaal te beheersen. SGebrek aan PC-vaardigheden mag niet leiden tot het niet kunnen samenstellen van een portfolio. SDe authenticatie en autorisatie van het digitaal portfolio dienen adequaat geregeld te zijn. SDe student heeft in de thuissituatie vaak alleen de beschikking over een modem met beperkte bandbreedte. 2.3 Conclusies Bij het ontwikkelen van het generiek model dient rekening gehouden te worden met drie relevante model -portfolio s die naar inzicht van de instelling gecombineerd kunnen worden tot een voor de betreffende instelling geschikt portfolio. Belangrijk hierbij is dat de inhoud van de drie model -portfolio s verschillend is. Bij het ontwikkelen van een generiek model moet rekening gehouden worden met portfolio s die samengesteld zijn uit enkel en alleen bewijsmateriaal, portfolio s die reflecties en beschouwingen bevatten waarbij ter ondersteuning verwezen kan worden naar bewijsmateriaal, portfolio s die overzichten bevatten van taken en vaardigheden en met combinaties van deze drie vormen. In alle gevallen stelt de student het portfolio samen en is er een begeleider of beoordelaar die het portfolio van de student moet kunnen bekijken en respectievelijk feedback of een beoordeling moet kunnen geven aan de betreffende student. In het vervolg van dit onderzoek dient zoveel mogelijk rekening gehouden te worden met de in paragraaf 2.2.2 genoemde aandachtspunten. 2 Technische infrastructuur van een informatiesysteem: de technische structuur, voor zover deze gemeenschappelijk is voor meerdere informatiesystemen. Tot de technische structuur behoort onder meer computerapparatuur, randapparatuur, opslagmedia en datacommunicatiemiddelen, aangevuld met systeemprogrammatuur (Rijsenbrij H5, 1998). Digitale portfolio s in het hoger onderwijs 13

Ontwikkelen van informatiesystemen 3 Ontwikkelen van informatiesystemen Het ontwikkelen van informatiesystemen is een complex proces. Het afleggen van de weg van probleemsituatie naar pasklare oplossing verloopt vaak moeizaam en blijkt ook regelmatig te mislukken. Om de problematiek het hoofd te bieden, leek het ontwikkelen van methoden en technieken ter ondersteuning van het ontwikkelingsproces een eerste stap in de goede richting. Hierdoor werden eerder gemaakte fouten voorkomen en werd systematischer gewerkt. Ook ging men door standaardisatie efficiënter werken en werden er manieren aangereikt om de complexiteit van de informatiesysteemontwikkeling beter te kunnen hanteren. Deze methoden zijn uitgegroeid tot methodieken 3, elk met een eigen oriëntatie en doelstelling. Uit de literatuur blijkt echter ook dat de bijdrage die methoden leveren aan het ontwikkelen van informatiesystemen niet overschat dient te worden. In 1982 schreef Van Rees dat het niet de methode is die ontwerpt, maar de ontwikkelaar. Er bestaat geen pasklare, algemeen geldende oplossing voor het ontwikkelen van informatiesystemen. Er is een aanpak nodig die gebaseerd is op overwegingen van contingentie (Davis & Olson, 1987; Bots et al., 1999) en consistentie (Bots et al, 1999). De context waarin het systeem moet functioneren speelt daarbij een grote rol. De ontwikkelaar dient bijvoorbeeld rekening te houden met de organisatiestrategie, afstemming met bestaande informatiesystemen, kwaliteitseisen en mogelijkheden en risico s. Kortom, de behoefte groeide om het informatiesysteem in een breder kader te plaatsen. Onduidelijk was nog hoe dat precies moest. Met het gebruik van raamwerken voor de modellering is geprobeerd dit geheel te overzien en de systeemontwikkeling in de juiste richting te sturen (Van Swede & Van Vliet, 1994). Ter ondersteuning van de gekozen aanpak voor het ontwikkelen van de digitale portfolio omgeving wordt in dit hoofdstuk ingegaan op enkele voor dit onderzoek relevante methoden en technieken die ook in de vakliteratuur voor het ontwikkelen van informatiesystemen van belang worden geacht. Daarbij wordt tevens aangegeven waarom deze specifieke methoden en technieken relevant zijn voor dit onderzoek. In paragraaf 3.1 wordt ingegaan op voor dit onderzoek relevante methoden voor het ontwikkelen van informatiesystemen. In paragaaf 3.2 wordt aangegeven hoe bij de ontwikkeling van informatiesystemen rekening gehouden kan worden met risico s en onzekerheden. In paragraaf 3.3 wordt een aantal raamwerken voor het ontwikkelen van informatiesystemen beschreven, worden enkele toepassingen ervan toegelicht en worden deze raamwerken met elkaar vergeleken. Paragraaf 3.4 bevat de conclusies van dit hoofdstuk. 3.1 Ontwikkelmethoden Zoals in paragraaf 2.1 beschreven is kent een portfolio meerdere (te combineren) doelstellingen en is de inhoud van het portfolio afhankelijk van de doelstelling. Met de doelstelling ligt dus ook de inhoud vast. De inhoud van het portfolio, en daarmee de gegevens, is (meestal) eenvoudig van structuur 4. Ten aanzien van de activiteiten die binnen de digitale portfolio omgeving plaatsvinden is nog veel onduidelijkheid. Procesgerichte methoden zijn er op gericht het proces te verbeteren en te verhelderen. Het ligt dan ook voor de hand een procesgerichte methode voor het opstellen 3 Methodiek: een vanuit een bepaalde visie bij elkaar horende verzameling methoden en technieken. 4 In incidentele situaties is aanvullend onderzoek naar de structuur van gegevens noodzakelijk. Zie ook paragraaf 4.1.4. Digitale portfolio s in het hoger onderwijs 15

Ontwikkelen van informatiesystemen van het generiek model te hanteren. In paragraaf 3.1.1 wordt een tweetal procesgerichte ontwikkelmethoden kort beschreven. Een eerste onderzoek naar digitale portfolio omgevingen wees uit dat er een aantal pakketten op de markt wordt aangeboden waarmee een digitale portfolio omgeving gerealiseerd kan worden. Ook bleek dat instellingen een digitale portfolio omgeving gerealiseerd hadden die samengesteld is uit reeds binnen de instelling aanwezige deeloplossingen in combinatie met een op de markt verkrijgbaar pakket. Bij technologie gerichte ontwikkelmethoden spelen beschikbare programmatuur en/of apparatuur een belangrijke rol. De verwachting is dat een ontwerpaanpak op basis van een technologiegerichte ontwikkelmethode geschikt is. In paragraaf 3.1.2 wordt ingegaan op methoden voor technologie gerichte ontwikkeling. De oplossing kan zowel een beschikbaar pakket betreffen als beschikbare deeloplossingen die gezamenlijk de gewenste functionaliteit leveren. In het vervolg van dit rapport worden beide mogelijkheden als pakket aangeduid. 3.1.1 Procesgerichte ontwikkelmethoden In deze paragraaf worden twee ontwikkelmethoden kort beschreven. Information System work Analyses and Change Information System work Analyses and Change (ISAC) (Essink & Romkema, 1989) is goed toepasbaar als nog niet bekend is of een informatiesysteem een oplossing biedt voor het probleem. De veranderingsanalyse, een zeer gewaardeerd onderdeel van ISAC, biedt daar zicht op. Gestructureerde Analyse en Ontwerp Hoewel Gestructureerde Analyse en Ontwerp (GAO) (Yourdon, 1990) een procesgerichte methodiek is, wordt binnen GAO toch aandacht besteed aan de gegevensmodellering. Ook wordt binnen GAO rekening gehouden met het tijdsafhankelijk gedrag van informatiesystemen. GAO bestrijkt een groot deel van de modellering op conceptueel niveau (zie tabel 1). Model Omgevingsmodel Gedragsmodel Gebruikers implementatiemodel Onderdelen Doelomschrijving Contextdiagram Gebeurtenissenlijst Procesmodel Processpecificaties Data dictionary Gegevensmodel Toestands(overgang)diagra m Gebruikers implementatiemodel Tabel 1: Modellen binnen GAO op conceptueel niveau Digitale portfolio s in het hoger onderwijs 16

Ontwikkelen van informatiesystemen 3.1.2 Technologie gerichte ontwikkelmethoden Alvorens een beschikbare oplossing geselecteerd kan worden, dient bekend te zijn welk toepassingsgebied de programmatuur moet bestrijken en aan welke eisen de programmatuur moet voldoen. Vervolgens kan de selectie plaatsvinden. Voor het selecteren van geschikte software zijn meerdere methoden voor handen. De meest gangbare pakketselectie methoden hebben het vergelijken van het eisenpakket met de functionaliteit van mogelijk geschikte pakketten als uitgangspunt. In deze paragraaf wordt ingegaan op een drietal methoden voor pakketselectie. Selectieproces van Dean en Vigder Dean en Vigder (2000) hebben een aantal methoden voor pakketselectie met elkaar vergeleken en hebben door de voordelen van alle methoden te combineren een eigen methode voor pakketselectie ontwikkeld. Zij stellen dat bij gebruik van methoden die het vergelijken van het eisenpakket met de functionaliteit van mogelijk geschikte pakketten als uitgangspunt hebben, een aantal problemen kunnen optreden: 1. De functionele eisen van de organisatie worden in een vroeg stadium opgesteld. De mogelijkheden die de pakketten bieden zijn dan nog niet bekend en kunnen de aanvankelijk opgestelde functionele eisen in een later stadium beïnvloeden. 2. De functionaliteit van de mogelijk geschikte pakketten wordt afgeleid van de door de leverancier verstrekte functionele beschrijvingen en uit demonstraties. Het is onduidelijk of deze functionaliteit geleverd wordt in de context waarin het systeem daadwerkelijk geïmplementeerd wordt. In het selectieproces dat Dean en Vigder (2000) voorstaan, wordt het eerste probleem ondervangen door te beginnen met een beperkt aantal eisen en deze uit te breiden en / of aan te passen aan de hand van mogelijkheden die pakketten bieden. Het tweede probleem wordt aangepakt door gebruik te maken van prototypes voor een redelijk groot aantal mogelijk geschikte oplossingen. Selectieproces van Meijers Volgens Meijers (2001) betreft het selectieproces niet alleen het selecteren van een oplossing, maar komt er meer bij kijken. Hij geeft een methode voor pakketselectie die bestaat uit tien stappen die deels parallel aan elkaar kunnen worden uitgevoerd (zie figuur 3). Figuur 3: Selectieproces van Meijers ( 2001) Digitale portfolio s in het hoger onderwijs 17

Ontwikkelen van informatiesystemen Selectieproces van Cuppen en Cuppen Cuppen en Cuppen (2000) geven een algemeen stappenplan voor een selectieproces dat wordt aangeduid met de naam workshop-variant (zie tabel 2). Zij geven hierbij aan dat in de praktijk van de stappenvolgorde kan worden afgeweken. Dit proces wordt workshopvariant genoemd omdat er geen ellenlange vragenlijsten of checklists worden opgesteld, maar workshops worden bijgewoond en uitgegaan wordt van het principe doen is begrijpen / handelen om te begrijpen. De keuze voor de pakketten die in eerste instantie in aanmerking komen, wordt gemaakt op basis van de algemene informatie over standaardpakketten die, mede door de groei van de ICT, ruimschoots voorhanden is. 1 Plan van aanpak 2 Globale eisen en wensen 3 Marktonderzoek 4 Voorselectie 5 Demonstraties Contacten referenties 5 Request for information 6 6 Voorlopige keuze 7 Workshop 8 Contractonderhandelingen Definitieve offerte 9 Invoering Tabel 2: Selectieproces van Cuppen en Cuppen (2000) Evenals vele anderen wijzen Cuppen en Cuppen (2000) erop dat de behoeften van de organisatie en de mogelijkheden van het pakket niet altijd met elkaar in overeenstemming zijn (zie figuur 4) (zie ook richtlijn selectieproces, bijlage 4). Figuur 4: Behoeften, behoeftedekking en mogelijkheden De behoeften van de organisatie worden slechts gedeeltelijk gedekt door het pakket, en het pakket bezit daarnaast functionaliteit die de organisatie niet nodig heeft. Overigens kan het ook zo zijn dat de behoeften van de organisatie volledig terug te vinden zijn in de behoeftedekking van het pakket, maar dat het pakket nog veel meer, niet gewenste of benodigde 5 Contacten referenties : het bezoeken van organisaties die gedurende enige tijd met soortgelijke functionaliteit werken 6 Request for information: het sturen van een vragenlijst met alle wensen, eisen en randvoorwaarden aan de pakketleverancier Digitale portfolio s in het hoger onderwijs 18

Ontwikkelen van informatiesystemen functionaliteit bezit of dat slechts een deel van de behoeften van de organisatie vervuld zijn door het pakket, en het pakket niet meer te bieden heeft. De mogelijkheden die de organisatie in dergelijke situaties heeft zijn weergegeven in tabel 3. Probleem Niet gerealiseerde behoeften organisatie Niet gewenste mogelijkheden pakket Keuze 1. niets doen 2. aanpassen van de organisatie aan het pakket 3. zelf het ontbrekende deel ontwikkelen 4. leverancier het ontbrekende deel laten ontwikkelen 1. alleen de gewenste modulen aanschaffen 2. het pakket wordt geaccepteerd: a. financiële consequenties b. ruimte voor groei, mits passend in informatieplan Tabel 3: Keuzes als behoeften en / of mogelijkheden van een pakket niet aansluiten 3.2 Contingentiebenadering In deze paragraaf wordt uitgelegd waarom het bij de ontwikkeling van informatiesystemen van belang is rekening te houden met onzekerheden en wordt ingegaan op de omgang met onzekerheden. Davis en Olson (1987) wijzen erop dat kennis over de uitkomst van belang is bij het nemen van beslissingen. Hiermee bedoelen zij kennis over zekerheid, risico s en onzekerheid. Met name kennis over onzekerheid moet gebruikt worden om risico s te reduceren. Binnen de informatiesysteemontwikkeling kunnen factoren ten aanzien van de organisatie, de toepassing en de participanten (gebruikers en analisten) tot onzekerheid en risico s leiden (Davis & Olson, 1987; Lemmen et al., 1993). De onzekerheids- of contingentiefactoren zelf zijn situationeel gebonden en kunnen dus per organisatie, en binnen een organisatie per toepassing, verschillend zijn. Davis en Olson (1987) introduceren bij de informatiesysteemontwikkeling contingentiefactoren ten aanzien van twee aspecten: 1. de mate van onzekerheid over het vaststellen van het eisenpakket. Lemmen et al. (1993) spreekt hierbij van probleemonzekerheid. Hij geeft aan dat de probleemonzekerheid beïnvloed kan worden door de manier waarop de informatiebehoeften wordt achterhaald en de manier van validatie. 2. de mate van onzekerheid over de realisatie van het vastgestelde eisenpakket. Lemmen et al. (1993) spreekt in dezen over oplossingsonzekerheid en geeft aan dat deze beïnvloed kan worden door het aantal iteraties in het ontwerpproces en de basis 7 van de methodiek of ontwerpaanpak. De contingentiebenadering houdt in dat een strategie gekozen wordt die past bij het vastgestelde niveau van onzekerheid. Afhankelijk van de mate van probleemonzekerheid en 7 Basis: de kennis die als uitgangspunt dient voor de synthese, bv synthese van deeloplossingen, een referentiemodel, een methodiek, analyse van de organisatie Digitale portfolio s in het hoger onderwijs 19