Universiteit Antwerpen Faculteit Wetenschappen Departement Wiskunde-Informatica Aan dhr. Dieter Cortvriendt VLIR Ravensteingalerij 27 1000 Brussel Cc: Rosette S Jegers, secretaris-generaal VLIR UW KENMERK VLIR KV09-V4 144/10 ONS KENMERK -- Prof. Serge Demeyer Middelheimlaan 1 B-2020 ANTWERPEN BELGIE Tel.: +32 (0)3 265 39 08 Fax: +32 (0)3 265 37 77 serge.demeyer@ua.ac.be http://www.win.ua.ac.be/~sdemey/ DATUM 1 maart 2010 BIJLAGE -- Betreft: Visitatie Informatica-Toegepaste informatica-computerwetenschappen Concept deelrapport bachelor en master informatica UA Geachte heer Cortvriendt, Algemene reactie van de decanen Als decaan en facultair coördinator van de faculteit en van de recent gevisiteerde opleiding Informatica (en in samenspraak met de decanen en facultair coördinatoren van alle zusterinstellingen), houden wij eraan de commissie met dit schrijven enerzijds te danken voor de visitatie en anderzijds op de hoogte te brengen van een grote bezorgdheid. Alle betrokken opleidingen hebben recent de voorlopige deelrapporten ontvangen van de visitatie Informatica-Toegepaste Informatica-Computerwetenschappen. Zij getuigen, evenals de bezoeken waarop we de commissie mochten ontmoeten, van de toewijding, expertise en inspanning waarmee de commissie evenals de cel Kwaliteitszorg van de VLIR de verschillende opleidingen grondig hebben doorgelicht. De bevindingen, conclusies en aanbevelingen zijn een bron van inspiratie voor alle opleidingen en worden ter harte genomen voor de verdere optimalisering van de kwaliteit van het onderwijs. Wij willen onze oprechte dank en waardering uitspreken voor dit gepresteerde werk. Bij ontvangst van de rapporten zijn de opleidingen echter geschrokken van de onverwacht lage scores die werden uitgedeeld. Daarom hebben de facultair coördinatoren van de betrokken opleidingen een spontaan interuniversitair overlegmoment georganiseerd op 17 februari 2010. Op dat moment werd bij nadere bestudering van de rapporten duidelijk dat de eindbeoordelingen voor de verschillende facetten algemeen resulteerden in eerder vlakke scores die ongewoon laag zijn binnen de Vlaamse context. Ofschoon de commissie heel expliciet aangeeft dat elke mathematische vergelijking tussen de hier gevisiteerde opleidingen uitgesloten is, en dus a fortiori ook elke vergelijking met opleidingen die door andere commissies gevisiteerd werden, moeten wij met de realiteit leven dat dit soort vergelijking in de praktijk de regel is. Uit ervaring blijkt dat deze vergelijkingen courant worden uitgevoerd, eenvoudig en objectief als ze lijken te zijn, en in public relations en beleidsbeslissingen worden aangewend. Dit wordt mede aangemoedigd door het feit dat de eindscores van het visitatierapport door de NVAO zonder verdere kalibratie worden overgenomen in het accreditatierapport. Sta ons toe om dit wat concreter te duiden. 1/7
Om de beoordelingen van de diverse gevisiteerde opleidingen op een toch iets kwantitatieve manier te kunnen vergelijken, hebben de facultair coördinatoren gemiddelde scores berekend (hierbij beschouwden zij onvoldoende als 0, voldoende als 1, goed als 2 en excellent als 3) zich wel bewust van het relatieve karakter hiervan. Hierbij werd vastgesteld dat de gemiddelde score over alle ITC-opleidingen heen 1,01 bedraagt. Zonder ons te willen wagen aan een grondige statistische analyse van dit materiaal, leert ons een vergelijking van deze gemiddelde rapportscore met de gemiddelde rapportscores voor alle reeds gepubliceerde rapporten van de tweede visitatieronde zoals die te vinden zijn op de website van de VLIR (dit zijn de 42 rapporten die dezelfde criteria gebruiken sinds 2004), dat de laagste gemiddelde rapportscore die tot op heden toegekend werd 1,10 bedraagt. Ter informatie kunnen wij ook nog meedelen dat de gemiddelde rapportscore 1,57 is met een standaardafwijking van 0,32. De allerhoogste gemiddelde rapportscore is 2,38. Op opleidingsniveau eindigt de beste informaticaopleiding volgens dit criterium niet hoger dan 322ste op een totaal van 391 gevisiteerde opleidingen sinds 2004. De gemiddelde ITC-opleiding komt terecht in een groep van opleidingen met een negatieve totaalconclusie. De standaardafwijking van de scores over de verschillende facetten per opleiding is de op twee na kleinste van de 42 beschouwde visitatierapporten, wat weliswaar minder dramatisch wijst op scores die ook uitzonderlijk vlak zijn. Alle decanen en facultair coördinatoren van de betrokken opleidingen maken zich zorgen over de gevolgen van de huidige beoordeling. Wij vrezen schade op drie niveaus. 1. Binnen de instelling en over verwante opleidingen aan diverse instellingen heen. De betrokken opleidingen dreigen de komende jaren met de twijfelachtige eer van zwakste visitatie van alle gevisiteerde Vlaamse opleidingen te moeten leven, hetgeen een impact zal hebben op het keuzegedrag van studenten en demotiverend is voor de betrokken medewerkers. 2. Tussen de universitaire en niet-universitaire informaticaopleidingen. De academiserende hogeschoolopleidingen kijken met bijzondere belangstelling uit naar de visitatieresultaten van hun academiseringspartner. Bij een recente visitatie werden de hogeschoolopleidingen elektronica-ict en informatica beoordeeld met een gemiddelde rapportscore van 1,49 (daarbij werd hetzelfde visitatieprotocol gebruikt en diverse lesgevers uit de ITC-opleidingen maakten deel uit van de betrokken visitatiecommissies). De hogeschoolopleidingen zullen zich vragen stellen over de globaal lage scores van hun academiseringspartners. Dit dreigt het al delicate academiseringsproces te bemoeilijken. Daarnaast is er ook de impact op het keuzegedrag van studenten die, op basis van het in de visitatierapporten gerapporteerde kwaliteitsverschil, de universitaire opleidingen links kunnen laten liggen. 3. Maatschappelijk. Het valt te vrezen dat de scores in de gespecialiseerde pers en wellicht ook daarbuiten, vertaald zullen worden in een belabberde toestand van het universitaire onderwijs in de informatica/computerwetenschappen in Vlaanderen. In een tijd waarin het steeds moeilijker is om jonge mensen te motiveren om een carrière in de informatica/computerwetenschappen aan te vatten, versterkt dit enkel maar de reeds aanwezige vooroordelen over de opleiding. De decanen en facultair coördinatoren van de betrokken opleidingen zijn, mede gesteund door uw verbale bevindingen, overtuigd van de kwaliteit van de gevisiteerde opleidingen. Wij vermoeden dat de commissie de scores die uiteindelijk zijn uitgereikt anders en strenger heeft ingevuld heeft dan de meeste andere visitatiecommissies. Wij willen de commissie vragen te overwegen of een eindoordeel dat kan worden geïnterpreteerd als ronduit de zwakste van alle gevisiteerde opleidingen tot nog toe inderdaad overeenstemt met de eindconclusie die zij beoogd heeft. Mocht dit niet zo zijn, dan hopen wij dat in het belang van onze opleidingen en hun maatschappelijk belang, de scores zo kunnen worden geherkalibreerd dat ze de relatieve positie in het Vlaamse landschap tegenover verwante opleidingen (we denken aan wiskunde, natuurkunde, bouwkunde, chemie-materiaalkunde, enz.) zo correct mogelijk weergeven. We voelen ons in deze vraag gesterkt door uw eigen bezorgdheid voor de correcte positionering en het publieke imago van de ITC-opleidingen waarvan de commissie zowel tijdens de visitatiegesprekken als in de deelrapporten herhaaldelijk blijk heeft gegeven. Ter motivering van deze vraag naar herkalibrering, lijsten wij hieronder per facet enkele concrete argumenten op, waarvan wij hopen dat de commissie ze in overweging zal willen nemen. 2/7
Reactie op deelrapport UA Opmerkingen van inhoudelijke aard Facet 1.1.: Niveau en oriëntatie Facet 1.2.: Domeinspecifieke eisen Bovendien stelt de handleiding voor de onderwijsvisitaties als beoordelingscriteria voor dit facet: (1) de eisen die worden gesteld door (buitenlandse) vakgenoten & de wensen en behoeften van het beoogde beroepenveld en (2) eindkwalificaties zijn ontleend aan eisen vanuit de wetenschappelijke discipline. Wij hebben beide aangetoond door middel van (1) een analyse van de tewerkstelling van afgestudeerden en de beschrijving van beroepsprofielen (op basis van vacature-analyse) en (2) richtlijnen van beroepsen onderzoeksorganisaties. Het conceptrapport geeft zelf aan dat we deze analyse grondig hebben doorgevoerd (" deze profielen zijn een goede indicatie ", " de beroepsprofielen van de master Informatica goed aansluiten bij de professionele vereisten enerzijds en in de lijn liggen van de kerncompetenties anderzijds "). Het verbeterperspectief wijst er alleen op dat "de studentgecentreerde aanpak nog sterker ontwikkeld kan worden"; wat eerder thuishoort bij de facetten 2.1 en 2.2. Vandaar dat wij vragen om deze score te veranderen in "goed" voor de bachelor- en masteropleiding. Facet 2.1.: Relatie doelstelling en inhoud Facet 2.2.: Eisen professionele en academische gerichtheid Facet 2.3.: Samenhang van het programma Facet 2.5.: Studietijd Facet 2.6.: Afstemming vormgeving en inhoud 3/7
Facet 2.7.: Beoordeling en toetsing Facet 2.8.: Masterproef dan de meeste andere visitatiecommissies, vragen wij de score "voldoende" voor de masteropleiding informatica te herkalibreren zodat ze overeenstemt met de relatieve positie van verwante opleidingen in het Vlaamse landschap. Bovendien stelt de handleiding voor de onderwijsvisitaties als beoordelingscriteria voor dit facet: '(1) in de masterproef geeft de student blijk van een analytisch vermogen of van een zelfstandig probleemoplossend vermogen op academisch niveau.' en '(2) het werkstuk weerspiegelt de algemeen kritischreflecterende ingesteldheid of de onderzoeksingesteldheid van de student'. Beide criteria worden gegarandeerd door het masterproefbegeleidingsproces en de uitvoerig beschreven in de Richtlijn Eindverhandeling Informatica, waarover het conceptrapport stelt: "De commissie spreekt zich lovend uit over deze aanpak." Ook over de beoordelingscriteria stelt het conceptrapport: "De commissie apprecieert het dat er voor beide methodes evaluatiecriteria zijn opgesteld." Er zijn enkele kleinere opmerkingen (o.a. over het uniform gebruik van de beoordelingscriteria door de verschillende jury's) die geen aanleiding hebben gegeven tot het formuleren van een expliciet verbeterpersepectief. Vandaar dat wij vragen om deze score te veranderen in "goed" voor de masteropleiding. Facet 2.9.: Toelatingsvoorwaarden Facet 3.1.: Kwaliteit personeel Facet 3.2.: Eisen professionele en academische gerichtheid Facet 3.3.: Kwantiteit personeel Facet 4.1.: Materiële voorzieningen Bovendien stelt de handleiding voor de onderwijsvisitaties als beoordelingscriteria voor dit facet: 'de huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren'. Het conceptrapport laat zich uit in lovende woorden over de huisvesting en de materiële voorzieningen en maakt drie concrete aanbevelingen (toegangsuren PC-ruimtes, extra faciliteiten projectwerk en gebruik van elektronische leeromgevingen) waarvan voor één ervan al onmiddellijk wordt toegegeven dat "De commissie heeft begrepen dat hier binnen het departement spoedig werk van gemaakt wordt." Vandaar dat wij vragen om deze score te veranderen in "goed" voor de bachelor- en masteropleiding. 4/7
Facet 4.2.: Studiebegeleiding dan de meeste andere visitatiecommissies, vragen wij de score "goed" voor de bachelor- en Facet 5.1.: Evaluatie resultaten Facet 5.2.: Maatregelen tot verbetering Bovendien stelt de handleiding voor de onderwijsvisitaties als beoordelingscriteria voor dit facet: 'De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen'. De onderwijscommissie Informatica een zeer actieve rol op in het aanpakken en opvolgen van verbeteringen, zoals beschreven in het zelfevaluatierapport op p. 115, 118-119, 119 en 134. Het conceptrapport bevestigt deze actieve rol: "De commissie is van mening dat naar aanleiding van de vorige onderwijsvisitatie en de BaMa-hervorming vele inspanningen [ ] zijn geleverd om de kwaliteit van het onderwijs te verbeteren. [ ] Ook de programma- en opleidingsonderdeelevaluaties hebben aantoonbare verbetermaatregelen gesorteerd." Het enige punt van kritiek is: "De commissie stelt echter vast dat vele van deze remediëringsacties ad hoc gebeuren en nog al te veel steunen op louter persoonlijke initiatieven." Maar in een relatief kleine ploeg is persoonlijk initiatief een sterktepunt, en "ad hoc" een noodzaak om flexibel en snel in te spelen op een snel veranderende context. In het kader van het verbeterperspectief stelt de visitatiecommissie voor een meerjarenplan op te stellen. Zoals blijkt uit een bijlage van het zelfevaluatierapport (zie Bijlage III.04: Beleidsplan Informatica (februari 2009)) behoort dit wel degelijk tot de werkcultuur. En het huidige zelfevaluatierapport is expliciet opgesteld als een strategisch plan te gebruiken als leidraad voor de komende middellange termijnplanning (cfr. de SWOT analyse in het besluit). Vandaar dat wij vragen om deze score te veranderen in "goed" voor de bachelor- en masteropleiding. Facet 5.3.: Betrekken van medewerkers, studenten, alumni, beroepenveld dan de meeste andere visitatiecommissies, vragen wij de scores "voldoende/onvoldoende" voor de bachelor- respectievelijk masteropleiding informatica te herkalibreren zodat ze overeenstemmen met de relatieve positie van Facet 6.2.: Onderwijsrendement Feitelijke onjuistheden p. 9 "Bovendien, zo stipt de commissie aan, is de consistentie van het programma (inhoud) met de kerncompetenties (doelstellingen) slechts a posteriori gecheckt. Dit is weliswaar noodzakelijk als controle, maar er is ook nood aan een a priori approach." Zoals blijkt uit de bijlagen van het zelfevaluatierapport (zie Bijlage III.01: Toekomstscenario s Opleiding Informatica (versie 0.3) / Bijlage III.02: Eindtermen Opleiding Informatica (versie 0.4) / Bijlage III.03: Bachelor & Master Informatica (versie 1.2)) zijn de kerncompetenties wel degelijk a priori opgesteld en geverifieerd. Maar snel en vaak veranderende externe factoren (o.a. de invoering van de Dublin descriptoren in 2004 twee jaar nadat wij onze eindtermen hadden geformuleerd; de volledige ommezwaai omtrent de 3+1 of 3+2 structuur van de opleiding) veroorzaakten vele kleinere verschuivingen in zowel de kerncompetenties als de opleidingsonderdelen. Daardoor was het 5/7
bijhouden van de congruentietabellen in de praktijk onhoudbaar. Vandaar dat wij ervoor hebben gekozen om in een tweede fase als een en ander was gestabiliseerd een grondige a posteriori verificatie te houden. p. 9 "Belangrijke aanpassingen aan de programma s schijnen slechts zelden (om de acht jaar) te mogen gebeuren en belemmeren dus het iteratieve ontwerp van de programma s." Zoals blijkt uit het zelfevaluatierapport (p. 113-114) volgt een grote curriculumwijziging in principe na een visitatieronde, maar zijn tussentijdse wijzigingen zeker mogelijk. Op p.114 lijsten we de verschillende tussentijdse wijzigingen op. Het adjectief 'klein' mag hier niet geïnterpreteerd worden als 'weinig', maar doelt eerder op de verdere procedure die de curriculumwijziging volgt in de behandeling door de faculteitsraad en de onderwijsraad. p. 25 "Ze stelt ook vast dat er weinig of geen toetsbare streefdoelen geformuleerd zijn." De gevalideerde vragenlijst die wordt gebruikt bij de docentenevaluaties (zie Bijlage Ix.5.5 bij het Zelfevaluatierapport) is een expliciete representatie van toetsbare streefdoelen (1. Duidelijkheid van de doelstellingen / 2. Relevantie van de leerinhouden / 3. Opbouw van de inhoud / 4. Doceerstijl docent/ 5. Worden studenten door docent gestimuleerd in hun leerproces?/ 6. Studiemateriaal: bijdrage tot het begrijpen van de leerstof / 7. Studeerbaarheid / 8. Hulp van de docent tijdens het leerproces / 9. Authenticiteit summatieve evaluatie / 10. Formatieve evaluatie / 11. Inhoudsvaliditeit summatieve evaluatie / 12. Aansluiting bij voorkennis). Het gebruik ervan door de CIKO heeft meermaals aangetoond dat ze wel degelijk toetsbaar zijn. Vragen tot verduidelijking p.6 Kan de commissie preciezer zijn over wat ze precies bedoelt met de "maatschappelijke dimensies"? Gaat het hier over de ethische en juridische dimensies (cfr. p. 11) of is het hier bewust breder gehouden? p.6 De term "doelstellingen" wordt binnen het conceptrapport niet eenduidig gebruikt. Wij begrijpen onder doelstelling onze algemene doelstelling "Het doel van de opleiding Informatica aan de Universiteit Antwerpen is bekwame en wetenschappelijk gevormde informatici af te leveren." Die doelstellingen zijn verfijnd in de kerncompetenties die concreet preciseren wat de student tijdens zijn opleiding dient te verwerven. Ten slotte zijn er de 'leerdoelen' die per opleidingsonderdeel gespecificeerd worden en een fijnere getrapte vertaling zijn van de kerncompetenties. Welk van die drie wordt precies bedoeld met de term "doelstellingen" op p. 6? p.18 Wat wordt precies bedoeld met de uitdrukking "in veil"? p.21 " wil de commissie dat er op een gerichte wijze gerekruteerd wordt." Kan de commissie preciseren wat hier bedoeld wordt met "gerichte rekrutering"? Wij openen momenteel een vacature voor een ZAP-positie: hoe moeten we binnen 8 jaar aantonen dat wij het advies hier hebben gevolgd? p. 25 " dat de relatie tussen beide evaluaties ondergedetermineerd is. " Kan de commissie verduidelijken wat bedoeld wordt met een "ondergedetermineerde relatie" en preciseren waarom dat een probleem is? Ons lijken twee onafhankelijke perspectieven eerder een pluspunt dan een minpunt, vooral omdat de kwantitatieve toetsing via de studentenenquêtes complementair is aan de kwalitatieve terugkoppeling van de focusgesprekken. p. 25 "Problemen worden aangepakt, maar dit wil nog niet zeggen dat waar en wanneer er geen problemen zijn niets zou verbeterd kunnen worden." Dat is een sloganeske formulering die weinig houvast biedt naar de toekomst. Hoe kunnen wij binnen 8 jaar aantonen dat wij hier iets aan hebben verbeterd? p. 25 "het ontbreekt de staf aan de nodige onderwijskundige bagage om deze verder uit te bouwen". Kan de commissie preciezer zijn over welke onderwijskundige bagage ontbreekt? En hoe die onderwijskundige bagage zal helpen bij het uitbouwen van een kwaliteitscultuur? Onze Universiteit voorziet een ruim aanbod aan Onderwijskundige professionalisering (zie p.76 van ons Zelfevaluatierapport): als er daar hiaten in zijn willen we die graag identificeren en verhelpen. p. 29 "In het kader van het verbeterperspectief meent de commissie dat met het invoeren van alternatieve onderwijsvormen een hoger rendement kan behaald worden." Kan de commissie verduidelijken wat we binnen 8 jaar moeten doen om hieraan te beantwoorden? Stel dat we nog andere/meer/betere alternatieve onderwijsvormen invoeren, maar het onderwijsrendement niet verbetert? (Die kans is reëel, slaagcijfers hangen sterk af van externe factoren). Stel dat het onderwijsrendement wel verbetert maar dat we geen alternatieve onderwijsvormen introduceren? 6/7
Suggesties voor verbetering p.6 "informaticagebeuren" deze term heeft een pejoratieve weerklank. p9 "a posteriori gecheckt" vervangen door " a posteriori geverifieerd" p9. "a priori approach" vervangen door "a priori benadering" p.11 "informaticagebeuren" deze term heeft een pejoratieve weerklank. (zie ook p. 6) p.12 " Een ander punt is dat de feitelijke studietijd in het eerste semester van de eerste bachelor meer dan de helft lager is dan begroot." Graag deze uitspraak nuanceren met de commentaar dat die feitelijke studietijd gebaseerd is op (jammer genoeg) onbetrouwbare studietijdmetingen. P. 18 Antwerpse komen waar de sociale achterstelling net wat groter is dan elders in Vlaanderen. Zien wij graag veranderd in Antwerpse komen met een sociaal net iets zwakkere recruteringsbasis dan elders in Vlaanderen. p. 29 "in the picture" vervangen door "in de verf" In het belang van de opleiding informatica aan de Universiteit Antwerpen en haar zusterinstellingen hopen wij dan ook dat de commissie gevoelig zal zijn voor de bezorgdheden die we via dit schrijven duidelijk hebben willen maken. Wij vragen U dan ook bovenstaande opmerkingen ter harte te nemen en het conceptrapport waar nodig aan te passen. Prof. Herwig Leirs decaan Faculteit Wetenschappen Universiteit Antwerpen Prof. Serge Demeyer facultair coordinator Opleiding Informatica Universiteit Antwerpen 7/7