Een wetenschappelijke blik op literatuur op het terrein van de sturing en de organisatie van ICT voorzieningen. Inhoudsopgave. 1. De opzet. 2. De theorie: wat houdt die invalshoek van de wetenschappelijk onderzoeker in? 2.1. De aandachtspunten bij een wetenschappelijk onderzoek. 2.2. Helder formuleren van het onderzoek(sdoel). 2.3. Starten met een onderzoek van de literatuur. 2.4. Begrijpen van de achtergrond van de diverse methoden van onderzoek. 2.5. De strategie achter het onderzoek. 2.6. Toegang tot bronnen en de ethiek bij het doen van onderzoek. 2.7. Het doen van een steekproef uit een populatie. 2.8. Gebruik van secundaire bronnen. 2.9. Verzamelen van gegevens door observatie. 2.10. Verzamelen van gegevens door het doen van interviews. 2.11. Verzamelen van gegevens door het houden van enquêtes. 2.12. Analyseren van kwantitatieve gegevens. 2.13. Analyseren van kwalitatieve gegevens. 2.14. Schrijven en/of presenteren van het artikel of het rapport. 3. Toepassing van de theorie op een artikel uit de ICT management literatuur. 3.1. De vragen bij de toepassing. 3.2. Het artikel van Weil en Ross: A matrix approach to designing IT governance 3.3. De beantwoording van de vragen voor dit artikel. 4. Conclusies. Literatuur: Saunders, M. c.s.: Research methods for Business Students, Prentice Hall, New York, 2007. Thiadens, Th.J.G.: Sturing en organisatie van ICT voorzieningen, van Haren publishing, 2e druk, Zaltbommel, 2008. Weil, P. en Ross, J: A matrix approach to designing IT governance, MIT Sloan management, review winter 2005. 1
1. De opzet. In het volgende wordt een artikel uit de ICT management literatuur geanalyseerd. De analyse van het artikel is gebaseerd op de eisen, die de literatuur stelt aan het doen van wetenschappelijk onderzoek en de weergave van dit onderzoek en haar resultaten in een presentatie, een artikel of een rapport.. Om de vragen voor de analyse van een wetenschappelijk onderzoek scherp te krijgen is gebruik gemaakt van het boek van Saunders c.s. Research methods for business students. Dit heeft twee redenen. Enerzijds wordt het boek van Saunders c.s. gebruikt om studenten voor te bereiden op hun thesis voor de master studie bij vele universiteiten. Anderzijds is het boek een heldere inleiding op de eisen, die men bij wetenschappelijk onderzoek mag stellen. Als artikel dat wordt geanalyseerd is gekozen voor een artikel van Weil c.s.. Dit artikel gaat over de besluitvorming over ICT voorzieningen. Sturing en organisatie van ICT voorzieningen kent namelijk als kern twee onderwerpen. Dit zijn het sturen en het organiseren van ICT voorzieningen. Het artikel van Weil c.s. geeft de resultaten weer van een empirisch onderzoek naar de sturing van ICT en het boek, waaruit dit artikel is voortgekomen, staat centraal bij het onderdeel ICT governance in het bij de opleiding gebruikte boek. In het volgende wordt in hoofdstuk aangegeven, welke vragen men vanuit wetenschappelijk perspectief op de verschillende genoemde gebieden aan onderzoek en aan de presentatie van onderzoek kan stellen. Deze vragen zijn de basis voor de analyse van een wetenschappelijk artikel,. Deze analyse vindt plaats in hoofdstuk 3. In hoofdstuk 4 volgt de conclusie van deze analyse. 2. De theorie: wat houdt die invalshoek van de wetenschappelijk onderzoeker in? 2.1. De aandachtspunten bij een wetenschappelijk onderzoek. In figuur 1 is systematisch aangegeven, hoe een onderzoek verloopt en welke onderwerpen bij een onderzoek aan de orde komen. Het resultaat ervan wordt vastgelegd in een boek of een artikel. De in figuur 1. aangegeven onderwerpen worden in de daarop volgende paragrafen van dit hoofdstuk behandeld. Bij het doen van onderzoek kan er sprake zijn van het doen van een fundamenteel onderzoek en het doen van een meer toegepast onderzoek. Bij een fundamenteel onderzoek is het doel de kennis van een bepaald onderwerp te verbreden. De resultaten ervan worden in algemene termen geformuleerd, zodat de bijdrage van het onderzoek van belang is voor de maatschappij in het algemeen. Dergelijk onderzoek vindt vooral plaats bij universiteiten. Het kent een nogal flexibel tijdspad. De keuze van het onderwerp van onderzoek en het doel van het onderzoek staat de onderzoeker vaak vrij. Bij meer toegepast onderzoek ligt dit anders. Nu zoekt men vaak naar een oplossing voor een bepaald probleem en is de kennis, die wordt vergaard, vaak beperkt tot de oplossing voor het probleem. Dergelijk type onderzoek treft men zowel aan in profit, als non profit organisaties. Bij dit type onderzoek heeft een beperkte tijd om tot een oplossing voor het probleem te komen. De doelen van het onderzoek worden bepaald door de opdrachtgever van het onderzoek. Dit leidt tot de volgende vragen voor de analyse in hoofdstuk 3.: a. ziet men de structuur van het onderzoek terug in het artikel? b. wat voor type onderzoek beschrijft het artikel? 2
Figuur 1.: Structuur van een onderzoek 2.2. Helder formuleren van het onderzoeks(doel). De eerste taak, die een onderzoeker moet verrichten, is het helder en scherp formuleren van de probleemstelling van het onderzoek, het daaruit afleiden van de onderzoeksvragen en het vervolgens maken van het ontwerp van het onderzoek. Dit wordt vastgelegd in een plan van aanpak. Het doel van het plan van aanpak is drieledig. In de eerste plaats zet een dergelijk plan de ideeën over het onderzoek op een rij. In de tweede plaats moet het plan de opdrachtgever de overtuiging geven, dat het geplande onderzoek mogelijk is binnen de gegeven tijd en de middelen. En tenslotte dient het plan om de goedkeuring van de opdrachtgever voor het onderzoek te krijgen. Het plan bestaat uit een titel, een indicatie van het belang om aan dit onderwerp te werken, een probleemstelling en onderzoeksvragen, de aanpak van het onderzoek, de te gebruiken middelen, de tijdsplanning, de risico s bij het doen van het onderzoek op deze voorgestelde wijze, de namen van de betrokkenen bij het onderzoek en een eerste opgave van de te gebruiken literatuur. Onderzoeksplannen worden geëvalueerd op hun samenhang, het kunnen uitvoeren van het onderzoek met de aangegeven middelen in de aangegeven tijd en het afwezig zijn van vooropgezette doelen. Dit leidt tot volgende vragen voor de analyse in hoofdstuk 3.: - is de probleemstelling van het onderzoek,welke in het artikel is vermeld, helder geformuleerd en vloeien de onderzoeksvragen hier logisch uit voort? 2.3. Starten met een onderzoek van de literatuur. Literatuur onderzoek ligt aan de basis van het onderzoek. Het doel hiervan hangt af van de manier, waarop men de literatuur wil gebruiken. De literatuur kan de basis geven voor een model, dat in het onderzoek vervolgens wordt getoetst. Dit is een deductieve aanpak. Het kan ook zo zijn dat op basis van de empirie theorieën worden geformuleerd. Deze theorieën worden vervolgens in verband gebracht met de huidige literatuur. Dit is een meer inductieve aanpak van het onderzoek. 3
Figuur 2.: Bronnen bij het literatuuronderzoek. Kritisch gebruiken van de literatuur houdt in: - het zoeken van literatuur, welke een relatie heeft met de probleemstelling; - het ervoor zorgen, dat men op de hoogte is van de meest relevante modellen en theorieën: - het werken met up to date bronnen; - het duidelijk refereren aan de bestaande literatuur. In figuur 2 zijn de bronnen van literatuur aangegeven. Dit leidt tot de volgende vragen voor de analyse in hoofdstuk 3.: - is er sprake van een inductieve of een deductieve aanpak bij de inzet van bronnen bij het onderzoek? - welk type bronnen gebruikt men in het onderzoek? 2.4. Begrijpen van de achtergrond van de diverse methoden van onderzoek. Methoden van onderzoek gaan uit van een bepaalde filosofie. De filosofie bij een onderzoek kan komen van: - de epistemologie. De epistemologie houdt zich bezig met de vraag, wat aanvaardbaar is als kennis in het vakgebied; - de beginselen van het positivisme. In dit geval werkt men met de zichtbare werkelijkheid; - de beginselen van het realisme In dit geval gaat men uit van de werkelijkheid; - het interpretisme. Hierbij houdt men er rekening mee, dat mensen verschillen als actoren in de maatschappij; - de ontologie. Nu gaat men in op de aard van de werkelijkheid: welke veronderstellingen en uitgangspunten zijn gehanteerd bij het onderzoek. etc. Deze filosofieën kunnen worden gehanteerd in een deductieve en een inductieve wijze van onderzoek. Bij de deductieve wijze gaat men uit van wetenschappelijke wetten; gaat men vanuit de theorie naar de empirie; moet men causale verbanden verklaren; werkt men met kwantitatieve gegevens; bouwt men controles in; werkt men zeer gestructureerd; staat de onderzoeker buiten het onderzochte en moet men voldoende empirie hebben om generaliseerbare conclusies te kunnen trekken. Bij de inductieve wijze van onderzoek krijgen men begrip door te luisteren naar de meningen van mensen; moet men de context van het onderzoek bepalen; werkt men met kwalitatieve data; is het onderzoek flexibel van opzet en wil men minder komen tot generalisatie. 4
Vragen voor de analyse in hoofdstuk 3.: - welke van bovenstaande filosofieën gelden voor het artikel van Weil c.s.? 2.5. De strategie achter het onderzoek. Bij het doen van research kan men gebruik maken van een aantal strategieën. We noemen hier de volgende: a. het doen van proeven: bij onderzoek op basis van proeven wordt een hypothese geformuleerd. Vervolgens worden steekproeven genomen uit een bekende populatie. Deze steekproeven hebben een random verdeling. Hierna wordt een interventie toegepast. Daarna wordt gemeten wat het effect is ten opzichte van de delen van de populatie, waarop geen interventie is toegepast. b. het inventariseren van de situatie: enquêtes zijn populair als men wil weten wat, waarom, hoeveel en hoe vaak iets voorkomt. Men stuurt enquêtes naar instanties. Deze vullen hem in. De binnengekomen resultaten worden geanalyseerd. c. het onderzoeken van een case: gebruik van cases wordt vaak gedaan, als het een empirisch onderzoek naar een bijzonder fenomeen betreft. Hierbij wordt vanuit diverse invalshoeken naar dat fenomeen gekeken. Yin (2003) geeft aan hoe men met case kan omgaan. d. het doen van action research: bij action research is research in actie in plaats van research over actie het onderwerp. Praktijkmensen worden betrokken worden in het onderzoek,waardoor er een samenwerking gaat ontstaan tussen deze praktijk mensen en de onderzoekers. Doen van action research heeft iets iteratiefs in zich. Er is een spiraal van diagnose, plannen, actie nemen en evalueren. Tenslotte hoopt men dat het onderzoek gevolgen heeft ook in andere constellaties.. e. het werken op basis van grounded theory: werken op basis van grounded theorie is inductief onderzoek doen. Eigenlijk bouwt men theorie door een combinatie van eerst inductief en dan deductief redeneren en zo doorgaand. f. het doen van een ethografisch onderzoek: doel is nu specifieke gevallen in de maatschappij te beschrijven. e. het onderzoeken op basis van archiefmateriaal: nu worden archieven gebruikt als primaire bron van gegevens. Vaak zal men bij een onderzoek gebruik maken van meerdere methoden van onderzoek. Soms kan men dit onderzoek dan over een langere termijn spreiden. Hierdoor kan men een ontwikkeling signaleren. Dit wordt longitudinaal onderzoek genoemd. Uitdagingen bij het ontwerpen van onderzoek zijn de zorg voor betrouwbaarheid van de gegevens; de zorg voor de validiteit van de gegevens en het kunnen generaliseren van de conclusies. Dit leidt tot de volgende vragen bij de analyse in hoofdstuk 3.: - welk onderzoeksontwerp is gekozen bij het onderzoek voor dit artikel? - met welke uitdagingen wordt men geconfronteerd wat betreft de betrouwbaarheid, de validiteit en de generaliseerbaarheid van de gegevens van het onderzoek? 2.6. Toegang tot bronnen en ethiek bij het doen van onderzoek. 5
Bij het doen van onderzoek moet men toegang hebben tot bronnen. Dit kan eenvoudig zijn. Toegang krijgen tot de juiste bronnen kan ook problemen met zich meebrengen. Vaak helpt het als: - men voldoende tijd neemt om de bronnen te vinden en te benaderen; - men gebruik maakt van bestaande contacten en tegelijk nieuwe contacten ontwikkelt; - men duidelijk maakt wat het doel is van het gebruik van de bron en welk gebruik men ervan wil maken; - men in staat is de bezwaren van organisaties, die als bron functioneren, te ontmantelen en tegelijk het voordeel kan aangeven voor de organisatie om deel te nemen aan het onderzoek; - men gebruik maakt van de juiste taal en men het deelnemen aan het onderzoek gemakkelijk maakt; - en men stap voor stap meer gebruik maakt van de bron en men ervoor zorgt daarbij het vertrouwen te winnen. Bij het doen van onderzoek en het gebruik van bronnen moet men rekening houden met: - Mogelijke inbreuken op de privacy van deelnemers; - Het vrijwillig karakter van deelname aan het onderzoek en de mogelijkheid zich deels of volledig uit het onderzoek terug te trekken; - De nodige toestemming van de deelnemers en de mogelijke teleurstelling van de deelnemers over de resultaten; - Het zorgen voor confidentialiteit van de data en het onmogelijk maken van herleiden van gegevens tot specifieke bronnen; - De reactie van participanten op de resultaten van het onderzoek en - Het gedrag en de objectiviteit van de onderzoeker. Dit leidt tot de volgende vragen voor de analyse in hoofdstuk 3. - hoe heeft men toegang gekregen tot de bronnen en wat betekent dit? - hoe houdt men bij het presenteren rekening maken met de rechten van de bronnen? Figuur 3.: Kiezen van een steekproef uit een populatie. 2.7. Het doen van een steekproef uit een populatie. Bij een onderzoek wordt vaak een deel van een populatie onderzocht. Dat deel moet representatief genoeg zijn om uitspraken te doen over de populatie als geheel. Waarom doen we dit? Twee redenen zijn hiervoor. De eerste is dat het onderzoeken van de hele populatie te veel werk is en te duur zou zijn. De tweede is dat dit ook te lang zou duren. Bij het onderzoek moet men dus genoegen nemen met 6
het onderzoek van een deel van de populatie, maar hoe kiezen we dit deel? Hiervoor zijn grofweg twee methoden. Deze zijn weergegeven in figuur 3. Deze methoden zijn het nemen van een populatie, waarover met een zekere mate van statistische betrouwbaarheid een uitspraak kan worden gedaan. Of het kiezen van een bepaalde populatie. Nu is het niet mogelijk met een zekere statistische betrouwbaarheid uitspraken te doen. Wanneer men met een zekere mate van statistische betrouwbaarheid uitspraken wil doen, dan moet men beslissingen nemen over de steekproef, de techniek om met de steekproefgegevens te werken en de omvang van de steekproef. Hierbij moet men rekening houden met de eisen aan de representativiteit van de steekproef. Bij de keuze van de steekproef heeft men een aantal opties. Men kan een random selectie maken uit een populatie, een systematische, een random steekproef uit diverse delen van de populatie, enz. Steeds moet men nagaan, in hoeverre de genomen steekproef representatief is. Wanneer men uitspraken doet op basis van een steekproef, waarmee men zonder een zekere mate van statistische betrouwbaarheid uitspraken kan doen, dan kan men gebruik maken van quota sampling, purpose sampling, sneeuwbal sampling enz. Bij quota sampling neemt men een bepaald aantal deelnemers per deel van de populatie. Bij purpose sampling kiest men bewust bepaalde gevallen. Bij snowball sampling start men met bepaalde gevallen en vraagt die naar andere enz. Dit leidt tot de vragen voor de analyse in hoofdtsuk 3.: - wat voor soort steekproef heeft men uit de populatie genomen? - en wat kan men zeggen over haar representativiteit? 2.8. Gebruik van secundaire bronnen. Bij het onderzoek kan gebruik maken van al geanalyseerd materiaal. In figuur 4 is een overzicht van mogelijke soorten van dit materiaal weergegeven. Om er achter te komen of dit soort materiaal beschikbaar is, kan men bijvoorbeeld gebruik maken van indexen en on line catalogi. Figuur 4. : Soorten secundaire bronnen. 7
Het voordeel van het gebruik van secundair materiaal is, dat men minder middelen nodig heeft om het onderzoek te doen; dat men soms over betere gegevens kan beschikken, dan in het geval dat men deze gegevens zelf zou moeten verzamelen; dat men gegevens over een langere periode ter beschikking heeft en zo longitudinaal onderzoek kan doen; dat men gegevens kan vergelijken enz. Nadelen bij het gebruik van dit materaal zijn, dat deze gegevens net niet precies de gegevens zijn, die men eigenlijk nodig heeft; dat toegang moeilijk is of kostbaar; dat hun aggregatie door de definitie van de basisgegevens voor het eigen onderzoek net niet de goed is en dat men geen sturing heeft over de kwaliteit van de gegevens. Dit leidt tot de volgende vragen voor de analyse in hoofdstuk 3.: - wordt bij het onderzoek van Weil c.s van secundaire bronnen gebruik gemaakt? En wat zijn hier de na- en voordelen van? 2.9. Verzamelen van gegevens door observatie. Observatie is het systematisch kijken naar, vastleggen van, beschrijven, analyseren en interpreteren van gedrag van mensen. Er zijn twee soorten observatie. De ene soort is participeren als deelnemer. De onderzoeker probeert dan zo goed als mogelijk deel te nemen in het leven en de activiteiten van de onderzochte personen en wordt deel van hun organisatie of van hun gemeenschap. Deze vorm van participatie is kwalitatief. De andere soort observatie is de gestructureerde participatie. Deze is kwantitatief. De onderzoeker legt hierbij vast, hoe vaak bepaalde handelingen worden gedaan. Bij observatie door participatie heeft de onderzoeker vier mogelijkheden. Enerzijds kunnen de onderzochte persoon of personen weten, dat men onderzoeker is, anderzijds kunnen deze niet weten dat de onderzoeker als onderzoeker participeert. Daarnaast kan men kiezen om volledig deel te nemen aan de organisatie of de gemeenschap; of om zich meer als onderzoeker op te stellen. Factoren die de keuze over de wijze van participatie beïnvloeden zijn het doel van het onderzoek; de tijd die ervoor beschikbaar is; de mate waarin men in staat is de rol van deelnemer te spelen; de toegang tot de organisatie of gemeenschap en ethische afwegingen. Gestructureerde participatie maakt bijvoorbeeld gebruik van tijdstudies in organisaties. Bij dit type participatie kan men te maken krijgen met een verkeerde keuze van de deelnemers aan het onderzoek; het kiezen van de verkeerde tijd voor het onderzoek en de bias vanuit de onderzoeker zelf. Dit leidt tot de volgende vragen voor de analyse in hoofdstuk 3.: - welk soort observatie onderzoek is gedaan? - welke problemen kunnen hierbij optreden en treden zij op? 2.10. Verzamelen van gegevens door het doen van interviews. Een interview is een gerichte discussie tussen twee of meer mensen. In figuur 5. is aangegeven, welke soorten interviews men kan onderscheiden. Uit de figuur komt naar voren, dat men in het algemeen een onderscheid kan maken tussen gestandaardiseerde interviews en niet gestandaardiseerde interviews. Niet gestandaardiseerde interviews zijn bijvoorbeeld diepte interviews. Deze wordt veel toegepast in verkennende studies. In meer beschrijvende studies zal de nadruk verschuiven naar het gebruik van meer gestructureerde interviews. Het gebruik van meer ongestructureerde methoden van het houden van diepte interviews heeft als voordelen, dat men meer contact kan maken met de persoon, dat men gemakkelijker dieper op een vraag kan ingaan en dat men een beter beeld van de persoon of personen krijgt. Bij gebruik van 8
Figuur 5.: Soorten interviews. interviews moet men immer zich verantwoorden over de betrouwbaarheid van de gegevens, de vooringenomenheid bij het interviewen en het gebruik van de data bij het generaliseren van de conclusies van het onderzoek. Vragen naar aanleiding van dit hoofdstuk zijn voor de analyse in hoofdstuk 3.:: - zijn er bij het onderzoek interviews afgenomen? Welke problemen kunnen dan optreden? Zijn ze opgetreden? En hoe werden deze problemen dan opgelost? 2.11. Verzamelen van gegevens door het houden van enquêtes. Het begrip enquêtes houden staat voor alle technieken voor het verzamelen van gegevens, waarin iemand wordt gevraagd om te antwoorden op een vooraf samengestelde verzameling vragen. Hierbij kan gebruik maken van zowel gestructureerde interviews, telefonische als internet enquêtes. In figuur 6 zijn de diverse vormen van enquêtes weergegeven. Werken met enquêtes wordt over het algemeen gedaan bij beschrijvend en verkennend onderzoek. Vragen welke hier uit volgen voor de analyse in hoofdstuk 3. zijn: -is er bij het onderzoek de methode van enquête gebruikt? -welke? En was dit een juiste keuze? Waarom? Figuur 6.: Vormen van enquêtes. 2.12. Analyseren van kwantitatieve gegevens. De conclusies, die men kan trekken uit kwantitatieve gegevens, eist in het algemeen bewerking van de ruwe gegevens. Het verdient daarom aanbeveling tevoren helder te hebben op welke wijze men de gegevens gaat bewerken en op welke wijze men de resultaten van het kwantitatieve onderzoek wil presenteren. 9
Bij kwantitatief onderzoek is het in het algemeen handig om per onderzocht geval een identificatie mee te geven. De verzamelde gegevens zouden bij voorkeur in getallen de antwoorden moeten aangeven. Hierbij moet men voor zover mogelijk gebruik maken van bestaande wijzen van coderen. In de bestaande wijze van coderen is vaak rekening gehouden met het geval, dat een gegeven ontbreekt. Bij het bewerken van de gegevens kan men gebruik maken van tabellen en grafieken. De keuze hieruit wordt beïnvloed door het doel van het onderzoek en de onderzoeksvragen. Hierbij moet er rekening mee worden gehouden dat: - tabellen ons in staat stellen om waarde weer te geven; - bar charts en histogrammen ons in staat stellen om laagste en hoogste waarde te presenteren; - lijn diagrammen het mogelijk maken trends weer te geven; - pies en bar charts in percentages het mogelijk maken om te duiden, welk deel het van een populatie betreft; - plots het mogelijk maken om de verdeling van de gegevens te zien en dat - scatter diagrammen mogelijke relaties weergeven tussen variabelen. Analyse vervolgens van deze gegevens kan ertoe leiden dat statistisch betrouwbare uitspraken kunnen worden gedaan. Statistische bewerking van gegevens kan betreffen: - het via gemiddelden en de mediaan beschrijven van de tendens; - het via het berekenen van de spreiding aangeven van de distributie van gegevens; - het via bijvoorbeeld chi-kwadraat bekijken of gegevens onderling gerelateerd zijn; - het via een Kolmogorov Smirnov test bepalen of gegevens significant afwijken van de rest van de gegevens in een populatie; - het via t-tests nagaan of groepen van gegevens significant afwijken; - het doen van regressie en correlatie analyses om de sterkte van de relatie tussen gegevens te bepalen; - en het doen van regressie analyse om waarden van gegevens te bepalen. Bij het doen van analyse van gegevens bij longitudinale onderzoeken kan men voorts gebruik maken van statistische technieken als de inzet van indexgetallen om een trend vast te stellen of om trends te vergelijken tussen twee of meer gegevens, welke zijn gemeten in verschillende eenheden. Ook kan men nu de bewegende gemiddeldes analyseren om de trend te bepalen en eventueel voorspellingen te doen. De vragen voor hoofdstuk 3., die de theorie over de analyse van kwantitatieve gegevens oplevert, zijn: - op welke wijze worden de gegevens van het onderzoek in het boek of het artikel gepresenteerd? - hoe wordt hierbij gebruik gemaakt van statistische technieken? En zoniet, waarom niet en wat zou gebruik van statistische technieken hebben kunnen opleveren? - is de analyse van de kwantitatieve gegevens juist, of zou deze beter kunnen? En hoe zou men deze verbetering dan kunnen vormgeven? 2.13. Analyseren van kwalitatieve gegevens. Kwalitatieve gegevens betreffen alle niet numerieke gegevens van een onderzoek en alle gegevens van ons onderzoek, die niet zijn gekwantificeerd. Kwalitatieve gegevens kunnen bij elk type onderzoek voorkomen. Zij geven vaak meningen weer; zij geven vaak reacties weer bij het invullen van kwantitatieve gegevens. De analyse van kwalitatieve gegevens leidt vaak tot het formuleren van conceptuele hypotheses of conclusies. 10
Er bestaat geen standaard benadering voor het analyseren van kwalitatieve gegevens. Vaak maakt men bij de analyse van deze gegevens gebruik van: - het indelen van gegevens in categorieën; - het geven van een relevante markering aan de gegevens zodat we ze kunnen indelen; - de herkenning van relaties en het ontwikkelen van groepen welke zich hierdoor kenmerken; - het ontwikkelen en testen van hypotheses om tot conclusies te komen. Het proces om om te gaan met kwalitatieve gegevens is een proces van trial en error. Hierbij kan men gebruik maken van de mogelijkheid partijen nader te interviewen; (extra) observaties te doen; tussenconclusies op te stellen enz. Kwantificering van sommige groepen van gegevens kan hierbij helpen. Sorteren van kwalitatieve gegevens hoeft men niet meer met manuaal te doen. Men kan hierbij gebruik maken van computer assisted qualitative data analysis (caqdas) gereedschappen. Deze helpen bij het project management van het onderzoek; zij slaan de gegevens op; zij zijn in staat gegevens nader te coderen; erop te zoeken en te helpen bij het testen van hypothesen, De vragen, die de theorie over de analyse van kwalitatieve gegevens oplevert voor de analyse in hoofdstuk 3., zijn: - hoe wordt er in het onderzoek omgegaan met kwalitatieve gegevens? - hoe vindt de verwerking hiervan plaats? 2.14. Schrijven en/of presenteren van het artikel of het rapport. Weergeven van de resultaten van het onderzoek in een rapport of een artikel eist, dat er structuur in het artikel of het rapport zit. Het artikel of het rapport moet een duidelijke lijn hebben. De lezer moet eenvoudig de informatie, die hij nodig heeft, kunnen vinden. Dat betekent dat vaak het eerste concept van het artikel of het rapport gewoon herschreven wordt. Het resultaat moet namelijk zijn een helder en gemakkelijk leesbaar artikel, dat men met plezier leest. Het weergeven van gegevens in grafische vorm kan de leesbaarheid van een artikel of rapport vergroten. Elk rapport moet voorts beschikken over een samenvatting van het rapport, over conclusies en over een reflectie over de loop van het onderzoek en de bij het onderzoek bereikte resultaten. Voorts zullen de uitgangspunten van het onderzoek evenals haar beperkingen en de keuzen die bij het doen van het onderzoek zijn gemaakt, duidelijk moeten zijn. Het voorgaande leidt de volgende vragen bij de analyse in hoofdstuk 3.: - is dit artikel of dit rapport helder leesbaar? Waarom wel? Waarom niet? - wordt in dit artikel of dit rapport op de juiste wijze van grafieken en tabellen gebruik gemaakt? - is het duidelijk wat de uitgangspunten en beperkingen van het onderzoek waren? - worden de conclusies van het onderzoek weergegeven? - is er nader gereflecteerd op de resultaten van het onderzoek, haar beperkingen en de gemaakte keuzen bij het onderzoek? 3. Toepassing van de theorie op een artikel uit de ICT management literatuur. 3.1. De vragen bij de toepassing.. Uit de theorie komt naar voren, dat men bij het lezen van een wetenschappelijk artikel als dat van Weil c.s. zich de volgende vragen zou moeten stellen: 11
a. ten aanzien van de structuur van het onderzoek en het type onderzoek: - zien we de structuur van het onderzoek terug in het artikel? - wat voor type onderzoek beschrijft het artikel b. ten aanzien van de probleemstelling en de onderzoeksvragen: - is de probleemstelling van het onderzoek,welke in het artikel is vermeld, helder geformuleerd en vloeien de onderzoeksvragen hier logisch uit voort? c. ten aanzien van het onderzoek van de literatuur: - is er sprake van een inductieve of een deductieve aanpak bij de inzet van bronnen bij het onderzoek? - welk type bronnen gebruikt men t.a.v. de literatuur? d. ten aanzien van de filosofie achter het onderzoek: - welke van filosofieën van onderzoek gelden voor het artikel van Weil c.s.? e. ten aanzien van de strategie bij het ontwerp van het onderzoek: - welk onderzoeksontwerp is gekozen bij het onderzoek voor dit artikel? - welke uitdagingen brengt dit met zich mee wat betreft de betrouwbaarheid, de validiteit en de generaliseerbaarheid van de data? f. ten aanzien van de toegang tot de bronnen van gegevens en de ethiek bij het gebruik van de gegevens: - hoe heeft men toegang gekregen tot de bronnen en wat betekent dit? - hoe houdt men bij het presenteren rekening met de rechten van de bronnen? g. ten aanzien van een mogelijke steekproef uit de populatie: - wat voor soort steekproef heeft men uit de populatie genomen? - en wat kan men zeggen over haar representativiteit? h. ten aanzien van het gebruik van secundaire bronen: - wordt bij het onderzoek van Weil c.s van secundaire bronnen gebruik gemaakt? En wat zijn van dit gebruik de na- en voordelen van? i. bij het gebruik van observaties bij het onderzoek: - is er gebruik gemaakt van observaties bij het onderzoek? - welk soort observatie onderzoek is gedaan? - welke problemen kunnen hierbij optreden en treden zij op? j. bij het gebruik van interviews bij het onderzoek: - zijn er bij het onderzoek interviews afgenomen? - En wat kunnen daarbij de problemen zijn? - Hoe worden deze problemen opgelost? i. ten aanzien van het hanteren van de methode van enquêtes: -is er bij het onderzoek de methode van enquête gebruikt? - welke? En was dit een juiste keuze? Waarom? k. ten aanzien van de analyse van kwantitatieve gegevens: - op welke wijze worden de gegevens van het onderzoek in het boek of het artikel gepresenteerd? - hoe wordt hierbij gebruik gemaakt van statistische technieken? En zoniet, waarom niet en wat zou gebruik van statistische technieken hebben kunnen opleveren? - is de analyse van de kwantitatieve gegevens juist, of zou deze beter kunnen? En hoe zou men deze verbetering dan kunnen vormgeven? 12
l. ten aanzien van het omgaan met kwalitatieve gegevens: - hoe wordt er in het onderzoek omgegaan met kwalitatieve gegevens? - hoe vindt de verwerking hiervan plaats? m. ten aanzien van de wijze van rapporteren van het onderzoek: - is dit artikel of dit rapport helder leesbaar? Waarom wel? Waarom niet? - wordt in dit artikel of dit rapport op de juiste wijze van grafieken en tabellen gebruik gemaakt? - is het duidelijk wat de uitgangspunten en beperkingen van het onderzoek waren? - worden de conclusies van het onderzoek weergegeven? - is er nader gereflecteerd op de resultaten van het onderzoek, haar beperkingen en de gemaakte keuzen bij het onderzoek? Deze vragen zullen in het volgende voor het artikel van Weil c.s. worden beantwoord. 3.2. Het artikel van Weil en Ross: A matrix approach to designing IT governance In het artikel geven Weil c.s. de resultaten van een onderzoek naar de sturing of governance van de ICT. Bij het onderzoek werden enquetes en interviews gebruikt met CIO s in 23 landen. Weil c.s. gingen na, wie beslist over ICT; waarover deze dan beslist en met welke mechanismen dit plaatsvindt. Op het terrein van de besluitvorming en toewijzing van verantwoordelijkheden maakt het onderzoek van Weil c.s. duidelijk, dat men zes situaties wat betreft de besluitvorming over ICT kan onderscheiden. Deze zes situaties zijn: a. de organisatie kent een monarchie. Dit betekent dat bij het algemeen management de verantwoordelijkheid ligt voor en de besluitvorming over ICT; b. er is sprake van ICT monarchie. Nu ligt bij de ICT organisatie de verantwoordelijkheid en de besluitvorming over ICT; c. er is sprake van een federale organisatievorm. In deze organisatievorm beslissen algemeen, gebruikersmanagement en ICT management, ieder naar de hun toegewezen verantwoordelijkheid, over de inzet van ICT; d. er is sprake van een duopolie. Nu beslissen gebruikersmanagement en ICT in onderling overleg over de inzet van ICT; e. er is sprake van een feudaal systeem. Nu nemen de diverse managers van de directies in de gebruikersorganisatie hun eigen beslissingen over ICT. f. er is volledige anarchie. Algemeen, gebruikers en ICT management hebben elk hun eigen agenda, wat ICT betreft. Steeds betreft het beslissen over ICT het beslissen over een aantal onderwerpen. Deze onderwerpen zijn: 1. De beginselen bij de inzet van ICT. Hierbij komen onderwerpen aan de orde zoals marktconformiteit, het werken onder architectuur, de flexibiliteit van deze architectuur, het snel ontwikkelen van nieuwe producten en diensten, het werken met business cases en de evaluatie daarvan, en de omgang met externe en interne dienstverlening. 2. De informatievoorzieningsarchitectuur en de ICT architectuur. Op dit terrein besluit men over de logische organisatie van de informatievoor-ziening, haar ICT infrastructuur en de nodige applicaties. Men stelt de relaties tussen de applicaties vast en neemt beslissingen over de techniek, zodat de gewenste integratie van gegevens en de gewenste standaardisatie van de techniek wordt bereikt 3. Het beleid ten aan van de ICT infrastructuur. De besluitvorming gaat hier over het leveren van centraal afgestemde van producten en diensten. Deze zouden de basis moeten vormen van de ICT 13
van de organisatie. Dit kan zijn het gebruik van opslag-, verwerkings-, transport- en invoer/uitvoervoorzie-ningen. Het kan gaan om het gebruik van ontwikkel- en beheergereedschappen. Het kan gaan om de organisatie van ontwikkel-, beheer en exploitatievoorzieningen etc. 4. De applicatiebehoeften. Dit is de specificatie van de behoeften van de organisatie om toepassingen te ontwikkelen en te beheren of/en ze aan te kopen. 5. De prioriteiten ten aanzien van de inzet van ICT. Het onderwerp is hier de grootte waarin, en de plaats, waar in ICT wordt geïnvesteerd. Hierbij is inbegrepen de goedkeuring van projecten en justificatiemethoden. Bij volwassen organisaties zal dit op basis van portfolio s gaan. Als men weet, wie beslist over de ICT en waarover deze beslist, kan men de mechanismen, waarmee deze besluitvorming plaatsvindt eens op een rij zetten. Weil c.s. maken een onderscheid tussen: 1. De structuren van de besluitvorming. Hieronder worden ondermeer gerangschikt stuurgroepen, die over de inzet van ICT adviseren; accountmanagers, die zorgen dat de relatie tussen de organisatie en ICT optimaal verloopt; het gebruik van architecturen; het werken met portfolio s en de wijze van goedkeuring van projecten uit deze portfolio s. 2. De afstemmingsprocessen. Hieronder wordt ondermeer verstaan het bijhouden van ICT projecten qua planning en gebruik van middelen; het werken met service overeenkomsten, business cases en de evaluatie van business cases en het doorbelasten van de kosten voor ICT. 3. Communicatie over besluiten en ontwikkelingen op het terrein van ICT. Hieronder vallen acties ten aanzien van leidinggevenden, die de afgesproken regels op het terrein van ICT inzet niet volgen. Ook vallen er onder de aankondigingen van senior management over voornemens op het terrein van ICT. Verder gaat het over het hebben van een organisatie eenheid met als leidinggevende de CIO of het hebben van een secretariaat van de stuur-groep ICT. Tenslotte betreft het de wijze van communicatie, zoals gebruik van webportals en intranetten. Het onderzoek van Weil c.s. vindt plaats op het niveau van een organisatie als geheel. Het onderzoek geeft in de eerste plaats aan, wie beslist over welk onderwerp in een organisatie. Dit leidt tot diagrammen als die van figuur 7. Daarnaast hebben Weil c.s. nader onderzocht, wat de impact hiervan is op de mate van resultaat, die organisaties boeken.in figuur 7. kan zo tevens worden aangegeven, hoe de besluitvorming ten aanzien van ICT bij de drie beste organisaties van het onderzoek is geregeld. Figuur 7.: Wijze van beslissen over de belangrijkste ICT onderwerpen. Uit figuur 7. kan worden geconcludeerd, dat de ICT architectuur en het ICT infrastructuurbeleid bij de succesvolle organisaties een zaak is van ofwel algemeen management ofwel ICT management. Op het terrein van het aangeven van de applicatiebehoeften ligt de besluitvorming bij het gebruikersmanagement van de organisatie. Weil c,s, laten voorts zien dat voor een optimale sturing van ICT de strategie op het terrein van ICT moet aansluiten bij de strategie van een organisatie. Deze aansluiting werkt door in de wijze waarop 14
men zijn ICT organiseert en de wijze waarop men meet,wat de waarde van de inzet van ICT is. De governance van ICT is voorts in harmonie met de governance van de organisatie op andere gebieden zoals die op het terrein van financiën, van personeel, van intellectuele eigendom, van faciliteiten en van relaties met derden. Uit de resultaten van een onderzoek van Weil c.s op het terrein van ICT governance wordt duidelijk, dat door een betere sturing van haar ICT de organisatie betere resultaten krijgt. Weil c.s. doen een aantal aanbevelingen om tot een goede governance te komen. Tot zover een korte samenvatting van de inhoud van het artikel. 3.3. De beantwoording van de vragen. Eerst wordt de vraag herhaald. Vervolgens wordt het antwoord geformuleerd. De vragen en antwoorden zijn: a. ten aanzien van de structuur van het onderzoek en het type onderzoek: - zien we de structuur van het onderzoek terug in het artikel? - wat voor type onderzoek beschrijft het artikel Weil analyseert de governance structuren in profit en non profit organisaties. Vanuit de empirische resultaten van het onderzoek formuleert hij hoe in de praktijk door organisaties met IT governance wordt omgegaan. Hij onderkent soorten besluitvormers, de onderwerpen waarover zij besluiten en de mechanismen waarlangs. In zijn soort is het fundamenteel onderzoek. Als men kijkt, in hoeverre het artikel ingaat op de structuur van het onderzoek,waarop het is gebaseerd, lijkt het dat aan de fasen literatuuronderzoek en methoden van onderzoek beperkt aandacht is besteed. De probleemstelling is geformuleerd en een aanpak is gekozen, die intuïtief de juiste leek. b. ten aanzien van de probleemstelling en de onderzoeksvragen: - is de probleemstelling van het onderzoek,welke in het artikel is vermeld, helder geformuleerd en vloeien de onderzoeksvragen hier logisch uit voort? De titel en de eerste zin van het artikel geven de probleemstelling aan: het ontwerpen van IT governance. Vervolgens komen de vragen van het onderzoek naar voren, maar dan in een stellende vorm: - hoe is IT governance gedefineerd? - weet men in een organisatie, wat IT governance is? - wat draagt een goede IT governance bij? - wat moet men doen om te zorgen voor IT governance? En in het artikel worden deze vragen beantwoord. Men begint met de onderwerpen bij IT governance, dan met de besluitvormingswijzen en tenslotte met de mechanismen. Vervolgens geeft men voorbeelden van IT governance in diverse soorten organisaties. Men eindigt met het geven van aanbevelingen om een effectieve IT governance te ontwerpen. Eigenlijk zijn de probleemstellingen en de onderzoeksvragen in het kader van dit artikel meer als stellingen opgenomen. Logisch volgt uit deze stellingen in het begin de behandeling van de diverse onderwerpen van onderzoek. c. ten aanzien van het onderzoek van de literatuur: - is er sprake van een inductieve of een deductieve aanpak bij de inzet van bronnen bij het onderzoek? - welk type bronnen gebruikt men t.a.v. de literatuur? 15
In het artikel wordt vanuit de praktijk gewerkt. Inductief komt men tot generaliseerbare resultaten. Weil c.s. gebruiken enquêtes bij 256 organisaties en diepte interviews bij veertig organisaties om de gegevens verzamelen. Ook wordt gebruik gemaakt van materiaal uit diepte interviews van Gartner. De resultaten worden gebaseerd uit een studie van het materiaal. Er staan in het artikel geen literatuurverwijzingen. Wel is achter het artikel een verwijzing naar literatuur opgenomen. Waar dit in het artikel wordt gebruikt is niet na te gaan. Bij het onderzoek zijn primaire bronnen gebruikt. Deze zijn enquêtes en interviews. Daarnaast is gebruik gemaakt van bestaand materiaal, namelijk de interviews van Gartner. Zo kwamen ook deze secundaire bronnen van pas. d. ten aanzien van de filosofie achter het onderzoek: - welke van filosofieën van onderzoek gelden voor het artikel van Weil c.s.? Er is sprake van een onderzoek van de werkelijkheid zoals deze zich voordoet. Het onderzoek houdt zich niet bezig met de vraag, wat aanvaardbaar is als kennis in het vakgebied. Noch worden in het artikel helder de veronderstellingen en uitgangspunten bij het onderzoek aangegeven, evenmin vindt enige reflectie op de resultaten plaats. Men werkt met de zichtbare werkelijkheid en interpreteert de resultaten bij het analyseren van de enquêtes en de interviews. Zo kijkend heeft het onderzoek enige beginselen van het realisme, van het positivisme en van het interpretisme Men bouwt begrip voor IT governance op tijdens het onderzoek door te luisteren naar de meningen van mensen; door te werken binnen een zekere context van het onderzoek, nl. de IT governance binnen organisaties en niet die binnen ketens van organisaties of binnen communities; men werkt met zowel kwantitatieve als kwalitatieve data; het onderzoek lijkt flexibel van opzet maar men wil wel komen tot generalisatie van de vindingen. e. ten aanzien van de strategie bij het ontwerp van het onderzoek: - welke onderzoekstrategie is gekozen bij het onderzoek voor dit artikel? - welke uitdagingen brengt dit met zich mee wat betreft de betrouwbaarheid, de validiteit en de generaliseerbaarheid van de data? Als onderzoeksstrategie is gekozen voor gekozen voor het schriftelijk en het via internet enquêteren van organisaties en het doen van diepte interviews. Hierbij heeft men gewerkt met grounded theory. Bij het onderzoek zijn dus diverse strategieën gebruikt. De populatie voor de enquête en de interviews komen uit de EXP groep van Gartner, dat de klanten weergeeft die de congressen van Gartner bezoeken, en de deelnemers aan de top management programma s van het centrum voor Information systemen research van het MIT, waaraan de onderzoekers verbonden zijn. van. Het betrof organisaties in Amerika, Europa en de Azië/Pacific regio. De gegevens zijn zowel kwantitatief als kwalitatief geanalyseerd. Er is door het grote aantal gegevens een zeker mate van kans, dat men voor de onderzochte groep tot betrouwbare uitspraken kan komen voor organisaties werkend in die regio. Dus niet voor bijvoorbeeld Rusland en China. Wat betreft de validiteit van de gegevens kan men stellen dat de 40 diepte interviews lacunes in de schriftelijke enquêtering kunnen opvangen. f. ten aanzien van de toegang tot de bronnen van gegevens en de ethiek bij het gebruik van de gegevens: - hoe heeft men toegang gekregen tot de bronnen en wat betekent dit? - hoe houdt men bij het presenteren rekening met de rechten van de bronnen? Men heeft de gegevensbestanden van congressen gebruikt om toegang te krijgen tot de bronnen. Voorts heeft men interviews van zichzelf en van anderen als bron genomen. Dat betekent dat: 16
- conclusies worden getrokken gebaseerd op gegevens, die komen van organisaties, die of CISR of Gartner congressen bezoeken. Dat zijn vaak de rijkere organisaties. - men te maken kan hebben bij de interviews met een bias van de interviewers; - de secundaire bronnen van een andere kwaliteit kunnen zijn dan de primaire. In het artikel wordt niet aangegeven, hoe men is omgegaan met de rechten van de bronnen en of men hen voor toestemming van het gebruik van hun naam (bv. ING direct) in de publicatie heeft gevraagd. g. ten aanzien van een mogelijke steekproef uit de populatie: - wat voor soort steekproef heeft men uit de populatie genomen? - en wat kan men zeggen over haar representativiteit? Het artikel geeft niet aan, hoe men uit de populatie van de congressen tot de keuze van de onderzochte organisaties is gekozen. Bij het CISR zijn enquêtes en interviews in heel 2002 gedaan. Het lijkt erop dat sommige organisaties zijn gevraagd, die de CISR congressen volgden. Voorts is een steekproef getrokken uit de Gartner EXP database. Hier lijkt het erop, dat men alleen organisaties meeneemt, die antwoorden op de enquête. De representativiteit gaat niet verder dan de representativiteit van een onderzoek van organisaties, die Gartner en CISR congressen volgen. Dat zijn de grotere organisaties. Zij hebben vaak meer dan 500 medewerkers. h. ten aanzien van het gebruik van secundaire bronen: - wordt bij het onderzoek van Weil c.s van secundaire bronnen gebruik gemaakt? En wat zijn van dit gebruik de na- en voordelen van? Het artikel stelt dat gebruik is gemaakt van interviews van Gartner. Het is niet duidelijk of deze interviews schriftelijk zijn vastgelegd, op video staan of alleen op een casette. Uit het artikel wordt niet duidelijk of en hoe de gegevens van Gartner passen bij de interview gegevens, die CISR zelf verzamelde. Noch wordt duidelijk in hoeverre de door CISR gehanteerde definitie van IT governance aansluit bij de definitie van de onderzoekers van het CISR. Voordeel van het gebruik van de interviews van Gartner is dat zij de kennis van het CISR aan kunnen vullen bij het onderzoek. Men kan bijvoorbeeld interviews hebben van organisaties, die door het CISR met een enquête zijn ondervraagd. Een interview geeft dan rijkere informatie en meer achtergrond. Niet duidelijk is hoe het secundaire materiaal is ingezet. i. bij het gebruik van observaties bij het onderzoek: - is er gebruik gemaakt van observaties bij het onderzoek? - welk soort observatie onderzoek is gedaan? - welke problemen kunnen hierbij optreden en treden zij op? Er is geen gebruik gemaakt van observaties bij het onderzoek. j. bij het gebruik van interviews bij het onderzoek: - zijn er bij het onderzoek interviews afgenomen? - En wat kunnen daarbij de problemen zijn? - Hoe worden deze problemen opgelost? Er zijn bij het onderzoek zijn interviews afgenomen. Deze interviews richten zich op grote organisaties en bestudeerden IT governance in de context van verandering in de organisatie mede door de inzet van ICT. Deze interviews zijn de basis voor door CISR ontwikkelde case studies. De interviews dienden in de eerste plaats voor het krijgen van cases over ERP implementaties, e- business projecten, ontwikkeling van ICT architecturen etc. In de tweede plaats konden zij 17
gebruikt worden voor het onderzoek naar IT governance. Voorts wordt uit het artikel niet duidelijk, in hoeverre deze interviews gestructureerd waren en gestructureerd verliepen. De problemen, die kunnen optreden, zijn dat de interviews niet exact over IT governance gaan en dus ook niet exact de situatie op het terrein van IT governance aangeven. Men kan deze er mogelijk uit afleiden. i. ten aanzien van het hanteren van de methode van enquêtes: -is er bij het onderzoek de methode van enquête gebruikt? - welke? En was dit een juiste keuze? Waarom? Bij het onderzoek is gebruik gemaakt van enquêtes onder 300 grotere organisaties. Hierbij hebben de geïnterviewden zelf de enquêtes ingevuld. Dit kan een juiste keuze zijn bij de organisaties, die deelnamen aan de CISR congressen. Daar leert men op een bepaalde wijze naar IT governance te kijken. Mogelijk is dit begrip vanwat het onderzoek begrijpt onder IT governance, bij de organisaties, die vanuit de Gartner EXP database komen, minder. Door de grote aantallen en de nadere interpretatie mogelijk gemaakt door het afnemen van interviews, kunnen verschillen wegvallen. De keuze lijkt dus niet onredelijk. k. ten aanzien van de analyse van kwantitatieve gegevens: - op welke wijze worden de gegevens van het onderzoek in het boek of het artikel gepresenteerd? - hoe wordt hierbij gebruik gemaakt van statistische technieken? En zoniet, waarom niet en wat zou gebruik van statistische technieken hebben kunnen opleveren? - is de analyse van de kwantitatieve gegevens juist, of zou deze beter kunnen? En hoe zou men deze verbetering dan kunnen vormgeven? In het artikel wordt niet ingegaan op de wijze van analyse van de kwantitatieve gegevens, noch worden de resultaten van het onderzoek in kwantitatieve zin gepresenteerd. Het onderzoek doet een inventarisatie, maakt door inductie conclusies en presenteert deze. Statistische technieken zouden ertoe kunnen leiden, dat men kan zeggen dat van de organisaties met bepaalde kenmerken met x% van betrouwbaarheid gezegd kan worden, dat de besluitvorming over ICT op een bepaalde wijze is gestructureerd en dat men de volgende mechanismen hiervoor heeft ingericht. Dit was niet het doel van het onderzoek. Over de juistheid en de mogelijke verbetering van het hanteren van de analyse van gegevens is niets te zeggen doordat daarvoor geen gegevens beschikbaar zijn. l. ten aanzien van het omgaan met kwalitatieve gegevens: - hoe wordt er in het onderzoek omgegaan met kwalitatieve gegevens? - hoe vindt de verwerking hiervan plaats? In het artikel wordt niet ingegaan op de wijze van analyse van de kwalitatieve gegeven. De resultaten van het onderzoek worden wel in kwantitatieve zin gepresenteerd. Dat gebeurt over het geheel, dat gebeurt door het noemen van situaties op het terrein van IT governance bij bepaalde organisaties. m. ten aanzien van de wijze van rapporteren van het onderzoek: - is dit artikel of dit rapport helder leesbaar? Waarom wel? Waarom niet? - wordt in dit artikel of dit rapport op de juiste wijze van grafieken en tabellen gebruik gemaakt? - is het duidelijk wat de uitgangspunten en beperkingen van het onderzoek waren? - worden de conclusies van het onderzoek weergegeven? 18
- is er nader gereflecteerd op de resultaten van het onderzoek, haar beperkingen en de gemaakte keuzen bij het onderzoek? Leesbaarheid van een artikel is vaak geen objectief gegeven. Persoonlijk vind ik dat het artikel qua leesbaarheid te verbeteren valt. Dit kan door het IT governance model in een kubus als die in onderstaande figuur (figuur 8.) weer te geven. Dit kan door het vertellen over cases meer te systematiseren etc. Figuur 8.: Model van Weil c.s. over IT governance. Er worden in het artikel tabellen gebruikt om kwantitatieve gegevens weer te geven. Er worden in het artikel geen grafieken gebruikt. Het materiaal in de tabellen komt van de cases, die in het artikel zijn opgenomen. Zij geven de geschreven informatie op een andere wijze weer. Met de conclusies van het onderzoek begint het artikel. Er wordt niet gereflecteerd over de wijze van onderzoek, noch over haar resultaten. De uitgangspunten zijn kennelijk gegeven door het bestuderen van IT governance bij grote organisaties. In de visie van Weil c.s. zijn dat organisaties, die de CISR congressen en seminars en de Gartner congressen bezoeken. 4. Conclusies. Bij analyse van een artikel op grond van een model uit de literatuur blijken voor een artikel, dat is gepubliceerd na een blinde reviews door diverse leden van de wetenschappelijke wereld, dat men op een aantal punten opmerkingen kan maken over de opzet, de wijze van onderzoek, de inbedding van de resultaten in de literatuur en de presentatie van de resultaten. Bij het artikel van Weil c.s. kunnen er opmerkingen gemaakt worden over onder andere: - de uitgangspunten van, de onderzoeksvragen bij en de reflectie over het onderzoek; - de gebruikte gegevens en hun herkomst; - de wijze van analyse van de gegevens; - de presentatie van de resultaten. 19