Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits

Transcriptie

1 Erasmus Universiteit Rotterdam Economische Faculteit EURAC BV Sectie Internal/Operational Auditing Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits Methoden en technieken die de betrouwbaarheid en validiteit van kwalitatief georiënteerde audits waarborgen Den Haag, november 2003 drs. M. Bergsma

2 The most serious and central difficulty in the use of qualitative data is that methods of analysis are not well formulated. For quantitative data, there are clear conventions the researcher can use. But the analyst faced with a bank of qualitative data has very few guidelines for protection against self-delusion, let alone the presentation of unreliable or invalid conclusions to scientific or policy-making audiences. How can we be sure that an earthy, undeniable, serendipitous finding is not in fact, wrong? - MILES (1979) ii

3 Voorwoord Dit referaat is geschreven ter afronding van de postdoctorale studie Internal/ Operational Auditing aan de Erasmus Universiteit Rotterdam. Validiteit en betrouwbaarheid, begrippen die mij als econometrist niet onbekend zijn. Met data in overvloed, heldere hypothesen en gevestigde technieken is de econometrist in staat om tot betrouwbare en valide uitkomsten te komen. Maar wat als deze econometrist heeft besloten om de wereld achter de cijfers te verkennen? De dagelijkse praktijk en de door de opleiding verkregen inzichten hebben mij doen beseffen dat binnen operational auditing kwantitatieve technieken dan niet veel soelaas bieden. Op basis van kwalitatieve data, die veelal verzameld is op basis van een kleine, selectieve steekproef dienen gefundeerde uitspraken gedaan te worden. Validiteit en betrouwbaarheid zijn ineens niet meer zulke triviale begrippen. Daarom heb ik besloten om te onderzoeken hoe bij het uitvoeren van een operational audit tot meer betrouwbare en valide onderzoeksresultaten kan worden gekomen. Ik heb met dit onderzoek mijn eigen kennis kunnen verrijken, en hoop dat ik daarnaast ook nog een nuttige bijdrage heb kunnen leveren aan het vakgebied operational auditing. Dank gaat uit naar mijn begeleider Jan Otten. Zijn interesse en inzichten in het onderhavige onderwerp hebben geleid tot waardevolle feedback tijdens de totstandkoming van dit referaat. Daarnaast wil ik mijn medestudenten Jeroen Straathof, Martin van Alphen, Han Kolthof en Ronald Majoor bedanken voor de motiverende spiegelingen en de ontvangen steun. Mark Bergsma Den Haag, november 2003 iii

4 Samenvatting In dit referaat worden een viertal methoden en technieken gepresenteerd die de operational auditor kunnen helpen om op basis van kwalitatieve data tot valide en betrouwbare onderzoeksresultaten te komen. De aanleiding voor de handreiking van deze methoden en technieken komt voort uit de gedachte dat, wil een operational audit valide en betrouwbare onderzoeksresultaten opleveren, er binnen het vakgebied kennis is vereist van kwalitatieve onderzoeksmethodologie en de daaruit ontstane methoden en technieken die de validiteit en betrouwbaarheid van kwalitatief geaarde onderzoeken doen verbeteren. In dit referaat wordt aangetoond dat een operational audit overeenkomsten vertoond met de eigenschappen van kwalitatief onderzoek. Deze overeenkomsten blijken voornamelijk uit: Het object van audit, wat veelal een proces of situatie is. Het gebruik van kwalitatieve methoden van gegevensverzameling, zoals interviews, documentanalyses en observaties. De bestudering van het object van audit in de natuurlijke omgeving. Het werken met een relatief klein aantal onderzoekseenheden (respondenten). Vanuit de constatering dat de operational auditor juist vanwege dit kwalitatieve aspect problemen heeft met het verkrijgen van betrouwbare en valide auditresultaten, is een theoretische studie gedaan naar methoden en technieken die binnen kwalitatief onderzoek worden toegepast ter waarborging van de validiteit en betrouwbaarheid van verkregen onderzoeksresultaten. Hiervoor is allereerst bekeken op welke manier de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek geïnterpreteerd dienen te worden. Vervolgens zijn op basis van deze interpretaties mogelijke bronnen van verstoringen onderkent die de validiteit en betrouwbaarheid van verkregen onderzoeksresultaten kunnen bedreigen. Op basis van deze bronnen van verstoringen is daarna een inventarisatie gegeven van een viertal methoden en technieken die binnen kwalitatief onderzoek worden toegepast ter ondervanging van deze verstoringen. Hierbij zijn de volgende methoden en technieken onderkend: Het testen op representativiteit (betrouwbaarheid). Het testen op onderzoekereffecten (betrouwbaarheid). Triangulatie (validiteitaspect). Feedback van respondenten (validiteitaspect). Deze methoden en technieken zijn getoetst op relevantie en toepasbaarheid binnen operational auditing. Hiervoor is zowel een literatuurstudie uitgevoerd, als ook een praktijktoets waarbij een tweetal ervaren operational auditors om hun mening is gevraagd. iv

5 De uitkomsten van deze toetsing leiden uiteindelijk tot de conclusie dat de gepresenteerde methoden en technieken relevant, en toepasbaar zijn binnen de uitvoering van een operational audit. v

6 INHOUDSOPGAVE Inhoudsopgave Inhoudsopgave Aanleiding en doelstelling Inleiding Definitie Audit Operational Audit: Onderzoek naar object nader gedefinieerd Operational Audit: gefundeerd oordeel, maar hoe? Aanleiding: Operational Audit vereist kwalitatief onderzoek Doelstelling van dit referaat Probleemstelling Gehanteerde onderzoeksaanpak Opbouw van het referaat: van methodologie naar praktijk Eigenschappen en toepassingsgebieden kwalitatieve methoden Inleiding Kwantitatief vs. kwalitatief: verschillende paradigma s Kwalitatief onderzoek: doel, methoden en criteria Operational audit is kwalitatief onderzoek Conclusies Vergroten van betrouwbaarheid en validiteit: praktische hulpmiddelen Inleiding Validiteit en betrouwbaarheid binnen kwalitatief onderzoek Bedreigingen ten aanzien van validiteit en betrouwbaarheid Methoden voor het testen van betrouwbaarheid van de resultaten Methoden voor het valideren van bevindingen Samenvatting Gepresenteerde methoden relevant en toepasbaar binnen Operational Auditing? Inleiding Betrouwbaarheid: testen op representativiteit...24 Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 1

7 INHOUDSOPGAVE 4.3 Betrouwbaarheid: testen op onderzoekereffecten Validiteit: triangulatie Validiteit: feedback van respondenten Conclusies Praktijktoets: gepresenteerde methoden toegepast binnen Operational Audits? Inleiding Verstoringen zijn herkenbaar in dagelijkse auditpraktijk Gepresenteerde methoden bieden mogelijkheden voor toepassing Conclusies praktijktoets Eindconclusie: oordeelsvormende technieken zijn beschikbaar en toepasbaar Inleiding Eindconclusie: oordeelsvormende technieken zijn beschikbaar Afsluitende opmerkingen...39 Geraadpleegde literatuur... I Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 2

8 1 AANLEIDING EN DOESTELLING 1 Aanleiding en doelstelling Met het begrip audit wordt het onderzoek aangeduid dat een gefundeerd oordeel moet opleveren. - KOCKS (2003) 1.1 Inleiding Dit referaat gaat over het verkrijgen van betrouwbare en valide onderzoeksresultaten op basis van kwalitatief georiënteerde Operational Audits. Maar waarom is de passage kwalitatief georiënteerde opgenomen in de titel van dit referaat? En waarom moeten onderzoeksresultaten van een audit betrouwbaar en valide zijn? Deze vragen zullen beantwoord worden in dit eerste, inleidende hoofdstuk. Hiertoe zal allereerst een formele definitie gegeven worden van het begrip audit. Vervolgens zal een aantal eigenschappen van Operational Auditing gegeven worden die maken dat deze type audits veelal kwalitatief georiënteerd zijn. Daarna zal worden aangetoond dat het juist deze eigenschappen zijn die maken dat de naleving van de formele definitie voor dit type audits nog niet zo eenvoudig is. Deze constatering heeft de aanleiding voor dit referaat gevormd, welke is weergegeven in paragraaf 1.5. In de daaropvolgende paragrafen zullen vervolgens de uit de aanleiding gevormde doelstelling met bijbehorende probleemstelling en onderzoeksvragen worden gepresenteerd. In paragraaf 1.9 zal de gehanteerde methode van onderzoek worden toegelicht. Het hoofdstuk wordt afgesloten met een weergave van de hoofdstukindeling van dit referaat. 1.2 Definitie Audit Kocks (2003) geeft in zijn essay Auditing, audit, auditor, wat moeten we ermee? de volgende invulling aan de definitie van het begrip auditing: Een audit is een onderzoek met als doel het, door middel van het verzamelen en beoordelen/evalueren van evidence, toetsen van één of meerdere aspecten van een gedefinieerd object aan een vastgestelde set van normen met als doel om op grond van de resultaten van die toetsing, één of meerdere gecertificeerde oordelen te kunnen geven aan de opdrachtgever of (via de opdrachtgever) aan derden. Kocks geeft in datzelfde essay een verdere invulling aan de verschillende elementen waaruit deze definitie is opgebouwd: Een audit bevat een onderzoek naar één of meerdere aspecten van een gedefinieerd object. Voor de effectiviteit en efficiëntie van de audit is het van belang dat er duidelijkheid en éénduidigheid bestaat over het object van de audit en de daarbij van toepassing zijnde aspecten. Hiertoe is inhoudelijke kennis benodigd van de aspecten waarop het object van audit beoordeeld dient te worden, en daarvoor te hanteren normen. Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 3

9 1 AANLEIDING EN DOESTELLING De onderzochte aspecten worden getoetst aan een vastgestelde set van normen. De beoordeling van het object van audit vindt plaats op basis van een set van normen. Aan de hand van deze normen kan de feitelijke situatie worden getoetst om daarover vervolgens een oordeel te kunnen geven. Oordeelsvorming komt tot stand door het verzamelen, beoordelen en evalueren van bewijsmateriaal. Een audit dient tot een gefundeerd oordeel te leiden. Dit gefundeerde oordeel dient tot stand te komen door systematische toetsing van het verzamelde bewijsmateriaal aan de gestelde norm(en). 1.3 Operational Audit: Onderzoek naar object nader gedefinieerd In voorgaande paragraaf is een formele definitie gegeven van het begrip audit. In deze paragraaf zal een drietal eigenschappen van operational audit de revue passeren die aantonen dat voor het betreffende vakgebied de naleving van deze definitie nog niet zo eenvoudig is. Een operational audit is gericht op een specifiek proces of situatie Daar waar een certificerende auditor een oordeel geeft over de uitkomsten van een bepaald proces (bijvoorbeeld de jaarrekening), geeft de operational auditor veelal een oordeel over een specifiek proces of situatie zelf (Babeliowsky; 2000) 1. Met andere woorden, de operational auditor richt zich niet zozeer op het resultaat zelf, maar voornamelijk op de oordeelsvorming met betrekking tot de totstandkoming van dat resultaat. De totstandkoming van een bepaalde uitkomst is vaak niet direct waarneembaar en vereist veelal complexe operationalisaties van de te hanteren beoordelingscriteria (Otten; 2003). Dit maakt dat de operational auditor andere, indirecte, veelal kwalitatieve ontsluitingsmethoden dient te hanteren dan bijvoorbeeld de certificerende auditor. Dit blijkt bijvoorbeeld uit de constateringen van Babeliowsky (2000) 2, die stelt dat de volgende ontsluitingstechnieken binnen operational auditing het meest gebruikt worden: ondervragingen van personen, analyse van documenten en, in geringere mate, observatie van personen of van de werkelijkheid. Een operational audit wordt uitgevoerd op locatie Kenmerkend voor een operational audit is dat het object van onderzoek (bijvoorbeeld een bepaald organisatieonderdeel, en de medewerkers daarbinnen) in de natuurlijke omgeving (op locatie) wordt bestudeerd. De operational auditor gaat naar het betreffende organisatieonderdeel toe om daar ter plaatse met mensen te praten en waarnemingen te verrichten. Een operational audit maakt gebruik van een relatief klein aantal onderzoekselementen Binnen een operational audit kan veelal slechts gebruik worden gemaakt van een relatief klein aantal informatiebronnen. Enerzijds kan de oorzaak hiervan worden gezocht in het feit dat de auditor zich richt op een specifiek proces of situatie binnen 1 Dit onderscheid in toetsing wordt aangegeven door de termen performancetoets (gericht op uitkomsten) en systeemtoets (gericht op de totstandkoming van uitkomsten). 2 De kwaliteit van Operational Auditing, A. Babeliowsky, 2000 Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 4

10 1 AANLEIDING EN DOESTELLING een organisatie. Deze afbakening zorgt ervoor dat er slechts een relatief klein aantal bronnen (bijv. personen, documenten) beschikbaar zijn die over relevante kennis beschikken met betrekking tot dat proces. Een andere oorzaak is dat eerdergenoemde kwalitatieve methoden van gegevensontsluiting zeer arbeidsintensief van aard zijn. Het ontwikkelen van interviewvragen, afnemen van interviews en verwerken van de verzamelde gegevens zijn tijdrovende activiteiten voor de auditor. Daarnaast is er ook niet veel voorstellingsvermogen nodig om het tijdrovende element van een techniek als observatie te herkennen. De restricties die aspecten als budget en doorlooptijd aan de uitvoering van een audit opleggen, maken dat de operational auditor maar een beperkt aantal gegevensbronnen kan raadplegen. 1.4 Operational Audit: gefundeerd oordeel, maar hoe? De auditor vormt een oordeel op basis van het verzamelen, beoordelen en evalueren van bewijsmateriaal. Op basis van de hiervoor besproken eigenschappen van operational audit, zal deze oordeelsvorming voornamelijk kwalitatief tot stand moeten komen. Allereerst vergt de constatering dat de gehanteerde methoden van gegevensontsluiting kwalitatief van aard zijn, eveneens een kwalitatieve verwerking van deze gegevens. Daarnaast zorgt het feit dat er slechts een relatief klein aantal gegevensbronnen ontsloten kunnen worden ervoor dat de aldus verzamelde gegevens niet kwantitatief geanalyseerd kunnen worden. De auditor is hierdoor aangewezen op een kwalitatieve manier van oordeelsvorming. Een belangrijk aspect van het verkregen bewijsmateriaal en het daarop gefundeerde oordeel is dat deze betrouwbaar en valide dienen te zijn. Het is het kwalitatieve aspect van de gehanteerde methoden en technieken die het voor de operational auditor moeilijk maakt om de betrouwbaarheid en validiteit van zijn onderzoeksresultaten aan te tonen. Otten, Hartog en Babeliowsky (2003) constateren: Many problems arise during qualitative analysis of data, and we often see that this part of the operational audit leads to unclear and implicit results; validity and reproducibility cannot be substantiated. Deze problemen zijn voer voor criticasters die hun twijfels hebben over het nut en toegevoegde waarde van operational audits. De Korte (2003) verwoord een veel gehoorde opvatting als volgt: De auditor beperkt zich tot het cumuleren en verwoorden van meningen over 1.5 Aanleiding: Operational Audit vereist kwalitatief onderzoek In voorgaande paragrafen is beargumenteerd dat een operational audit zich kenmerkt door het gebruik van voornamelijk kwalitatieve onderzoeksmethoden, maar als gevolg daarvan problemen ontstaan bij het waarborgen dat de onderzoeksresultaten valide en betrouwbaar zijn. De aanleiding voor dit referaat komt dan ook voort uit de gedachte dat, wil een operational audit valide en betrouwbare onderzoeksresultaten opleveren, er binnen het vakgebied kennis is vereist van kwalitatieve onderzoeksmethodologie en de daaruit Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 5

11 1 AANLEIDING EN DOESTELLING ontstane methoden en technieken die de validiteit en betrouwbaarheid van kwalitatief geaarde onderzoeken doen verbeteren. 1.6 Doelstelling van dit referaat De bovengeschetste problematiek waarmee de operational auditor worstelt ten aanzien van validiteit en betrouwbaarheid van kwalitatief verkregen onderzoeksresultaten is niet nieuw en evenmin uniek. Vooral binnen de sociale- en psychologische wetenschap wordt al decennia lang een debat gevoerd dat zich voornamelijk richt op de vraag in hoeverre bevindingen verkregen op basis van kwalitatief onderzoek betrouwbaar en valide zijn. Dit debat wordt gevoerd tussen de aanhangers van twee verschillende wetenschapsfilosofische stromingen die leiden tot verschillende strategieën van onderzoek en verschillende onderzoeksdata: de positivistische aanpak en de interpretatieve aanpak. De positivistische aanpak ligt ten grondslag aan het gebruik van kwantitatieve methoden, terwijl de interpretatieve aanpak ten grondslag ligt aan het gebruik van kwalitatieve methoden 3. Illustrerend voor de vraag waarmee kwalitatieve onderzoekers in het verleden hebben geworsteld is het in het voorwoord vermelde citaat van socioloog Matthew Miles. Het citaat is van bijna 25 jaar geleden, en binnen de sociologie is in die tijd hard gewerkt aan methoden en technieken om op basis van kwalitatieve data tot een gefundeerde oordeelsvorming te komen. Getuige het in de voorgaande paragraaf vermelde citaat van Otten c.s., is er binnen de operational audit nog weinig bekend over deze ontwikkelde technieken. Dit referaat wil bijdragen aan het verhogen van deze bekendheid, en heeft daarom de volgende doelstelling: Het doel van het onderzoek is het aanreiken van methoden en technieken voor oordeelsvorming die kunnen zorgen voor een verbetering van de betrouwbaarheid en validiteit van de resultaten van audits met een kwalitatief onderzoekskarakter. 1.7 Probleemstelling Centrale vraag Voor de realisatie van de in de vorige paragraaf genoemde doelstelling is de volgende centrale onderzoeksvraag geformuleerd: Zijn er oordeelsvormende methoden en technieken binnen de kwalitatieve onderzoeksmethodologie beschikbaar die de betrouwbaarheid en validiteit van kwalitatief verkregen auditresultaten kunnen doen verbeteren? 3 In hoofdstuk 2 zal dieper worden ingegaan op de inhoud en kenmerkende verschillen van beide stromingen. Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 6

12 1 AANLEIDING EN DOESTELLING Onderzoeksvragen Voor de beantwoording van de centrale vraag zijn de volgende onderzoeksvragen gedefinieerd: 1. Wat zijn de methodologische eigenschappen van kwalitatief onderzoek? 2. Kunnen deze eigenschappen worden teruggevonden in de hierboven beschreven kenmerken van operational audit? 3. Met behulp van welke oordeelsvormende methoden en technieken wordt binnen de kwalitatieve onderzoeksmethodologie de betrouwbaarheid en validiteit van onderzoeksresultaten gewaarborgd? 4. Zijn deze methoden en technieken relevant en toepasbaar binnen de uitvoering van een operational audit? 5. Praktijktoets: Zijn de onderkende bronnen van verstoringen herkenbaar in de dagelijkse praktijk van de operational auditor? Bieden de besproken methoden en technieken een uitkomst bij het ondervangen van deze bronnen van verstoringen? 1.8 Gehanteerde onderzoeksaanpak Voor de onderzoeksvragen 1 t/m 4 is literatuur op de gebieden van kwalitatief onderzoek en (operational) auditing bestudeerd. Deze literatuur is deels gebaseerd op empirisch onderzoek. De eerste vier hoofdstukken van dit referaat zullen de bevindingen en conclusies op basis van deze literatuurstudie bevatten. Voor de beantwoording van onderzoeksvraag vijf is gebruik gemaakt van een praktijkcomponent. De doelstelling van dit praktijkcomponent is om de theoretisch verkregen conclusies te toetsen aan de praktijk binnen operational auditing. Hiertoe zijn de theoretische inzichten uit hoofdstuk één tot en met vier voorgelegd aan een tweetal operational auditors. Bij de selectie van deze twee auditors is voornamelijk gelet op de ruime ervaring die zij binnen het vakgebied operational auditing hebben, en de variëteit in door hun uitgevoerde operational audits. De reacties van de auditors zijn op basis met interviews met hen verzameld. De grote lijn in deze reacties is verwoord in hoofdstuk vijf. 1.9 Opbouw van het referaat: van methodologie naar praktijk In het navolgende hoofdstuk zal dieper worden ingegaan op de methodologische eigenschappen van kwalitatieve onderzoeksmethoden. Hierbij zal tevens bekeken worden in hoeverre deze eigenschappen aansluiten bij de eerder gekenschetste kenmerken van een operational audit. De conclusies van dit hoofdstuk zullen een antwoord vormen op de eerste twee onderzoeksvragen. In hoofdstuk drie zal vervolgens dieper worden ingegaan op de manier waarop de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek worden ingevuld. Op basis van deze invulling zullen vervolgens methoden en technieken besproken worden die de validiteit en betrouwbaarheid waarborgen. Met het Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 7

13 1 AANLEIDING EN DOESTELLING bespreken van deze methoden en technieken is dan de derde onderzoeksvraag beantwoord. Vervolgens zal in hoofdstuk vier bekeken worden in hoeverre deze methoden en technieken toepasbaar zijn binnen de operational audit. Hierbij zal tevens gekeken worden naar eventuele praktische bezwaren bij het in de praktijk toepassen van deze methoden en technieken. De uitkomsten van deze analyse vormen het antwoord op onderzoeksvraag vier. In hoofdstuk vijf zal aan de hand van een praktijktoets de relevantie en toepasbaarheid van de gepresenteerde methoden en technieken worden achterhaald. De conclusies van deze praktijktoets zullen dienen voor de beantwoording van onderzoeksvraag vijf. In het zesde en tevens laatste hoofdstuk zal de geformuleerde centrale probleemstelling worden beantwoord. Dit antwoord zal vervolgens onderbouwd worden door beantwoording van de aan de probleemstelling onderliggende onderzoeksvragen. Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 8

14 2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN 2 Eigenschappen en toepassingsgebieden kwalitatieve methoden The label qualitative methods has no precise meaning in any of the social sciences. It is at best an umbrella term covering an array of interpretive techniques which seek to describe, decode, translate an otherwise come to terms with the meaning, not the frequency, of certain more or less naturally occurring phenomena in the social world. - VAN MAANEN (1979) 2.1 Inleiding In het voorgaande hoofdstuk is vastgesteld dat het vakgebied operational auditing niet zonder kwalitatief onderzoek kan. In dit hoofdstuk zal deze stelling verder onderbouwd worden. Hiertoe zullen allereerst de karakteristieken van kwalitatieve onderzoeksmethoden in kaart worden gebracht. Deze karakteristieken zullen worden geïdentificeerd door een vergelijking te maken tussen kwalitatieve methoden en kwantitatieve methoden. Vervolgens zal een vergelijking worden gemaakt tussen deze karakteristieken en de in het voorgaande hoofdstuk gekenschetste kenmerken van een operational audit. Uit deze vergelijking zal blijken dat de operational auditor baat heeft bij kennis van kwalitatieve onderzoeksmethoden en het daaraan ten grondslag liggende paradigma. 2.2 Kwantitatief vs. kwalitatief: verschillende paradigma s Verschil in paradigma: positivisme vs. interpretatief Een analyse van de verschillen tussen kwantitatieve en kwalitatieve methoden begint bij de onderkenning dat beide aanpakken verschillende onderliggende paradigma s hebben 4. Deze twee paradigma s zijn respectievelijk bekend als de positivistische aanpak en de interpretatieve aanpak (zie bijv. Cherryholmes; 1992, Guba en Lincoln; 1994). De filosofieën achter beide paradigma s zijn zeer verschillend. De gedachte achter het positivistische paradigma is dat er een objectieve, eenduidige waarheid in de wereld bestaat die achterhaald kan worden door wetenschappelijke methoden waarbij de nadruk ligt op het systematisch en statistisch meten van relaties tussen de verschillende variabelen. (Giorgi; 1970, Spiegelberg; 1972). Het interpretatieve paradigma gaat uit van de perceptie dat er geen eenduidige objectiviteit en realiteit bestaat. Volgens dit paradigma bestaan er vele realiteiten die ontstaan door de verschillende ervaringen die individuen beleven. Verschil in theorievorming: deductie vs. inductie De gedachte dat verschillende methoden gebaseerd zijn op verschillende filosofieën heeft gevolgen op meerdere vlakken. Ten eerste is de theorievorming verschillend. 4 Cassel, S. en Symon G. (1994) Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 9

15 2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN Binnen de positivistische aanpak worden theorieën gevormd op basis van het zogenaamde deductieprincipe. Binnen het deductieve principe worden op basis van algemeen geldende theorieën hypothesen gevormd voor bijzondere situaties. Deze hypothesen worden vervolgens getoetst aan de hand van observaties op basis waarvan de hypothese verworpen of aangenomen wordt. Samenvattend kan gesteld worden dat met deductie, vanuit het algemene het bijzondere verklaart probeert te worden. Binnen de interpretatieve aanpak vindt theorievorming plaats op basis van inductie. Bij deze aanpak worden op basis van bijzondere gevallen (waarnemingen) algemene wetmatigheden afgeleid. Het inductieve principe begint dan ook bij waarnemingen van bijzondere gevallen. Op basis van deze waarnemingen worden patronen geïdentificeerd die op basis van het testen van hypothesen tot algemeen geldende theorieën moeten leiden. Verschil in kennisperceptie: Objectieve outsider vs. subjectieve insider Naast de wijze van theorievorming bestaat het tweede belangrijke verschil tussen de beide paradigma s uit vraag wat de ware aard van kennis is. Het positivisme gaat er vanuit dat er een volledige onafhankelijkheid bestaat tussen de onderzoeker en het onderzochte. De onderzoeker is een buitenstaander die slechts observeert en registreert. Alleen in deze onafhankelijke, objectieve relatie kan volgens de positivistische benadering kennis met betrekking tot de realiteit achterhaald worden. De relativistische benadering gaat er daarentegen van uit dat de onderzoeker onderdeel is van het onderzochte en daar ook invloed op heeft. Met andere woorden, er bestaat afhankelijkheid in de relatie tussen de onderzoeker en het onderzochte. Dit verschil in inzicht speelt een belangrijke rol wanneer er wordt gekeken naar de criteria op basis waarvan de uitkomsten van een onderzoek geëvalueerd worden. In de volgende paragraaf zal hierop dieper worden ingegaan. Samenvatting In deze paragraaf is globaal ingegaan op de verschillen in paradigma s die ten grondslag liggen aan de kwantitatieve methoden en kwalitatieve methoden 5. Samengevat zijn de volgende verschillen aan de orde gekomen: Kwantitatief Kwalitatief Paradigma Positivistisch Interpretatief Realiteitsperceptie Er bestaat een objectieve, eenduidige waarheid Er bestaat meerdere realiteiten, gevormd door individuele percepties Theorievorming Deductief (van algemeen Inductief (van specifiek Werkelijke aard van kennis naar specifiek) Kennis wordt vergaard als objectieve outsider. Tabel 2.1:Kwantitatief vs. kwalitatief: verschillen in paradigma s naar algemeen) Kennis wordt vergaard als subjectieve insider. 5 Voor verdere beschouwing van dit onderwerp worde de geïnteresseerde lezer in dit onderwerp verwezen naar de vele literatuur die op dit gebied aanwezig is (bijvoorbeeld: Brymann,1988; Cook en Reichardt, 1978; Henwood en Pidgeon, 1992; Lincoln en Guba, 1985). Deze suggesties zijn overgenomen uit: Qualitative Methods in Organisational Research, Cassell en Symon, 1994 Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 10

16 2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN In de volgende paragraaf zal worden ingegaan op de gevolgen die het interpretatieve paradigma heeft op de onderzoeksdoelen, -methoden en evaluatiecriteria binnen het kwalitatieve onderzoek. 2.3 Kwalitatief onderzoek: doel, methoden en criteria In deze paragraaf zullen de eigenschappen van kwalitatief onderzoek nader belicht worden. Dit zal worden vormgegeven door te kijken naar hoe voor het kwalitatief onderzoek diverse aspecten zoals onderzoeksdoelstelling, onderzoekstechnieken en de rol van de onderzoeker vanuit het interpretatieve paradigma worden ingevuld. Doelstellingen kwalitatief onderzoek Kwalitatief onderzoek richt zich hoofdzakelijk op het begrijpen en interpreteren van processen, gebeurtenissen of ontwikkelingen. De context waarin deze gebeurtenissen zich afspelen speelt hierbij een belangrijke rol. Het interpretatieve paradigma erkent de invloed die een situatie (de context) heeft op gedrag, en dat gedrag ook weer invloed op de situatie heeft 6. Kwalitatief onderzoek heeft dan ook niet, zoals veelal wel bij kwantitatief onderzoek het geval is, als doel om oorzaak-gevolg relaties te achterhalen. Dit is volgens de holistische aanpak eenvoudig weg niet mogelijk doordat oorzaak en gevolg onderling afhankelijk zijn. Het kwalitatief onderzoek richt zich op het begrijpen van deze onderlinge afhankelijkheden. Een ander gevolg van de belangrijke rol die het begrip context en de invloed daarvan binnen kwalitatieve onderzoeken speelt, is dat dergelijke onderzoeken zich niet richten op de mate van generaliseerbaarheid van de uitkomsten. De specifieke tijd- en omgevingafhankelijke context waarbinnen een bepaalde bevinding is gedaan, maakt volgens het interpretatieve paradigma het generaliseren onmogelijk (Lincoln en Guba; 1985). Een juiste interpretatie van bevindingen is dus alleen mogelijk wanneer deze in de relatie tot de context worden gezien. Onderzoeksmethoden Zoals de tegenstelling kwantitatief versus kwalitatief al aangeeft, zijn laatstgenoemde methoden niet gericht op getallen. Dit is wellicht een te enge opvatting. Getallen zijn zeker geen taboe binnen kwalitatieve onderzoeken, maar er wordt kritisch naar de toegevoegde waarde van het cijfermatig inzicht gekeken 7. Kwalitatieve methoden worden vaak geassocieerd met het verzamelen en analyseren van geschreven of gesproken tekst, of de directe observatie van gebeurtenissen. Eerder in deze paragraaf is de mate van importantie van de contextuele omstandigheden in relatie tot het object van onderzoek beschreven. Op basis van dit 6 Dit wordt ook wel aangeduid als de holistische aanpak. Van Dale omschrijft holisme als: opvatting dat er een samenhang bestaat in de werkelijkheid die enkel uit een beschouwing van het geheel blijkt en niet terug te vinden is in de onderdelen 7 Kwalitatieve onderzoekers zijn het er redelijk over eens dat getallen prima gebruikt kunnen worden bij het verkrijgen van een eerste indruk, of het vaststellen dat een verandering heeft plaatsgevonden. Zodra er echter aandacht besteed moet worden aan vervolgvragen zoals Wat?, Waarom?, en Hoe?, moet volgens de onderzoekers worden teruggegrepen naar kwalitatieve methoden en technieken (gebaseerd op:cassel en Symon (1994)). Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 11

17 2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN uitgangspunt is dan ook binnen de sociale wetenschappen beargumenteerd dat kwalitatieve methoden onderzoek alleen onder natuurlijke omstandigheden kan plaatsvinden (Denzin; 1971, Lincoln en Guba; 1985, Marshall en Rossman; 1989). Binnen een kwalitatief onderzoek zullen minder snel a-priori beperkingen aan de classificaties binnen de verzamelde data worden opgelegd (Cassell en Symon; 1994). Dit komt voort uit de inductieve manier van theorievorming binnen het interpretatieve paradigma, waardoor een kwalitatief onderzoek minder gedreven wordt door het testen van hypothesen. Onderzoek is daarom ook meer gericht op opkomende thema s die zich tijdens het onderzoek openbaren. Een kwalitatief onderzoek richt zich doorgaans meer op de diepte dan op de breedte. Op basis van de in het begin van deze paragraaf genoemde methoden van gegevensverzameling probeert de onderzoeker een zo volledig en gedetailleerd mogelijk inzicht en begrip te krijgen. Een nadeel van deze verzamelingmethoden is echter dat zij zeer tijd- en arbeidsintensief zijn. Dit heeft als gevolg dat de kwalitatieve onderzoeker veelal met een relatief klein aantal waarnemingen moet werken. Rol van de onderzoeker In de vorige paragraaf is al kort aangegeven dat de relatie van de onderzoeker met het onderzochte een afhankelijk karakter heeft. De interactieve aard van de methoden van gegevensverzameling binnen kwalitatieve onderzoek maakt dat de onderzoeker niet een observerende buitenstaander is. De onderzoeker is iemand die deel uitmaakt van het onderzoek (de onderzoeker is zelf een onderzoeksinstrument) en vanuit die rol ook invloed heeft op zijn omgeving (lees: het onderzochte). Naast het bovengenoemde aspect van afhankelijkheid, is het begrip subjectiviteit eveneens een belangrijk aandachtspunt met betrekking tot de rol van de onderzoeker binnen kwalitatief onderzoek. Eerder is al gesteld dat de nadruk binnen kwalitatief onderzoek op het begrijpen en interpreteren ligt. Hoe bepaalde bevindingen worden geïnterpreteerd, is afhankelijk van de eigen opvattingen (normen en waarden) van de onderzoeker. Samenvatting karakteristieken In deze paragraaf is dieper ingegaan op de karakteristieken van kwalitatief onderzoek. Hiertoe is allereerst een vergelijking gemaakt tussen de onderliggende paradigma s van kwantitatief- en kwalitatief onderzoek. Vervolgens zijn de karakteristieken op het gebied van onderzoeksdoelen, methoden en technieken en de rol van de onderzoeker aan de orde gekomen. Samenvattend zijn hierbij de volgende elementen aan de orde gekomen: Aspect Kenmerk kwalitatief onderzoek Doel van het onderzoek Contextueel Nadruk op interpretatie Gericht op proces, niet op uitkomsten Methoden en technieken Analyse van gesproken of geschreven text. Onderzoek in natuurlijke omgeving Relatief klein aantal waarnemingen, participanten Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 12

18 2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN Rol van de onderzoeker Persoonlijke betrokkenheid Heeft invloed op zijn omgeving Onderzoeker is subjectieve insider Tabel 2.2:Eigenschappen kwalitatief onderzoek 2.4 Operational audit is kwalitatief onderzoek In het inleidende hoofdstuk zijn een drietal kenmerken gegeven die typerend zijn voor een operational audit: 1. Een operational audit is gericht op een specifiek proces of situatie 2. Een operational audit wordt uitgevoerd op locatie 3. Een operational audit maakt gebruik van een relatief klein aantal onderzoekselementen In de vorige paragraaf is beschreven wat de meest onderscheidende karakteristieken van kwalitatief onderzoek zijn. In deze paragraaf zal bevestigd worden dat de kenmerken van operational audit overeenkomen met de beschreven karakteristieken van kwalitatief onderzoek. Ad 1. Een operational audit is gericht op een specifiek proces of situatie In het vorige hoofdstuk is gesteld dat een operational audit zich voornamelijk richt op de beoordeling van een niet-direct waarneembaar proces of situatie. Een gevolg hiervan is dat de operational auditor genoodzaakt is tot complexe operationalisaties van de te hanteren auditvariabelen. Dit maakt dat de operational auditor indirecte, veelal kwalitatieve ontsluitingsmethoden dient te hanteren. Bij het behandelen van de doelstellingen van kwalitatief onderzoek is geconstateerd dat deze onderzoeken zich richten op het begrijpen en interpreteren van processen, gebeurtenissen of ontwikkelingen. Ook hier valt dus op te merken dat kwalitatief onderzoek zich niet zo zeer richt op de uitkomsten zelf, maar meer op de totstandkoming van die uitkomsten. Het doel om te begrijpen en interpreteren leidt tot kwalitatief getinte onderzoeksvragen als Wat en Waarom. Dergelijke onderzoeksvragen vergen een kwalitatieve manier van gegevensverzameling. Ad 2. Een operational auditor wordt uitgevoerd op locatie Eén van de eigenschappen van een operational audit is dat deze veelal in het veld wordt uitgevoerd. De operational auditor gaat naar het betreffende organisatieonderdeel toe om daar ter plaatse met mensen te praten, om documenten te bekijken en waarnemingen te verrichten. Dit element is eveneens heel duidelijk terug te vinden in de eigenschappen van kwalitatief onderzoek. Het interpretatieve paradigma gaat ervan uit dat het object van onderzoek niet los gezien kan worden van de specifieke tijds- en omgevingsafhankelijke context waarbinnen het object zich bevindt. Deze veronderstelling maakt dat kwalitatieve onderzoeksmethoden dan ook niet gericht zijn op het isoleren van het object van onderzoek (zoals bijvoorbeeld bij een laboratoriumonderzoek), maar vooral zijn ingericht op situaties waarbij de problematiek onder natuurlijke omstandigheden onderzocht dient te worden. Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 13

19 2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN Ad 3. Een operational audit maakt gebruik van een relatief klein aantal onderzoekselementen Er is geconstateerd dat er binnen een operational audit veelal slechts gebruik kan worden gemaakt van een relatief klein aantal informatiebronnen. Hiervoor zijn twee verschillende oorzaken aangegeven. De relatief kleine omvang van het object van audit en de arbeidsintensieve aard van de gehanteerde methoden van gegevensverzameling maken dat de operational auditor maar een beperkt aantal gegevensbronnen kan raadplegen. Dit aspect is eveneens herkend als eigenschap van kwalitatief onderzoek. Gesteld is dat een kwalitatief onderzoek zich meer richt op de diepte dan de breedte. Met behulp van kwalitatieve onderzoeksmethoden probeert de onderzoeker een zo volledig en gedetailleerd mogelijk inzicht en begrip te krijgen. De arbeids- en tijdsintensieve aard van deze methoden maakt echter dat de kwalitatieve onderzoeker veelal met een klein aantal waarnemingen moet werken. 2.5 Conclusies In dit hoofdstuk zijn de methodologische eigenschappen van kwalitatief onderzoek besproken. Vervolgens is de vergelijking gemaakt tussen deze eigenschappen en de in het eerste hoofdstuk gekenschetste kenmerken van een operational audit. Op basis van deze vergelijking is gebleken dat eigenschappen van kwalitatief onderzoek in grote mate terug te vinden zijn binnen operational auditing. Deze overeenkomsten bestaan voornamelijk op het gebied van: het object van onderzoek (proces, situatie), de daaruit volgende gebruikte methoden van gegevensverzameling, de hoge mate van veldwerk en het feit dat slechts een beperkt aantal bronnen geraadpleegd kunnen worden. De conclusie van dit hoofdstuk luidt dan ook dat operational auditing vooral kwalitatief onderzoek vereist. Eerder is al gesteld dat het juist het kwalitatieve aspect van de gehanteerde methoden en technieken is die het voor de operational auditor moeilijk maakt om de betrouwbaarheid en validiteit van zijn onderzoeksresultaten aan te tonen. Dit pleit er voor dat de operational auditor kennis dient te nemen van het interpretatieve paradigma en de daaruit volgende onderzoeksmethoden. Voor de acceptatie van het gebruik van deze onderzoeksmethoden moet men echter wel bereid zijn om te onderkennen dat dit paradigma afwijkt van de meer gangbare invulling van een audit. Om met Kocks (2003) te spreken: Door het specifieke van het deelgebied kan het ook nodig zijn de algemene auditingtheorie voor dat deelgebied aan te passen omdat dat deelgebied daaraan specifieke eisen stelt. Eén van die aanpassingen zou kunnen zijn dat uit deductie of op grond van extrapolatie verkregen materiaal wel als evidence mag worden gebruikt. Deze onderkenning is mooi, maar alleen van waarde wanneer kan worden aangetoond dat het aldus verkregen bewijs ook valide en betrouwbaar is. Het volgende hoofdstuk zal hiertoe een bijdrage proberen te leveren. In dit hoofdstuk zullen enkele methoden en technieken behandeld worden die de validiteit en betrouwbaarheid van kwalitatief verkregen onderzoeksresultaten waarborgen. Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 14

20 3 VERGROTEN VAN BETROUWBAARHEID EN VALIDITEIT: PRAKTISCHE HULPMIDDELEN 3 Vergroten van betrouwbaarheid en validiteit: praktische hulpmiddelen The meanings emerging from the data have to be tested for their validity. Otherwise, we are left with interesting stories about what happened, of unknown truth and utility. -MILES & HUBERMAN (1994) 3.1 Inleiding In de voorgaande hoofdstukken is de conclusie getrokken dat operational audits een kwalitatieve onderzoeksaanpak vereisen. In dit hoofdstuk zal een aantal methoden en technieken worden gepresenteerd die de betrouwbaarheid en validiteit van kwalitatief verkregen onderzoeksresultaten waarborgen. Hiertoe zal allereerst worden nagegaan hoe de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek dienen te worden ingevuld. Vervolgens zal een aantal verstoringen besproken worden die voortkomen uit de eigenschappen van kwalitatief onderzoek en een bedreiging vormen voor validiteit en betrouwbaarheid. Tenslotte zal een aantal methoden en technieken worden gepresenteerd die de auditor gedurende de uitvoering van zijn onderzoek kan toepassen om te waarborgen dat deze verstoringen ondervangen kunnen worden. 3.2 Validiteit en betrouwbaarheid binnen kwalitatief onderzoek Onafhankelijk van welke onderzoeksmethode gebruikt wordt, moeten er bij de evaluatie van de verzamelde gegevens en de daaruit voortvloeiende conclusies altijd twee fundamentele vragen gesteld worden. De eerste vraag luidt: meten/verklaren de verzamelde gegevens datgene wat zij dienen te meten/verklaren?. Deze vraag heeft betrekking op de validiteit van het onderzoek. De tweede vraag die beantwoord dient te worden heeft betrekking op de betrouwbaarheid van het onderzoek, en luidt: ervan uitgaande dat het bedoelde gemeten/verklaard wordt, in hoeverre zijn deze metingen/verklaringen dan zonder fouten en/of verstoringen?. De volgende secties van deze paragraaf zullen dieper ingaan op de interpretatie van de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek. Validiteit Binnen kwantitatief onderzoek is een meetinstrument valide wanneer deze meet wat er gemeten dient te worden. Op een gelijke manier is een kwalitatief onderzoek valide wanneer het heeft bestudeerd wat het bedoeld heeft te bestuderen. In essentie is de invulling van het begrip validiteit dus gelijk in beide onderzoeksmethoden. Toch zijn er verschillen te onderkennen. Binnen kwantitatief onderzoek is men vooral gericht op de validiteit van gehanteerde onderzoeksinstrumenten. Hierbij kan men bijvoorbeeld denken aan de vraag in hoeverre een gehanteerde schaal binnen een survey valide is. Binnen kwalitatief onderzoek ligt de nadruk daarentegen veel meer op de validiteit van de interpretaties (King; 1994). Met andere woorden, of de door de onderzoeker getrokken conclusies valide zijn in relatie tot de onderliggende verzamelde gegevens. Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits 15