16 Methodologische discussie

Transcriptie

1 16 Methodologische discussie In dit hoofdstuk wordt de gebruikte onderzoeksmethode onderworpen aan een kritische beschouwing. In paragraaf 16.1 wordt ingegaan op de beschikbaarheid en de betrouwbaarheid van ruwe gegevens en op de generaliseerbaarheid van de resultaten. In paragraaf 16.2 worden enkele beperkingen besproken die samenhangen met de gemaakte theoretische en operationele keuzes 'Respons', betrouwbaarheid en generaliseerbaarheid 'Respons': de beschikbaarheid van de gegevens Deze studie kende beperkingen in de beschikbaarheid van het ruwe-gegevensmateriaal. Ten eerste was er sprake van beperkte beschikbaarheid van tekstbronnen. Hoewel toegang tot archieven van afdelingen JGZ of van GGD'en is nergens geweigerd, kan worden aangenomen dat vertrouwelijke stukken in privé-archieven waarschijnlijk slechts beperkt boven tafel zijn gekomen. Archieven bleken verder geregeld te zijn 'geschoond' van oud materiaal, waarbij waren alleen de definitieve versies van formele documenten bewaard waren. Vooral in Groningen werd de reconstructie van de beleidsprocessen hierdoor belemmerd. Door de achtereenvolgende fusies, reorganisaties en verhuizingen, waren daar de archieven veelvuldig 'geschoond'. Een ander aspect van de beperkte beschikbaarheid van tekstbronnen betreft de sterk informele en mondelinge cultuur die in sommige regio's werd aangetroffen. Vooral in Oost- Groningen en Noord-Limburg was hierdoor het aantal beschikbare tekstbronnen beperkt. Ten tweede was er de 'respons' van de beleidsactoren die voor interviews zijn benaderd. Omdat de reconstructies zich uitstrekten over een periode van ongeveer tien kalenderjaren, waren niet alle relevante actoren meer bereikbaar. Voormalige hoofden JGZ, voormalige directeuren GGD en andere actoren uit het begin van de jaren negentig, konden vaak niet meer worden uitgenodigd voor een interview. In twee regio's lukte het bovendien niet om zittende wethouders te interviewen. Zij lieten via de directeuren GGD weten niets toe te kunnen voegen aan de woorden van die directeuren. Ondanks de beperkingen in beschikbaarheid van tekstbronnen en interviews was voor de 20 in de eindanalyse gebruikte beleidsprocessen voldoende materiaal voorhanden om een reconstructie op te baseren (zie bijlage 7). Betrouwbaarheid van de data De betrouwbaarheid van de data wordt, behalve door 'non-respons', nog door enkele andere zaken beperkt. Ten eerste worden in formele tekstbronnen vooral 'officiële' versies van gebeurtenissen weergegeven a). Hierdoor kunnen weerstand tegen veranderingen en (andere) niet geslaagde invloedspogingen onzichtbaar blijven. Ook kunnen in formele beleids- en beslisdocumenten sommige actoren belangrijker lijken dan dat ze in de praktijk zijn. Juist deze formele documenten werden bij het 'schonen' van archieven (zie hiervoor) vaak bewaard. Het genoemde bezwaar geldt in veel mindere mate voor vergaderverslagen en briefwisselingen. Daarin zijn niet-geslaagde invloedspogingen vaak wel goed zichtbaar. a) Zie hierover ook: Ringeling AB. Beleidstheorieën en theorieën over beleid. Beleid & Maatschappij 1985;12:275 e.v. Hoofdstuk 16. Discussie 257

2 Door halfgestructureerde interviews af te nemen bij sleutel-actoren in een regio is getracht het bezwaar van de 'officiële versies' in tekstbronnen te ondervangen. Ook bij interviews kunnen echter problemen optreden met de betrouwbaarheid van de data. De geïnterviewde actoren zijn namelijk gekozen in overleg met de contactpersoon in een regio. Deze contactpersoon is steeds zelf ook een actor geweest in de onderzochte beleidsprocessen. Het is dus mogelijk dat bij de keuze van de te interviewen actoren een selectie is opgetreden. Dit kan vooral een rol hebben gespeeld bij de selectie van de jeugdartsen, jeugdverpleegkundigen en schooldirecteuren. Bij deze actoren was er steeds keuze uit meer personen, maar is meestal slechts één persoon per discipline geïnterviewd. In de regionale GGD'en geldt dit ook voor de wethouders en de beleidsambtenaren. Door deze selectie van actoren kan een vertekening in de reconstructies zijn opgetreden in de richting van de door de contactpersoon ervaren werkelijkheid. Verder is niet uit te sluiten dat geïnterviewden soms 'sociaal wenselijke' antwoorden hebben gegeven, bijvoorbeeld over de wijze van interactie of de wijze van gebruik van kennis. Getracht is dit knelpunt in elk geval deels te ondervangen door verschillende actoren te interviewen: binnen de afdeling JGZ, breder binnen de GGD en buiten de GGD. Een derde aspect van betrouwbaarheid betreft de subjectiviteit in de kwalitatieve analyse van de ruwe gegevens. Deze is tegengegaan door de in paragraaf beschreven methodieken voor kwaliteitsbewaking in kwalitatief onderzoek. Hierbij waren vooral twee zaken belangrijk: de codering van de ruwe gegevens door twee codeurs en de terugkoppeling van de gereconstrueerde beleidsprocessen naar contactpersonen bij de GGD'en. De in paragraaf beschreven combinatie van methodes en niveaus in de analyse, draagt verder bij aan het inperken van het bezwaar van subjectiviteit in de kwalitatieve analyse. Deze combinatie is in de sociale geneeskunde nog ongebruikelijk, maar wordt in de sociale wetenschappen geregeld toegepast. Zij heeft bovendien als meerwaarde dat optimaal van de mogelijkheden gebruik kan worden gemaakt om vanuit de verzamelde ruwe gegevens tot betrouwbare conclusies te komen. Generaliseerbaarheid van de resultaten De resultaten van deze studie hebben, gezien de gekozen casestudy benadering, in eerste instantie betrekking op het JGZ-beleid in de vier regio's waar de onderzochte beleidsprocessen zich afspeelden. De distributie van veel variabelen was echter in grote mate eenvormig. Voor de meeste variabelen zijn immers geen of weinig regiogebonden verschillen aangetroffen. Bovendien is er sprake van een grote mate van eenduidigheid van de meeste conclusies. Daarom kan worden aangenomen dat de conclusies uit deze studie waarschijnlijk in grote lijnen generaliseerbaar zijn naar de gehele JGZ voor 4-19-jarigen. De keuze voor 'most different cases' (zie paragraaf en paragraaf 1.6) draagt verder bij aan de theoretische generaliseerbaarheid van de resultaten. De hiervoor besproken knelpunten in de respons en de betrouwbaarheid van de data beperken deze nauwelijks. De statistische conclusies zijn niet generaliseerbaar naar het gehele werkveld. Statistische generalisatie was in deze studie, gezien de keuze voor de casestudy methode, echter ook niet de opzet. De conclusies over de relaties tussen actor- en netwerkkenmerken enerzijds en het gebruik van wetenschappelijke kennis anderzijds kunnen ook interessant zijn voor andere onderdelen van de gemeentelijke openbare gezondheidszorg. Die bevinden zich namelijk in een vergelijkbaar spanningsveld tussen professionals, managers en bestuurders. Beperkende factor bij een dergelijke generalisatie is wel dat de JGZ in tegenstelling tot veel andere GGDtaakonderdelen, een relatief lange geschiedenis kent (zie hoofdstuk 4). Bovendien was er voor veel andere GGD-taken tot 1990 (het jaar van invoering van de WCPV) geen sprake van landelijke standaardisatie via voorschriften bij een subsidieregeling, zoals in de JGZ wel 258

3 het geval was. Weerstand tegen verandering heeft daardoor bij de JGZ mogelijk een grotere rol gespeeld dan bij andere GGD-taken. De uitkomsten van deze studie zijn ook van belang voor de JGZ voor 0-4-jarigen. Deze opereert nu nog afzonderlijk via de thuiszorgorganisaties, die landelijk worden aangestuurd en gefinancierd. Zij wordt de komende jaren echter in toenemende mate onderhevig aan gemeentelijke beleidsvorming (zie ook paragraaf 4.2) Theoretische en operationele keuzes De kwantitatieve analyse op actorniveau De kwantitatieve analyse van aanwijzingen in tekstbronnen en interviews, welke ten grondslag lag aan de analyse van de relatie tussen actorkenmerken en kennisgebruik, kent een belangrijke beperking. Het aantal aanwijzingen voor bijvoorbeeld het gebruik van een bepaalde hulpbron door een actor, is namelijk als indicator gebruikt voor de intensiteit van het gebruik van die hulpbron door die actor. Deze veronderstelling is echter betwistbaar. Door deze keuze bij de operationalisatie wordt '20 aanwijzingen' in de analyse behandeld als 40% van '50 aanwijzingen'. Er is echter geen sprake van een echte indicator op rationiveau (vaste afstand tussen de waarden met een absoluut nulpunt). Feitelijk zou de indicator behandeld moeten worden als een ordinale variabele (wel een rangorde tussen de waarden, maar zonder vaste afstand en zonder absoluut nulpunt). Dit zou echter rekenkundige bewerkingen met de waardes van deze indicatoren onmogelijk maken. Het grote aantal mogelijke waardes van de indicatoren zou dan geen enkele meerwaarde meer hebben boven dichotomiseren. Vanwege de grofheid van de analyse, welke bestond uit variantie-analyses en lineaire regressieanalyses, is het toch verantwoord geacht de indicatoren te behandelen als waren ze van ratio niveau. Daar waar het analysetechnisch niet verantwoord was de indicatoren als ratio variabelen te behandelen, is er voor gekozen deze te dichotomiseren tot indicatoren op ordinaal niveau. Ze kregen dan de waarde 'geen aanwijzingen' als geen enkele aanwijzing was aangetroffen voor bijvoorbeeld het gebruik van een hulpbron. Ze kregen de waarde 'wel aanwijzigen' als daarvoor tenminste één aanwijzing was aangetroffen. Deze dichotomisering was vooral nodig wanneer de relaties werden onderzocht tussen verschillende indicatoren die op aantallen aanwijzingen zijn gebaseerd. De relatie tussen bijvoorbeeld het hulpbronnengebruik en de onderscheiden vormen van kennisgebruik is geanalyseerd met behulp van kruistabellen met de gedichotomiseerde indicatoren. Deze dichotomisering was om nog een andere reden nodig. Voor de verschillende actoren verschilde namelijk het aantal bronnen waarin aanwijzingen konden worden gezocht. Tussen de vier regio's verschilde het aantal gegevensbronnen dat als basismateriaal diende. Daarnaast was het niet voor alle actoren mogelijk om in alle gegevensbronnen in een regio de aanwijzingen te beoordelen, bijvoorbeeld omdat zij slechts in één deelbeleidsproces een actor zijn geweest. Voor andere actoren konden juist in veel bronnen aanwijzingen worden gevonden voor het actief participeren in meer (deel)beleidsprocessen. Dit kan leiden tot schijnrelaties. Vanwege dit knelpunt zijn bovendien alleen actoren in de eindanalyse opgenomen die in minimaal vijf gegevensbronnen werden aangeduid en waarbij aan de meeste indicatoren waarden konden worden toegekend. Dat is echter slechts een zeer gedeeltelijke oplossing. In de analyses op actorniveau blijft door deze methodologische zwakte het risico aanwezig dat schijnrelaties zijn gevonden. Het relatief grote aantal relaties dat is gevonden tussen actorkenmerken onderling en tussen actorkenmerken en kennisgebruik (hoofdstuk 10 en 12) maakt aannemelijk dat dit probleem in elk geval niet volledig is opgelost. Hoofdstuk 16. Discussie 259

4 Eveneens betwistbaar is of het aantal gegevensbronnen waarin aanwijzingen zijn gevonden voor bijvoorbeeld het gebruik van een hulpbron door een actor, wel als indicator mag worden gezien voor de intensiteit van het gebruik van die hulpbron door die actor. Het zou immers ook zo kunnen zijn dat het slechts een indicator is voor de kans dat die actor deze hulpbron heeft gebruikt. Voor het gebruik van kennis geldt bovendien dat de gekozen operationalisatie geen inzicht geeft in de 'kwaliteit' van het kennisgebruik. Er wordt bijvoorbeeld geen onderscheid gemaakt tussen het gebruik van een eenmalig aangetroffen relatie in één enkel onderzoeksverslag en het gebruik van de resultaten van een uitgebreide, systematische literatuurstudie. Keuzes bij de uitwerking van de theoretische begrippen In deze studie zijn een aantal keuzes gemaakt in de uitwerking van de theoretische begrippen, die bij toekomstig onderzoek nadere overweging verdienen. Hierbij gaat het vooral om de begrippen kennisgebruik, hulpbronnengebruik en referentiekaders. In de uitwerking van het begrip 'gebruik van kennis' is alleen het zichtbare feitelijke kennisgebruik onderzocht. Er is niet nagegaan tot welke wetenschappelijke kennis de onderscheiden actoren toegang hadden. Het meten van toegang tot kennis is gewenst omdat daardoor rationaliserend gebruik van kennis beter is op te sporen. Bij de verwerking van de ruwe gegevens bleek het lastig om rationaliserend kennisgebruik aan te duiden. Doordat niet alle beschikbare kennis en de toegang van actoren tot die beschikbare kennis konden worden geïnventariseerd, kon selectief kennisgebruik lastig worden vastgesteld. Hierbij komt nog dat veel professionals en onderzoekers (die doorgaans een wetenschappelijk referentiekader hebben) ertoe neigen hun eigen rationaliserend kennisgebruik te verbloemen. Rationaliserend kennisgebruik is immers niet in overeenstemming met professioneel en wetenschappelijk streven om op basis van alle beschikbare kennis een zo goed mogelijk besluit te nemen. Door selectief kennisgebruik vast te stellen, kan de achtergrond van die selectie beter worden onderzocht. Mogelijk kan rationaliserend kennisgebruik dan ook gemakkelijker worden vastgesteld. Over de operationalisatie van gebruik van kennis moet bovendien worden opgemerkt dat kennis is 'gemeten', die in beleidsprocessen is benut om standpunten te ondersteunen. Het effect van het kennisgebruik op het uiteindelijk genomen besluit is niet onderzocht. Hoewel op grond van bijvoorbeeld het kennisgebruik in de hoofdstukken 5, 7 en 8 aannemelijk kan worden gemaakt dat kennisgebruik in elk geval soms effect heeft gehad, kunnen hierover geen conclusies worden getrokken. Evenmin kan worden aangegeven welke factoren de 'succeskans' van kennisgebruik bepalen. Het is wenselijk bij vervolgonderzoek wel aandacht te besteden aan de effecten van het kennisgebruik. In het verlengde van de vraag naar het effect van kennisgebruik ligt de vraag of het uiteindelijk genomen besluit gebaseerd is op alle beschikbare kennis (met andere woorden: of er een evidence based besluit is genomen). Ook dit is niet onderzocht. Hierdoor kunnen geen uitspraken worden gedaan over de vraag of kennisgebruik ook leidt tot een andere inhoud van het besluit. Vooral het beoordelen van de vraag of besluiten evidence based zijn, ligt in de lijn van de ambities van de beweging van de evidence based gezondheidszorg. Om na te gaan of er sprake is van evidence based besluiten, zou echter niet alleen moeten worden gekeken of kennis effectief is gebruikt voor het beïnvloeden van het besluit. Daarvoor moet bovendien worden nagegaan of, gegeven de op het moment beschikbare wetenschappelijke kennis, de inhoud van het genomen besluit ook het 'meest juiste' besluit is. Een dergelijke toetsing was binnen het kader van deze studie niet mogelijk. 260

5 Bij het begrip hulpbronnen is eveneens gekozen voor onderzoek naar het feitelijk hulpbronnengebruik. Hiermee is dus niet de (potentiële) toegang van actoren tot hulpbronnen onderzocht. Ook is geen inzicht verkregen in factoren die er toe bijdragen dat actoren een bepaalde hulpbron waartoe ze toegang hebben, wel of niet gebruiken. Een dergelijke uitwerking bleek voor deze studie niet haalbaar, maar zou voor vervolgonderzoek gewenst kunnen zijn. Meer inzicht in factoren die bepalen of toegankelijke hulpbronnen gebruikt worden, biedt meer mogelijkheden voor het onderzoeken van (causale) relaties tussen actorkenmerken en kennisgebruik. De operationalisatie van referentiekaders staat eveneens open voor een kritische beschouwing. De aanwezigheid van referentiekaders is onderzocht door aanwijzingen in tekstbronnen en interviews te beoordelen. Hiervoor zijn de definities van de referentiekaders gebruikt, zoals die door Snellen zijn opgesteld (zie hoofdstuk 2). In een dergelijke beoordeling door de onderzoeker kan subjectiviteit een rol spelen (zie ook de eerdere opmerkingen over betrouwbaarheid). Het coderen door twee onderzoekers ondervangt dit knelpunt maar gedeeltelijk. Daarom blijft het gewenst om voor toekomstig onderzoek naar een beter gevalideerde meetmethode te zoeken. Een ander aspect van de operationalisatie van referentiekaders betreft het niveau waarop onderscheid is gemaakt. In deze studie is gekozen voor het relatief hoge abstractieniveau van de 'frames of reference' van actoren. Daardoor is niet gekeken naar meer subtiele verschillen tussen de belevingswerelden van actoren. Bijvoorbeeld tussen de meer natuurwetenschappelijk denkende medici en de meer sociaal-wetenschappelijk denkende GVO-functionarissen (zie voetnoten b c d ). De verschillen die in deze studie zijn gevonden tussen actoren voor wat betreft het gebruik van medisch-inhoudelijke en sociaalwetenschappelijke kennis duiden er op dat het in vervolgonderzoek zinvol kan zijn dit onderscheid nader uit te diepen. b) Kerkhoff A & Heffen O van. De jeugdarts en de andersdenkenden: laveren tussen verschillende rationaliteiten. Tijdschrift voor jeugdgezondheidszorg 1997;29: c) Kerkhoff AHM & Gorissen WHM. Hoe kan de metafoor van het netwerk samenwerking in de jeugdgezondheidszorg bevorderen? Tijdschrift voor Jeugdgezondheidszorg 2000;32: d) Bekkum D van & Gorissen WHM. Netwerken in de Jeugdgezondheidszorg: voorbij de (drie) torens van Babel. In: Handboek Jeugdgezondheidszorg, Elsevier Bedrijfsinformatie, Maarssen, Hoofdstuk 16. Discussie 261