Kenmerken van politiegerelateerd onderzoek

Transcriptie

1 Kenmerken van politiegerelateerd onderzoek Een empirisch onderzoek naar de methodologische kenmerken van politiegerelateerd onderzoek Politieacademie 2015

2 Kenmerken van politiegerelateerd onderzoek Een empirisch onderzoek naar de methodologische kenmerken van politiegerelateerd onderzoek D.G. Andriessen J. van den Goor D. Janssen K. Jongmans J. Prins F. Veen Politieacademie

3 Inhoudsopgave 1. Inleiding 4 Aanleiding 4 Doorwerking van onderzoek ten behoeve van de politie 4 Doelstelling en vraagstelling 6 Methodologie publicatieonderzoek 8 Methodologie interviews Resultaten 13 Algemene kenmerken 13 Kenmerken van de betrokkenen 15 Kenmerken van de onderzoeksvraag 20 Kenmerken van het onderzoeksdesign 22 Kenmerken van de dataverzamelingsmethoden 28 Clusters van onderzoeken 31 Geïnterviewden over doorwerking Conclusies en aanbevelingen 35 Doorwerking naar de praktijk 35 Designs en methoden 36 Profiel Politieacademie 36 Aanbevelingen 37 Literatuur 38 Bijlage 1 Werkwijze samenstellen bibliografie 40 Bijlage 2 Scoringsprotocol publicaties 41 Stap A verhelderen van de onderzoeksvraag en variabelen 41 Stap B scoring 41 Bijlage 3 Topiclijst interviews 51 3

4 1. Inleiding Aanleiding De Politieacademie heeft binnen het politiebestel de taak om wetenschappelijk onderzoek te verrichten en uit te besteden ten behoeve van de politie. Met ingang van 2015 is de strategische onderzoeksagenda voor de politie leidend voor dit onderzoek (Janssen & Venderbosch, 2014). De Politieacademie formuleert deze agenda met input van de Nationale Politie en wetenschappers en de minister van V&J stelt hem vast. De Politieacademie krijgt daarmee de verantwoordelijkheid voor de programmering van het onderzoek ten behoeve van de politie. Een belangrijk aspect van de zorg voor kwaliteit van het onderzoek is de doorwerking van politiekundige kennis in het politieonderwijs en de politiepraktijk. Om deze taak goed op zich te kunnen nemen wil de directeur Kennis & Onderzoek van de Politieacademie inzicht krijgen in de verschillende vormen van politiegerelateerd onderzoek in Nederland. Doorwerking van onderzoek ten behoeve van de politie Naar de doorwerking van onderzoek in de praktijk kan op vele manieren worden gekeken (Weiss, 1979). Zo kan er een onderscheid worden gemaakt tussen doorwerking als het toepassen van fundamentele kennis in de praktijk versus doorwerking als het instrumentele gebruik van onderzoek als informatiebron bij het oplossen van concrete problemen. Ponsaers (2010) noemt dit het onderscheid tussen onderzoek naar versus onderzoek voor de politie. Ook kan onderscheid worden gemaakt tussen directe en indirecte doorwerking (Struiksma & Winter, 2008). Bij directe doorwerking worden resultaten van onderzoek op korte termijn en rechtstreeks toegepast. Bij indirect gebruik is de toepassing veel diffuser. Onderzoek kan indirecte impact hebben doordat concepten en theoretische perspectieven doorsijpelen in de praktijk (Weiss, 1979) of doordat het de politieke agenda beïnvloedt. Een specifieke vorm van doorwerking, die vaak als onwenselijk wordt ervaren, is het tactisch en politieke gebruik van onderzoek. Hierbij wordt onderzoek bijvoorbeeld ingezet om beslissingen uit te stellen of om een reeds ingenomen standpunt te verdedigen (Struiksma & Winter, 2008; Weiss, 1979). Er is vrij veel onderzoek gedaan naar het directe, instrumentele gebruik van onderzoek in overheidsorganisaties en de factoren die dat beïnvloeden (Caplan, 1975; Huberman, 1994; Landry, Lamari, & Amara, 2003; Lee & Staffeldt, 1977; Webber, 1984). Beïnvloedende factoren zijn te verdelen in drie categorieën (Huberman, 1994; Landry et al., 2003): 4

5 1. Kenmerken van het onderzoek, van de onderzoekers en van hun context; 2. Kenmerken van de interactie tussen de onderzoekers en de gebruikers; 3. Kenmerken van de gebruikers en hun context. Onder de eerste categorie vallen variabelen zoals de methodologische kenmerken en de gebruikersgerichtheid van het onderzoek, de mate waarin het onderzoek aansluit bij een behoefte en het vermogen van de onderzoeker om resultaten in verschillende vormen te dissemineren (Huberman, 1994). Onder de tweede categorie vallen factoren als de mate waarin de werkvloer betrokken is bij het agenderen, vormgeven, uitvoeren en toepassen van het onderzoek (Sprenger, Tops, & Kop, 2013). Onder de derde categorie vallen variabelen zoals de cultuur van de gebruikers en hun vermogen om kennis op te nemen (Cohen & Levinthal, 1990), evenals de indruk die gebruikers hebben van de toegevoegde waarde van het onderzoek. In de discussie over de doorwerking van politiegerelateerd onderzoek komen deze factoren ook terug. Onderzoekgerelateerde factoren die in de literatuur worden genoemd zijn: het politiegerelateerd onderzoek is te gefragmenteerd (Bruinsma & Van der Vijver, 1998; Muller, 1998; Ponsaers, 2010; Van der Vijver, 2012; Van Reenen, 2012); het onderzoek schiet tekort in analyse (Straver, 1998), is vooral beschrijvend van aard (Ponsaers, 2010; Van der Vijver, 2012) en te abstract (Vlek, 2012); het onderzoek is van onvoldoende kwaliteit (Noije & Wittebrood, 2008; Van der Vijver, 2012; Van Reenen, 2012), en bestaande of traditionele onderzoeksmethoden passen niet bij de complexiteit van de problematiek (Sprenger et al., 2013; Van Reenen, 2012); er is nog geen coherent samenstel van kennis en theorieën (Muller, 1998); onderzoekers schrijven teveel voor collega s en te weinig voor gebruikers (Straver, 1998); er verschijnt teveel onderzoek (Straver, 1998); onderzoekers hebben niet altijd de vaardigheid om te adviseren (Nelen, 1998); onderzoek is te traag (Muller, 1998; Van Reenen, 2012); onderzoek wordt te weinig bekend gemaakt en is te weinig actueel of relevant (Struiksma & Winter, 2008). Naast auteurs die wijzen op de beperkte gebruikersgerichtheid van het onderzoek, zijn er ook auteurs die juist pleiten voor meer onafhankelijk en fundamenteel onderzoek (Nelen, 1998; Ponsaers, 2010). Interactiegerelateerde factoren die in de literatuur voor komen zijn: onderzoekers en politie spreken niet dezelfde taal (Nelen, 1998); verspreiden van kennis via publicaties werkt onvoldoende (Vlek, 2012); er is te weinig verbinding tussen beide werelden (Van Reenen, 2012). Gebruikersgerelateerde factoren die worden genoemd zijn: wetenschappelijke kennis wordt door de leiding slecht vertaald in de organisatie (Bruinsma & Van der Vijver, 1998); er is onvoldoende uitwisseling tussen korpsen (Muller, 1998); 5

6 politiefunctionarissen lezen en studeren selectief (Muller, 1998; Vlek, 2012); de politie heeft moeite met veranderen, met kritiek en met het benutten van wetenschap (Kwanten, 2007; Muller, 1998; Van der Vijver, 2012; Van Reenen, 2012; Vlek, 2012). Overigens wijst Van Reenen (2012) op het gevaar van het teveel gebruik van onderzoek in de praktijk. Hij waarschuwt ervoor dat een sterk streven naar evidence-based policing kan leiden tot bureaucratisering. Dit gevaar is groot wanneer het leidt tot sterke protocollering van het werk en verlies van autonomie van politiemensen. Ook de aanbevelingen die in de literatuur worden genoemd om doorwerking te bevorderen kunnen in deze drie categorieën worden onderverdeeld. Zo pleit Van Reenen (2012) enerzijds voor een andere inhoud van het onderzoek waarbij het onderzoek meer wordt gericht op de thema s waarmee men binnen de politieorganisatie aan de slag is, het onderzoek meer diepgravend is en beter theoretisch is gefundeerd. Dit stelt ook hogere eisen aan het onderzoeksdesign. Anderzijds pleit hij voor betere samenwerking tussen onderzoekers en politie, bijvoorbeeld door bij de toekenning van projecten de voorkeur te geven aan projecten die in samenwerking tussen politie en wetenschap tot stand zijn gekomen. Ook Sprenger et al. (2013) pleiten voor meer samenwerking en interactie in hun pleidooi voor politiegerelateerd praktijkonderzoek. Zij definiëren dit als onderzoek met als doel om op systematische wijze en in interactie met de omgeving de professionele werkpraktijk te verbeteren (p.13). In de discussie over de doorwerking van onderzoek wordt relatief weinig aandacht besteed aan de methodische kenmerken van het onderzoek. Weliswaar kijken Landry et al. (2003) in hun uitgebreide onderzoek naar determinanten van gebruik of er sprake is van kwalitatieve en kwantitatieve onderzoeksmethoden, maar zij hanteren daarbij grove indelingen. Zowel kwalitatieve als kwantitatieve onderzoeksmethoden blijken overigens gerelateerd aan de benutting van onderzoek. Toch ligt het voor de hand dat kenmerken van het onderzoek zelf van invloed zijn op doorwerking. Hierbij kunnen we bijvoorbeeld denken aan de aard van de onderzoeksvraag, het onderzoeksdesign en de mate waarin de praktijk in het onderzoek wordt betrokken. Doelstelling en vraagstelling Voordat iets kan worden gezegd over de relatie tussen kenmerken van onderzoek en benutting dient eerst inzicht te ontstaan in de huidige kenmerken van politiegerelateerd onderzoek. Het doel van ons onderzoek is inzicht te bieden in de methodologische diversiteit van het politiegerelateerd onderzoek in Nederland, om zo een bijdrage te leveren aan een gefundeerde discussie over programmering, kwaliteit en doorwerking van het onderzoek. We proberen inzicht te bieden in: 6

7 de soorten methodologieën die gebruikt worden in onderzoek ten behoeve van de politie; de methodologieën die dominant zijn; de overeenkomsten en verschillen tussen methodologieën; de motieven om bepaalde methodologieën te kiezen. Daartoe stellen wij de volgende onderzoeksvraag: Welke soorten methodologieën komen voor in twee jaargangen onderzoek ten behoeve van de politie in Nederland en wat zijn daarbij de overwegingen van de onderzoekers? Onder methodologie verstaan wij de volgende kenmerken van onderzoek: kenmerken van de betrokkenheid van de politiepraktijk; kenmerken van de onderzoeksvraag; kenmerken van het gehanteerde onderzoeksdesign; kenmerken van dataverzameling- en analysemethoden. Onder politiegerelateerd onderzoek wordt onderzoek verstaan dat de politieorganisatie als onderwerp heeft en/of een thema behandelt dat ook in het werkveld van de politie speelt (Janssen, 2011). Onderzoek naar methodologische kenmerken van onderzoek staat ook wel bekend als prevalence research (Alise & Teddlie, 2010). Dit is onderzoek naar de voorkeuren van wetenschappers voor bepaalde typen methodologie. Het wordt veel gedaan op het gebied van mixed-method onderzoek waarin kwalitatieve en kwantitatieve dataverzamelingsmethoden worden gecombineerd (Hurmerinta- Peltomäki & Nummela, 2006; Ross & Onwuegbuzie, 2010). Ons onderzoek is uitdrukkelijk niet bedoeld om een oordeel te vellen over de methodologische kwaliteit van het onderzoek ten behoeve van de politie. Zoals aan de centrale vraag is te zien, is het onderzoek uitsluitend beschrijvend van aard en niet evaluerend. Een voorbeeld van een dergelijk evaluerend onderzoek is het onderzoek van Van Noije en Wittebrood (2008) waarin effectevaluatieonderzoeken worden gescoord op interne validiteit op basis van de Maryland Scientific Methods Scale. Ook doet ons onderzoek geen uitspraken over de mate van doorwerking van onderzoek ten behoeve van de politie. Het is een eerste stap gericht op het in kaart brengen van de huidige diversiteit. Voor ons onderzoek is een Stuurgroep samengesteld bestaande uit Dr. Cees Sprenger, voormalig lector Lerende Politieorganisatie en Roel Holvast MGM, hoofd onderzoek bij de Politieacademie. Het onderzoek bestaat uit een mixed-methods aanpak die uiteenvalt in twee delen. Het eerste deel is een onderzoek naar de methodologische kenmerken van onderzoek zoals gerapporteerd in publicaties. Het tweede deel bestaat uit een serie interviews met onderzoekers waarin wordt stilgestaan bij hun overwegingen 7

8 om voor bepaalde vormen van onderzoek te kiezen. Deze interviews zijn bedoeld om de resultaten van het publicatieonderzoek te verdiepen en met citaten te kunnen illustreren. Ze geven geen representatief beeld van de mening van alle politieonderzoekers in Nederland. Methodologie publicatieonderzoek Populatie Het onderzoeksobject van ons onderzoek zijn de onderzoekspublicaties over politiegerelateerd onderzoek. Ons onderzoek gaat niet over de onderliggende onderzoeken zelf, maar alleen over wat er over die onderzoeken is gerapporteerd. Wanneer kenmerken van een onderzoek niet door de onderzoekers worden gerapporteerd, zijn deze ook niet in ons onderzoek meegenomen. Ook kan het voorkomen dat er over hetzelfde onderliggende onderzoek meerdere publicaties in de steekproef terecht komen. Politiegerelateerd onderzoek is geoperationaliseerd als 1) onderzoek dat uitgevoerd wordt in opdracht van Politie & Wetenschap, 2) onderzoek van de lectoraten van de Politieacademie (voor zover niet al gevat onder 1) en 3) ander relevant (qua strekking en omvang) onderzoek dat in opdracht van het ministerie van V&J of de Nationale Politie is uitgevoerd (voor zover niet onder 2). In opdracht van de onderzoekers heeft de mediatheek van de Politieacademie een inventarisatie gemaakt van onderzoekspublicaties uit 2013 en 2014 die aan bovenstaande kenmerken voldoen. Bijlage 1 geeft weer hoe deze bibliografie tot stand is gekomen. Het resultaat was een lijst van 342 openbaar toegankelijke publicaties. In deze lijst zijn niet de publicaties opgenomen die niet openbaar zijn omdat ze bijvoorbeeld vertrouwelijk zijn of alleen intern binnen een korps zijn verschenen. Ook niet meegenomen zijn scripties van studenten en inspectieonderzoek. Steekproef Uit deze bibliografie hebben wij een steekproef getrokken van 117 publicaties. Hierbij is rekening gehouden met een representatieve verdeling over: de twee jaren 2013 en 2014 (54% en 46%); het aandeel van publicaties van lectoraten op het geheel (23%); het soort publicatie: peer-reviewed (7%), tijdschrift of boek met redactie (16%), rapport (75%) en overig (2%). De steekproef bleek onder andere de volgende publicaties te bevatten: 25 publicaties waarbij lectoraten van de Politieacademie waren betrokken; 30 publicaties waarbij de (de)centrale overheid opdrachtgever was; 14 publicaties waarbij Politie & Wetenschap opdrachtgever was. 8

9 Codering Voor de codering van de publicatie is een scoringsprotocol opgesteld. Dit protocol is gebaseerd op een vergelijkbaar onderzoek dat het Lectoraat Methodologie van Praktijkgericht Onderzoek van de Hogeschool Utrecht in 2014 binnen de eigen hogeschool heeft gebruikt. Dit protocol is aangepast aan de specifieke kenmerken van politiegerelateerd onderzoek. Een team van codeurs van de Politieacademie is in twee sessies geschoold in het gebruik van het protocol. Tijdens de scholing is het protocol getest en aangescherpt. Iedere publicatie is eerst door twee codeurs onafhankelijk van elkaar gecodeerd. Vervolgens zijn beide codeurs in overleg gegaan over die variabelen waarover verschil van interpretatie was. Gezamenlijk is besloten tot één score. Keuze van de variabelen De keuze van de te coderen variabelen wordt beperkt door de informatie die in onderzoekspublicaties wordt vermeld. Dat betekent dat er bijvoorbeeld geen variabelen gecodeerd kunnen worden, die te maken hebben met de vaardigheden van de onderzoeker of met de behoefte van de gebruiker. Ook evaluatieve variabelen, zoals een oordeel over de kwaliteit van het onderzoek of de leesbaarheid ervan, hebben we buiten beschouwing gelaten. De variabelen vallen uiteen in vijf categorieën: 1. algemene kenmerken; 2. kenmerken van de betrokkenheid van de politiepraktijk; 3. kenmerken van de onderzoeksvraag; 4. kenmerken van het gehanteerde onderzoeksdesign; 5. kenmerken van dataverzameling- en analysemethoden. Algemene kenmerken Codeurs hebben als eerste gekeken of de publicatie codeerbaar was. Niet alle publicaties bevatten informatie over het onderzoeksontwerp, bijvoorbeeld wanneer het een opinieartikel betreft. Vervolgens is gecodeerd wie het onderzoek heeft uitgevoerd en of dit een lectoraat was of een andere onderzoeksgroep. Dit maakt het mogelijk in de analyse te kijken naar mogelijke verschillen in de aard van onderzoek van lectoraten van de Politieacademie ten opzichte van andere onderzoeksgroepen (Tops, Kop, & Sprenger, 2013). Het onderwerp van het onderzoek is gecodeerd met twee variabelen: Het domein waarop het onderzoek zich afspeelt (handhaving, opsporing, beide of overig); Het onderwerp (politievak, politie- en veiligheidsbeleid, veiligheidsfenomeen of overig). 9

10 Kenmerken van de betrokkenheid van de politiepraktijk Er kunnen vele verschillende spelers bij het onderzoek zijn betrokken, variërend van een ministerie tot een politiemedewerker. In overleg met de Stuurgroep is een lijst van negentien actoren opgesteld. Zij kunnen binnen een onderzoek verschillende rollen vervullen, namelijk van opdrachtgever, financier, lid van een stuurgroep of begeleidingsgroep of medeonderzoeker. Ook kan de actor tijdens het onderzoek worden geconsulteerd. Hierbij wordt eerder verzamelde informatie voorgelegd aan een groep betrokkenen of experts met als doel deze informatie te verifiëren of te veralgemeniseren. Kenmerken van de onderzoeksvraag De onderzoeksvraag stuurt in belangrijke mate het onderzoek (Oost, 1999). Voor de methodologie van het onderzoek is van belang wat de aard is van het onderzoeksobject van het onderzoek en wat voor een soort vraag de onderzoekers daar over stellen. Onderzoek naar fysieke verschijnselen heeft te maken met andere methodologische problemen dan onderzoek naar sociale verschijnselen. Zo is het in de fysieke werkelijkheid (naar onze mening) bijvoorbeeld mogelijk te komen tot wetmatigheden die een universele geldigheid hebben. In de sociale werkelijkheid is geen sprake van universele wetmatigheden die overal en altijd geldig zijn. Dat heeft gevolgen voor de te kiezen methodologie. Daarom zijn de publicaties gecodeerd naar het soort onderzoeksobject waarover het onderzoek gaat (fysiek, sociaal, medisch of kunstuitingen, formules, algoritmen en teksten). Onderzoeksvragen zijn in te delen in verschillende soorten (Oost, 1999). Onderzoek vervult een functie in een bepaalde context. Oost en Markenhof (2002) onderscheiden zes soorten functies die onderzoek kan hebben: beschrijven, vergelijken, definiëren, evalueren, verklaren en ontwerpen. De onderzoeksvragen uit de publicaties zijn gecodeerd naar deze functies. Kenmerken van het gehanteerde onderzoeksdesign Een onderzoeksdesign is het raamwerk dat de onderzoekers gebruiken voor het verzamelen en analyseren van data. Hierin nemen onderzoekers beslissingen over het belang van causaliteit, generaliseerbaarheid, recht doen aan contextspecificiteit en verandering in de tijd (Bryman, 2012). Wij voegen hier nog aan toe het belang dat de onderzoekers hechten aan het realiseren van veranderingen tijdens het onderzoek. Sommige onderzoekers zien onderzoek niet alleen als middel tot het verzamelen van kennis, maar ook als instrument tot organisatieverandering (Sprenger et al., 2013). 10

11 De beslissingen die onderzoekers nemen, hebben gevolgen voor de volgende kenmerken: 1. wel of niet expliciet werken met variabelen en deze variabelen kwalitatief of kwantitatief meten; 2. wel of niet tijdens het onderzoek in de werkelijkheid interveniëren, bijvoorbeeld door bepaalde variabelen te manipuleren of door tijdens het onderzoek aanpakken in de praktijk uit te proberen; 3. wel of niet als onderzoeker in de praktijk participeren tijdens het onderzoek (participerende observatie); 4. wel of niet de betrokkenen mee laten doen in het onderzoek in de rol van onderzoeker; 5. wel of niet streven naar generaliseerbare uitspraken. Al deze kenmerken zijn door ons gecodeerd. Op deze manier is het onderzoeksdesign van het onderzoek uiteen gerafeld. Dit heeft als voordeel dat niet gewerkt hoeft te worden met standaard indelingen van onderzoeksdesigns. Niet alleen bestaan daar vele varianten van (De Groot, 1961; Swanborn, 1984), ze zijn vaak ook ongenuanceerd. Een voorbeeld is het grofmazige onderscheid tussen kwalitatief en kwantitatief onderzoek dat Verhoeven (2010) maakt. En soms worden met dezelfde term verschillende dingen bedoeld, zoals bijvoorbeeld met de term actieonderzoek (Susman & Evered, 1978). Met behulp van onze coderingen kunnen wij in de analysefase verschillende onderzoeksdesigns reconstrueren. Echter, kenmerken 1 t/m 5 zijn daarvoor onvoldoende. Want hiermee wordt nog niet duidelijk op welke manier het onderzoek eventueel causaliteit wil vaststellen en hoe in het onderzoek wordt omgegaan met veranderingen in de tijd. Daarom is in aanvulling een variabele meegenomen die is gebaseerd op de indeling van Bryman (2012). Hij maakt onderscheid tussen een experimenteel design, een cross-sectie design, een longitudinaal design, een case study design en een vergelijkend design. Kenmerken van dataverzamelingsmethoden Tot slot is een inventarisatie gemaakt van de verschillende vormen van dataverzameling die in het onderzoek zijn gebruikt. Vormen van dataverzameling zijn niet direct gekoppeld aan een specifiek onderzoeksdesign. Zo komen interviews in veel designs voor. Het definitieve protocol is opgenomen in bijlage 2. Analyse Met behulp van beschrijvende statistiek geven we inzicht in de diversiteit van de publicaties. Met een principale componentenanalyse kijken we welke twee dimensies het beste de diversiteit verklaren en welke publicaties het meest van elkaar verschillen. 11

12 Methodologie interviews Met behulp van de resultaten uit deel 1 is een selectie gemaakt van publicaties die optimaal van elkaar verschillen met als doel de betreffende auteurs te interviewen over hun motieven om voor een bepaalde vorm van onderzoek te kiezen. Drie publicaties waren zo verschillend van alle andere publicaties dat zij de componentenanalyse verstoorden. Deze zijn uit de analyse verwijderd en twee auteurs zijn geïnterviewd. De componentenanalyse liet vier clusters zien van publicaties. Uit drie clusters is één publicaties geselecteerd. Uit het cluster case studies twee papers die verschillen in de mate waarin ze gebruik maken van kwantitatieve variabelen. De betreffende onderzoekers (één, soms twee, per publicatie) zijn gedurende 45 minuten geïnterviewd op hun motieven om voor dit type onderzoek te kiezen. Het interviewprotocol is opgenomen in bijlage 3. De interviews zijn opgenomen en uitgewerkt. 12

13 2. Resultaten We beschrijven de resultaten van het onderzoek aan de hand van de vijf soorten kenmerken, die in het vorige hoofdstuk zijn genoemd. Waar mogelijk illustreren we de resultaten met uitkomsten uit de interviews. We besteden apart aandacht aan de opvattingen van de geïnterviewde over de doorwerking van hun onderzoek. We kijken ook of er verschillen zijn tussen groepen publicaties: de 25 publicaties waarbij lectoraten van de Politieacademie waren betrokken versus de rest; 30 publicaties waarbij de (de)centrale overheid opdrachtgever was versus de rest; 14 publicaties waarbij Politie & Wetenschap opdrachtgever was. Wanneer er verschillen waren geven we dat weer in de grafiek. Als er geen verschillen waren toont de grafiek alleen het totaal. Waar de data dat toestaan is een Chi-kwadraat toets toegepast (Lavassani, Movahedi, & Kumar, 2009) om te kijken of de verschillen significant zijn. Om de leesbaarheid te vergroten geven wij in dit resultatenhoofdstuk ook al onze interpretatie van de bevindingen, als voorschot op de conclusies en discussie. Dit is cursief weergegeven. Algemene kenmerken Soorten publicaties Politiegerelateerd onderzoek in Nederland wordt vooral gepubliceerd in rapporten. 75% van de 342 geïdentificeerde publicaties is een rapport. 16% verschijnt in een tijdschrift of boek met een redactie en 7% in een peer-reviewed tijdschrift. Soort publicatie Rapport Publicatie met redactie Peer reviewed publicatie Onbekend 13

14 Wat opvalt is het grote aantal rapporten dat wordt gemaakt. Een mogelijke verklaring hiervoor zou kunnen zijn dat politiegerelateerd onderzoek vaak in opdracht wordt uitgevoerd. Het aandeel van de lectoraten van de Politieacademie in de onderzoeksproductie is 23%. Codeerbaarheid van publicaties Niet alle publicaties bevatten voldoende gegevens om de methodologische kenmerken te coderen. In 26% van de publicaties was er geen informatie beschikbaar over de gehanteerde methoden van dataverzameling waardoor coderen niet zinvol was. Vaak waren dit opiniërende stukken in tijdschriften met een redactie. Uiteindelijk zijn 87 publicaties gecodeerd, waaronder 21 waarbij lectoraten van de Politieacademie waren betrokken. Domein van het onderzoek Er zijn meer publicaties die sec over handhaving gaan dan over opsporing. Ook komen vaak beide onderwerpen in één publicatie voor. Ander onderwerpen die aan de orde komen, zijn bijvoorbeeld de bejegening van getraumatiseerde slachtoffers of geweld tegen politiemedewerkers. Domein van het onderzoek 2% 9% 32% 34% Handhaving Opsporing Beide Anders Onbekend 23% Het politiegerelateerd onderzoek is vrij evenredig verdeeld over de domeinen handhaving en opsporing. Overigens bleek het bij het coderen vaak moeilijk om dit onderscheid te maken. 14

15 Onderwerp van onderzoek Onderzoek naar het politievak en naar veiligheidsfenomenen komen ongeveer even veel voor. Veel publicaties gaan over politie- en veiligheidsbeleid (62%). Dit gebeurt in iets meer dan de helft van de gevallen in combinatie met een onderzoek naar het politievak en/of een veiligheidsfenomeen. In dergelijke publicaties worden de implicaties van hetgeen is onderzocht voor het beleid besproken, bijvoorbeeld in de vorm van aanbevelingen. Onderwerp van onderzoek Politie- en veiligheidsbeleid Politievak Veiligheidsfenomeen Overig 0% 10% 20% 30% 40% 50% 60% 70% 80% Niet-Politieacademie Politieacademie Lectoraten van de Politieacademie lijken vaker te publiceren over het politievak en minder vaak over politie- en veiligheidsbeleid of veiligheidsfenomenen. Hier waren meerdere coderingen mogelijk, waardoor we dit niet statistisch hebben kunnen toetsen. Kenmerken van de betrokkenen Uit de publicaties komt het volgende beeld naar voren over de kenmerken van de betrokkenen. Opdrachtgevers In 43% van de publicaties treedt de (de)centrale overheid op als opdrachtgever. Hieronder vallen in de codering ministeries, inspecties, het Openbaar Ministerie en provincie en gemeenten. Politie & Wetenschap was in 16% van de publicaties opdrachtgever, gevolgd door de politie zelf met 9% (politieleiding, teamchefs, politiemedewerkers of vakbonden). 15

16 Opdrachtgever Overheid Onbekend of eigen initiatief Politie & Wetenschap Politie Overig Politieacademie Onderzoeksbureau 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% Niet-Politieacademie Politieacademie Bij publicaties van de lectoraten was de opdrachtgever significant anders (χ 2 =4,2; p=0,04). Er was vaker sprake van de politiekorpsen en de Politieacademie als opdrachtgever en minder vaak de overheid of eigen initiatief. De publicaties die we hebben onderzocht zijn nog van vóór de vorming van de Nationale Politie. De korpsleiding als opdrachtgever komt in de publicaties weinig voor. Ons vermoeden is dat veel onderzoek waar de korpsleiding de opdrachtgever is, wordt uitgevoerd door eigen medewerkers en niet wordt gepubliceerd. Ook kan het zijn dat dit onderzoek vaker vertrouwelijk is, waardoor het niet in onze populatie zit. Stuurgroep of begeleidingsgroep In 38% van de publicaties wordt gerapporteerd over een stuurgroep of een begeleidingsgroep, die het onderzoek heeft begeleid. De (de)centrale overheid en onderzoeksbureaus waren daarin het meest vertegenwoordigd. De politie (politieleiding, teamchefs, politiemedewerkers of vakbonden) was in 16% van alle publicaties in de stuurgroep vertegenwoordigd. Onder de categorie overig (17%) vallen veelal onafhankelijke experts, soms uit het buitenland. De Politieacademie en Politie & Wetenschap worden veel minder vertegenwoordigd. 16

17 Stuurgroep of begeleidingsgroep Geen of onbekend Overheid Onderzoeksbureau Overig Politie Politieacademie Politie & Wetenschap 0% 10% 20% 30% 40% 50% 60% 70% Publicaties met de (de)centrale overheid als opdrachtgever rapporteren vaker een stuurgroep of begeleidingsgroep dan andere publicaties (χ 2 =24,0; p=0,00). Ons valt op dat de politie zelf niet vaak in stuurgroepen of begeleidingsgroepen is vertegenwoordigd. In de theorie wordt geconstateerd dat een gebrekkige verbinding tussen de wereld van het onderzoek en de praktijk van de politie een van de verklarende factoren is voor gebrekkige doorwerking. Stuurgroepen zijn een middel om die werelden te overbruggen. Onbekend is of medewerkers van de korpsen niet worden gevraagd of dat zij zelf redenen hebben om niet in stuurgroepen zitting te nemen. Consultatie In 37% van de publicaties wordt verzamelde informatie voorgelegd aan een groep betrokkenen of experts, met als doel deze informatie te verifiëren of te veralgemeniseren. In 25% van de publicaties waren dat politiemensen zelf. In 16% was dat de (de)centrale overheid en in evenzoveel onafhankelijke experts. Onderzoeksbureaus, de Politieacademie en Politie & Wetenschap worden veel minder geconsulteerd. 17

18 Geconsulteerd tijdens het onderzoek Geen of onbekend Politie Overheid Overig Onderzoeksbureau Politieacademie Politie & Wetenschap 0% 20% 40% 60% 80% Consultatie is ook een manier om de afstand tussen onderzoek en praktijk te verkleinen. Het beeld is bij consultatie gunstiger dan bij de stuurgroepen. Er zijn meer publicaties waarin politiemedewerkers worden geconsulteerd dan publicaties waarin zij in de stuurgroep zitten. Dit terwijl consultatie even vaak voor komt als stuurgroepen. Consultatie van actoren tijdens het onderzoek gebeurt meestal op initiatief van de onderzoekers, terwijl bij de samenstelling van de stuurgroep de opdrachtgever vaak ook een grote rol speelt. Dit kan een mogelijke verklaring zijn. Consultatie vindt vaak dicht bij de werkvloer plaats, met direct leidinggevenden of wijkagenten, waar mogelijk de bereidheid groot is om hieraan mee te doen. Meedoen als onderzoeker In 30% van de publicaties wordt gerapporteerd dat anderen dan de auteurs of medewerkers van het onderzoeksbureau of lectoraat hebben meegeholpen in het onderzoek. Meehelpen betekent het verrichten van onderzoekstaken. Dit zijn taken waarin onderzoeksgegevens worden verzameld of geanalyseerd om de hoofdvraag te kunnen beantwoorden. In de meeste publicaties is er sprake van dat de taken dan worden uitgevoerd door een ander onderzoeksbureau (17%) of door medewerkers van de Politieacademie (9%). In 8% van de publicaties is sprake van politiemedewerkers in de rol van onderzoeker. 18

19 Mede uitvoeren van onderzoekstaken Geen of onbekend Onderzoeksbureau Politieacademie Politie Overig Overheid Politie & Wetenschap 0% 10% 20% 30% 40% 50% 60% 70% 80% In publicaties van de Politieacademie wordt relatief tweemaal zo vaak gerapporteerd (43% om 21%) dat externe onderzoekers zijn ingeschakeld dan in andere publicaties. Daarbij gaat het ook relatief vaker om het inschakelen van onderzoekers van onderzoeksbureaus en van de politie dan bij andere publicaties (X 2 =11,6; p=0,009). Zoals in de literatuurbespreking is aangegeven, is het inzetten van medewerkers uit de praktijk als onderzoeker ook een manier om de kloof tussen onderzoek en praktijk te overbruggen. Toch wordt dit maar in weinig publicaties gerapporteerd. Vormen van betrokkenheid die worden genoemd in de interviews In de interviews worden allerlei vormen en gradaties van betrokkenheid van het werkveld genoemd: 1. werkveld heeft geen betrokkenheid; 2. werkveld levert de data aan; 3. werkveld is initiatiefnemer; 4. werkveld is klankbord; 5. lijnchefs zitten in een begeleidingsgroep; 6. werkveld is opdrachtgever; 7. politiemedewerkers maken rapporten met aandachtspunten en goede werkwijzen; 8. werkveld zoekt mee naar oplossingen; 9. werkveld voert interventies uit; 10.studenten voeren deelonderzoeken uit. Geïnterviewde onderzoekers die het werkveld intensief proberen te betrekken bij het onderzoek, geven aan dat ze dit doen om draagvlak te creëren en om er voor 19

20 te zorgen dat er een ontvanger is voor het onderzoek. De verwachting is dat politiemensen de manier van denken uit het onderzoek hebben meebeleefd en dat de implementatie daardoor gemakkelijker zal gaan. Kenmerken van de onderzoeksvraag Het overgrote deel van de publicaties gaat over onderzoek naar de sociale werkelijkheid. Gedrag van mensen staat hierin centraal. 7% gaat (ook) over de fysieke werkelijkheid zoals technisch en forensisch onderzoek. Voor de uitkomsten van onderzoek is het van groot belang welke soorten vragen de onderzoeker zich stelt. Oost en Markenhof (2002) onderscheiden zes soorten functies die onderzoek kan hebben: beschrijven, vergelijken, definiëren, evalueren, verklaren en ontwerpen. Volgens Oost en Markenhof (2002) heeft een goede hoofdvraag slechts één onderzoeksfunctie. In de publicaties troffen we in driekwart van de gevallen een hoofdvraag aan met meerdere onderzoeksfuncties of meerdere hoofdvragen. De beschrijvende functie kwam daarbij het meeste voor (91%). In de zes onderzoeksfuncties van Oost en Markenhof zit echter een hierarchie. Wanneer je twee situaties wilt vergelijken, zal je ze altijd eerst moeten beschrijven. Wil je een verschijnsel definieren, dan zal je het moeten beschrijven en vergelijken met een taxonomie. Wil je een verschijnsel evalueren, dan vergelijk je met een norm. Wil je verklaren, dan vergelijk je met een theorie. Wil je een oplossing ontwerpen dan zal je eerst moeten evalueren of er sprake is van een probleem en verklaringen moeten vinden voor de oorzaken van het probleem. Dit verklaart waarom beschrijven zo vaak voorkomt. Op basis van deze theorie kunnen we kijken wat de hoogste onderzoekfunctie is in een publicatie. Dit is de functie waar het onderzoek uiteindelijk naar toe werkt. Dan blijkt dat de meeste publicaties zich richten op het evalueren van maatregelen of verschijnselen (36%), gevolgd door verklaren (24%) en beschrijven (16%). Slechts 14% is ontwerpend van aard. 20

21 Onderzoeksfuncties Ontwerpen Verklaren Evalueren Definiëren Vergelijken Beschrijven 0% 5% 10% 15% 20% 25% 30% 35% 40% Evalueren komt relatief meer voor bij publicaties die ook over politie- en veiligheidsbeleid gaan. De 22 publicaties die exclusief over beleid gaan, zijn in 45% van de gevallen evaluerend. Het grote aantal evaluerende publicaties is dus deels te verklaren door het grote aantal beleidsgerichte publicaties. Verder wijken evaluerende studies niet significant af van de andere publicaties, behalve dat ze vaker de (de-)centrale overheid als opdrachtgever hebben en vaker met een stuurgroep werken, waarin ook vaker de overheid zelf is vertegenwoordigd. Onderzoeksfunctie per onderwerp Ontwerpen Verklaren Evalueren Definiëren Vergelijken Beschrijven 0% 5% 10% 15% 20% 25% 30% Fenomeen Beleid Politievak 21

22 Het valt ons op dat slechts 14% van de publicaties ontwerpend van aard is, dus onderzoek is dat antwoord geeft op de vraag hoe iets kan worden gemaakt, veranderd of verbeterd. Onze stelling is dat de werkvloer van de politie het meest direct profijt heeft van onderzoek dat ontwerpend is. Met de resultaten kan je direct aan de slag om je werkwijze te verbeteren. Deze uitkomst lijkt de theorie te bevestigen dat veel onderzoek beschrijvend en abstract is. Geïnterviewden geven verschillende redenen aan waarom zij geen ontwerpend onderzoek doen: er is geen tijd voor, het was niet de vraag van de opdrachtgever of het was niet aan de orde omdat de praktijk zelf al een hoop aanpakken had ontwikkeld. Een geïnterviewde gaf aan dat de opdrachtgever (onderdeel van de overheid) bij het betreffende onderzoek alleen antwoord wilde op een evaluerende vraag en niet op een ontwerpende vraag en ook geen aanbevelingen in het rapport wilde laten opnemen. Mogelijke andere reden is dat ontwerpend onderzoek een goede onderzoeksprogrammering vereist, omdat je veelal eerst ook moet beschrijven, evalueren en verklaren. Ook is ontwerpend onderzoek lastiger, omdat je als onderzoeker veel kennis van de praktijk moet hebben en het vaak moeilijk is om casussen te vinden waarin je ontwerpen kan uittesten. Dit soort onderzoek is mogelijk ook risicovoller en kent een hoger afbreukrisico. Ook zien sommige onderzoekers het misschien niet als hun taak om oplossingen te bieden, maar alleen om inzicht te genereren. Kenmerken van het onderzoeksdesign Gebruik van variabelen Een eerste kenmerk van een onderzoeksdesign is of er gebruik wordt gemaakt van variabelentaal en op welke manier deze variabelen worden gerepresenteerd. Representeren kan door ze met behulp van cijfers te meten (kwantitatief) of door ze beschrijvend weer te geven (kwalitatief). In 70% van de publicaties was duidelijk sprake van het gebruik van variabelen. In 46% van de publicaties vond alleen kwalitatieve operationalisatie plaats en in 7% alleen kwantitatieve operationalisatie. In 17% van de publicaties werd zowel gebruik gemaakt van kwalitatieve en kwantitatieve variabelen. Dit is een aanwijzing dat er in die publicaties sprake is van een mixed-method onderzoeksdesign. Gebruik van beide type variabelen is een noodzakelijke, maar niet voldoende voorwaarde voor een mixed-methods design (Teddlie & Tashakkori, 2010). 22

23 Gebruik van variabelen 17% 30% Geen variabelen 7% Kwalitatieve operationalisatie Kwantitatieve operationalisatie Beide 46% Wij vinden het sterk kwalitatieve karakter van het politiegerelateerd onderzoek opvallen. Dat is des te opmerkelijker, omdat er wel veel bestaande data gebruikt wordt vanuit de registraties van de politie. Ingrijpen in de werkelijkheid Een tweede belangrijk kenmerk van een onderzoeksdesign is of onderzoekers tijdens het onderzoek ingrijpen in de werkelijkheid of hun handen op hun rug houden. Wanneer er wordt ingegrepen is er sprake van een experimenteel design, dat veelal bedoeld is om causaliteit vast te stellen, dus om te verklaren of om bepaalde oplossingen te ontwikkelen, dus om te ontwerpen. In de gedoceerde publicaties kwam dit slechts in 3% van de publicaties voor en in alle gevallen was het onderdeel van een ontwerpend onderzoek. Participeren in de praktijk Een derde kenmerk van een onderzoeksdesign is de mate waarin de onderzoekers deelnemen aan het leven van de groep die ze onderzoeken. Het idee is dat door dit leven mee te beleven een dieper inzicht ontstaat dan mogelijk is door het doen van interviews of observaties. Dit soort onderzoek is de dominerende onderzoeksstrategie in de antropologie (Swanborn, 1984). Dit kwam slechts in 3 % van de publicaties voor. Dat waren allemaal publicaties van lectoraten. Mogelijke verklaring voor dit lage percentage is dat wij dit gecodeerd hebben als de onderzoekers naast hun onderzoeksrol ook werkzaamheden verrichten in de onderzoeksdoelgroep/onderzoeksetting, bijvoorbeeld door zelf politieactiviteiten uit te voeren. Het gaat dus echt om bijvoorbeeld participerende observatie. Dit 23

24 gaat verder dan meelopen met een politiemedewerker. Dit laatste komt meer voor aangezien de dataverzamelingsmethode van observatie in 15% van de publicaties voor komt. De praktijk zichzelf laten onderzoeken Hierboven is aangegeven dat in 8% van de publicaties sprake is van politiemedewerkers in de rol van onderzoeker. Een specifieke vorm is onderzoek waarin politiemedewerkers als onderzoeker worden ingezet om hun eigen situatie te onderzoeken en te verbeteren. Motieven hiervoor kunnen ideologisch zijn, zoals emancipatie van de betrokkenen (Kemmis & McTaggart, 2000) of meer praktisch, gericht op het vergroten van het duurzame effect van het onderzoek (Sprenger et al., 2013). Wij hebben gekeken in welke publicaties er sprake was van onderzoek waarin de onderzoekssubjecten zelf ook onderzoekstaken uitvoerden. Het gaat om subjecten die hun eigen praktijk onderzoeken. Onderzoekstaken kunnen zijn het verzamelen of analyseren van data, maar ook het ontwerpen van verbeteringen. Deze vorm van onderzoek is aan te duiden als participatief actieonderzoek (Kemmis & McTaggart, 2000) en werd in vier publicaties (5%) gerapporteerd. Wij zijn ons ervan bewust, dat er ook andere opvattingen over actieonderzoek bestaan (Susman & Evered, 1978). Zo geeft één van de geïnterviewden aan dat actieonderzoek onderzoek is, waarbij de onderzoeker meekijkt in de praktijk en optekent wat er gebeurt. In ons onderzoek valt dit onder observatie als methode van dataverzameling of eventueel onder participeren in de praktijk. Een geïnterviewde geeft overigens aan dat er vaak geen tijd is om samen met de praktijk onderzoek uit te gaan voeren. Generaliseren Een publicatie kan uitspraken bevatten waarvan de reikwijdte zich beperkt tot de data die zijn verzameld of het kan op basis van die data uitspraken doen met een groter bereik. In dat laatste geval is sprake van generalisatie. Onderzoekers die de pretentie hebben tot generaliseerbare uitspraken, moeten hier vaak bij het onderzoeksdesign rekening mee houden, bijvoorbeeld door een specifieke steekproef te trekken. Generaliseren kan het doel zijn van een onderzoek, maar dat hoeft niet. Ook kan het voorkomen dat generaliseren wel wenselijk is, maar dat de data of het onderzoeksdesign dit niet toestaan. Generaliserende conclusies trekken kan door het opzetten van een inhoudelijke redenering ( gezien de kenmerken van de onderzochte groep ligt het voor de hand dat deze resultaten ook elders van toepassing zijn ) of door een inhoudelijke redenering aangevuld met statistische toetsen. In de meeste publicaties is sprake van algemene uitspraken op basis van inhoudelijke generalisatie (62%). In 15% van de publicaties is sprake van inhoudelijke 24

25 en statistische generalisatie. In 21% van de publicaties wordt niet gegeneraliseerd. 2% Generalisatie-ambitie 15% 21% Geen generalisatieambitie Inhoudelijke generalisatie Inhoudelijke en statistische generalisatie Onbekend 62% Geïnterviewden gaven soms redenen aan om te generaliseren. Een geïnterviewde die een vergelijkende case studie heeft uitgevoerd, geeft aan bewust tot generaliserende uitspraken over te zijn gegaan om daarmee de discussie aan te gaan met alle betrokkenen. Een andere geïnterviewde geeft als motief aan, dat daarmee een betere bijdrage aan de praktijk mogelijk was. Ook wordt als reden genoemd dat de onderzoeksvraag daarop was gericht en dat het een urgent probleem betrof. Het grote aantal publicaties waarbij sprake is van inhoudelijke generalisatie is mogelijk te verklaren, doordat wij bij het coderen streng zijn geweest en sterk taalkundig hebben gekeken. Daar waar er in de formulering van de conclusies sprake was van een algemene uitspraak zonder verwijzing naar de onderzochte groep, hebben wij de publicaties gecodeerd als generaliserend. Conclusies worden al snel in algemene termen geformuleerd, zelfs wanneer onderzoekers ergens anders in de tekst een voorbehoud maken over de generaliseerbaarheid van hun resultaten. Wij vinden echter dat onderzoekers bij het formuleren van conclusies nauwkeurig te werk moeten gaan en een formulering moeten kiezen die de reikwijdte van de resultaten weerspiegelt. Onderzoeksdesigns Het onderzoeksdesign dat het meeste voorkomt, is een design waarin over meerdere subjecten data wordt verzameld op één punt in de tijd over meerdere variabelen. Veelal gebeurt dat door middel van interviews of vragenlijsten. Vaak 25

26 wordt ook bestaande data uit registraties van de politie gebruikt. Dit cross-sectie design komt in 53% van de publicaties voor. Er wordt ook vaak gebruik gemaakt van het vergelijken van verschillende casussen met elkaar. Dit komt bij 47% van de publicaties voor. Dan worden er bijvoorbeeld korpsen, incidenten, evenementen of werkwijzen met elkaar vergeleken. Enkelvoudige case studies komen bij 21% van de publicaties voor. Het volgen van ontwikkelingen over een langere tijd komt bijna niet voor (5%), net zomin als experimenten (3%). De experimenten die worden uitgevoerd, zijn natuurlijke experimenten, dus zonder controlegroep. Wel willen we opmerken dat wij een onderzoeksdesign alleen als experiment hebben gecodeerd, wanneer er in de onderzoeksperiode variabelen worden gemanipuleerd. Het evalueren van bijvoorbeeld een experiment met de invoering van een Blackberry, is daarom niet als experiment, maar als cross-sectie design gecodeerd. Geïnterviewden geven aan dat ze wel vaker quasi-experimenten zouden willen uitvoeren, maar dat dit in de praktijk lastig is. Ook blijft dan altijd het probleem dat je niet alle variabelen kunt controleren, waardoor vergelijking tussen de experimentele groep en de controlegroep niet valide is. Longitudinale onderzoeken kosten veel tijd en geld en dat wil de opdrachtgever vaak niet. Onderzoeksdesign Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0% 10% 20% 30% 40% 50% 60% De Politieacademie lijkt vaker te publiceren over enkelvoudige case studies en minder vaak op basis van een cross-sectie design of vergelijkende case studies. Ook experimenten lijken vaker in de publicaties voor te komen. 26

27 Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design Politieacademie als onderzoeker 0% 10% 20% 30% 40% 50% 60% Niet-Politieacademie Politieacademie Publicaties met de overheid als opdrachtgever beschrijven vaker een cross-sectie design en minder vaak een vergelijkende case studie. Ook de meeste longitudinale publicaties zijn geschreven in opdracht van de overheid. Overheid als opdrachtgever Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0% 10% 20% 30% 40% 50% 60% 70% Overig Overheid als opdrachtgever Publicaties met Politie & Wetenschap als opdrachtgever beschrijven vaker een cross-sectie design. Politie & Wetenschap als opdrachtgever Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0% 10% 20% 30% 40% 50% 60% 70% 80% Overig Politie & Wetenschap 27

28 Kenmerken van de dataverzamelingsmethoden Binnen de hierboven geschetste onderzoeksdesigns is een keur aan dataverzamelingsmethoden mogelijk. In de meeste publicaties (92%) worden meerdere methoden gerapporteerd. De modus is drie dataverzamelingsmethoden, maar er zijn ook publicaties waarin er meer dan zes worden gerapporteerd. Een geïnterviewde die dat doet, geeft aan altijd een combinatie te gebruiken van straatinfo (observeren en interviews) en systeeminfo (dossiers en bestaande data). Interviews komen het meeste voor (78%), gevolgd door analyse van bestaande documenten en dossiers (63%) en het gebruik van bestaande data uit systemen van bijvoorbeeld de politie zelf (57%). Literatuurstudie komt uiteraard in vrijwel alle onderzoeken voor om te komen tot een theoretisch kader. Wij hebben gekeken wanneer literatuurstudie wordt gebruikt als een van de belangrijke dataverzamelingsmethode voor het beantwoorden van de onderzoeksvraag. Dat is in 54% van de publicaties het geval. Veel minder vaak komen groepsgesprekken (31%), zelfstandig in te vullen vragenlijsten (23%) en observatie (15%) voor. Een van de geïnterviewden geeft wel het belang aan van observaties: Het gaat bij onderzoek om kijken wat er gebeurt, wat mensen doen. Je kunt je niet beperken tot wat ze zeggen te doen of gedaan hebben. Dataverzamelingsmethoden Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Het gebruik van technische meetinstrumenten wordt in 2% van de publicaties gemeld. De overige 5% zijn diverse methoden. Zo was er één publicatie gebaseerd op een meta-analyse van bestaande onderzoeken. Een geïnterviewde geeft aan dat er vaker gebruik gemaakt zou kunnen worden van meta-analyses, omdat er vaak al veel bekend en gepubliceerd is over een bepaald onderwerp. 28

29 Uit het grote gebruik van documenten en bestaande data blijkt de datarijkheid van de politiesector. Er wordt door de politie veel data verzameld die in onderzoek kan worden gebruikt. Het beperkte gebruik van vragenlijsten is in lijn met de eerdere constatering, dat er weinig gebruik wordt gemaakt van kwantitatieve operationalisatie. Mogelijk hebben onderzoekers de ervaring dat de respons op vragenlijsten in het werkveld vaak laag en weinig representatief is en kiezen ze er daarom niet voor. Observatie als methode wordt relatief weinig gerapporteerd. Mogelijk omdat het duur is en de onderzoeker een netwerk binnen het werkveld moet hebben. Ook zijn onderzoeken soms gericht op het achteraf beschrijven en verklaren van incidenten, waardoor observeren niet mogelijk is. Publicaties van lectoraten lijken vaker onderzoek te beschrijven, waarin gebruik is gemaakt van interviews, groepsgesprekken, observatie, vragenlijsten en analyse van documenten. Ook komen er significant vaker meer verschillende dataverzamelingsmethoden voor in hun publicaties (Mann-Whitney test, p=0,041). Politieacademie als onderzoeker Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Niet-Politieacademie Politieacademie In publicaties met de overheid als opdrachtgever lijken meer onderzoeken te worden beschreven met analyse van documenten en met groepsgesprekken. Een toets was hier niet mogelijk. 29

30 Overheid als opdrachtgever Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Overig Overheid als opdrachtgever Publicaties met Politie & Wetenschap als opdrachtgever lijken vaker te rapporteren over onderzoek met interviews en literatuurstudie en minder vaak over onderzoek met analyse van documenten en bestaande data. P&W als opdrachtgever Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Overig P&W 30

31 Clusters van onderzoeken Sommige kenmerken van publicaties komen vaker samen voor. Om deze clusters van publicaties te ontdekken, hebben we gebruik gemaakt van een principale componentenanalyse (HOMALS). Hiermee kan worden berekend welke componenten de variantie in de variabelen het beste kan verklaren. Bij het zoeken naar de juiste combinatie van variabelen en cases bleek al snel dat een achttal publicaties zo anders is dan de rest, dat zij de analyse sterk vertekenen. Deze uitbijters zijn de publicaties waarin sprake is van experimenten waarbinnen onderzoekssubjecten participeren als onderzoeker en publicaties waarin meer dan zes verschillende methoden van dataverzameling worden beschreven. De drie publicaties waarin natuurlijke experimenten worden gerapporteerd, beschrijven alle drie onderzoek met een ontwerpende functie. Verder zijn ze divers in de beschrijving van de gebruikte methoden van onderzoek en de mate van participatie van de onderzoekssubjecten. Twee publicaties rapporteren wel participatie van onderzoekssubjecten, maar beschrijven geen experimentele opzet. Er is sprake van een case study design, maar wel met een ontwerpende vraag. Drie publicaties beschrijven een onderzoek met meer dan zes verschillende methoden van dataverzameling, waarvan er één ook drie designs combineert. Twee ervan zijn evaluerend; de ander is beschrijvend van aard. De overige publicaties zijn met een HOMALS analyse in SPSS geanalyseerd. Het resultaat is zichtbaar in figuur X. De punten in de wolk geven de individuele publicaties weer. De computer heeft berekend dat de dimensies 1 en 2 de diversiteit het beste weergeven. Dimensie 1 hangt sterk samen met de mate waarin er sprake is van kwantitatieve variabelen, statistische generalisatie, een cross-sectie design en het gebruik van vragenlijsten en bestaande data (rechts). Naar links is er vaker sprake van observatie, literatuurstudie en een vergelijkende case study design. Dimensie 2 hangt sterk samen met het enkelvoudige case study design, het gebruik van groepsgesprekken en interviews, analyse van documenten alsook observatie en vragenlijsten. Hoewel er in het figuur een grote mate van diversiteit te zien is en veel publicaties zich op het grensvlak tussen clusters begeven, is het toch mogelijk om vier clusters te onderscheiden waarmee in totaal 43 publicaties kunnen worden beschreven. Cluster A Statistische analyse van bestaande data Dit soort publicaties beschrijft onderzoek waarin bestaande data en ook andere kwantitatieve data worden gebruikt om met behulp van statistische analyse generaliseerbare uitspraken te doen. Tien publicaties voldoen aan deze beschrijving. 31

32 Cluster B Kwalitatieve case studies Elf publicaties beschrijven een kwalitatief onderzoek naar één specifieke casus. Hierbij wordt veel gebruik gemaakt van interviews, groepsgesprekken, documenten en literatuur. Een van de twee geïnterviewden uit cluster B geeft aan dat slechts één opsporingsteam bezig was met het onderwerp, waardoor een vergelijkende case studie niet mogelijk was. De case studie maakte het mogelijk om op zoek te gaan naar een praktische oplossing. Cluster C Vergelijkende case studies Acht publicaties gaan over onderzoek waarin meerdere casussen worden vergeleken. Hierbij is vaak geen sprake van expliciete variabelentaal of de variabelen worden kwalitatief geoperationaliseerd. Er wordt veel gebruik gemaakt van interviews en analyse van documenten. In twee gevallen is er ook sprake van observatie. De geïnterviewden uit cluster C geven aan dat kwalitatieve vergelijkende case studies maximale mogelijkheid geven tot inventariseren op basis van nabijheid met het onderzochte. In interviews kan men zowel de breedte als de diepte ingaan en ze bieden de mogelijkheden om in te gaan op lastige thema s. Kwalitatief onderzoek doen geeft deze onderzoekers de mogelijkheid te duiden, typologieën op te stellen en te interpreteren. Dat is vooral handig als er weinig literatuur en documenten over het onderwerp voorhanden zijn en de situatie snel verandert. Cluster D Kwalitatieve cross-sectie designs Cluster D bestaat voor een groot deel uit publicaties waarin onderzoek wordt beschreven, waarbij kwalitatieve gegevens uit interviews, literatuur, documenten en soms ook vragenlijsten worden gebruikt om uitspraken te doen over een groot aantal respondenten. Soms is er naast het cross-sectie design ook sprake van een vergelijkend case study design. 32

33 Geïnterviewden over doorwerking Geïnterviewden geven aan dat doorwerking van politiegerelateerd onderzoek op veel verschillende manier kan plaatsvinden. Middelen die worden genoemd om doorwerking te bevorderen zijn: 1. publiceren; 2. pdf verspreiden onder betrokkenen; 3. persberichten uitbrengen en de media benaderen; 4. presentaties en workshops geven; 5. conferenties organiseren; 6. naar de betrokkenen terugkoppelen en in gesprek gaan over de publicatie; 7. korpsen adviseren die met de resultaten aan de slag gaan; 8. studenten aan de slag laten gaan met de aanbevelingen; 9. in het onderwijs terug laten komen; 10.via een medewerker van het lectoraat die bij een korps is gaan werken; 11.via kamervragen. Er worden ook belemmeringen genoemd. Een geïnterviewde die een onderzoek in opdracht van Politie & Wetenschap heeft gedaan, geeft aan dat er vanuit Politie & Wetenschap geen opdracht, tijd en geld was om aan het delen van onderzoeksresultaten te werken. De doorwerking moest vooral van de onderzoekers zelf komen. Doorwerking zou volgens deze respondent onderdeel moeten zijn van het onderzoeksvoorstel of misschien wel van de onderzoeksvraag. Ook geeft 33