KunstWerk(t) in de Tertiaire sector Evaluatieonderzoek naar ervaringsleren met theatrale werkvormen. Wil Oud Ron Oostdam

Transcriptie

1 KunstWerk(t) in de Tertiaire sector Evaluatieonderzoek naar ervaringsleren met theatrale werkvormen Wil Oud Ron Oostdam

2 CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG Oud, W. & Oostdam, R. KunstWerk(t) in de Tertiaire sector; Evaluatieonderzoek naar ervaringsleren met theatrale werkvormen. Wil Oud & Ron Oostdam. Amsterdam : SCO-Kohnstamm Instituut van de Faculteit der Maatschappij- en Gedragswetenschappen, Universiteit van Amsterdam (SCO-rapport nr. 774 projectnummer 40081). ISBN Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen, of op enige manier, zonder voorafgaande schriftelijke toestemming van de uitgever. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the publisher. Uitgave en verspreiding: SCO-Kohnstamm Instituut Nieuwe Prinsengracht 130, Postbus 94208, 1090 GE Amsterdam tel.: Copyright SCO-Kohnstamm Instituut, 2007

3 Inhoud Voorwoord 1 Inleiding en vraagstelling Het ESF Equal-project Evaluatieonderzoek Probleemstelling en onderzoeksvragen Distance travelled Leeswijzer Opzet en uitvoering van het onderzoek Fasering Het theoretische kader Ontwikkeling van competentieprofielen Meetinstrumenten Dataverzameling en analyse Migranten Kenmerken van de doelgroep De leeromgeving Het begeleidingsaanbod Het programma van de dramakunstenaars Competentieprofiel Evaluatie De mening van de deelnemers De mening van de kunstenaar en de begeleider Beoordeling competenties Samenvatting Gedetineerden Kenmerken van de doelgroep De leeromgeving Het begeleidingsaanbod Het programma van de dramakunstenaar...51

4 4.3 Competentieprofiel Evaluatie De mening van de deelnemers De mening van de kunstenaar en de begeleider Kwantitatieve evaluatie Resultaten vragenlijstonderzoek Beoordeling competenties Samenvatting Mensen met een verstandelijke beperking Kenmerken van de doelgroep De leeromgeving Het begeleidingsaanbod Het programma van de dramakunstenaar Competentieprofiel Evaluatie De mening van de deelnemers De mening van de kunstenaar en de begeleider Kwantitatieve evaluatie Resultaten vragenlijstonderzoek Beoordeling competenties Samenvatting Jongeren Kenmerken van de doelgroep De leeromgeving Het begeleidingsaanbod Het programma van de dramakunstenaar Competentieprofiel Evaluatie De mening van de deelnemers De mening van de kunstenaar en de begeleider Kwantitatieve evaluatie Resultaten vragenlijstonderzoek Beoordeling competenties Samenvatting...132

5 7 Samenvatting en discussie Samenvatting Doelstellingen en competenties Randvoorwaarden voor uitvoering Leeromgevingen Leeropbrengsten Gender-effecten Discussie Literatuur Bijlage 1: Leidraad overleg met contactpersonen pilots Bijlage 2: Interviewleidraad kunstenaars en begeleiders Bijlage 3: Interviewleidraad deelnemers pilots Bijlage 4: Vragenlijst Bijlage 5: Evaluatieformulieren Bijlage 6: Aanvullende informatie pilots ter Peel en Maashegge...199

6

7 Voorwoord Kunstenaars voeren tegenwoordig vaak sociaal geëngageerde kunstprojecten uit voor kwetsbare doelgroepen in de samenleving. In een aantal gevallen gebeurt dat in directe samenwerking met welzijnsorganisaties die de begeleiding van deze doelgroepen verzorgen. De veronderstelling is dat dankzij de activiteiten van de kunstenaars de persoonlijke en sociale competenties van deelnemers worden versterkt om op die manier hun maatschappelijk functioneren te verbeteren. Ervaringen en getuigenissen vanuit de praktijk zijn overwegend positief, maar bewijsvoering vanuit onderzoek is nog slechts mondjesmaat voorhanden. De stichting Kunstenaars&Co nam in 2004 het initiatief voor een project om de activiteiten van kunstenaars systematisch te beproeven en op effecten te laten onderzoeken. Er werden vier proefprojecten uitgevoerd en onderzocht. In dit rapport wordt uitvoerig verslag gedaan van de achtergronden, opzet en resultaten van het uitgevoerde onderzoek. De centrale vraag was of de beoogde effecten van de activiteiten ook werden bereikt. De uitkomsten van het onderzoek laten zien hoe veelzijdig, boeiend, maar ook hoe complex de projecten zijn die kunstenaars met de verschillende doelgroepen hebben uitgevoerd. Bovendien is meer zicht gekregen op belangrijke condities voor onderzoek naar effecten van deze projecten. De vraag met welk doel de kunstenaars hun werk met deze groepen uitvoeren blijkt belangrijke inhoudelijke en praktische consequenties te hebben. Gaat het om intrinsieke of om instrumentele doelen, ofwel gaat het om kunst als doel of kunst als middel? Deze vraag is niet alleen van belang voor de uitvoering van kunstprojecten, maar ook voor de samenwerking tussen de kunstenaar en andere direct betrokkenen. Het raakt tevens een actuele discussie over de functie van de kunsten in deze projecten en de effecten ervan. De resultaten van dit onderzoek kunnen een bijdrage aan deze discussie leveren. Alleen dankzij de medewerking van verschillende betrokkenen kon het onderhavige onderzoek worden uitgevoerd. Wij denken ondermeer aan de deelnemers van de verschillende pilots met wie gesprekken zijn gevoerd en die vragenlijsten hebben ingevuld. Daarnaast willen wij de kunstenaars bedanken voor hun bereidheid

8 en inzet voor het onderzoek. Het gaat dan om: Esmeralda Detmers, Tommy Freke, Saskia Huybrechtse, Septimia Kuhlmann, Brit Vreenegoor en Jos Zandvliet. Ook de begeleiders van de verschillende organisaties die bij de pilots betrokken waren, zijn wij dank verschuldigd voor hun medewerking en het verstrekken van waardevolle informatie. Te noemen zijn: Inge van Baalen, Laura Bonthuis, Kees Elbertse, John Heijster, Henk Pannekoek, Marieke Pol, Adri van Scherpenzeel, Annelies Scholten, Junior Simon, Brenda.Tjipjes, Dennis.Tijsterman Kunstenaars en begeleiders zijn verbonden aan organisaties, die dit project mede mogelijk maakten: Stichting Accu, Parels voor de Zwijnen, Dienst Justitiële Inrichtingen, Penitentiaire Inrichting Over-Amstel, (I.S.D. De Schans), Penitentiaire Inrichting Zuid Oost (locaties Ter Peel, Maashegge) Restaurant Ridderikhoff, ROC Aventus en Stichting FourstaR. In het bijzonder willen wij de projectleiding vanuit Kunstenaars&Co noemen, Erica Kubic, Anne Otterloo, Joost Heinsius, en Guido Jochems, voor de zeer prettige samenwerking en hun grote interesse en betrokkenheid bij uitvoering van het onderzoek. Zij hadden altijd aandacht en begrip voor soms complexe en weerbarstige condities waaronder zowel de pilots als het onderzoek moesten plaatsvinden. Ten slotte bedanken we onze collega Anna Heurter voor de zorgvuldige verzorging van het rapport. Wil Oud Ron Oostdam

9 1 Inleiding en vraagstelling 1.1 Het ESF Equal-project De stichting Kunstenaars&CO nam het initiatief tot het ontwerpen en uitvoeren van het ESF-Equalproject KunstWerk(t) in de Tertiaire sector Het project werd opgezet om een nieuwe aanpak te ontwikkelen voor doelgroepen die te maken hebben met maatschappelijke ongelijkheid en discriminatie, en die in hun kansen op de arbeidsmarkt dreigen achter te blijven. 1 Het project wordt uitgevoerd in het kader van het internationale ESF Equal regeling waarin Groot- Brittannië, Italië, Hongarije en Nederland participeren. Het project heeft de verbetering van de maatschappelijke positie van kwetsbare groepen tot doel. Onderzoekers volgen de uitvoering en resultaten van deze projecten. Onderling wisselen zij kennis, ervaring en bevindingen uit tijdens internationale conferenties over de projecten. Het project is in Nederland gestart voor een aantal kwetsbare groepen die achterblijven in de arbeidsparticipatie. Zij ondervinden belemmeringen als gevolg van ongelijkheid en discriminatie. Kunstenaars&Co heeft voor dit project gekozen voor (veelal laagopgeleide) migranten, deelnemers met een verstandelijke beperking, gedetineerden en probleemjongeren. Ter bevordering van de maatschappelijke participatie worden verschillende middelen, waaronder creatieve activiteiten, ingezet. Voor kunstenaars betekenen deze activiteiten bovendien een aanvulling op de beoefening van hun discipline en een verbetering van hun inkomenspositie. Het werk van kunstenaars met deze kwetsbare groepen is echter nog niet systematisch beproefd en onderzocht en vormt mede de achtgrond van dit project. Onderzoek is daarom een belangrijk onderdeel. In dit project werken kunstenaars gedurende minimaal vier tot maximaal tien maanden met de volgende doelgroepen. 1 Zie voor een uitgebreide beschrijving het bestek: Aanbesteding onderzoek naar effecten van het ESF-EQUAL-project KunstWerk(t) in de Tertiaire sector, 3 juni 2005, Amsterdam. 1

10 KunstWerk(t) in de Tertiaire sector a. Migranten. In deze pilot gaat het om de doelgroep die volgens de Wet op de Inburgering Nieuwkomers (WIN) verplicht is in te burgeren in de Nederlandse samenleving. De gemengde groep bestaat uit nieuwkomers, vluchtelingen en mensen die al meerdere jaren in Nederland zijn. b. Gedetineerden. Er zijn drie verschillende pilots georganiseerd met gedetineerden voor wie de duur van de detentie twee jaar of korter is. Deelnemers aan één pilot (een mannengroep) waren in de laatste fase van hun detentie. Daarnaast was er één groep vrouwen, die om uiteenlopende redenen de pilot niet geheel hebben afgemaakt. c. Deelnemers met een verstandelijke beperking. De deelnemers aan deze pilot vormen qua type handicaps een zeer heterogene groep. Zij zijn betrokken bij een dagbestedingproject in een professioneel restaurant, waar zij verschillende Horecawerkzaamheden (leren) uitvoeren, van bediening tot activiteiten in de keuken. d. Risicojongeren. Aan deze pilot nemen jongeren deel die voortijdig schoolverlater zijn of problemen hebben met de verwerving van een plaats op de arbeidsmarkt. Sociaal-emotionele problematiek speelt hierbij een rol. Het project kwam tot stand dankzij een nauwe samenwerking tussen Kunstenaars &Co en diverse theaterkunstenaars en welzijnsorganisaties. Ook de ministeries van Sociale Zaken, Justitie en Onderwijs, Cultuur en Wetenschap waren betrokken. In dit project zijn vormen van ervaringsleren met theatrale werkvormen met de deelnemers aan de pilots uitgevoerd. De organisaties en kunstenaars hebben in elke pilot een omgeving geschapen waarin zij de deelnemers stimuleerden tot het verwerven en verbeteren van competenties/algemene vaardigheden, die van belang worden gevonden voor het alledaagse leven en voor de arbeidsmarkt. De aanname was dat ervaringsleren door middel van artistieke methoden en uitgevoerd door kunstenaars een bijdrage levert aan het ontwikkelen of versterken van deze competenties. Ervaringen die kunstenaars al eerder hadden opgedaan, deden vermoeden dat deze aanpak voor deze doelgroepen werkt. Het aanbod voor de verschillende doelgroepen beperkte zich niet tot de activiteiten die kunstenaars met deelnemers ondernamen. Parallel aan deze programma s boden medewerkers van de begeleidende instanties eveneens vanuit hun functie 2

11 Inleiding en taak een eigen programma of begeleidingsaanbod, zoals een alfabetiseringscursus voor migranten of een sporttraining voor jongeren. Bij de bespreking van de afzonderlijke pilots komen deze activiteiten eveneens aan de orde. 1.2 Evaluatieonderzoek Vanuit Kunstenaars&CO is aan het SCO-Kohnstamm Instituut van de Universiteit van Amsterdam verzocht een onderzoek uit te voeren naar de effecten van de activiteiten op de deelnemers. Doel is na te gaan wat de meerwaarde is van een leeromgeving waarin kunstenaars met deze doelgroepen werken. Het onderzoek vormde een integraal onderdeel van het project. Methoden ontleend aan de kunsten zijn wel eerder gebruikt voor het bereiken van specifieke achterstandsgroepen, maar de inzet van kunstenaars die creatieve projecten opzetten voor deze doelgroepen was in Nederland nog niet systematisch geëvalueerd. De toegevoegde waarde van het onderzoek naar het ESF EQUALproject betreft het beschrijven en evalueren van deze werkvormen. In het bijzonder het bepalen van leereffecten van de deelnemers werd van belang gevonden. Dit vereiste de ontwikkeling van een betrouwbare effectmeting. Een adequate bewijsvoering van de effectiviteit is nodig in het belang van de disseminatie van deze methoden. Indien deze werkvormen effectief blijken, geeft het kunstenaars tevens mogelijkheden om hun vaardigheden buiten het kader van de kunstsector in te zetten voor specifieke doelgroepen. Het gaat om het ontwikkelen van nieuwe vormen van maatschappelijke dienstverlening. Vóór de start van het onderzoek zijn voor de verschillende doelgroepen van de pilots ambities geformuleerd ten aanzien van gewenste leereffecten en functies op de arbeidsmarkt. De formulering van einddoelen kon pas goed plaatsvinden in de beginfase van het onderzoek toen de deelnemers aan de projecten bekend werden en meer uitgewerkte plannen voor de pilots gereed kwamen. Van meet af aan is gesteld dat deze einddoelen per doelgroep zouden verschillen. Doel van alle pilots was tevens er voor te zorgen dat zowel mannen als vrouwen er optimaal gebruik van zouden kunnen maken. De taak van maatschappelijke organisaties is namelijk 3

12 KunstWerk(t) in de Tertiaire sector invulling te geven aan gender mainstreaming 2. Er moet aandacht worden besteed aan het bestrijden van verschillen in de sociaal-economische en maatschappelijke rollen die mannen en vrouwen vervullen en de beeldvorming die daarmee gepaard gaat. Dit is ook een van de aandachtspunten van het onderzoek in Nederland. Samenvattend zijn de concrete doelstellingen van het ESF-EQUAL project in Nederland: 1. Het opzetten van een nieuwe vorm van dienstverlening voor specifieke doelgroepen door het inzetten van kunstenaars in pilots in samenwerking met bestaande organisaties in de tertiaire sector; 2. Het evalueren van werkvormen ontleend aan de kunsten als leercontext met het doel de arbeidscompetenties van deelnemers aan de pilots te vergroten; 3. De ontwikkeling van een betrouwbare werkwijze voor het meten van leereffecten ten aanzien van relevant geachte beroepscompetenties voor uiteenlopende doelgroepen in verschillende sectoren. 1.3 Probleemstelling en onderzoeksvragen In de beginfase was het nodig eerst nader te bepalen welke competenties moeten worden geoperationaliseerd voor de verschillende doelgroepen in dit project. Ook was het van belang om een werkwijze te ontwikkelen waarmee inzicht is te krijgen in het rendement van deze vormen van ervaringsleren, om op die manier de toegevoegde waarde van de activiteiten van de kunstenaar in dit proces te bepalen. Met de evaluatie is tevens beoogd na te gaan of er verschillen zijn in de ontwikkeling van competenties bij mannen en vrouwen, c.q. het genderaspect. Een assessment procedure moest worden ontwikkeld om de verworven kwalificaties en competenties valide en betrouwbaar vast te kunnen stellen op een wijze die 2 Vergelijk de uitgangspunten en doelen van de Emancipatie Effect Rapportage (EER). De Graaf, et al. Handleiding Emancipatie Effectrapportage. Directie Coördinatie Emancipatiebeleid. SZW. 2001; Oud, et al. Emancipatie Effecten van de Cultuurnota SCOrapport 658, Amsterdam. 4

13 Inleiding voor alle groepen toepasbaar is. 3 Tenslotte zou met deze experimentele assessmentprocedure vastgesteld worden in hoeverre de beoogde competenties daadwerkelijk zijn verworven. Er zou ook gekeken worden in hoeverre de gehanteerde assessmentprocedure te generaliseren is naar andere doelgroepen en sectoren waarin artistieke methoden worden ingezet ter bevordering van beroepscompetenties. In dit rapport staan de volgende centrale onderzoeksvragen centraal. 1. Welke kwalificaties en beroepscompetenties zijn voor deelnemers aan de pilots relevant om te verwerven? (het opzetten van een competentieprofiel) 2. Welke effecten heeft de deelname aan de pilots op de uitbreiding of versterking van de kwalificaties en competenties van de deelnemers? (de effectmeting) 3. Welke mogelijke verschillen in effectiviteit zijn toe te schrijven aan genderaspecten? (secundaire analyse van de effectmeting) 4. Op welke wijze kan op een betrouwbare wijze in kaart worden gebracht of kwalificaties en beroepscompetenties daadwerkelijk verworven zijn? (het opzetten van een assessmentprocedure) 5. Is de gekozen aanpak om de leereffecten van de pilots te bepalen haalbaar en generaliseerbaar naar andere sectoren en doelgroepen? (de nadere bepaling van het algemene karakter van de assessmentprocedure) 1.4 Distance travelled Het gaat er in dit project om de resultaten te achterhalen die bij deelnemers aan de pilots worden geboekt dank zij het werk van kunstenaars die ieder met hun eigen benadering met hun specifieke groep werken. De vraag is nu hoe hard de bevindingen in dit onderzoek kunnen zijn. In de ESF EQUAL Guideline, de Distance Travelled Equal Bookled, met richtlijnen en adviezen voor onderzoek naar ESFprojecten wordt op deze vraag ingegaan. De volgende drie kernbegrippen worden gehanteerd. 3 Vergelijk: Elshout-Mohr, M., & Oostdam, R. Assessment van competenties in een dynamisch curriculum. SCO-rapport 605. Amsterdam,

14 KunstWerk(t) in de Tertiaire sector Hard outcomes. Harde resultaten zijn duidelijk te definiëren en te kwantificeren resultaten van deelname aan een ESF project en laten vooruitgang zien ten aanzien van gewenste resultaten; Soft outcomes. Zachte resultaten hebben betrekking op resultaten die meer intermediaire fasen zijn in de ontwikkeling naar hard outcomes, zoals ontwikkeling van persoonlijkheidskenmerken, sociale competenties, of competenties die in een arbeidssituatie van belang zijn. Zij zijn in deze projecten van belang maar kunnen moeilijk duidelijk gedefinieerd en gemeten worden; Distance travelled. Met dit begrip worden de vorderingen uitgedrukt van het proces waarin soft outcomes worden verworven en die uiteindelijk moeten leiden naar harde resultaten. Hiertoe is een beoordeling vereist van de beginen eindsituatie van het traject. Een monitoring omvat volgens de guideline de bepaling van de indicatoren van soft outcomes en de beoordeling ervan door middel van assessments. Door het bepalen van de beginsituatie, het volgen van het proces en de bepaling van de eindsituatie kunnen vorderingen worden vastgesteld. Het oordeel van deskundigen over de resultaten is van belang. Dit oordeel wordt aangevuld met uitkomsten van betrouwbare meetinstrumenten die voor het onderzoek noodzakelijk worden geacht. Gesteld wordt dat er geen sprake is van een exacte wetenschap, want er is in een zekere mate sprake van subjectieve oordelen. Maar er kunnen volgens de guideline op deze wijze wel indicaties worden gegeven van de ontwikkelingen. In de guideline worden ook argumenten genoemd om af te zien van monitoring als het project bijvoorbeeld te kort duurt of deelname eraan onregelmatig is. 1.5 Leeswijzer Hoofdstuk twee biedt de beschrijving van opzet en uitvoering van het onderzoek. Daarna volgen hoofdstukken met de resultaten en uitkomsten van de evaluaties van de verschillende pilots. Achtereenvolgens komen aan de orde de pilot Migranten (hoofdstuk drie), de pilot Gedetineerden (hoofdstuk vier), de pilot Deelnemers met een beperking (hoofdstuk vijf) en de pilot Jongeren (hoofdstuk zes). Per pilot worden de kenmerken van de doelgroep en de resultaten van de evaluatie beschreven. Interviewverslagen en kwantitatieve gegevens vormen de basis 6

15 Inleiding voor de beschrijvingen. In hoofdstuk zeven wordt op projectniveau een samenvatting van de resultaten voor de verschillende pilots gegeven. Vervolgens worden conclusies en discussiepunten geformuleerd naar aanleiding van de resultaten. Daarbij komen de mogelijkheden en beperkingen aan de orde die in dit project zijn ondervonden. 7

16 8

17 2 Opzet en uitvoering van het onderzoek 2.1 Fasering Het rapport omvat een beschrijvend deel en een evaluerend deel. In het beschrijvende deel wordt aandacht besteed aan de kenmerken van de pilots, aan de te ontwikkelen competenties van de deelnemers per pilot en aan de beoogde doelen van het project. Ook de context waarin competenties worden verworven de activiteiten van de kunstenaar en de begeleiders komen aan de orde. In het evaluerende deel wordt ingegaan op de resultaten die zijn geboekt de ontwikkeling van de competenties - aan het eind van de pilots en aan de wijze van evalueren. Doel van het onderzoek is om bij de deelnemers van de groepen te achterhalen of de theater- en muziekactiviteiten uitgevoerd door kunstenaars bijdragen aan versterking en ontwikkeling van competenties, die van belang zijn voor het alledaagse leven en voor de latere beroepspraktijk. In dit project is een eigen wijze van evalueren ontwikkeld aangezien er nog geen beproefde en getoetste evaluatiemethode bekend was om effecten van theateractiviteiten op de competenties van deze groepen deelnemers aan te kunnen tonen. Het onderzoekplan omvat globaal de volgende fasen en activiteiten. Fase 1: voorbereiding en uitvoering van de nulmeting. In deze fase is volgens het plan in overleg met de opdrachtgever en de verschillende partners bepaald welke doelen per doelgroep bereikt moeten worden en welke competenties in het project en het onderzoek centraal staan. De competentieprofielen die per pilot zijn geformuleerd, vormen vervolgens een toetsingskader om na te kunnen gaan of de (arbeidsmarkt)competenties van de deelnemers aan de pilots verbeterd zijn. Voor een goede effectmeting van competenties van de pilots werd een onderzoeksopzet met een begin- en een eindmeting het meest zinvol geacht. Er is een pretest-posttest design gehanteerd. Het uitgangspunt was dat alleen bij deze opzet kon worden bepaald wat het niveau van de deelnemers aan het begin van de 9

18 KunstWerk(t) in de Tertiaire sector pilot is, zodat kan worden nagegaan of het niveau aan het eind van de pilot verbeterd is. Probleem bij een pretest-posttest design is dat al aan het begin een nulmeting moet worden uitgevoerd met beproefde assessmentmethoden. In het kader van dit onderzoek was dat niet haalbaar. Daarom is voorgesteld om een voormeting te doen in de vorm van een beperkte integrale assessment om toch duidelijk zicht te krijgen op de feitelijke competentieniveaus van de deelnemers aan het begin van de pilots. Een dergelijke integrale assessment bestond eruit dat de belangrijk gevonden competenties van de deelnemers door verschillende beoordelaars geëvalueerd worden op grond van observaties gedurende een afgebakende periode. Tijdens deze observaties werd gekeken naar hoe een deelnemer zich opstelt in de groep en zich inzet voor de aangeboden activiteiten door de kunstenaar(s). Een dergelijke beginmeting biedt volgens het plan voldoende mogelijkheden om de behaalde niveaus aan het einde van de pilots te interpreteren in termen van vooruitgang. De opbrengst van deze fase is volgens de onderzoeksopzet een beschrijving per doelgroep van het toetsingskader met de gewenste competenties die gelden voor de afzonderlijke pilots en de daarbij behorende meetmethodieken, -criteria en instrumenten. Deze fase levert een eerste meting op van het beginniveau van de deelnemers betreffende de geformuleerde kerncompetenties die binnen de pilots centraal staan. Fase 2: tussentijdse evaluatie Doel is een tussentijdse evaluatie van de opzet en uitvoering van de pilots. Op grond van deze evaluatie wordt de opzet van de pilot zonodig bijgesteld. Met name in deze fase van het onderzoek gaat speciale aandacht uit naar het controleren voor gender-effecten. Fase 3: eindevaluatie Doel van deze fase is vast te stellen of de gehanteerde artistieke methoden de beoogde effecten hebben opgeleverd. Hierbij zal volgens het plan worden gekeken naar de resultaten bij de afzonderlijke doelgroepen. Tevens gaat het om een beschrijving van de toegevoegde waarde van het ervaringsleren voor de verschillende groepen op projectniveau. Bij de eindmeting zullen de verworven competenties door beoordelaars op identieke wijze worden beoordeeld als in de 10

19 Opzet en uitvoering van het onderzoek beginmeting. Op deze manier kan de distance travelled in kaart worden gebracht. Voor de dataverzameling worden volgens het onderzoekplan de volgende instrumenten in de verschillende fasen ingezet: 1. bijeenkomsten per pilot met de betrokken uitvoerders ter voorbereiding van het onderzoek; 2. interviews met betrokken kunstenaars, begeleiders en per pilot een selectie van de deelnemers; 3. vragenlijsten voor Nederlandstalige deelnemers; 4. observaties ten behoeve van de beoordeling; 5. evaluaties door beoordelaars. 2.2 Het theoretische kader We gaan hier eerst in op de ontwikkeling van het toetsingskader en op de competentieprofielen per pilot. In de beginfase van elke pilot was dit aan de orde. Daarna wordt de onderzoeksopzet en -uitvoering besproken waarbij de verschilscores tussen begin- en eindmeting worden geanalyseerd. Er wordt daarbij ingegaan op de vraag hoe hard de bevindingen uit dit onderzoek zijn. Het bleek noodzakelijk om op een aantal punten van het originele onderzoeksplan af te wijken, omdat de werkelijkheid weerbarstiger bleek dan voorzien. Algemene kenmerken die verschilden tussen plan en uitvoering komen in dit hoofdstuk aan de orde. Pilotgebonden punten komen in het desbetreffende hoofdstukken naar voren Ontwikkeling van competentieprofielen Het ontwikkelen van competentieprofielen voor deelnemers aan de pilots vormde een van de centrale onderdelen van de voorbereidingsfase. Verschillende betrokkenen leverden hieraan een bijdrage. In deze fase is door de onderzoekers overleg gevoerd met de opdrachtgever, met projectpartners en de internationale samenwerkingspartners over de vraag welke kerncompetenties in het project en het onderzoek centraal zouden moeten staan, i.c. versterkt zouden moeten worden. 11

20 KunstWerk(t) in de Tertiaire sector De definitie van competentie wordt veelal gekoppeld aan een specifiek beroep zoals geformuleerd door de Adviescommissie Onderwijs Arbeidsmarkt in 1977: Competenties zijn vermogens van een individu waarmee opgaven van een beroep op een adequate, procesgerichte en productgerichte wijze kunnen worden aangepakt. Daarnaast wordt het begrip competentie ook gezien in relatie tot andere maatschappelijke situaties buiten een specifieke beroepssituatie waarin een persoon adequaat moet handelen. Onder 'competentie' wordt ook verstaan het vermogen om op grond van een combinatie van attitude, kennis, inzicht en vaardigheden in een concrete situatie adequaat te kunnen handelen. Zo wordt onder meer gesproken over opleidingscompetenties en sociale competenties. Het gaat veelal om algemene vaardigheden die van belang zijn voor het maatschappelijk handelen van mensen. Een competentieprofiel moet een overzicht bieden van competenties die voor de groepen deelnemers aan de pilots relevant zijn om te verwerven. Zij zijn van belang voor het alledaagse leven en voor vergroting van kansen op de arbeidsmarkt. Het profiel vormt tevens de basis voor de ontwikkeling van de onderzoeksinstrumenten. Sleutelcompetenties De thema s die in besprekingen over het competentieprofiel met verschillende partijen aan de orde kwamen, sluiten aan bij nationale en internationale literatuur over competentieontwikkeling. Deze literatuur biedt informatie over onderzoeksprogramma s voor beschrijving van modellen voor en onderzoek naar relevante competenties. Zo biedt de Organisatie voor Economische Samenwerking en Ontwikkeling (OECD) verschillende internationale programma s zoals Definition and Selection of Key Competencies (DeSeCo). Deze hebben betrekking op kinderen en jongeren in de leerplichtige leeftijd (tot circa 16 jaar). Doel van het DeSeCo programma is een theoretische en conceptuele basis te ontwikkelen om key-competenties te definiëren en te selecteren. Centraal staat de vraag welke competenties voor een individu nodig zijn om een succesvol leven te leiden, en welke nodig zijn voor de samenleving om de huidige en toekomstige uitdagingen aan te kunnen. Tevens is het oogmerk hiermee een referentiepunt te ontwikkelen om empirische bevindingen op het gebied van onderwijzen en leren te kunnen interpreteren. De key-competenties komen tot uiting in het handelen van mensen en betreffen kennis, vaardigheden, attituden, emoties, waarden en 12

21 Opzet en uitvoering van het onderzoek motivatie. Bijzondere aandacht krijgt de evaluatie van culturele competenties met onderzoek naar drie genoemde deelgebieden. 4 De OECD constateert in haar studies dat de evaluatie van deze culturele competenties nog mager was vertegenwoordigd in de nationale studies, terwijl zij toch een belangrijke rol spelen in het dagelijkse leven. Nationaal onderzoek Nederlands onderzoek naar sociale competentie in het onderwijs biedt aanknopingspunten voor de opzet van een toetsingskader en de ontwikkeling van instrumenten vanwege de aandacht voor de sociale doelstellingen. In Sociale competentie langs de meetlat (cf. Ten Dam et al., 2003) wordt op basis van een literatuurstudie een indeling geboden van verschillende aspecten van de sociale competentie. Onderscheiden worden intrapersoonlijke aspecten, interpersoonlijke aspecten en maatschappelijke aspecten. Hoewel de studie betrekking heeft op de rol en bijdrage van het onderwijs op dit gebied, is het ontwikkelde analytische kader in dit project benut. De activiteiten op het gebied van theater bieden de deelnemers in de pilots mogelijkheden om deze competenties verder te ontwikkelen. In alle groepen gaat het om de intrapersoonlijke en de interpersoonlijke ontwikkeling, maar verder verschillen de specifieke functies van theater en van de activiteiten aanzienlijk. Ervaringsleren en ontwikkeling van competenties Gemeenschappelijk voor alle pilots in dit project is de nadruk op ervaringsleren met het doel competenties te verwerven die de individuele en sociale ontwikkeling betreffen. Er wordt uitgegaan van 'constructivistische' opvattingen over leren, waarbij mensen hun competenties verwerven en verbreden - construeren - in interactie met hun omgeving die in dit geval door kunstenaars en begeleiders wordt geboden. Ervaringsleren wordt hier gezien als een actief proces, waarin nieuwe 4 Het project leidde tot overeenstemming over de volgende algemene structuur van het systeem van sleutelcompetenties: 1. Acting autonomously : ofwel autonoom kunnen handelen (bijvoorbeeld in staat zijn om voor de eigen rechten, belangen, verantwoordelijkheden, beperkingen en behoeften op te komen); 2. Using tools interactively : ofwel gereedschappen interactief kunnen gebruiken (bijvoorbeeld in staat zijn om kennis en informatie interactief kunnen gebruiken); 3. Joining and functioning in socially heterogenous groups : ofwel kunnen functioneren in sociaal heterogene groepen 13

22 KunstWerk(t) in de Tertiaire sector informatie wordt geïntegreerd in bestaande competenties, met de verwachting dat zij ook in andere situaties kunnen worden ingezet. Ook tijdens het transnationaal overleg met de onderzoekers uit Engeland, Italië en Hongarije stond de selectie van relevante algemene competenties op de agenda. Er zijn kenmerken geformuleerd die betrekking hebben op competenties als persoonlijke eigenschappen en sociale vaardigheiden waarover volwassenen in het alledaagse leven en in een werksituatie zouden moeten beschikken. Als belangrijke attitudes zijn genoemd: zelforganisatie, zelfreflectie, verantwoordelijkheid willen/kunnen nemen, in staat zijn om te leren, motivatie, in staat om met frustraties om te gaan etc. Als belangrijke sociale vaardigheden komen aan de orde: samen werken, effectief communiceren met anderen, het ontmoeten van collega s, in staat zijn om met verschillen tussen mensen om te gaan, instaat zijn met mensen om te gaan in verschillende rollen. Voorts is algemene en specifieke kennis en inzicht nodig om in een werksituatie te kunnen functioneren. Pilotspecifieke competentieprofielen. De pilots hebben specifieke kenmerken en accenten afhankelijk van de mogelijkheden en behoeften van de doelgroep en zijn bij de start getypeerd aan de hand van een vragenlijstje over uitgangspunten, doelen, opzet, activiteiten en beoordeling van resultaten. In aparte bijeenkomsten met projectleiding, kunstenaars, contactpersonen/begeleiders van instellingen en onderzoekers zijn doelen, verwachtingen en activiteiten ten aanzien van de deelnemers besproken. Vervolgens zijn beoogde competenties door kunstenaars en begeleiders - met advies van onderzoekers - per groep nader omschreven. Het gaat om intra- en interpersoonlijke competenties en om algemene en vakspecifieke competenties (bijvoorbeeld op het gebied van zang). Vanwege de specifieke kenmerken van en de grote verschillen tussen groepen is dus voor elke pilot een specifiek competentieprofiel geformuleerd. Bij de formulering van deze competentieprofielen is dus aangesloten bij competenties die instellingen en kunstenaars impliciet of expliciet hanteren en binnen de groep verder willen ontwikkelingen. Om die reden is afgezien van het formuleren van een algemeen competentieprofiel dat voor alle doelgroepen hetzelfde is. 14

23 Opzet en uitvoering van het onderzoek Functies en doelen van drama Aan de activiteiten in de verschillende pilots kunnen verschillende functies worden toegeschreven, die meer of minder belangrijk zijn. In de publicatie Werken met Drama (cf. Vane, 2005) worden verschillende functies en doelen van drama onderscheiden. In het onderstaande overzicht zijn de functies weergegeven, die volgens de onderzoekers per doelgroep met name belangrijk waren. Voor migranten gaat het in de eerste plaats om training en een educatieve functie. Dit geldt ook voor de deelnemers met een verstandelijke beperking. De pilots voor gedetineerden en jongeren zijn in de eerste plaats opgezet voor een creatieve en persoonsvormende functie. In alle pilots is er ook sprake van een sociale functie, maar in geen van de gevallen gaat het om een therapeutische functie. Schema 2.1 Educatieve functies van drama (Vane, 1996) Functies Korte omschrijving Accent Sociaal Voor het plezier en de sociale contacten; zinvol met elkaar bezig zijn Alle pilots Creatief Training Educatief Persoonsvormend Therapeutisch Uitdrukken persoonlijke inhoud; vormgeven van eigen ideeën; om creativiteit te ontwikkelen Voorbereiden op een nieuwe situatie; anders reageren binnen een bestaande situatie; om te oefenen Leren over de werkelijkheid; bestaande begrippen, maatschappelijke verbanden, verloop van conflictsituaties; om te kunnen begrijpen Ontwikkeling persoonskenmerken en betekenis voor de persoon; om jezelf te ontplooien Stoornissen in de ontwikkeling verminderen Gedetineerden Jongeren Migranten Gehandicapten Migranten Doelgroep verstandelijke beperking Gedetineerden Jongeren - 15

24 KunstWerk(t) in de Tertiaire sector Meetinstrumenten Verschillende instrumenten zijn ontwikkeld om data te verzamelen om de pilots te beschrijven en om leeropbrengsten te meten. Kwalitatieve dataverzameling 1. Een interviewleidraad voor de deelnemers 2. Een interviewleidraad voor de kunstenaar 3. Een interviewleidraad voor de begeleider Kwantitatieve dataverzameling 4. Een schriftelijke vragenlijst voor de deelnemers 5. Een beoordelingsschema Ad 1. Een interviewleidraad voor de deelnemers Een interviewleidraad is ontwikkeld voor een gesprek met een selectie van deelnemers per pilot die aan het begin, tussentijds en aan het eind van de pilot plaatsvond (vergelijk het intake/exit-gesprek). Het interview levert meer kwalitatieve gegevens op over het leerproces tijdens de pilots. Het betreft hier veelal informatie, die niet met behulp van vragenlijsten boven tafel is te krijgen. De selectie van deelnemers informeerde in een interview over de volgende aspecten. a) De motivatie voor deelname: welke wensen en verwachtingen? b) De betekenis voor competenties die centraal staan: wat is ervaren en geleerd ten aanzien van: de te verwerven en versterken competenties die specifiek zijn voor de drama activiteiten in de groep; algemene competenties uitgedrukt in attitudes, kennis/inzicht en vaardigheden, zowel intrapersoonlijk als interpersoonlijk. c) De mate van tevredenheid over de deelname: beantwoordt het program aan de wensen en verwachtingen? Er is naar gestreefd een derde van de deelnemers te interviewen. De interviews met de migranten zijn afgenomen met ondersteuning van tolken. 16

25 Opzet en uitvoering van het onderzoek Ad 2. Een interviewleidraad voor de kunstenaar Een interviewleidraad werd gemaakt voor een gesprek met de kunstenaar(s) per pilot, die aan het begin, tussentijds en aan het eind van de pilot plaatsvond. De kunstenaar informeerde in interviews per pilot over: a) deelname; b) de competenties die centraal staan: de te verwerven en versterken competenties die specifiek zijn voor de groep; algemene competenties uitgedrukt in attitudes, kennis/inzicht en vaardigheden, zowel intrapersoonlijk als interpersoonlijk; c) De activiteiten die hiertoe worden ondernomen; d) De criteria die voor de beoordeling worden gehanteerd; e) De procedure voor de beoordeling (observatie/assessment); f) De uitkomsten van de beoordeling; g) De condities waaronder activiteiten en beoordeling worden ondernomen. Ad 3. Een interviewleidraad voor de begeleider Een interviewleidraad voor een gesprek met de begeleider is toegevoegd aan de opzet van de evaluatie. De overweging was dat de betrokkene de onderzoekers kon informeren over de achtergronden van de deelnemers en de eigen activiteiten die voor en met de deelnemers werden ondernomen. Bovendien was het noodzakelijk hen te raadplegen vanwege hun bijdrage aan de beoordeling. Ook is de opzet van de effectmeting met hen besproken. Ad 4. Een schriftelijke vragenlijst voor de deelnemers Een schriftelijke vragenlijst voor Nederlandstalige deelnemers aan de pilots, die aan het begin en aan het eind is afgenomen. In deze vragenlijst zijn uitspraken voorgelegd over de persoon zelf en uitspraken over de omgang met anderen die op een vijfpuntschaal of driepuntschaal van past helemaal niet bij mij tot past helemaal wel bij mij - kunnen worden aangekruist. Bij de samenstelling van dit instrument is gebruik gemaakt van reeds bestaande instrumenten met items voor meting van intrapersoonlijke en interpersoonlijke aspecten (Smits, & Vorst, 1982; Van der Linden, Dijkman & Roeders, 1983). Tevens is een vragenlijst benut voor een onderzoek naar motivatie onder vmbo-leerlingen (Peetsma et al., 2005). Aan het instrument dat is ontwikkeld door de Britse onderzoekers in het kader van het 17

26 KunstWerk(t) in de Tertiaire sector Ape-project voor de meting van competenties van deelnemers zijn eveneens items ontleend. Ook zijn achtergrondgegevens van de deelnemers verzameld. Voor de groep deelnemers met een verstandelijke beperking is een driepuntschaal gehanteerd om de beantwoording te vereenvoudigen. Zij zijn bij de beantwoording ondersteund door hun begeleider als er sprake was van beperking in de leesvaardigheid. Voor de groep migranten was gebruik van de vragenlijst niet uitvoerbaar wegens beperkte Nederlandse taalvaardigheid van de deelnemers. Vertaling van de vragenlijst in de diverse talen was geen optie binnen de mogelijkheden die het onderzoek bood. De respons verschilt per pilot en per meting, maar is lager dan 100%. Bij de bespreking van de afzonderlijke pilots worden achtergronden en resultaten van de respons toegelicht. Ad 5. Een beoordelingsschema Dit betreft een beoordelingsschema per pilot met omschrijvingen van te beoordelen competenties ten behoeve van assessments, die door beoordelaars worden gebruikt voor de begin- en eindmeting. De verschillen tussen de doelgroepen waren dermate groot, dat is afgezien van één beoordelingsinstrument voor alle deelnemers. Er is voor gekozen dat de wensen, ideeën en oogmerken van de kunstenaars de basis vormden voor de formulering van de te beoordelen competenties. Deze hebben enerzijds betrekking op de discipline drama en muziek en anderzijds op de intra- en interpersoonlijke aspecten van de deelnemers. Het motief voor deze aanpak was tevens dat kunstenaars op grond van hun ervaring met het werk met deze doelgroepen reeds een eigen visie en aanpak hebben ontwikkeld. Het was daarom onvermijdelijk dat de kunstenaars de intra- en interpersoonlijke competenties zelf formuleerden en op grond van hun eigen maatstaven beoordeelden. Op basis van deze operationalisaties zijn beoordelingsschema s ontwikkeld, die zowel door de kunstenaar, de begeleider als de externe beoordelaar c.q. een van de onderzoekers zijn gebruikt. Ten behoeve van de beoordelingen zijn de activiteiten door beoordelaars per plekke geobserveerd en/of geëvalueerd aan de hand van video-opnamen. Een uiteindelijke beoordeling door alledrie de beoordelaars was door omstandigheden niet in alle pilots mogelijk. Oorzaken waren het ontbreken van geschikt videomateriaal of het voortijdig beëindigen van de pilots door deelnemers. De beschrijving van de verschillende pilots bevat een overzicht van de competenties die uiteindelijk beoordeeld zijn. 18

27 Opzet en uitvoering van het onderzoek Aanvankelijk was het plan een protocol en leidraad te ontwikkelen voor een integrale assessment van relevante kerncompetenties voor geselecteerde deelnemers. Het assessment zou worden uitgevoerd door hiertoe gekwalificeerde assessoren tijdens kritische simulaties aan het begin en eind van de pilot. De onderzoekers kwamen tijdens de voorbereiding van de nul-meting tot de conclusie dat een dergelijk opzet voor deze groepen niet haalbaar was. In enkele pilots waren eenvoudige vormen van assessments al een vast onderdeel van het programma (migranten, doelgroep verstandelijke beperking), terwijl in de andere groepen de opzet van kritische situaties waarin individuele deelnemers een opdracht zouden uitvoeren niet aansloot bij de groepsactiviteiten zoals de repetities voor een voorstelling (gedetineerden, jongeren). Een andere reden was dat de beoordeling van één kritische situatie bovendien onvoldoende zicht bood op de competenties van de individuele deelnemers. Meer dan één beoordelingsmoment zou nodig zijn om een goede indruk te geven van het niveau van de deelnemers. 2.3 Dataverzameling en -analyse Dataverzameling Aan de hand van de in genoemde onderzoeksinstrumenten zijn de gegevens voor de verschillende fasen in de verschillende groepen verzameld. Het tijdpad voor de verzameling van gegevens was niet voor alle groepen gelijk zoals het overzicht laat zien, want het onderzoek heeft verschillende looptijden gehad voor de verschillende pilots. Schema 2.2 Looptijd van de pilots Pilot Looptijd Migranten 4 e kwartaal e kwartaal 2006 Gedetineerden pilot 1 en 2: 4 e kwartaal e kwartaal 2006 Gedetineerden pilot 3: 3 e kwartaal e kwartaal 2006 Doelgroep verstandelijke beperking 4 e kwartaal e kwartaal 2006 Jongeren 1 e kwartaal e kwartaal

28 KunstWerk(t) in de Tertiaire sector Er zijn wel overeenkomsten in de uitvoering van het onderzoek in de verschillende pilots: in de eerste fase ging het om verzameling van gegevens voor de beginmeting met behulp van vragenlijst, interviews en beoordeling. In de tweede fase de tussentijdse evaluatie - stonden de interviews centraal, waarbij opnieuw gebruik is gemaakt van de instrumenten die in de eerste fase voor dit doel waren ontwikkeld en zonodig aangepast. In alle pilots is aandacht besteed aan het gender-aspect : de eventuele verschillen tussen mannen en vrouwen. In de derde fase zijn opnieuw interviews afgenomen aan de hand van de beschikbare en bijgestelde leidraden. De nadruk lag in de gesprekken op de resultaten die in de ogen van de betrokkenen de deelnemers, kunstenaar en begeleiders - waren behaald en op eventueel gewenste veranderingen in de opzet van het programma en de evaluatie. In de laatste fase zijn nogmaals de vragenlijsten uitgezet en beoordelingen uitgevoerd. Voor twee pilots van de groep gedetineerden (een groep mannen en een groep vrouwen) is de dataverzameling niet voortgezet, aangezien de deelnemers voorafgaand of tijdens de tweede fase waren overgeplaatst of met (vervroegd) verlof waren gegaan. Verdere dataverzameling onder deze groepen was daarom niet meer zinvol. Analyse kwalitatieve gegevens Bij de deelrapportages van de verschillende pilots in de volgende hoofdstukken (hoofdstuk drie tot en met zes) wordt eerst ingegaan op de specifieke kenmerken van de doelgroepen en de gegevens over de leeromgeving met de activiteiten van de kunstenaars en de begeleiders. Daarna wordt een overzicht en nadere beschrijving gegeven van de competenties. Vervolgens wordt ingegaan op de verzamelde gegevens door middel van de gehouden interviews onder betrokkenen. De gegevens van de interviews zijn verwerkt en geanalyseerd in overeenstemming met de hiervoor genoemde onderwerpen uit de interviewleidraden. Analyse kwantitatieve gegevens Bij drie van de vier pilots is de vragenlijst in zowel de voor- als de nameting aan de deelnemers voorgelegd. Het betreft de pilots met gedetineerden, deelnemers met een verstandelijke beperking en jongeren. De vragenlijst bestond uit 65 items, die geclusterd waren in zes onderliggende schalen: 1) zelfwaardering, 2) sociaal aanvaard voelen, 3) motivatie om te leren, 4) mate van zelfplanning, 5) positieve 20

29 Opzet en uitvoering van het onderzoek reflectie op werk, en 6) positieve reflectie op samenwerken met anderen. De items in de schaal zelfwaardering bevragen in hoeverre respondenten een positief zelfbeeld hebben. De schaal bevat items als: Ik heb het gevoel dat ik een persoon ben die wat waard is; Ik sta positief ten opzichte van mijzelf; Ik ben trots op mijn prestaties. De schaal sociaal aanvaard voelen moet een indicatie geven van de mate waarin respondenten zich geaccepteerd voelen door hun omgeving, i.c. de groep. Deze schaal bevat items als: Ik kan goed met mijn groepsleden opschieten; Ik heb in deze groep weinig vrienden/vriendinnen; Ik denk dat andere groepsleden het beste met mij voor hebben. De motivatie om te leren is bevraagd met items als: Ik zet altijd door, ook al is een opdracht moeilijk; Ik geef niet snel de moed op bij tegenslag; Ik wil graag nieuwe kennis en vaardigheden opdoen. De schaal mate van zelfplanning vraagt in hoeverre respondenten in staat zijn om grip te houden op hun zelfdiscipline. De schaal bevat items als: Ik kan mijn tijd goed indelen; Ik zeg altijd af als ik niet op een afspraak kan komen; Ik ben altijd op tijd voor een afspraak. De schaal positieve reflectie op werk vraagt naar de verwachting(en) van respondenten op het vinden van werk in de toekomst en werken in zijn algemeen. De schaal bevat items als: Ik heb weinig kans op betaald werk; Ik weet dat ik een werkgever iets te bieden heb; Ik weet welk soort werk ik goed kan. De schaal positieve reflectie op samenwerken met anderen beoogt te meten op welke wijze respondenten naar anderen toe reageren in bepaalde situaties. Opgenomen items zijn bijvoorbeeld: Ik kom gauw in conflict met anderen; Ik werk graag in een team aan een gemeenschappelijk doel; Ik kan goed naar anderen luisteren; Ik ben bang voor kritiek van anderen. De items van de verschillende schalen zijn in willekeurige volgorde aan de respondenten voorgelegd. Alle items hadden het formaat van een bewering. Respondenten werd gevraagd om op een vijfpuntschaal aan te geven in hoeverre zij van mening waren dat een bepaalde bewering bij hen past (1= uitspraak past helemaal niet bij mij; 2) uitspraak past nauwelijks bij mij; 3) uitspraak past een beetje bij mij; 4) uitspraak past vrij goed bij mij; 5= uitspraak past helemaal wel bij mij). Het hanteren van een vijfpuntschaal bleek niet goed mogelijk bij de doelgroep doelgroep verstandelijke beperking. Zij hadden hulp nodig bij het invullen van de vragenlijst en konden niet goed uit de voeten met de nuances van de vijf schaalpunten. Om die reden is de antwoordschaal voor deze doelgroep vereenvoudigd tot een driepuntschaal (1= uitspraak past niet bij mij; 2= uitspraak past wel bij 21

30 KunstWerk(t) in de Tertiaire sector mij; 3= weet niet). Afname van de vragenlijst bij de groep migranten was om praktische redenen van taalbeheersing niet mogelijk. Op grond van de verzamelde gegevens in de voormeting onder gedetineerden (Ter Peel, Maashegge, De Schans) en de jongeren, zijn voor de afzonderlijke schalen de betrouwbaarheden berekend. In deze analyse zijn de gegevens van de deelnemers met een verstandelijke beperking buiten beschouwing gelaten vanwege de afwijkende antwoordschaal. Uiteindelijk zijn in totaal negen items verwijderd vanwege lage itemrestcorrelaties. In de onderstaande tabel zijn de betrouwbaarheden vermeld voor de afzonderlijke schalen (coëfficiënten alpha). De schaalbetrouwbaarheden ( ) zijn voldoende voor het calculeren van schaalgemiddelden. In de verschillende hoofdstukken worden daarom per doelgroep naast de resultaten op itemniveau ook de schaalgemiddelden gerapporteerd. Door middel van t-tests is gekeken naar eventuele significante verschillen tussen voor- en nameting op zowel itemniveau als schaalniveau (somscore). Deze analyse is gedaan voor de totale groep respondenten (over alle pilots) alsook voor de afzonderlijke respondentgroepen per pilot. Uit deze analyses kwam naar voren dat er geen sprake is van significante verschillen tussen voor- en nameting. Vervolgens is nagegaan of er verschillen zijn tussen de verschillende respondentgroepen (gedetineerden, doelgroep verstandelijke beperking en jongeren). Daartoe zijn de oorspronkelijke scores van de degenen met verstandelijke beperkingen (1= uitspraak past niet bij mij; 2= uitspraak past wel bij mij) gehercodeerd naar 1 (uitspraak past niet bij mij) en 5 (uitspraak past wel bij mij). Ook deze analyses lieten geen significante verschillen tussen groepen zien in zowel de voor- als de nameting. Met andere woorden, de doelgroepen verschillen qua antwoordpatroon niet erg van elkaar. Tabel 2.1 Betrouwbaarheden (coëfficiënt alpha) voor de onderliggende schalen in de vragenlijst; analyses zijn gebaseerd op de voormeting onder gedetineerden en jongeren (N=32). Schaal Aantal items Betrouwbaarheid Zelfwaardering Sociaal aanvaard voelen 9.76 Motivatie om te leren 7.76 Mate van zelfplanning 4.65 Positieve reflectie op werk 7.67 Positieve reflectie op samenwerken met anderen