Meten is weten met de SET NL Ella van Bergen en Monique Nelen SWPBSconferentie Zwolle 15 november 2013
Programma 1. Wat is de SET? 2. Hoe werkt de SET? 3. Voorbeelden uit de praktijk. 4. Afwegingen. 5. Hoe verder?
Voorstellen Monique Nelen Windesheim Expertisecentrum PBS Opleider, coach, onderzoeker Ella van Bergen REC Vierland PBS coach en AB-er
Vragenlijst Vraag 1 tot en met 7 Scores? Mini SET NL Andere lijsten: TIC, BoQ, SAS
Schoolwide Evaluation Tool (SET) The SET is a research-validated instrument that is designed to assess and evaluate the critical features of school-wide positive behavior interventions and support across an academic schoolyear Todd, Lewis-Palmer, Horner, Sugai, Sampson & Philips University of Oregon, 2012
Schoolbrede Evaluatie Toets NL Gestandaardiseerd informatie verzamelen waarbij meerdere bronnen gebruikt worden. Aan de hand van verzamelde informatie kan de school haar eigen PBS-implementatietraject evalueren en waar nodig bijstellen Treatment integrity: Implementeert de school PBS zoals bedoeld? Onderzoeksinstrument Scholen leren van elkaar
Doelen 1. Kwaliteitsevaluatie: overgang Groen naar Geel 2. PBS geïmplementeerd zoals bedoeld 3. Audit: uitwisselen scholen onderling 4. Onderzoeksdoeleinden
PBS kenmerken die geëvalueerd worden: A. Schoolbrede gedragverwachtingen vastgesteld B. Gedragsverwachtingen aangeleerd C. Beloningsysteem D. Omgaan met probleemgedrag E. Monitoring en besluitvorming (dataverzameling) F. Management (PBS team en jaarplan) G. Systeem van ondersteuning (scholing en budget) Toevoeging Nederland: H. Samenwerken met ouders en ketenpartners
Bronnen 1. Interviews 1. Directeur 2. Leerlingen (min 15 lln) 3. Schoolmedewerkers (min 10) 4. PBS team leden 2. Observatie 1. Waarden/verwachtingen (10 ruimtes) 2. Ontruimingsplan 3. Producten 1. Handboek, jaarplan, implementatieplan, lesplannen, gedragsincidentenformulier, dataverzameling ea
Kandinsky college Nijmegen
Interview directeur (ongeveer 45 min) Omcirkel en vul antwoorden kort in. Achter de antwoorden staan tussen haakjes de categorieën vermeld waarin na het bezoek bij de uitwerking gescoord kan worden op het SET scoringsformulier. 1. Dataverzameling en maatregelen (E) Welke data worden verzameld? 1.1. Zelfbeoordelingsonderzoek 1.1.2. wordt dit jaarlijks afgenomen? ja - nee (bij nee doorgaan naar 1.2.) 1.1.3.Worden gegevens hiervan geïnterpreteerd en gebruikt voor aanpassingen? Ja - nee 1.1.4. Worden gegevens gepresenteerd aan het schoolteam? Ja - nee 1.2. Gedragsincidentenregistratie 1.2.1. Worden gedragsincidenten geregistreerd? Ja - nee (bij nee doorgaan naar 1.3.) 1.2.2. Welke incidenten registreer je? 1.2.3. Wie verwerkt de gegevens? 1.2.4. Wie analyseert de gegevens? 1.2.5. Hoe vaak vindt terugkoppeling naar het schoolteam plaats?
Observatie checklijst Observeer in 10 locaties in school (b.v. hal, gangen, meerdere klaslokalen, toiletten, studieplein, aula, gymzaal, mediatheek, etc.).. Scoren op interview en observatieformulier. 1. Zijn de schoolbrede gedragsverwachtingen zichtbaar? 2. Systemen van beloning zichtbaar? 3. Is er een (ontruimings)plan voor de procedure hoe te handelen in noodsituaties?
Observeren in school.
Interview/gesprekje met leerlingen Minimaal 15 leerlingen verspreid over verschillende leeftijdsgroepen. 1. Kun je enkele gedragsverwachtingen van de school noemen? 2. Heb je de afgelopen 2 maanden een beloning anders dan een compliment gekregen?
Interview schoolmedewerker Minimaal 10 medewerkers. Scoren op interviewformulier schoolmedewerkers 1. Wat zijn de waarden/schoolbrede gedragsverwachtingen van de school? 2. Heb je dit schooljaar de leerlingen de gedragsverwachtingen aangeleerd? 3. Heb jij de afgelopen twee maanden een beloning (anders dan een compliment) voor goed gedrag uitgedeeld aan leerlingen? 4. Bij welk probleemgedrag zou je een leerling de klas uitsturen? 5. Etc.
Interview of mail aan ouders Minimaal 10 ouders (at random gekozen). Indien het niet mogelijk is om ouders te interviewen kan gevraagd worden om een e-mail te sturen met deze vragen naar ouders van ad random gekozen leerlingen. Merkt u als ouder dat uw kind positief benaderd wordt op school? Zo ja: hoe? Wordt u als ouder geïnformeerd over PBS op school? Zo ja, hoe? Ouderavond over PBS Nieuwsbrief Website Gesprek met de leraar? Anders?
Reflecties pilot VO De SET NL heeft een duidelijke opzet en is geschikt voor het VO. Herkenning, spiegel, sparren, kennis delen Afname SET NL vergt goede organisatie, strakke planning en kennis van het instrument en de procedure. Extra tijd inruimen voor uitwisseling van ervaringen naast audit.
Reflecties PO Beide scholen zijn heel verschillend: - Grootte - Buurt - Populatie - Sociale kaart - Identiteit En toch: helemaal herkenbaar PBS Met de SET kom je direct tot de kern. Stimuleert creatieve proces van implementeren. Geeft stof tot nadenken. Waardering voor openheid. Materialen SET NL duidelijk en richtinggevend.
Onderzoek SET NL geeft score per categorie + totaal score Geeft mate van implementatie aan (treatment fidelity) Biedt aanknopingspunten Plan van Aanpak (items) Vervolg: onderzoek validering SET NL + onderzoek naar resultaten PBS
Afwegingen en discussie Doel: kwaliteitsevaluatie en/of audit Ook: PBS school? Voorbereiding op afname: - Draaiboek - Training - Scoring Instrument in ontwikkeling Ethische aspecten Afname door onafhankelijke PBS deskundige
Meer informatie? https://www.pbisassessment.org/ Artikel Nieuw Meesterschap 2013 http://www.windesheim.nl/paginas/experti secentrum-pbis/ Mjm.nelen@windesheim.nl 06-51408769 Ella.van.bergen@vierland.nl