Onderzoeksrapport Effectiviteit en bereik van e-health interventie Smoke Alert

Transcriptie

1 Onderzoeksrapport Effectiviteit en bereik van e-health interventie Smoke Alert S. de Josselin de Jong, Msc.¹ Dr. ir. D. Segaar² Prof. dr. H. de Vries¹ ¹ Universiteit Maastricht, Afdeling Gezondheidsbevordering ² STIVORO, Afdeling Kennis en Implementatie

2 Colofon Auteurs: S. de Josselin de Jong, Msc.¹ Dr. ir. D. Segaar² Prof. dr. H. de Vries¹ Contactgegevens: ¹ Universiteit Maastricht Afdeling Gezondheidsbevordering Postbus MD Maastricht ² STIVORO Afdeling Kennis en Implementatie Postbus BB Den Haag Financiering: Dit rapport is tot stand gekomen met subsidies van het Ministerie van Volksgezondheid, Welzijn en Sport. 2012, Universiteit Maastricht en STIVORO Onderzoeksrapport Smoke Alert 2.0 2

3 Samenvatting Nadat de effectiviteit van de digitale rooktest Smoke Alert aangetoond was onder havo-, vwo- en mboleerlingen van 15 t/m 17 jaar (Eindverslag ZonMW, 2007; Dijk & de Vries, 2009), werd een webversie van de interventie door STIVORO online beschikbaar gesteld. Uit een evaluatie onder mbo-studenten kwamen enkele verbeterpunten naar voren (QUO-Communications, 2010). Driekwart van de respondenten vond de website saai en niet gericht op jongeren. Daarnaast bleek dat de meerderheid van de respondenten het advies te lang vond. Deze resultaten vormden de aanleiding voor het doorontwikkelen van Smoke Alert en het op effectiviteit toetsen van deze doorontwikkelde versie. Daarbij werd nagegaan of de interventie tevens geschikt is voor jongeren jonger dan 15 en ouder dan 17 jaar, en voor jongeren uit het praktijkonderwijs/vmbo. Het doel was om Smoke Alert 2.0 een frisse en meer speelse vormgeving te geven. Er werd gebruik gemaakt van schuifbalkjes om het beantwoorden van vragen makkelijker en aantrekkelijker te maken. Ook zijn animatiefilmpjes aan het advies toegevoegd en adviesteksten ingekort (zonder de inhoudelijke insteek te wijzigen). De effectiviteit van Smoke Alert 2.0 werd in een RCT bestudeerd. De werving voor het onderzoek verliep succesvol: in totaal hadden 89 middelbare scholen en 8 mboscholen zich voor het onderzoek aangemeld. De scholen werden verdeeld over een interventiegroep (waar Smoke Alert ingezet werd) en een controlegroep (die een korte vragenlijst over roken kreeg). Van 9 mei t/m 10 juni hebben leerlingen aan de baselinemeting deelgenomen. Zes maanden later werden de leerlingen per uitgenodigd om deel te nemen aan de nameting. Helaas viel de respons (met leerlingen) tegen. Vanwege de lage respons was het helaas niet mogelijk om specifiek uitspraken te doen over respondenten ouder dan 17 jaar. Van de 402 niet-rokers in de interventiegroep was 3.7% zes maanden na deelname aan Smoke Alert begonnen met roken; van de 517 niet-rokers in de controlegroep was 5.8% hiermee begonnen (p=0.02). Aangezien leerlingen gegroepeerd waren binnen klassen, in scholen, werd gebruik gemaakt van multilevel analyses. Met multilevel analyses kunnen statistische fouten vermeden worden die kunnen ontstaan door het negeren van die hiërarchische structuur (Twisk, 2007). Uit deze analyses bleek dat het verschil tussen de interventie- en controlegroep marginaal significant was (p=0.06). Hoewel met multilevel analyses geen significante interacties gevonden werden, toonden subgroepanalyses aan dat het effect van Smoke Alert (m.b.t. beginnen met roken) veroorzaakt werd door de jongeren van 15 jaar en ouder (N=137, p=0.04). Dit effect was niet zichtbaar bij jongeren jonger dan 15 jaar (N=782) (p=0.25). Uit een separate analyse van leerlingen uit praktijkonderwijs/vmbo (N=298) bleek dat ook bij deze opleidingsgroep minder leerlingen begonnen met roken na deelname aan Smoke Alert dan zonder interventie (p<0.05). De analyses suggereerden tevens positieve resultaten voor wat betreft stoppen met roken: na deelname aan Smoke Alert continueerde 69.8% (N=37) van de baselinerokers zijn of haar rookgedrag terwijl in de controlegroep 77.2% (N=44) nog steeds rookte (p=0.38). Echter, de grote uitval noopt tot Onderzoeksrapport Smoke Alert 2.0 3

4 voorzichtigheid met betrekking tot finale conclusies. E-health onderzoek wordt helaas in het algemeen gekenmerkt door een grote uitval (Eysenbach, 2005). In het huidige onderzoek was geen ruimte om uitgebreid kwalitatief te achterhalen wat de oorzaken voor de grote uitval waren. Een vervolgonderzoek is derhalve nodig om na te gaan wat de determinanten voor uitval zijn, en hoe deze kan worden voorkomen. Tevens is een replicatie van het huidige onderzoek aan te bevelen waarbij zowel de voor- als nametingen plaatsvinden in scholen om via deze methode een voldoende grote respons te bereiken. Zo kan het effect van Smoke Alert voor verschillende subgroepen beter nagegaan worden. Hierbij wordt een nameting op langere termijn (12 maanden) aanbevolen om nasleepeffecten van de interventie (met name bij jongeren jonger dan 15 jaar) te kunnen bestuderen. Aangezien de impact van een interventie afhankelijk is van zowel de effectiviteit als het bereik van de interventie (De Nooijer et al., 2005; Crutzen et al., 2008), werd ook het bereik van Smoke Alert bestudeerd. Allereerst werden de respondenten gevraagd naar hun gebruik van het advies en hun mening over de interventie. Het advies werd door ruim de helft van de respondenten bijna helemaal of helemaal gelezen. Maar liefst driekwart van de respondenten vond de nieuwe vormgeving mooi. Ook werd duidelijk dat jongeren het leuker vinden om op school mee te doen met Smoke Alert dan thuis. Er werd vervolgens een inventarisatie onder docenten gehouden. De docenten waren over het algemeen positief over Smoke Alert. De informatie in Smoke Alert was volgens hen voldoende begrijpelijk en het taalgebruik was goed. Ook de mening van gebruikers van Smoke Alert in de praktijk (buiten het onderzoek om) werd nagegaan. Het advies bleek goed gelezen te worden en de informatie in het advies was begrijpelijk. De nieuwswaarde van het advies scoorde minder goed; veel jongeren gaven aan dat de informatie in het advies niet nieuw voor hen was. Tot slot werd het daadwerkelijke webbezoek in kaart gebracht. Smoke Alert 2.0 werd gedurende drie weken succesvol gepromoot via social media. De interventie werd in die periode door ruim bezoekers bezocht. Er zijn indicaties dat bij Smoke Alert 2.0 een groter aantal homepage-bezoekers ook daadwerkelijk startte met de vragenlijst en/of deze in z n geheel doorliep, dan bij Smoke Alert 1.0. Het merendeel van de bezoekers van Smoke Alert was 14 t/m 18 jaar oud en de meeste gebruikers waren dagelijkse rokers of niet-rokers. Verder bleek dat vmbo- en mbo-leerlingen verrreweg het best vertegenwoordigd waren onder de gebruikers van de interventie. Er kan geconcludeerd worden dat Smoke Alert 2.0 succesvol doorontwikkeld is. Het is voor de impact van de interventie wel van belang om deze structureel (via social media) onder de aandacht te blijven brengen van de doelgroep. Deze doelgroep kan uitgebreid worden naar het praktijkonderwijs/vmbo. Op basis van dit onderzoek lijkt het niet zinvol de doelgroep uit te breiden naar jongeren jonger dan 15 jaar. Docenten kunnen dan ook geadviseerd worden Smoke Alert in te zetten vanaf de derde klas van het voortgezet onderwiijs. Tot slot wordt aanbevolen Smoke Alert te integreren binnen bredere weerbaarheidsprogramma s aangezien blijkt dat minder jongeren na deelname aan Smoke Alert beginnen met roken. Ook kan de interventie gekoppeld worden aan bestaande gezondheidsmonitors, zoals de E-MOVO (van de GGD). Door Smoke Alert breed en effectief te implementeren kan de dalende rookprevalentie onder jongeren doorgezet worden. Onderzoeksrapport Smoke Alert 2.0 4

5 Inhoudsopgave Inleiding Aanleiding Onderzoeksvragen Aanpassingen aan de interventie Inhoudelijke doorontwikkeling o.b.v. nieuwe wetenschappelijke inzichten Overige inhoudelijke aanpassingen Nieuwe vormgeving Animatiefilmpjes Deel I: Effectiviteitsonderzoek Methode Design Werving en randomisatie Uitkomstmaten Statistische methoden Resultaten Respons Exposure Randomisatie Attritie en betrouwbaarheid Kenmerken onderzoekspopulatie Effecten van Smoke Alert Conclusie Deel II: Procesevaluatie en gebruik in de praktijk Procesevaluatie Mate waarin advies gelezen wordt Oordeel over Smoke Alert Conclusie Inventarisatie onder docenten Inleiding Leeftijd en opleiding Uitvoering van de interventie in de klas Mening docenten over vorm en inhoud Smoke Alert Reactie van leerlingen op Smoke Alert Conclusies o.b.v. inventarisatie onder docenten Inventarisatie onder deelnemers in de praktijk Inleiding Beschrijvende statistische analyses Onderzoeksrapport Smoke Alert 2.0 5

6 3.3 Oordeel over advies Oordeel over vormgeving en animaties Gebruik van PDF-advies Conclusie Implementatie en bereik van Smoke Alert Inleiding Promotie via social media Webbezoek tijdens de promotieweken Webbezoek na de promotieweken Vergelijking met webbezoek Smoke Alert Conclusie Discussie Effectiviteit van Smoke Alert Implementatie van Smoke Alert Belang van promotie via social media en scholen Uitbreiding van doelgroep naar praktijkonderwijs/vmbo Stimuleren van herlezen van advies Integratie binnen bredere weerbaarheidsprogramma s en gezondheidsmonitors Adviezen t.b.v. doorontwikkeling en vervolgonderzoek Nieuwswaarde van advies verhogen Onderzoek naar het voorkomen van uitval bij e-health onderzoek Vervolgonderzoek met voor- en nameting in één schooljaar Literatuur BIJLAGE I: Nieuwe vormgeving Smoke Alert BIJLAGE II: Afbeeldingen uit animaties Onderzoeksrapport Smoke Alert 2.0 6

7 Inleiding 1. Aanleiding Hoewel het aantal rokende jongeren de laatste jaren gedaald is, geeft nog steeds 37% van de jongeren van jaar aan wel eens gerookt te hebben en heeft 20% de afgelopen vier weken gerookt. Een ruime meerderheid (94%) van de jongeren van 10 t/m 14 jaar is niet van plan om binnen een jaar te beginnen met roken. Van deze jongeren heeft op 15-jarige leeftijd echter 49% wel eens gerookt en rookt 21% dagelijks. Op 17-jarige leeftijd rookt 27% dagelijks en op 19-jarige leeftijd maar liefst 31% (TNS NIPO, 2011). Er bestaat een verband tussen roken door kinderen/jongeren en de kans op ernstige gezondheidsproblemen tijdens de kindertijd en adolescentie. Ook is er een verhoogd risico op gezondheidsproblemen in de volwassenheid (USDHHS, 2012). Roken is de meest vermijdbare factor van vroegtijdige sterfte en chronische aandoeningen (Hoeymans & Van Baal, 2010). Roken verhoogt het risico op ziekten als longkanker (Williams & Sandler, 2001), COPD (Pauwels et al, 2001) en harten vaatziekten (Deckers & Kromhout, 2005). Roken levert de grootste bijdrage aan de totale ziektelast in Nederland (onder andere gemeten in verloren levensjaren en Disability Adjusted Life Years (DALY s) (Hoeymans et al, 2010). Vroegtijdig beginnen met roken hangt samen met zwaarder tabaksgebruik en een grotere mate van verslaving (USDHHS, 2012). Hoewel de helft van de rokende jongeren wel eens een stoppoging onderneemt (TNS NIPO, 2011), zijn de meeste stoppogingen onsuccesvol en is de terugval groot (MMWR, 2009; UDHHS, 2000). Om jongeren hulp te kunnen bieden bij het stoppen-met-roken, heeft Universiteit Maastricht een digitaal advies-op-maat over roken ontwikkeld: Smoke Alert (versie 1.0). Jongeren vullen online een vragenlijst in. Na afloop van de vragenlijst krijgen de jongeren een uitgebreid (gratis) advies, afgestemd op hun eigen antwoorden. Het betreft hier computergegenereerde, getailorde adviezen. Smoke Alert is gebaseerd op het I-Change Model (De Vries, 2005). Het I-Change Model verklaart het proces van gedragsverandering vanaf het ontstaan van de motivatie om bepaald gedrag uit te voeren tot het feitelijk uitvoeren van gedrag. Daarbij kunnen minstens drie fasen in het proces van gedragsverandering onderscheiden worden: bewustzijn, motivatie en actie. Voor elk van deze fasen zijn specifieke determinanten relevant. Deze determinanten spelen een centrale rol in Smoke Alert. Zo wordt er in de vragenlijst gevraagd naar attitudes (voor- en nadelen van roken), sociale invloed (aantal rokers in de omgeving), eigen effectiviteit (de inschatting van de eigen mogelijkheden om het gewenste gedrag succesvol te kunnen vertonen en te handhaven) en actieplannen. Daarnaast worden de jongeren gevraagd naar hun rookgedrag en intenties om te stoppen of beginnen met roken. Het advies van Smoke Alert 1.0 start met een feedback op de rookstatus en intentie van de gebruiker. Een voorbeeld van een opening is: Beste Jan, je rookt dagelijks 11 sigaretten. Maar... je bent van Onderzoeksrapport Smoke Alert 2.0 7

8 plan om hier binnenkort mee te stoppen. Gefeliciteerd, je hebt een belangrijke beslissing genomen! Vervolgens wordt aangegeven hoeveel voor- of nadelen van roken de gebruiker ziet. Waargenomen voordelen van roken worden weerlegd (bijvoorbeeld: Jij denkt dat roken je helpt om te ontspannen. Dat klopt eigenlijk niet ) en waargenomen nadelen van roken worden bevestigd (bijvoorbeeld: Je denkt dat je conditie slechter wordt als je rookt. Dat is inderdaad het geval ). In de vragenlijst hebben de jongeren aangegeven hoeveel mensen in hun omgeving/vriendengroep roken. In het advies wordt afhankelijk van het antwoord van de jongere duidelijk gemaakt dat óf inderdaad het merendeel van de mensen in Nederland niet rookt óf dat het soms lijkt alsof er veel mensen roken, maar dat dit eigenlijk om een minderheid gaat. Verder biedt het advies rokers tips om van de sigaretten af te kunnen blijven in de specifieke situaties die moeilijk voor hen zijn. Niet-rokers krijgen tips om een niet-roker te kunnen blijven in situaties waarin ze dit wel eens lastig vinden. Tot slot worden de voorgenomen actieplannen om te stoppen of een niet-roker te blijven bevestigd (als iemand aangeeft bepaalde strategieën te willen toepassen) of wordt er juist geadviseerd de strategieën toe te passen (als iemand aangeeft geen of slechts enkele van de strategieën te willen gebruiken). In een eerdere RCT is de effectiviteit van Smoke Alert 1.0 in kaart gebracht onder jongeren van 15 t/m 17 jaar met opleidingsniveau havo, vwo of mbo. Smoke Alert bleek een effectieve manier om stoppen met roken bij jongeren te bewerkstelligen: er stopten meer jongeren met roken wanneer zij een digitaal advies-op-maat ontvingen dan wanneer zij niet aan de interventie deelnamen (26.8% vs. 17.2%). Ook bleek dat er minder jongeren begonnen met roken wanneer zij een digitaal advies-op-maat ontvingen (6.3% vs. 10.7% in de controlegroep). Op basis hiervan werd geconcludeerd dat het advies-op-maat voor jongeren effectief is voor zowel stoppen met roken als de preventie van roken (Eindverslag ZonMW, 2007; Dijk & de Vries, 2009). STIVORO heeft Smoke Alert (m.b.t. techniek en vormgeving) doorontwikkeld tot een webversie en vervolgens online beschikbaar gesteld ( Uit een pretest onder 16 mbostudenten (Quo-Communications, 2010) bleek dat, hoewel men de interventie aantrekkelijk en begrijpelijk vond, de vormgeving niet voldoende aansprak en de adviesteksten (te) lang waren. De aantrekkelijkheid van een interventie is echter van groot belang voor het bereiken van de doelgroep (Lindgaard et al., 2006; Crutzen, 2009). Het bereik van een interventie zorgt -naast de effectiviteitvoor de daadwerkelijke impact van de interventie (De Nooijer et al., 2005; Crutzen et al., 2008). Deze gegevens vormden dan ook de aanleiding voor STIVORO en Universiteit Maastricht om een vervolgonderzoek naar Smoke Alert uit te voeren waarin de effectiviteit en het bereik van een vernieuwde Smoke Alert bestudeerd werd. Allereerst wordt besproken welke vragen in dit onderzoek centraal staan, waarna een beschrijving volgt van de aanpassingen aan de interventie die in het kader van het huidige onderzoek gedaan zijn. De oude versie van Smoke Alert wordt vanaf nu aangeduid met Smoke Alert 1.0 en de doorontwikkelde versie zal in het vervolg Smoke Alert 2.0 genoemd worden. Onderzoeksrapport Smoke Alert 2.0 8

9 2. Onderzoeksvragen De volgende drie onderzoeksvragen staan centraal in dit rapport: 1. Wat is het effect van de vernieuwde Smoke Alert met betrekking tot het continueren van roken en beginnen met roken? (deel I van het rapport) Smoke Alert 1.0 is effectief voor het bewerkstellingen van stoppen met roken en het voorkomen dat jongeren beginnen met roken (Eindverslag ZonMW, 2007; Dijk & de Vries, 2009). Het doel van het huidige onderzoek was nagaan of Smoke Alert 2.0, waarin de wensen van de gebruikers meegenomen zijn, net als Smoke Alert 1.0 effectief (zo mogelijke effectiever) is voor het voorkomen dat jongeren blijven roken of beginnen met roken. Daartoe werd een RCT uitgevoerd waarbij een interventiegroep deelnam aan Smoke Alert 2.0 en een controlegroep een korte vragenlijst invulde (zie verder deel I, hoofdstuk 1 ). Er wordt in het huidige onderzoek gesproken over het (voorkomen van) continueren van roken, omdat criteria om te stoppen met roken voor volwassenen minder geschikt lijken te zijn voor jongeren. Jongeren bevinden zich vaak nog in de fase van beginnen met roken en hebben een meer fluctuerend rookpatroon (Kleinjan, 2008). Het continueren van roken hield in dat iemand zowel voorafgaand aan Smoke Alert als zes maanden later aangaf (dagelijks, wekelijks, maandelijks of experimenteel) te roken. Beginnen met roken betekende dat iemand voorafgaand aan Smoke Alert aangaf niet te roken (nooit gerookt te hebben of gestopt te zijn) en zes maanden later aangaf (dagelijks, wekelijks, maandelijks of experimenteel) te roken (Dijk & de Vries, 2009). 2. Zijn er afwijkende effecten voor jongeren jonger dan 15 jaar, ouder dan 17 jaar en met lagere opleidingsniveaus (praktijkschool/vmbo)? (deel I van het rapport) De jongeren uit het onderzoek naar Smoke Alert 1.0 waren 15 t/m 17 jaar, met opleidingsniveau havo, vwo of mbo. Om na te gaan of Smoke Alert ook ingezet kan worden bij een bredere doelgroep, werd in het huidige onderzoek bestudeerd of er afwijkende effecten van Smoke Alert waren voor jongeren jonger dan 15 jaar, ouder dan 17 jaar en met lagere opleidingsniveaus (praktijkschool/vmbo). Aangezien nog steeds meer gerookt wordt onder lageropgeleide dan onder hogeropgeleide jongeren (TNS NIPO, 2011), is het belangrijk om met effectieve interventies deze jongeren te bereiken. 3. Wat is het bereik van de vernieuwde interventie? (deel II van het rapport) Het bereik van Smoke Alert 2.0 werd in kaart gebracht op basis van verschillende inventarisaties. Allereerst werd er een procesevaluatie uitgevoerd onder de leerlingen uit het effectiviteitsonderzoek. Het onderzoek bood tevens de mogelijkheid om bij enkele docenten na te gaan hoe zij over de interventie dachten en hoe de inzet van Smoke Alert in de klas verlopen is. Ook zijn enkele bezoekers van de website (die niet deelnamen aan het onderzoek) benaderd met enkele vragen over de interventie. Om het daadwerkelijke bereik inzichtelijk te maken, is tot slot het webbezoek van de geïmplementeerde interventie in kaart gebracht en werden bezoekersgegevens geanalyseerd. Onderzoeksrapport Smoke Alert 2.0 9

10 3. Aanpassingen aan de interventie 3.1 Inhoudelijke doorontwikkeling o.b.v. nieuwe wetenschappelijke inzichten Allereerst werd de inhoud van de interventie geüpdatet op basis van de nieuwste wetenschappelijke inzichten. In vragenlijst van Smoke Alert 1.0 werden rokers gevraagd om aan te geven wat zij zouden doen als ze willen stoppen met roken. Voorbeelden van actieplannen die genoemd werden, zijn het weggooien van sigaretten en aanstekers en het vaststellen van een stopdatum. Er werd niet gevraagd naar de plannen om te kunnen omgaan met lastige situaties of terugval om zo het nieuwe gedrag vol te houden (coping plans). In de literatuur wordt echter een onderscheid gemaakt tussen preparation planning (de acties plannen die nodig zijn om te veranderen) en coping planning (de acties plannen om te kunnen omgaan met lastige situaties of terugval zodat men het nieuwe gedrag weet vol te houden) (Dijk & de Vries, 2009). In Smoke Alert 2.0 is daarom een onderdeel opgenomen over coping planning: jongeren die aangaven binnen een maand te willen stoppen, werden gevraagd wat ze zouden doen op moeilijke momenten na het stoppen. Om jongeren weerbaarder te maken tegen de sociale druk om te roken, is er ook voor niet-rokers en ex-rokers een extra vraaggroep ingevoegd waarmee de refusal skill efficacy in kaart gebracht kon worden. Refusal skill efficacy is de inschatting van de eigen mogelijkheden om nee te zeggen (Langlois et al, 2005). In Smoke Alert 1.0 werden niet-rokers en ex-rokers gevraagd wat ze zouden doen als iemand hen een sigaret aanbod. Daarbij werd niet gevraagd of ze het moeilijk vonden om een sigaret te weigeren en werd er ook geen onderscheid gemaakt voor verschillende situaties. Echter, het is voor de refusal skill efficacy wel van belang door wie en in welke situatie de sigaret aangeboden wordt (Langlois et al, 2005). Daarom is er in Smoke Alert 2.0 een extra vraaggroep toegevoegd waarbij jongeren konden aankruizen in welke situaties ze het wel eens lastig vinden om een sigaret te weigeren. Voorbeelden van antwoordopties waren: Als mijn beste vriend of vriendin de sigaret aanbiedt of Als ik op een feestje ben en gedronken heb. 3.2 Overige inhoudelijke aanpassingen Uit de pretest van Smoke Alert 1.0 (Quo-Communications, 2010) bleek dat jongeren de adviesteksten te lang vonden. Daarom zijn de adviesteksten ingekort en herschreven, zonder hierbij de inhoudelijke insteek te veranderen. Er is voor gezorgd dat de belangrijkste strategieën uit de weerbaarheidscampagne Meer lol met self control ook in de Smoke Alert-adviezen naar voren kwamen. Het ging hier met name om het laten zien dat jongeren eigen keuzes kunnen maken met betrekking tot gezond gedrag. Om ervoor te zorgen dat het invullen van de vragenlijst vlotter verliep en aantrekkelijker werd, zijn antwoordopties op basis van een vijfpuntsschaal teruggebracht naar een driepuntsschaal. Dit had geen consequenties voor de adviezen omdat de twee uitersten antwoordmogelijkheden in Smoke Alert 1.0 al tot dezelfde adviezen leidden. Onderzoeksrapport Smoke Alert

11 3.3 Nieuwe vormgeving Uit de pretest (Quo-Communications, 2010) bleek tevens dat jongeren de vormgeving van Smoke Alert 1.0 niet voldoende aansprekend vonden. Respondenten noemden de website saai en ze misten de link met roken. In samenwerking met een ontwerpbureau (BVH Dienstencommunicatie) is een nieuwe vormgeving ontwikkeld. Hieronder worden de voornaamste aanpassingen in de vormgeving opgesomd: - De nieuwe vormgeving bevatte meer kleur en afbeeldingen. - Op de homepage werden jongeren direct aangesproken met de vraag Hoe sterk sta jij in je schoenen als het om roken gaat?. Zo werden zowel rokers als niet-rokers aangesproken en werd er tevens duidelijk gemaakt dat Smoke Alert de weerbaarheid van de jongeren ten aanzien van (niet-) roken in kaart brengt. - In de nieuwe vragenlijst werd gebruik gemaakt van schuifbalkjes om de antwoorden mee aan te vinken. Dit werkte sneller, maakte de vragenlijst korter, was meer visueel en sloot aan bij wat jongeren cool vonden (zoals uit de pretest bleek). - Het advies was opgedeeld in verschillende hoofdstukken die om de beurt aangeklikt konden worden. - In het advies werd in elk hoofdstuk de belangrijkste informatie benadrukt door deze informatie eruit te laten springen in een tipvakje. De tekst in dit tipvakje was eveneens afgestemd op de antwoorden van de respondent. De nieuwe vormgeving is gepretest onder 5 vmbo-leerlingen van 16 jaar. Er werd voor deze doelgroep gekozen omdat Smoke Alert 2.0 -indien effectief- in de toekomst ook zal worden ingezet in het praktijkonderwijs/vmbo. Aangezien door deze leerlingen vaker wel eens gerookt wordt dan gemiddeld (TNS NIPO, 2011), is het belangrijk dat de interventie aansluit bij hun wensen en behoeften. Er is gekozen voor leerlingen van 16 jaar omdat zij qua leeftijd in het midden zaten van de jongeren die deelnamen aan het effectiviteitsonderzoek (en tevens ook in het midden van de doelgroep van Smoke Alert 1.0). De jongeren uit de pretest waren overwegend positief. Verbeterpunten die uit de pretest naar voren kwamen, zijn meegenomen in de tweede fase van uitwerking van de vormgeving. Zo werd er bijvoorbeeld voor gezorgd dat niet-rokers nog directer aangesproken werden op de startpagina van de test (door middel van het toevoegen van de knoppen ik rook / ik rook niet ). De afbeeldingen van de nieuwe vormgeving zijn opgenomen in bijlage Animatiefilmpjes Animaties kunnen een overtuigend effect hebben waardoor mensen beïnvloed kunnen worden om hun attitudes en gedragsintenties te veranderen (King et al., 1991). In vergelijking met statische beelden kunnen bewegende animaties het aantal cognitieve processen vergroten (enabling function) Onderzoeksrapport Smoke Alert

12 doordat er additionele informatie gegeven wordt. Daarnaast kunnen bewegende beelden helpen een dynamische mentale representatie op te bouwen waardoor specifieke cognitieve processen makkelijker verlopen (facilitating function) (Schnotz & Rasch, 2005). Er is daarom voor gekozen om animatiefilmpjes aan het advies toe te voegen. Elk advies startte met een animatiefilmpje van ongeveer 30 seconden. De filmpjes zijn getailored naar geslacht en rookstatus. Er zijn daarom zes varianten van het filmpje ontwikkeld: een mannelijke en vrouwelijke roker, niet-roker en ex-roker. Dit vergrootte de kans dat jongeren zich met de persoon uit het filmpje konden identificeren. De inhoud van de filmpjes bevatte strategieën om de weerbaarheid van de jongeren te vergroten. Dit waren de doelstellingen van de filmpjes: Doelstelling van de animatie roker: laten zien dat iemand denkt eigen grenzen te hebben maar toch gevoelig kan zijn voor onbewuste groepsdruk; negatieve gevolgen van huidige gedrag benoemen (dus impliciet wordt duidelijk wat de positieve gevolgen zijn van het gewenste gedrag); eigen effectiviteit om te kunnen stoppen vergroten; laten zien dat niet-roken heel normaal is (partner vindt zoenen met een roker vies, een vriend is ook al gestopt). Doelstelling van de animatie niet-roker: laten zien dat iemand eigen keuzes m.b.t. gezond gedrag kan maken; laten zien dat iemand controle en autonomie over zichzelf kan behouden; laten zien dat iemand de ruimte kan nemen in de groep om zichzelf te zijn en dat meelopen met de groep not done is; positieve gevolgen van huidige gedrag benadrukken; eigen effectiviteit: laten zien dat het niet moeilijk is om sigaret te weigeren. Animatie ex-roker: laten zien dat eigen gezonde keuzes succesvol gehandhaafd worden (versterken eigen effectiviteit); laten zien dat eigen gezonde keuzes door vrienden gerespecteerd/gewaardeerd worden, dat angst voor afwijzing niet nodig is en de sfeer in de groep niet wordt verstoord; laten zien dat iemand niet alleen beïnvloed wordt, maar zelf ook anderen beïnvloedt; negatieve gevolgen van het voormalige (ongewenste) gedrag en positieve gevolgen van het huidige (gewenste) gedrag benadrukken. In bijlage 2 zijn enkele afbeeldingen uit de animatiefilmpjes opgenomen. Onderzoeksrapport Smoke Alert

13 Deel I: Effectiviteitsonderzoek Dit eerste deel van het rapport beschrijft het onderzoek naar de effectiviteit van een vernieuwde Smoke Alert (Smoke Alert 2.0) m.b.t. het continueren van rookgedrag en beginnen met roken. Allereerst wordt in hoofdstuk 1 een beschrijving gegeven van het onderzoeksdesign en de manier waarop respondenten geworven zijn. Daarna wordt uitgelegd welke statistische toetsen in dit onderzoek gebruikt zijn. In hoofdstuk 2 zullen de resultaten van het onderzoek besproken worden en in hoofdstuk 3 volgen tot slot de belangrijkste conclusies uit het effectiviteitsonderzoek. 1. Methode 1.1 Design Om de effectiviteit van de vernieuwde Smoke Alert te toetsen, is een RCT uitgevoerd waarbij respondenten at random in twee groepen werden ingedeeld: een interventiegroep en een controlegroep. Randomisatie vond plaats op schoolniveau. De respondenten in de interventiegroep vulden de Smoke Alert-vragenlijst in, waarna een persoonlijk advies gegenereerd werd. De respondenten in de controlegroep vulden enkel een korte vragenlijst in (met vragen m.b.t. rookstatus en intentie). Zij kregen na afloop geen advies. Na zes maanden vond de nameting plaats waarbij de respondenten dezelfde vragenlijst nogmaals ingevuld hebben. 1.2 Werving en randomisatie Respondenten in dit onderzoek waren leerlingen van Nederlandse middelbare scholen en mboscholen tussen 12 en 21 jaar oud. Er werden geen exclusiecriteria gedefinieerd. In het voorjaar van 2011 werden -in samenwerking met enkele GGD en en Instellingen voor Verslavingszorg- wervingsbrieven verstuurd naar directies van 1380 middelbare scholen en 380 mboscholen verspreid over het hele land. Naast een wervingsbrief voor de directeur werden tevens enkele flyers meegestuurd die uitgedeeld konden worden aan docenten op de betreffende school. Docenten werden uitgenodigd hun klassen online aan te melden voor deelname aan het onderzoek. In totaal hebben 89 middelbare scholen en 8 mbo-scholen zich aangemeld met uiteenlopende aantallen klassen (variërend van 1 tot 24 klassen). Na aanmelding ontvingen de docenten een brief met meer informatie over het doel, de opzet en de planning van het onderzoek. In een volgende mailing werden de docenten op de hoogte gebracht van hun toewijzing aan de interventie- of controlegroep. Hierbij kregen ze een instructie met betrekking tot de uitvoering van het onderzoek in de klas. De docenten ontvingen inloggegevens voor elke leerling en een brief om ouders te kunnen informeren over het onderzoek. Tot slot werden de docenten verzocht om een half lesuur in de periode van 9 mei t/m 10 juni te reserveren voor het onderzoek. Onderzoeksrapport Smoke Alert

14 Voorafgaand aan de voormeting werden de leerlingen geïnformeerd over het onderzoek. Er werd benadrukt dat deelname aan het onderzoek vrijwillig was. Ook werd er uitgelegd dat de leerlingen zes maanden later per uitgenodigd zouden worden om nogmaals enkele vragen te beantwoorden. Leerlingen die dit niet wilden, hoefden hun adres niet in te vullen. Leerlingen die een (correct) adres hadden opgegeven, werden begin november per benaderd voor deelname aan de (online) nameting. Om de respons op de nameting te verhogen, werden er een ipod en vijf bioscoopbonnen verloot onder de deelnemers. Dit werd gecommuniceerd in de uitnodiging die de jongeren per ontvingen. 1.3 Uitkomstmaten De uitkomstmaten waren continueren van rookgedrag (voor rokers) en beginnen met roken (voor niet-rokers). Respondenten werden gevraagd een van negen stellingen te kiezen die het meest van toepassing was op het eigen rookgedrag (De Vries et al., 2006; Mudde et al., 2006). Het ging hier om de volgende stellingen: 1. Ik rook tenminste 1 keer per dag 2. Ik rook tenminste 1 keer per week 3. Ik rook tenminste 1 keer per maand 4. Ik rook minder dan 1 keer per maand 5. Ik probeer roken af en toe uit 6. Ik ben gestopt, ik rookte regelmatig 7. Ik ben gestopt, ik rookte af en toe 8. Ik heb roken ooit wel eens uitgeprobeerd 9. Ik heb nooit gerookt, zelfs niet 1 trekje Op basis van dit antwoord werden respondenten gecategoriseerd als dagelijkse roker (1), wekelijkse roker (2), experimentele roker (3-5), ex-roker (6-7) of niet-roker (8-9) (Dijk & De Vries, 2009). Voor de analyses werd deze variabele gedichotomiseerd, waarbij ex-rokers en niet-rokers samen de categorie niet-rokers vormden. Respondenten uit de overige categorieën werden beschouwd als rokers. Om na te gaan wat het effect van Smoke Alert op continueren van rookgedrag was, werd gemeten welk percentage baseline-rokers op de nameting nog steeds rookte. Om het effect van de interventie op beginnen met roken in kaart te brengen, werd gemeten welk percentage (baseline) niet-rokers zes maanden later was begonnen met roken. De respondenten werden ook gevraagd naar hun intentie om te stoppen met roken (voor rokers) of te beginnen met roken (voor niet-rokers). Intentie om te stoppen met roken werd gemeten door middel van de vraag wanneer de roker van plan was te stoppen. De antwoorden liepen uiteen van ik wil binnen een maand stoppen (1) tot nee, ik wil niet stoppen (6). Niet-rokers werden gevraagd naar hun Onderzoeksrapport Smoke Alert

15 intentie om te beginnen met roken. Antwoorden liepen uiteen van ik ben er zeker van dat ik nooit zal gaan roken (1) tot ik denk dat ik binnen 1 maand zal gaan roken (7). Tot slot werden de respondenten gevraagd naar hun geslacht (jongen = 1, meisje = 0), leeftijd en opleiding. Om specifiek het effect van de interventie na te kunnen gaan voor jongeren jonger dan 15 jaar en ouder dan 17 jaar werden dummyvariabelen aangemaakt: jonger dan 15 jaar (= 1, rest = 0) en ouder dan 17 jaar (= 1, rest = 0). Aangezien de opleidingsniveaus zowel op voortgezet onderwijs (praktijkschool, vmbo, havo en vwo) als vervolgonderwijs (mbo) betrekking hadden, kon opleiding niet als continue variabele meegenomen worden. Voor elk opleidingsniveau werd daarom een dummyvariabele aangemaakt (met het betreffende opleidingsniveau = 1, rest = 0). 1.4 Statistische methoden De analyses zijn uitgevoerd met SPSS Beschrijvende analyses werden uitgevoerd door gebruik te maken van frequentie- en kruistabellen. Met behulp van ANOVA-analyses werd nagegaan of er sprake was van significante verschillen tussen de interventie- en controlegroep op baseline. Verschil in uitval tussen beide groepen werd in kaart gebracht met logistische regressie analyses. Verschil in rookgedrag tussen beide groepen werd geanalyseerd met Chi-kwadraattoetsen en logistische regressie, afhankelijk van de behoefte om te corrigeren voor mogelijke confounders. Tot slot werden multilevel analyses met MLwiN uitgevoerd, om te corrigeren voor het feit dat leerlingen gegroepeerd waren in klassen, binnen scholen (Twisk, 2007). Er werd gesproken van een significant effect wanneer de p-waarde <0.05 lag. Onderzoeksrapport Smoke Alert

16 2. Resultaten In dit hoofdstuk worden de resultaten van het effectiviteitsonderzoek besproken. Allereerst wordt beschreven hoeveel leerlingen hebben deelgenomen aan het onderzoek en worden de belangrijkste kenmerken van de respondenten uiteengezet. 2.1 Respons In de periode van 9 mei t/m 10 juni konden de leerlingen deelnemen aan de baselinemeting (T0). Van de in totaal ingevulde vragenlijsten werden 398 vragenlijsten verwijderd. Het ging hier om vragenlijsten waarbij minder dan 10% van de vragen beantwoord was of om respondenten die meerdere keren (met dezelfde inlogcode) hadden deelgenomen. Er bleven respondenten over die de baseline-vragenlijst hadden ingevuld: respondenten in de interventiegroep en respondenten in de controlegroep. Hiervan hadden respondenten een (correct) adres ingevuld (3.053 uit de interventiegroep en uit de controlegroep). Omdat deelname aan het onderzoek vrijwillig was, was het invullen van een adres optioneel. Deze respondenten werden in november per benaderd voor deelname aan de nameting. Na het versturen van twee reminders hebben in totaal 911 respondenten aan de nameting (T1) deelgenomen (396 uit de interventiegroep en 515 uit de controlegroep). Dit komt overeen met een responspercentage van ruim 15%. Om ervoor te zorgen dat het aantal respondenten toereikend was om betrouwbare uitspraken te kunnen doen over het effect van Smoke Alert op rookgedrag, is besloten de respondenten nogmaals een te sturen met daarin slechts één vraag waarmee het rookgedrag vastgesteld kon worden (dezelfde vraag als in de vragenlijst). Er werd tevens een extra ipod verloot onder de eerste honderd reacties. Dit leverde 179 extra reacties op (86 uit de interventiegroep en 93 uit de controlegroep), waarmee het totale aantal leerlingen dat zijn/haar rookstatus op de nameting bekend gemaakt heeft, op uitkomt (482 uit de interventiegroep en 608 uit de controlegroep) (responspercentage = 18%). De respons op de nameting bleek met name erg laag te zijn onder respondenten van 18 jaar en ouder (N=29). Er is daarom besloten om deze groep samen te voegen met de groep respondenten van 15 t/m 17 jaar. De nieuwe leeftijdsgroepen werden daardoor: jonger dan 15 jaar (N=829) en 15 jaar of ouder (N=157). Voor de verdere analyses werd gebruik gemaakt van de dummyvariabele leeftijd jonger dan 15 jaar (= 1, rest = 0). Vanwege het kleine aantal praktijkschool-respondenten op de nameting (N=30), werden de opleidingsniveaus praktijkschool en vmbo samen als groep geanalyseerd (N=350). 2.2 Exposure Smoke Alert 1.0 was sinds april 2010 online beschikbaar. Tijdens de baselinemeting werden de respondenten daarom gevraagd aan te geven of ze al eens eerder hadden deelgenomen aan de rooktest Smoke Alert. De respondenten die bevestigend antwoordden, werden verwijderd (N=110). Omdat Smoke Alert 2.0 vanaf 29 september 2011 gedurende drie weken online gepromoot werd vanuit een jongerencampagne van STIVORO en Trimbos-instituut (gericht op weerbaarheid) (zie deel Onderzoeksrapport Smoke Alert

17 II, hoodstuk 4), is tijdens de nameting gevraagd of de respondenten in de afgelopen maanden vanuit huis hadden deelgenomen aan Smoke Alert. Op basis van deze vraag werden 47 cases verwijderd. Er bleven respondenten over voor verdere analyses. 2.3 Randomisatie Uit de analyse voor de gehele groep (rokers en niet-rokers) (N=6154) bleek dat er meer rokers in de interventiegroep zaten (19.1% versus 14.2% in de controlegroep) (p<0.001). Uit de analyses van de niet-rokers (N=5123) bleek dat de intentie om ooit (weer) te gaan roken, significant hoger was in de interventiegroep (p<0.01). Ook zaten er in de interventiegroep significant minder niet-rokende jongens (49.5% versus 52.4% in de controlegroep) (p<0.05), en meer niet-rokers jonger dan 15 jaar (83.1% versus 77.8% in de controlegroep) (p<0.001). Verder zaten er in de interventiegroep significant minder niet-rokende vwo-leerlingen (22.0% versus 28.7% in de controlegroep) (p<0.001) en meer nietrokende havo-leerlingen (21% versus 15.7% in de controlegroep) (p<0.001) en mbo-leerlingen (3.1% versus 2.1% in de controlegroep) (p<0.05). Voor de rokers (N=1031) gold dat er in de interventiegroep significant meer respondenten jonger dan 15 jaar zaten (78% versus 71.9% in de controlegroep) (p<0.001), minder vwo-leerlingen (6.0% versus 13.4% in de controlegroep) (p<0.001), en meer havoleerlingen (13.1% versus 7.7% in de controlegroep) (p<0.01). In de verdere analyses is voor deze verschillen gecorrigeerd. 2.4 Attritie en betrouwbaarheid Ook werd onderzocht of de respondenten die aan zowel de voor- als nameting deelnamen, significant verschilden van de respondenten die alleen de voormeting hadden ingevuld. Rokende jongeren vielen significant vaker uit dan niet-rokende jongeren (89.3% van de 1031 baselinerokers versus 82.1% van de 5123 baselineniet-rokers) (p<0.01). Omdat alle analyses apart uitgevoerd worden voor rokende en niet-rokende jongeren, werd ook de attritite verder apart voor beide groepen bestudeerd. Er werden verschillende attritie-effecten gevonden, waarvoor gecorrigeerd werd bij de regressieanalyses: voor de (baseline) niet-rokers (N=5123) geldt dat de uitval hoger bleek te zijn onder jongens (86.5%) dan onder meisjes (77.4%) (p<0.001), onder respondenten met opleidingsniveau praktijkschool/vmbo (89.2%) dan de overige opleidingsniveaus havo, vwo en mbo (73.8%) (p<0.001), in de interventiegroep (84.3%) dan in de controlegroep (79.9%) (p<0.01) en onder respondenten met een hogere intentie om te beginnen met roken (p<0.01). De uitval was significant lager onder vwoleerlingen (67%) versus de overige opleidingsniveaus (87.2%) (p<0.001). Er was geen significant verschil tussen de uitval onder respondenten jonger dan 15 jaar en respondenten van 15 jaar en ouder, maar wel wanneer leeftijd als continue schaal meegenomen werd. De uitval was hoger onder oudere niet-rokers (p<0.01). Bij de (baseline) rokers (N=1031) bleek de uitval significant hoger te zijn onder respondenten met opleidingsniveau praktijkschool/vmbo (92.2% versus gemiddeld 83.6% in de overige opleidingsgroepen) (p<0.001) en in de interventiegroep (91.2% versus 86.6% in de controlegroep) (p<0.05). De uitval was significant minder hoog onder mbo-leerlingen (84.7% versus gemiddeld 90.0% in de overige opleidingsgroepen) (p<0.05) en vwo-leerlingen (76.3% versus gemiddeld 90.6% in de overige opleidingsgroepen) (p<0.001). Onderzoeksrapport Smoke Alert

18 Vervolgens werden uitschieters verkend, maar er werden geen vragenlijsten verwijderd. Tot slot werden vragenlijsten verwijderd van rokers die op de nameting aangaven nog nooit gerookt te hebben (N=5), aangezien de antwoorden van deze respondenten niet betrouwbaar zijn. 2.5 Kenmerken onderzoekspopulatie De belangrijkste resultaten uit de beschrijvende statistische analyses zijn terug te vinden in tabel 1. De gemiddelde leeftijd van de respondenten was 14 jaar (SD = 1.7) en leeftijden liepen uiteen tussen van 10 tot 30 jaar. Er hebben iets meer jongens (52%) dan meisjes (48%) deelgenomen. De meerderheid van de respondenten volgde een vmbo-opleiding (44.3%) of vwo-opleiding (22.7%). Betreffende rookgedrag gaf 8.9% aan dagelijks, 2.3% wekelijks, 1.4% maandelijks en 4.0% minder dan 1 keer per maand te roken. Verder was 2.2% ex-roker en 81.2% van de respondenten was niet-roker. Tabel 1: Demografische kenmerken en rookgedrag per onderzoeksconditie (T0) Totaal (N=6154) Interventiegroep (N=3160) Controlegroep (N=2994) Gemiddelde leeftijd (SD) 14.0 (1.7) 14.0 (1.7) 14.0 (1.6) Geslacht: Jongens 3192 (52.0%) 1611 (51%) 1581 (53.1%) Meisjes 2947 (48.0%) 1549 (49%) 1398 (46.9%) Opleidingsniveau: Praktijkschool 714 (11.6%) 251 (7.9%) 463 (15.5%) Vmbo 2725 (44.3%) 1538 (48.7) 1187 (39.6%) Havo 1050 (17.1%) 615 (19.5%) 435 (14.5%) Vwo 1394 (22.7%) 599 (19.0%) 795 (26.6%) Mbo 271 (4.4%) 157 (5.0%) 114 (3.8%) Rookstatus: Roker 1024 (16.6%) 605 (19.1%) 426 (14.2%) Niet-roker (incl. ex-roker) 5130 (83.4%) 2555 (80.9%) 2568 (85.5%) SD = standaard afwijking Onderzoeksrapport Smoke Alert

19 2.6 Effecten van Smoke Alert Continueren van rookgedrag Tabel 2 toont de verschillen in rookgedrag van de baseline-rokers tussen de interventie- en controlegroep op de nameting (zes maanden na de voormeting). In de interventiegroep bleek 69.8% (N=37) van de baseline-rokers nog te roken versus 77.2% (N=44) in de controlegroep. Uit een Chikwadraattoets bleek dat dit verschil niet significant is (Chi² = 0.77; df = 1; p = 0.38). Tabel 2: Rookgedrag van baseline-rokers per onderzoeksconditie (T1) Interventiegroep Controlegroep Rookgedrag T1 N % N % Gestopt met roken % % Roker % % Totaal % % Met behulp van logistische regressie analyses werd vervolgens stapsgewijs gecorrigeerd voor de variabelen die op de voormeting significant tussen rokers uit de interventie- en controlegroep verschilden. In tabel 3 staan de resultaten uit deze analyse. De uitkomstmaat was continueren van rookgedrag (=1, stoppen met roken=0). De onderzoeksconditie (wel of niet deelnemen aan Smoke Alert) bleek geen significante voorspeller van continueren van rookgedrag (OR=0.68, p=0.38), ook niet wanneer gecorrigeerd werd voor de significante baselineverschillen tussen de interventie- en controlegroep (OR=0.59, p=0.27). Tot slot werd nagegaan of de interventie-effecten verschilden per leeftijdsgroep, opleidingsniveau en geslacht. Ook dit bleek niet het geval te zijn. Onderzoeksrapport Smoke Alert

20 Tabel 3: Effect van Smoke Alert op continueren van rookgedrag (T1) Step 1 Voorspeller 1 OR 95% CI Lower Upper Conditie P-waarde 2 Step 2 Conditie Leeftijd Step 3 Conditie Leeftijd Opleidingsniveau havo Opleidingsniveau vwo Opleidingsniveau mbo Toelichting: Conditie: 1 = interventiegroep, 0 = controlegroep Leeftijd: 1 = jonger dan 15 jaar, 0 = 15 jaar of ouder Opleidingsniveau havo: 1 = havo, 0 = praktijkschool/vmbo, vwo en mbo Opleidingsniveau vwo: 1 = vwo, 0 = praktijkschool/vmbo, havo en mbo Opleidingsniveau mbo:1 = mbo, 0 = praktijkschool/vmbo en havo 2 Tweezijdige toetsing Aangezien leerlingen gegroepeerd waren in klassen, binnen scholen, diende gecorrigeerd te worden voor een mogelijk effect van deze hiërarchische structuur (Twisk, 2007). Ook een multilevel analyse met MLwiN -waarin dezelfde significante baselineverschillen als covariaten werden meegenomen- liet geen significant verschil zien (B= -0.50, SE B= 0.53, p= 0.65). De intraclass correlatie was Dit betekent dat de hiërarchische structuur (in dit geval de groepering van leerlingen binnen scholen) niet heeft bijgedragen aan de variantie in rookgedrag, en leerlingen als analyse-eenheid gebruikt mogen worden Beginnen met roken Vervolgens werd nagegaan hoeveel (baseline) niet-rokers waren begonnen met roken. In de interventiegroep was 3.7% (N=15) begonnen met roken versus 5.8% (N=30) in de controlegroep (zie tabel 4). Uit een Chi-kwadraattoets bleek dat dit verschil niet significant is (Chi² = 2.08; df = 1; p = 0.15). Tabel 4: Rookgedrag van baseline-nietrokers per onderzoeksconditie (T1) Interventiegroep Controlegroep Rookgedrag T1 N % N % Begonnen met roken % % Niet-roker % % Totaal % % Onderzoeksrapport Smoke Alert

21 Ook voor de niet-rokers werd vervolgens met behulp van logistische regressie analyses stapsgewijs gecorrigeerd voor de variabelen die op de voormeting significant tussen de interventie- en controlegroep verschilden. In tabel 5 staan de resultaten uit deze analyse. De uitkomstmaat was beginnen met roken (=1, niet roken=0). Ongecorrigeerd bleek conditie geen significante voorspeller van beginnen met roken te zijn (OR=0.63, p=0.15). Echter, wanneer gecorrigeerd werd voor alle variabelen die op de voormeting significant verschilden tussen de interventie- en controlegroep, bleek conditie wél een significante voorspeller te zijn (OR=0.44, p=0.02), waarbij geldt dat er minder jongeren zijn begonnen met roken in de interventiegroep dan in de controlegroep. Leeftijd en intentie om te beginnen met roken bleken significante voorspellers van beginnen met roken te zijn (p<0.001), evenals opleidingsniveau vwo (p<0.01) en havo (p<0.05). Tabel 5: Effect van Smoke Alert op beginnen met roken (T1) Voorspeller 1 OR 95% CI P-waarde 2 Lower Upper Step 1 Conditie Step 2 Conditie Leeftijd *** Step 3 Conditie Leeftijd *** Opleidingsniveau havo * Opleidingsniveau vwo ** Opleidingsniveau mbo Step 4 Conditie Leeftijd *** Opleidingsniveau havo * Opleidingsniveau vwo ** Opleidingsniveau mbo Geslacht Step 5 Conditie * Leeftijd *** Opleidingsniveau havo * Opleidingsniveau vwo ** Opleidingsniveau mbo Geslacht Intentie om te beginnen met roken *** * <.05 ** <.01 *** < Toelichting: Conditie: 1 = interventiegroep, 0 = controlegroep Leeftijd: 1 = jonger dan 15 jaar, 0 = 15 jaar of ouder Opleidingsniveau havo: 1 = havo, 0 = praktijkschool/vmbo, vwo en mbo Opleidingsniveau vwo: 1 = vwo, 0 = praktijkschool/vmbo, havo en mbo Opleidingsniveau mbo:1 = mbo, 0 = praktijkschool/vmbo en havo Geslacht: 1 = jongen, 0 = meisje Intentie: binnen 1 maand gaan roken = 7 tot nooit gaan roken = 1 2 Tweezijdige toetsing Onderzoeksrapport Smoke Alert

22 Opnieuw werd er een multilevel analyse met MLwiN uitgevoerd om te corrigeren voor het feit dat leerlingen 'genest' waren in klassen, binnen scholen. De uitkomstmaat was beginnen met roken en de significante baseline-verschillen werden meegenomen als covariaat (leeftijd, opleiding, geslacht en intentie om te beginnen met roken). Er bleek geen effect van klas te zijn (de variantie was nagenoeg gelijk aan 0), waardoor er twee niveaus (school en leerlingen) onderscheidden werden. Wanneer gecorrigeerd werd voor het feit dat leerlingen genest waren binnen scholen, bleek het effect van de interventie op niet beginnen met roken marginaal significant te zijn (B= , SE B=0.52, p=0.06). De intraclass correlatie was Tot slot werd met MLwiN nagegaan of de interventie-effecten verschilden per leeftijd, opleiding en geslacht. Dit bleek niet het geval te zijn (met p-waarden >0.30) Praktijkschool/vmbo Aangezien praktijkschool/vmbo-leerlingen een nieuwe doelgroep vormden, werd specifiek voor deze groep jongeren nagegaan wat de verschillen waren tussen de interventie- en controlegroep m.b.t. beginnen met roken. Dit kon niet worden nagegaan voor continueren van rookgedrag aangezien de groep baselinerokers uit het praktijkonderwijs/vmbo op de nameting te klein was (N=54). Van de baseline-nietrokers uit het praktijkonderwijs/vmbo (N=2750) hebben 298 jongeren aan de nameting deelgenomen. Met een kruistabel (zie tabel 6) werd nagegaan hoeveel van hen op de nameting rookten. In de interventiegroep bleek 6.8% te roken; in de controlegroep was 12.6% hiermee begonnen (Chi² = 2.83; df = 1; p = 0.09). Tabel 6: Rookgedrag van baseline-nietrokers uit praktijkonderwijs/vmbo per onderzoeksconditie (T1) Interventiegroep Controlegroep Rookgedrag T1 N % N % Begonnen met roken % % Niet-roker % % Totaal % % Vervolgens werd specifiek voor deze leerlingen met logistische regressie analyses nagegaan wat het verschil tussen de interventie- en controlegroep was wanneer gecorrigeerd werd voor leeftijd, geslacht en intentie om te beginnen met roken (zie tabel 7). Gecorrigeerd voor deze variabelen, bleek het verschil tussen de interventie- en controlegroep significant te zijn (OR=0.41, p<0.05). Voor de leerlingen met opleidingsniveau praktijkschool/vmbo gold dat er minder jongeren waren begonnen met roken in de interventiegroep (6 maanden na de voormeting). Onderzoeksrapport Smoke Alert

23 Tabel 7: Effect van Smoke Alert op beginnen met roken (T1) voor leerlingen uit praktijkonderwijs/vmbo Voorspeller 1 OR 95% CI P-waarde 2 Lower Upper Step 1 Conditie Step 2 Conditie * Leeftijd * Geslacht Intentie om te beginnen met roken *** * <.05 ** <.01 *** < Toelichting: Conditie: 1 = interventiegroep, 0 = controlegroep Leeftijd: 1 = jonger dan 15 jaar, 0 = 15 jaar of ouder Geslacht: 1 = jongen, 0 = meisje Intentie: binnen 1 maand gaan roken = 7 tot nooit gaan roken = 1 2 Tweezijdige toetsing Opnieuw werd er een multilevel analyse met MLwiN uitgevoerd om te corrigeren voor het feit dat deze leerlingen 'genest' waren in klassen, binnen scholen. De uitkomstmaat was beginnen met roken en leeftijd, geslacht en intentie om te beginnen met roken werden opnieuw meegenomen als covariaat. Er bleek geen effect van klas te zijn (de variantie was nagenoeg gelijk aan 0), waardoor er twee niveaus (school en leerlingen) onderscheidden werden (i.c.c. = 0.25). Het effect van Smoke Alert op beginnen met roken bij leerlingen uit het praktijkonderwijs/vmbo (gecorrigeerd voor het feit dat deze leerlingen genest waren binnen scholen) was marginaal significant (B= -0.87, SE B=0.50, p=0.08) Leeftijd De respondenten in het huidige onderzoek waren opgesplitst in twee groepen: jonger dan 15 jaar en 15 jaar en ouder. Op de voormeting liepen de leeftijden van de groep jonger dan 15 jaar uiteen van 10 tot en met 14 jaar, met een gemiddelde leeftijd van 13 jaar (N=4619). De leeftijden van de groep 15 jaar en ouder liepen uiteen van 15 tot 30 jaar, met een gemiddelde leeftijd van 16 jaar (N=1535). Een van de onderzoeksvragen in het huidige rapport was de vraag of Smoke Alert ook effectief is voor jongeren jonger dan 15 jaar (aangezien zij in dit onderzoek een uitbreiding op de oorspronkelijke doelgroep vormen). Het effect van Smoke Alert op het continueren van rookgedrag (door baselinerokers) kon niet per leeftijdsgroep worden nagegaan aangezien de groepen dan te klein werden ( jonger dan 15 jaar : N=48; 15 jaar en ouder : N=62). Wel kon per leeftijdsgroep worden nagegaan wat het effect van Smoke Alert was op beginnen met roken. Van de respondenten jonger dan 15 jaar bleek zowel in de interventiegroep (N=345) als de controlegroep (N=437) 3.2% van de baselineniet-rokers te zijn begonnen met roken (zie tabel 8) en dus niet significant te verschillen. Van de respondenten van 15 jaar en ouder in de interventiegroep (N=57) was 7.0% begonnen met roken versus 20% van de respondenten van 15 jaar en ouder in de controlegroep (N=80). Uit een Chi-kwadraattoets bleek dat dit verschil tussen de interventie- en controlegroep significant was (Chi² = 4.50; df = 1; p<0.05). Onderzoeksrapport Smoke Alert

24 Tabel 8: Rookgedrag van baseline-nietrokers per leeftijdsgroep (T1) Interventiegroep Controlegroep N % N % Jonger dan 15 jaar (N=782) Begonnen met roken % % Niet-roker % % 15 jaar en ouder (N=137) Begonnen met roken 4 7.0% % Niet-roker % % Vervolgens werd voor beide leeftijdsgroepen met logistische regressie analyses nagegaan wat het verschil tussen de interventie- en controlegroep was wanneer gecorrigeerd werd voor opleiding, geslacht en intentie om te beginnen met roken. Ook gecorrigeerd voor deze variabelen, bleek dat er voor de respondenten jonger dan 15 jaar geen significant verschil aangetoond kon worden tussen het aantal jongeren dat begon met roken in de interventie- versus de controlegroep (OR=0.60, P=0.25, 95% CI ). Voor de respondenten ouder dan 15 jaar was dit verschil wel significant (zie tabel 9) (OR=0.26, p<0.05). Tabel 9: Effect van Smoke Alert op beginnen met roken (T1) voor leerlingen van 15 jaar en ouder Voorspeller 1 OR 95% CI P-waarde 2 Lower Upper Step 1 Conditie * Step 2 Conditie * Opleidingsniveau havo Opleidingsniveau vwo Opleidingsniveau mbo Geslacht Intentie om te beginnen met roken ** * <.05 ** <.01 *** < Toelichting: Conditie: 1 = interventiegroep, 0 = controlegroep Geslacht: 1 = jongen, 0 = meisje Opleidingsniveau havo: 1 = havo, 0 = praktijkschool/vmbo, vwo en mbo Opleidingsniveau vwo: 1 = vwo, 0 = praktijkschool/vmbo, havo en mbo Opleidingsniveau mbo:1 = mbo, 0 = praktijkschool/vmbo en havo Intentie: binnen 1 maand gaan roken = 7 tot nooit gaan roken = 1 2 Tweezijdige toetsing Onderzoeksrapport Smoke Alert

25 3. Conclusie Van de baselinerokers die deelgenomen hadden aan Smoke Alert, bleek 69.8% zes maanden na de voormeting nog steeds te roken (N=37). In de controlegroep rookte 77.2% van de baselinerokers nog steeds (N=44). Dit verschil bleek echter niet significant te zijn (p=0.38). Smoke Alert bleek wel een significant effect te hebben op beginnen met roken. In de interventiegroep was 3.7% van de baselinenietrokers begonnen met roken (zes maanden na de baselinemeting) versus 5.8% in de controlegroep. Gecorrigeerd voor de significante baselineverschillen (leeftijd, geslacht, opleiding en intentie om te gaan roken) bleek dit verschil tussen de interventie- en controlegroep significant te zijn (p=0.02). Aangezien leerlingen gegroepeerd waren binnen klassen, in scholen werden vervolgens multilevel analyses uitgevoerd om fouten te vermijden die kunnen ontstaan door het negeren van die hiërarchische structuur (Twisk, 2007). Uit deze multilevel analyses bleek dat er marginaal significant minder jongeren waren begonnen met roken na deelname aan Smoke Alert dan zonder deelname aan de interventie (p=0.06). Vervolgens werd (met multilevel analyses) nagegaan of er significante interacties met leeftijdsgroep, opleidingsniveau en geslacht waren. Dit bleek niet het geval te zijn. Echter, uit subgroepanalyses bleek dat het effect van Smoke Alert op beginnen met roken alleen gevonden werd bij de respondenten van 15 jaar en ouder (p<0.05). Dit effect was niet zichtbaar bij respondenten jonger dan 15 jaar (p=0.25). Uit een separate analyse van de leerlingen met opleidingsniveau praktijkschool/vmbo bleek dat er significant minder jongeren begonnen met roken na deelname aan Smoke Alert dan zonder deelname aan de interventie (p<0.05). Gecorrigeerd voor het feit dat leerlingen gegroepeerd waren binnen scholen, bleek dit verschil marginaal significant (p=0.08). Het was niet mogelijk om subgroep-analyses uit te voeren voor het effect van Smoke Alert op het continueren van rookgedrag, omdat de groepen dan te klein werden. Onderzoeksrapport Smoke Alert

26 Deel II: Procesevaluatie en gebruik in de praktijk Dit tweede deel van het rapport beschrijft de verschillende inventarisaties waarmee het bereik van Smoke Alert inzichtelijk gemaakt werd. Allereerst volgen de resultaten uit de procesevaluatie die is uitgevoerd onder de respondenten uit het effectiviteitsonderzoek. Vervolgens wordt in hoofdstuk 2 een beschrijving gegeven van de inventarisatie die plaatsvond onder enkele docenten die hun klassen opgaven voor het effectiviteitsonderzoek. In hoofdstuk 3 worden de resultaten beschreven van een inventarisatie onder bezoekers van Smoke Alert in de praktijk (die niet deelnamen aan het onderzoek maar zelf vanuit huis of school de website bezochten). Tot slot wordt in hoofdstuk 4 het webbezoek van de geïmplementeerde interventie in kaart gebracht en worden bezoekersgegevens geanalyseerd. Deze gegevens staan los van de effectiviteitsstudie uit deel I van dit rapport. 1. Procesevaluatie De respondenten uit het effectiviteitsonderzoek (de interventiegroep) kregen op de nameting enkele vragen m.b.t. de begrijpelijkheid en aantrekkelijkheid van de interventie (en in het bijzonder het advies), om zo na te gaan wat zij van Smoke Alert vonden en wat ze met het advies gedaan hebben. De belangrijkste resultaten worden in dit hoofdstuk besproken. 1.1 Mate waarin advies gelezen wordt Op de vraag in hoeverre de respondent zijn/haar advies gelezen had, werden de volgende antwoorden gegeven (N=348): - helemaal gelezen 46% - bijna helemaal gelezen 17% - een klein stukje gelezen 12% - niet gelezen 4% - niet gehad 3% - weet niet 18% De helft van de respondenten (51%) gaf aan ook het PDF-advies (vanuit de ) geopend te hebben, 12% had dit niet gedaan en 29% wist dit niet meer. 8% gaf aan geen PDF-advies per ontvangen te hebben. Aan de respondenten die het PDF-advies geopend hadden, werd gevraagd in hoeverre de respondent dit PDF-advies gelezen had. Hierop werden de volgende antwoorden gegeven (N=180): - helemaal gelezen 53% - bijna helemaal gelezen 27% - een klein stukje gelezen 11% - niet gelezen 3% - weet niet 7% Onderzoeksrapport Smoke Alert

27 8% van de respondenten die het PDF-advies openden, heeft het advies uitgeprint (N=15); 88% gaf aan dit niet te doen (N=159). 14% van de respondenten die de PDF geopend hebben, heeft het advies er later nog eens bijgepakt (N=25); 80% heeft dit niet gedaan (N=144). Van de 25 respondenten die het advies er nog eens bijpakten, deed 40% dit één keer, 36% twee keer en 12% drie keer. 12% gaf aan het advies er meer dan vijf keer bij te pakken. 1.2 Oordeel over Smoke Alert De respondenten kregen ook enkele stellingen voorgelegd met antwoorden op een 5-puntsschaal, uiteenlopend van helemaal mee oneens (-2) tot helemaal mee eens (2) (zie tabel 1). 42% van de respondenten was het (helemaal) met de stelling eens dat hij/zij de inhoud van het advies herinnerde (N=262). 85% van de respondenten gaf aan de vormgeving mooi te vinden (N=346). In de tabel is tevens te zien wat de gemiddelde scores waren op de stellingen m.b.t. het meedoen aan Smoke Alert thuis of op school. Respondenten vonden het significant leuker om Smoke Alert op school te doen dan thuis (p<0.001). Tot slot werd de respondenten gevraagd een cijfer van 1 tot en met 10 toe te kennen aan het Smoke Alert-advies (waarbij 10=zeer goed en 1=zeer slecht). Het gemiddelde cijfer dat gegeven werd was een 7.8 (N=345, SD=1.56). Tabel 1: Oordeel van respondenten over Smoke Alert N M (SD) Ik herinner me de inhoud van het advies* (1.26) De website van Smoke Alert heeft een mooie vormgeving* (0.80) Ik vind het leuk om thuis (in mijn privé-tijd) de rooktest Smoke (1.10) Alert te doen* Ik vind het leuk om op school (tijdens de les) de rooktest Smoke (1.10) Alert te doen* Cijfer voor Smoke Alert (waarbij 10=zeer goed en 1=zeer slecht) (1.56) * helemaal mee oneens (-2) - helemaal mee eens (2) 1.3 Conclusie Uit de procesevaluatie onder de respondenten van het effectiviteitsonderzoek bleek dat het advies goed gelezen werd. Ruim de helft van de respondenten gaf aan het advies bijna helemaal of helemaal te lezen. De helft van de jongeren opende het advies dat naar zijn of haar adres verstuurd werd. Het advies werd door het merendeel van de jongeren er op een later moment niet meer bijgepakt. Uit de pretest van Smoke Alert 1.0 bleek dat driekwart van de jongeren de vormgeving van de website saai en onaantrekkelijk vond (Quo-Communications, 2010). Uit de huidige evaluatie bleek dat ruim driekwart van de respondenten de nieuwe vormgeving mooi vond. Ook werd duidelijk dat jongeren het significant leuker vonden om op school mee te doen met Smoke Alert dan thuis (p<0.001). Onderzoeksrapport Smoke Alert

28 2. Inventarisatie onder docenten 2.1 Inleiding De docenten (uit de interventiegroep) die hun klassen hebben opgegeven voor het effectiviteitsonderzoek naar de vernieuwde Smoke Alert, zijn na afloop van de voormeting per benaderd. De docenten werden verzocht een korte vragenlijst (bestaande uit acht vragen) in te vullen zodat duidelijk werd of en waarom ze wel/niet hebben deelgenomen, hoe zij over de interventie dachten en hoe het invullen van de Smoke Alert-vragenlijst in de klas verlopen is. In totaal hebben 31 docenten de vragenlijst teruggestuurd. Daarvan gaven twee docenten aan uiteindelijk niet te hebben meegedaan aan het Smoke Alert-onderzoek. Redenen hiervoor waren technische problemen met de computers op school (firewall) waardoor men niet kon inloggen op de website van de vragenlijst. In dit hoofdstuk worden de belangrijkste (zowel kwantitatieve als kwalitatieve) resultaten besproken. 2.2 Leeftijd en opleiding Docenten werden gevraagd aan te geven wat de leeftijd en het opleidingsniveau was van hun leerlingen die hebben meegedaan aan het onderzoek. Er mochten meerdere leeftijdsgroepen en opleidingsniveaus aangekruist worden. Meer dan de helft van de deelnemende docenten (63%) heeft Smoke Alert ingezet bij leerlingen jonger dan 15 jaar, 30% bij leerlingen van jaar en 6% bij leerlingen ouder dan 18 jaar. Het meest voorkomende opleidingsniveau was vmbo (63%), gevolgd door mbo (19%), havo/vwo (16%) en tot slot praktijkonderwijs (3%). 2.3 Uitvoering van de interventie in de klas Alle docenten gaven aan dat er geen leerlingen waren die weigerden mee te doen aan het onderzoek. Twee docenten gaven aan dat enkele leerlingen in eerste instantie bang waren niet anoniem te zijn, maar dat de docenten hen wel hebben kunnen overtuigen. Van de 29 docenten gaven 26 docenten aan geen problemen te hebben gehad tijdens de uitvoering van de interventie in de klas. De problemen van de overige drie docenten hadden betrekking op het inloggen voor het onderzoek. 2.4 Mening docenten over vorm en inhoud Smoke Alert De docenten (N=24) kregen vijf stellingen voorgelegd (met antwoorden op een 5-puntsschaal, waarbij de uiteinden van de schaal extremen zijn) om te achterhalen of de interventie geschikt bevonden werd voor hun leerlingen. Alle vragen hebben een gemiddelde score rond het middenpunt (0) van de schaal (zie tabel 2). De moeilijkheidsgraad van het taalgebruik en de inhoud, en de hoeveelheid tekst in het advies kregen scores die het meest van het middelpunt afweken (M=-0.21). Uit frequentietabellen van deze vragen bleek dat 75% van de docenten (N=18) de moeilijkheidsgraad van het taalgebruik en 71% (N=17) de moeilijkheidsgraad van de inhoud precies goed vond (score 0). 21% van de docenten vond het Onderzoeksrapport Smoke Alert

29 taalgebruik (erg) makkelijk. Het ging hier uitsluitend om docenten van vmbo-leerlingen. 25% van de docenten vond de inhoud (erg) makkelijk (waarvan 67% les gaf aan vmbo-leerlingen). 75% van de docenten vond de hoeveelheid tekst precies goed (score 0) en 21% vond dat het advies (te) veel tekst bevatte. Dit waren docenten van vmbo- en mbo-leerlingen. Tabel 2: Antwoorden van docenten op vragen m.b.t. de vorm en inhoud van Smoke Alert Stelling M (SD) Minimum Maximum Ik vind het taalgebruik in Smoke Alert voor mijn leerlingen: erg makkelijk (-2) erg moeilijk (2) (0.59) -2 1 Ik vind de inhoud van Smoke Alert voor mijn leerlingen: (0.72) -2 2 erg makkelijk (-2) erg moeilijk (2) Wat vindt u van de hoeveelheid vragen in de vragenlijst (0.46) -2 1 van Smoke Alert?* Wat vindt u van de hoeveelheid tekst in het advies van 0.21 (0.59) -1 2 Smoke Alert?* Wat vindt u van de hoeveelheid afbeeldingen/animaties (0.28) -1 0 in Smoke Alert?* *antwoorden op een 5-ptsschaal: (te) weinig (-2) - (te) veel (2) 2.5 Reactie van leerlingen op Smoke Alert De docenten is tevens gevraagd (met behulp van een open vraag) wat hun algemene indruk was van de reactie van hun leerlingen op Smoke Alert. In de tabel hieronder (tabel 3) staan de antwoorden verdeeld in een kolom met (overwegend) positieve reacties en een kolom met (overwegend) negatieve reacties. Tabel 3: Antwoorden van docenten op de vraag wat hun leerlingen van Smoke Alert vonden Positieve reacties De meesten werkten met plezier en serieus. Ze vonden het, ondanks de zoveelste rookpreventieles, heel interessant. Ze wilden graag meedoen aan de vragenlijst. Negatieve reacties Ze hebben het allemaal individueel ingevuld. De rokers vonden het eigenlijk niet echt leuk of nuttig en de niet rokers ook niet omdat ze niet roken. Alweer een vragenlijst over roken, hoorden we vaak. Er werd in de meeste gevallen niet serieus de tijd voor genomen. De reacties waren heel serieus. De leerlingen hebben zelf minder interesse om te gaan roken merk ik. Ook sloot het goed aan bij het rookvrije beleid wat onze school komend schooljaar wil gaan invoeren. Alle leerlingen hebben de vragen serieus ingevuld. Het was een brugklas die echt niet van plan is te gaan roken. Ze vonden het prima om er aan mee te doen. De leerlingen hebben het serieus ingevuld. Alleen de leerlingen die niet roken vroegen zich af waarom zij dit ook moeten invullen. Leuk, aantrekkelijke vragen en zeker geïnteresseerd. Ze hebben het ingevuld omdat ik dat als opdracht gaf. Ze hebben inhoudelijk weinig sjoege gegeven. Ze leken niet erg geïnteresseerd. Ze namen het niet zo serieus, omdat ze denk ik te jong zijn voor deze vragen. Niet heel serieus. Ze hebben volgens mij het advies niet gelezen. Ze vonden soms het advies een beetje vaag, te zwart-wit. Ze hadden hem heel snel gemaakt. En de vragen vonden ze niet altijd even goed gesteld. Ze namen de tekst wel serieus, maar met name de rokers reageerden erg laconiek op de uitslag, Onderzoeksrapport Smoke Alert

30 De leerlingen die rookten zijn er serieus mee bezig geweest. De leerlingen die niet rookten vonden het minder zinvol om mee te doen maar hebben wel de enquête ingevuld. De leerlingen reageerden prima. Ze konden de test goed maken en hebben er weinig problemen bij ondervonden. Sommige deelnemers waren onder de indruk en gaven aan toch echt minder te moeten roken of te stoppen. Vooral de niet-rokers waren minder enthousiast. adviezen en tips. Sommige leerlingen zien er het nut niet van in, aangezien zij denken toch niet te gaan roken. Aan andere leerlingen zag ik dat ze rookten of bang waren dat te gaan doen, door hun schrikreactie of wantrouwen tijdens het invullen. 2.6 Conclusies o.b.v. inventarisatie onder docenten Uit deze inventarisatie bleek dat docenten over het algemeen positief waren over Smoke Alert. De grote meerderheid van de docenten ondervond geen problemen tijdens de uitvoering. Uit de antwoorden van de docenten op basis van een 5-puntsschaal met als uiteinden van de schaal extremen, bleek dat de gemiddelde scores voor de moeilijkheidsgraad van de inhoud en het taalgebruik, en de hoeveelheid vragen, tekst en afbeeldingen rond het midden van de schaal lagen. Hieruit kan opgemaakt worden dat de interventie geschikt bevonden werd voor de leerlingen van de deelnemende docenten (waarvan ruim 65% les gaf aan leerlingen met opleidingsniveau praktijkschool/vmbo). Tot slot bleek uit deze inventarisatie dat er onder leerlingen heel wisselend op de interventie gereageerd werd. De meeste docenten gaven aan dat hun leerlingen de vragenlijst serieus en met plezier ingevuld hebben. Echter, er merkten ook enkele docenten op dat hun leerlingen de interventie niet serieus maakten en/of het advies niet goed lazen. Onderzoeksrapport Smoke Alert

31 3. Inventarisatie onder deelnemers in de praktijk 3.1 Inleiding Eind september 2011 is Smoke Alert 2.0 online gegaan en gepromoot via sociale media (zie hoofdstuk 4). In de vragenlijst werden de bezoekers gevraagd of ze benaderd mochten worden voor een korte evaluatie. Zo kon inzichtelijk gemaakt worden hoe de interventie in de praktijk beoordeeld werd (door jongeren die niet deelnamen aan het onderzoek). De 600 bezoekers die toestemming gaven om benaderd te worden, hebben op 9 november 2011 een ontvangen. Ze werden uitgenodigd door te klikken naar de vragenlijst waarin vragen opgenomen waren m.b.t. het gebruik en de waardering van Smoke Alert in de praktijk. Na drie weken (inclusief een reminder) waren er 35 evaluatievragenlijsten volledig ingevuld. Van deze 35 respondenten bleken zes personen ouder dan 30 jaar te zijn. Deze personen zijn buiten de analyses gehouden omdat zij niet tot de doelgroep van de interventie behoren. Hieronder worden de resultaten op basis van de overige 29 vragenlijsten beschreven. Vanwege het lage aantal respondenten, zullen geen uitspraken gedaan worden over significantie. Onderstaande resultaten zijn slechts indicatief. 3.2 Beschrijvende statistische analyses Van de 29 respondenten hebben 19 meisjes en 10 jongens meegedaan. De leeftijden liepen uiteen van 13 t/m 28 jaar. De gemiddelde leeftijd was 19 jaar. Afgezien van havo-leerlingen waren alle opleidingen goed vertegenwoordigd binnen deze evaluatie, en dan met name de mbo-leerlingen, vwoleerlingen, vmbo-leerlingen en werkenden (elk met 20.7%). De meeste respondenten waren dagelijkse rokers (79.3%). 3.3 Oordeel over advies 27 respondenten (94%) gaven aan het advies helemaal (80%) of bijna helemaal (14%) gelezen te hebben. Eén respondent gaf aan het advies niet gelezen te hebben. De respondenten die het advies gelezen hadden, werd vijf stellingen m.b.t. de inhoud voorgelegd waarbij ze konden aangeven in welke mate ze het met de stellingen eens waren (zie tabel 4). Antwoorden werden gegeven op basis van een 5-puntsschaal met antwoorden uiteenlopend van helemaal mee eens (2) tot helemaal mee oneens (-2). De begrijpelijkheid van het advies scoorde het hoogst (M=1.21, SD=0.79); de mate waarin het advies nieuwe informatie bevatte, scoorde het laagst (M=-0.11, SD=1.03). De respondenten werd ook gevraagd het advies een cijfer te geven van 1 (=zeer slecht) t/m 10 (=zeer goed). Cijfers liepen uiteen van 6.5 tot 8.0. Het gemiddelde cijfer dat aan het advies gegeven werd, was een 7.3. Een ruime meerderheid (72%) vond de lengte van het advies precies goed (N=21) (zie afbeelding 1). Onderzoeksrapport Smoke Alert

32 Tabel 4: Oordeel respondenten over inhoud advies Stelling M (SD) Minimum Maximum Ik herinner me de inhoud van het advies* 0.68 (1.10) -2 2 Ik vond het advies interessant* 0.82 (0.67) 0 2 Veel info in het advies was nieuw voor mij* (1.03) -2 2 Ik begreep de informatie in het advies goed* 1.21 (0.79) -1 2 De inhoud van het advies paste bij mijn situatie* 0.79 (0.79) -1 2 * helemaal mee oneens (-2) - helemaal mee eens (2) Afbeelding 1: Wat vind je van de lengte van het advies? 3.4 Oordeel over vormgeving en animaties De respondenten werden tevens gevraagd naar hun mening over de vormgeving en de animatiefilmpjes. Bijna driekwart van de respondenten (72%) was het er (helemaal) mee eens dat Smoke Alert een mooie vormgeving heeft (zie afbeelding 2). Slechts één respondent gaf aan het hier niet mee eens te zijn. De jongeren werden ook gevraagd naar hun mening over de animatiefilmpjes. Bijna de helft van de respondenten (45%) vond het filmpje (heel erg) leuk. Slechts één respondent gaf aan het filmpje niet leuk te vinden en 35% had het filmpje niet gezien. Onderzoeksrapport Smoke Alert

33 Afbeelding 2: Wat vind je van de vormgeving van Smoke Alert? Ook werd gevraagd of de respondenten de rooktest geschikt vonden voor jongeren van hun leeftijd. De meeste respondenten (66%) waren het er (helemaal) mee eens dat Smoke Alert geschikt was voor jongeren van hun leeftijd (N=19). 17% was het hier (helemaal) niet mee eens (N=5). Van de 5 respondenten die het hier (helemaal) niet mee eens waren, waren 4 respondenten 18 jaar of ouder. 3.5 Gebruik van PDF-advies Het Smoke Alert-advies was niet alleen te lezen op het scherm, maar werd ook als PDF-advies naar het adres van de jongeren verzonden. Van de respondenten gaf 69% aan het PDF-advies (vanuit hun ) geopend te hebben (N=19) (zie afbeelding 3). Afbeelding 3: Heb je het PDF-advies geopend? Onderzoeksrapport Smoke Alert

34 De 19 respondenten die het PDF-advies geopend hebben, werd gevraagd of zij het advies vervolgens ook gelezen hadden. 12 van de 19 respondenten (60%) gaven aan het advies helemaal gelezen te hebben; 4 van hen hadden het advies bijna helemaal gelezen (20%). Geen enkele respondent had het advies niet gelezen (zie afbeelding 4). Geen van de respondenten die het advies geopend hadden, gaf aan het advies uitgeprint te hebben. Van de respondenten die het PDF-advies geopend hadden, pakte 42% het advies er op een later moment nog eens bij. In de meeste gevallen (63%) werd het advies er één keer opnieuw bijgepakt; in de overige gevallen twee tot drie keer. Het advies werd er niet vaker dan drie keer bijgepakt. Afbeelding 4: In hoeverre heb je het PDF-advies gelezen? 3.6 Conclusie De respondenten van deze inventarisatie waren over het algemeen heel positief in hun beoordeling. Het advies werd door 94% van de respondenten gelezen en men vond de informatie begrijpelijk. Ook de lengte van het advies en de vormgeving werden positief beoordeeld. Een verbeterpunt van Smoke Alert bleek de nieuwswaarde van de informatie in het advies. Het merendeel van de respondenten kon niet beamen dat de informatie in het advies nieuw voor hen was. Mogelijk kan hier in een volgende versie op ingespeeld worden, door bijvoorbeeld algemeen bekende informatie (zoals roken is schadelijk voor de gezondheid ) te verpakken in aantrekkelijke nieuwsfeiten (zoals Wist je dat 1 op de 2 rokers eerder dood gaat door het roken? ). Onderzoeksrapport Smoke Alert

35 Opvallend was tot slot dat ruim de helft van de respondenten aangaf het filmpje niet gezien te hebben. Elk webadvies startte immers automatisch met een filmpje. Een verklaring hiervoor zou kunnen zijn dat deze respondenten het advies alleen vanuit het PDF-document gelezen hebben. Dit komt overeen met het hoge percentage respondenten dat aangaf het advies als PDF-document geopend te hebben (69%) en vervolgens gelezen te hebben (80%). Er moet wel een kanttekening geplaatst worden bij deze resultaten. Het is voor de interpretatie van de gegevens belangrijk om rekening te houden met het lage aantal deelnemers aan deze inventarisatie. Mogelijk hebben met name de meest enthousiaste jongeren deelgenomen. De resultaten vormen dan ook slechts een indicatie van de beoordeling van Smoke Alert door gebruikers in de praktijk. Om nauwkeuriger uitspraken te kunnen doen over de beoordeling van de interventie door jongeren in de praktijk, wordt aanbevolen deze evaluatie in de toekomst te herhalen onder een grotere steekproef. Onderzoeksrapport Smoke Alert

36 4. Implementatie en bereik van Smoke Alert 4.1 Inleiding Een kopie van de onderzoeksversie van Smoke Alert 2.0 (zie deel I van dit rapport) werd aangepast tot een webversie. Dit betrof een aantal kleine wijzigingen, zoals het herschrijven van de inleiding op de homepage (aangezien deze nog betrekking had op het onderzoek). Deze webversie van Smoke Alert 2.0 werd vanaf eind september 2011 online beschikbaar gesteld (voor het algemene publiek). Er werden tellers geplaatst in de vragenlijst en de adviespagina s om zo het webbezoek nauwkeurig te kunnen monitoren. Smoke Alert werd (als onderdeel van de weerbaarheidscampagne Meer lol met self control) gepromoot via social media. In dit hoofdstuk zal beschreven worden hoe de promotie van Smoke Alert vormgegeven werd. Ook worden de bezoekcijfers van Smoke Alert gedurende en na de promotieweken inzichtelijk gemaakt. Op basis van analyses van bezoekersgegevens zal daarbij een beschrijving gegeven worden van de gebruikers van de interventie. Tot slot zal het webbezoek van Smoke Alert 2.0 vergeleken worden met het webbezoek van Smoke Alert Promotie via social media Tijdens het derde deel van de weerbaarheidscampagne Meer lol met self control lag de nadruk op de promotie van de e-health interventies van STIVORO en Trimbos-instituut. Dit was een goede gelegenheid om Smoke Alert 2.0 onder de aandacht te brengen. De interventies werden via verschillende kanalen gepromoot: Direct-Mailing De ruim jongeren die tijdens het eerste deel van de campagne hun adres hadden opgegeven (om zo kans te maken op een prijs), kregen op 29 september een met daarin de uitslag. In die werden jongeren tevens uitgenodigd om door te klikken naar Smoke Alert. Banners op MSN De redactie van MSN heeft een artikel geplaatst over roken (en drinken). Ondersteunend hieraan werden banners op het platform ingezet die rechtstreeks doorlinkten naar Smoke Alert (zie afbeelding 5 en 6). De inzet op MSN startte op 29 september en duurde drie weken. Blogs en nieuwsberichten Ook werden teksten over roken aangeboden aan een aantal jonge bloggers (van Blogmij ). De bloggers gebruikten deze content om op hun eigen manier aandacht te besteden aan Smoke Alert. Ondertussen.nl, een nieuwswebsite voor jongeren, heeft ook aandacht besteed aan Smoke Alert door middel van het publiceren van een redactioneel stuk over de interventie. Onderzoeksrapport Smoke Alert

37 Afbeelding 5: Banner Smoke Alert Afbeelding 6: Banners Smoke Alert op MSN Onderzoeksrapport Smoke Alert

38 4.3 Webbezoek tijdens de promotieweken Het webbezoek van Smoke Alert 2.0 wordt gemeten via Google Analytics en het systeem waarin de interventie gebouwd is (Tailorbuilder). Aangezien de meest nauwkeurige cijfers afkomstig zijn uit het tailoringssysteem zelf, worden deze cijfers hier gerapporteerd. Tijdens de promotie van 29 september t/m 19 oktober 2011 werd de homepage van Smoke Alert door unieke bezoekers bezocht. Daarvan waren bezoekers (82%) daadwerkelijk met de vragenlijst gestart. Van de jongeren die met de vragenlijst startten, doorliep 59% (N=8.692) de gehele vragenlijst. Er werden adviezen per verstuurd (als PDF-document) en online adviezen gegenereerd. Uit analyses van bezoekersgegevens (N=10.907) bleek dat 57.3% van de bezoekers wel eens rookte. 42.2% was een dagelijkse roker, 4.9% was ex-roker en 37.8% was niet-roker (zie tabel 5). Tabel 5: rookgedrag van bezoekers Smoke Alert tijdens promotieweken Rookstatus N (%) Dagelijkse roker 4598 (42.2%) Wekelijkse roker 746 (6.8%) Maandelijkse roker 310 (2.8%) Experimentele roker (minder dan 1 keer per maand) 600 (5.5%) Ex-roker 535 (4.9%) Niet-roker 4118 (37.8%) Totaal De maximale leeftijd die de bezoekers konden invullen was 30 jaar. Er waren bezoekers (9%) die als leeftijd 30 jaar hadden opgegeven. Deze bezoekers zijn buiten de leeftijdsanalyses gelaten omdat zij mogelijk ouder waren (en vervolgens voor de hoogst mogelijke leeftijd gekozen hebben). De gemiddelde leeftijd van de overige bezoekers was 17.4 (SD=3.9). Het merendeel van de bezoekers (63.1%) viel binnen de leeftijdscategorie 14 t/m 18 jaar (zie afbeelding 7). Verder bleek dat zowel meisjes (55%) als jongens (45%) aan Smoke Alert hebben meegedaan. Onderzoeksrapport Smoke Alert

39 Afbeelding 7: Leeftijden van bezoekers Smoke Alert tijdens promotieweken Van alle opleidingsniveaus van de bezoekers waren mbo ers (21.8%) en vmbo ers (19.1%) het best vertegenwoordigd (zie tabel 6). Om na te gaan of daadwerkelijk meer vmbo- en mbo-leerlingen bereikt werden, moesten deze cijfers vergelijken worden met de werkelijke verdeling van jongeren over de verschillende opleidingen. Op basis van cijfers van het Centraal Bureau voor de Statistiek (studiejaar 2010/2011), is de verdeling van aantal leerlingen en onderwijstypen in kaart gebracht (leeftijd van 10 t/m 29 jaar). Om de cijfers te kunnen vergelijken, zijn de aantallen leerlingen per onderwijssoort bij elkaar opgeteld en is vervolgens het percentage leerlingen per onderwijssoort berekend. De categorieën werkenden en anders zijn buiten beschouwing gelaten, zodat alleen uitspraken gedaan werden over het bereiken van schoolgaande jongeren. In tabel 7 is te zien dat niet alleen absoluut, maar ook relatief (naar verhouding met de werkelijke populatie) veel vmbo- en mbo-leerlingen aan Smoke Alert deelnamen. Daarnaast bereikte Smoke Alert naar verhouding met de werkelijke populatie ook veel leerlingen uit het praktijkonderwijs en veel havo-leerlingen. Er werden relatief minder hbo- en wo-studenten bereikt (echter, hbo- en wo-studenten zijn gemiddeld ouder en behoren ook niet tot de primaire doelgroep van de interventie). Onderzoeksrapport Smoke Alert

40 Tabel 6: opleidingsniveaus van bezoekers Smoke Alert tijdens promotieweken Opleiding N (%) Praktijkschool 290 (2.5%) Vmbo 2181 (19.1%) Havo 1658 (14.5%) Vwo 1443 (12.7%) Mbo 2481 (21.8%) Hbo 949 (8.3%) Universiteit 363 (3.2%) ik werk 1520 (13.3%) Anders 511 (4.5%) Totaal Tabel 7: Percentage (N) jongeren per opleidingsniveau (van het totaal aantal leerlingen in het voortgezet onderwijs en vervolgonderwijs) in de populatie en onder de deelnemers van Smoke Alert tijdens promotieweken Opleiding Percentage jongeren in de populatie* Percentage deelnemers Smoke Alert (tijdens promotie) praktijkschool 1% (26.635) 3% (290) vmbo 18% ( ) 23% (2.181) havo 13% ( ) 18% (1.658) vwo 15% ( ) 15% (1.443) mbo 23% ( ) 27% (2.481) hbo 19% ( ) 10% (949) universiteit 11% ( ) 4% (363) Totaal 100% ( ) 100% (9.365) *Gebaseerd op cijfers van het CBS, studiejaar , voor de leeftijden 10 t/m 29 jaar 4.4 Webbezoek na de promotieweken In de vier maanden na de promotieweken (20 oktober februari 2012) werd de homepage van Smoke Alert door unieke bezoekers bezocht. Daarvan zijn bezoekers (68.5%) daadwerkelijk met de vragenlijst gestart. Van de jongeren die met de vragenlijst startten, doorliep 64% (N=1.273) de gehele vragenlijst. Er werden adviezen per verstuurd (als PDF-document) en er zijn online adviezen gegenereerd. Uit analyses van bezoekersgegevens (N=1.378) bleek dat 48.5% van de bezoekers wel eens rookte. 36.1% was een dagelijkse roker, 4.2% was ex-roker en 47.4% was niet-roker (zie tabel 8). De maximale leeftijd die de bezoekers konden invullen was opnieuw 30 jaar. De 48 bezoekers die als leeftijd 30 jaar hadden opgegeven, zijn opnieuw buiten de leeftijdsanalyses gelaten. De gemiddelde leeftijd van de overige bezoekers was 17 (SD=3.9). Het merendeel van de bezoekers (61.5%) viel binnen de leeftijdscategorie 13 t/m 17 jaar (zie afbeelding 8). Onderzoeksrapport Smoke Alert

41 Tabel 8: rookgedrag van bezoekers Smoke Alert in de 4 maanden na de promotieweken Rookstatus N (%) Dagelijkse roker 497 (36.1%) Wekelijkse roker 66 (4.8%) Maandelijkse roker 38 (2.8%) Experimentele roker (minder dan 1 keer per maand) 67 (4.9%) Ex-roker 58 (4.2%) Niet-roker 652 (47.4%) Totaal Afbeelding 8: leeftijden van bezoekers Smoke Alert in de 4 maanden na de promotieweken Opnieuw bleek dat er iets meer meisjes (53.5%) dan jongens (46.5%) aan Smoke Alert hebben meegedaan (maar dit verschil was niet groot). Ook was opnieuw te zien dat m.b.t. opleidingsniveau vmbo ers (28.1%) en mbo ers (26.4%) verreweg het best vertegenwoordigd waren (zie tabel 9). Tabel 9: opleidingsniveaus van bezoekers Smoke Alert in de 4 maanden na de promotieweken Opleiding N (%) Praktijkschool 36 (2.5%) Vmbo 405 (28.1%) Havo 152 (10.5%) Vwo 165 (11.5%) Mbo 380 (26.4%) Hbo 100 (6.9%) Universiteit 40 (2.8%) ik werk 105 (7.3%) Anders 58 (4.0%) Totaal Onderzoeksrapport Smoke Alert

42 In tabel 10 worden de cijfers opnieuw vergeleken met de werkelijke verdeling van jongeren over de onderwijssoorten. Om de cijfers tijdens en na de promotieweken goed te kunnen vergelijken, worden de cijfers tijdens de promotieweken ook in deze tabel weergegeven. Uit deze gegevens blijkt dat na de promotieweken naar verhouding nóg meer vmbo- en mbo-leerlingen bereikt werden. Het percentage havo- en vwo-leerlingen nam af, evenals het percentage hbo- en wo-studenten. Tabel 10: Percentage (N) jongeren per opleidingsniveau (van het totaal aantal leerlingen in het voortgezet onderwijs en vervolgonderwijs) in de populatie en onder de deelnemers van Smoke Alert tijdens en na promotieweken Opleiding Percentage jongeren in de populatie* Percentage deelnemers Smoke Alert (tijdens promotie) praktijkschool 1% (26635) 3% (290) 3% (36) Percentage deelnemers Smoke Alert (na promotie) vmbo 18% ( ) 23% (2.181) 31% (405) havo 13% ( ) 18% (1.658) 12% (152) vwo 15% ( ) 15% (1.443) 13% (165) mbo 23% ( ) 27% (2.481) 30% (380) hbo 19% ( ) 10% (949) 8% (100) universiteit 11% ( ) 4% (363) 3% (40) Totaal 100% ( ) 100% (9.365) 100% (1.278) *Gebaseerd op cijfers van het CBS, studiejaar , voor de leeftijden 10 t/m 29 jaar 4.5 Vergelijking met webbezoek Smoke Alert 1.0 Tot september 2011 stond Smoke Alert 1.0 online. Webbezoek werd uitsluitend gemeten met Google Analytics. Het aantal verstuurde adviezen werd gemeten via het systeem waarin de interventie gebouwd was (oorspronkelijk in AOMts en later in RightNow). Het webbezoek van Smoke Alert 2.0 wordt zowel gemeten via Google Analytics als het systeem waarin de interventie gebouwd is (Tailorbuilder). Uit een vergelijking van webbezoekcijfers van Smoke Alert 2.0 blijkt dat Google Analytics lagere bezoekersaantallen aangeeft dan in werkelijkheid door het systeem zelf gemeten worden (de bezoekersaantallen waren soms zelfs lager dan het aantal gegenereerde adviezen). De cijfers uit Google Analytics zijn dan ook niet bruikbaar om iets over de werkelijke bezoekersaantallen te kunnen zeggen. De cijfers kunnen echter wel gebruikt worden om het relatieve webbezoek in kaart te brengen, m.a.w. om het webbezoek van Smoke Alert 1.0 en Smoke Alert 2.0 te vergelijken. Bij de interpretatie van deze cijfers moet er dus rekening mee gehouden worden dat de daadwerkelijke bezoekersaantallen hoger liggen. In de periode van 4 oktober t/m 27 december 2010 werd Smoke Alert 1.0 online gepromoot via Hyves. In deze drie maanden werd de website bezocht door jongeren (volgens Google Analytics). Er werden adviezen gegenereerd (en verstuurd). Tijdens de promotie van Smoke Alert 2.0 werd de website (volgens Google Analytics) keer bezocht en werden adviezen verstuurd. Onderzoeksrapport Smoke Alert

43 Er is ook gekeken naar de bezoekcijfers in een vergelijkbare periode zonder promotie, namelijk januari t/m maart 2011 voor Smoke Alert 1.0 en januari t/m maart 2012 voor Smoke Alert 2.0. In tabel 11 staat een overzicht van de bezoekcijfers van beide versies. Uit de tabel blijkt allereerst dat de bezoekcijfers zoals gemeten door het tailoringssysteem (waarin de interventie gebouwd is), veel hoger liggen dan de bezoekcijfers zoals gemeten door Google Analytics. Ter verduidelijking: Smoke Alert 2.0 werd tijdens de promotieweken volgens het tailoringssysteem ( Tailorbuilder ) keer bezocht en volgens Google Analytics keer. Om na te kunnen gaan welk percentage homepage-bezoekers daadwerkelijk een advies genereerde, en om deze percentages te kunnen vergelijken tussen versie 1.0 en 2.0, was het noodzakelijk om een schatting te maken van de werkelijke bezoekcijfers van Smoke Alert 1.0 (aangezien Google Analytics te lage en zelfs irreële bezoekcijfers aangaf). Er werd hierbij uitgegaan van de verhouding tussen de bezoekcijfers uit Google Analytics en het tailoringssysteem van Smoke Alert 2.0. Het percentage homepage-bezoekers dat daadwerkelijk een advies genereerde is met name van belang om versie 1.0 en 2.0 te kunnen vergelijken, omdat dit duidelijk maakt hoeveel jongeren bij beide versies op de homepage of tijdens het invullen van de vragenlijst afhaakten. Hoewel de gegevens uit tabel 11 met enige voorzichtigheid geïnterpreteerd dienen te worden, wijzen deze gegevens in de richting van een verbeterd bereik van Smoke Alert 2.0. Bij Smoke Alert 1.0 genereerde ongeveer 1 op de 4 gebruikers daadwerkelijk een advies; bij Smoke Alert 2.0 deed bijna de helft van de gebruikers dit. Tabel 11: Webbezoek van Smoke Alert 1.0 en 2.0 (met en zonder promotie) Smoke Alert 1.0 Smoke Alert 2.0 Homepagebezoekers (N) Verstuurde adviezen (N) Bezoekers die gehele vragenlijst doorlopen (%) Tijdens 3 promotiemaanden Zonder promotie (jan t/m maart 2011) Tijdens 3 promotieweken Zonder promotie (jan t/m maart 2012) Google Analytics Tailoringssysteem Google Analytics Tailoringssysteem Google Analytics Tailoringssysteem Google Analytics Tailoringssysteem * * % 23% 46% 47% *Deze aantallen zijn berekend obv de verhouding bij SA 2.0 en zijn dus slechts indicatief Onderzoeksrapport Smoke Alert

44 4.6 Conclusie Allereerst blijkt uit de webbezoekgegevens dat promotie via social media een zeer effectieve manier is om jongeren te bereiken met de interventie Smoke Alert. In de drie weken waarin de interventie gepromoot werd, is Smoke Alert door ruim bezoekers bezocht en werden adviezen per verstuurd. In de vier maanden na de promotieweken werd de interventie door ruim jongeren bezocht en werden adviezen per verstuurd. Het merendeel van de bezoekers van Smoke Alert was 14 t/m 18 jaar oud. Er deden iets meer meisjes mee dan jongens, maar dit verschil was klein. Een opvallend en zeer positief resultaat was het grote aantal vmbo ers en mbo ers dat gebruikmaakte van de interventie. Zowel tijdens de promotieweken als in de periode daarna waren vmbo- en mbo-leerlingen verrreweg het beste vertegenwoordigd. Er werd ook nagegaan of er naar verhouding met de verdeling van jongeren over onderwijssoorten in de werkelijke populatie veel vmbo- en mbo-leerlingen bereikt werden. Er bleken relatief veel leerlingen afkomstig uit het praktijkonderwijs, vmbo en mbo bereikt te zijn met Smoke Alert. Het bereik onder havo- en vwo-leerlingen kwam overeen met de verdeling in de populatie; het bereik onder hbo- en wo-studenten was relatief laag (echter, hbo- en wo-studenten behoren ook niet tot de primaire doelgroep van de interventie). Smoke Alert blijkt dus een zeer geschikte interventie om lageropgeleide jongeren te bereiken. Uit een vergelijking van het webbezoek (homepagebezoek en gegenereerde adviezen) van beide versies bleek dat ongeveer 1 op de 4 bezoekers van Smoke Alert 1.0 de gehele vragenlijst doorliep en bij Smoke Alert 2.0 bijna 1 op de 2 bezoekers. Hoewel deze gegevens slechts een indicatie vormen (aangezien het webbezoek van beide versies in een ander systeem gemeten werd), wijzen de resultaten in de richting van een verhoogd aantal jongeren bij Smoke Alert 2.0 dat startte met de vragenlijst en/of deze in z n geheel doorliep. Onderzoeksrapport Smoke Alert

45 Discussie Dit hoofdstuk beschrijft de belangrijkste conclusies en aanbevelingen uit het onderzoek naar de effectiviteit en het bereik van Smoke Alert Effectiviteit van Smoke Alert 2.0 In het effectiviteitsonderzoek werd een significant effect gevonden van Smoke Alert 2.0 op beginnen met roken (p=0.02). Zes maanden na deelname aan Smoke Alert begonnen minder jongeren met roken dan zonder deelname aan de interventie (resp. 3.7% versus 5.8%). Aangezien leerlingen gegroepeerd waren binnen klassen, in scholen werden vervolgens multilevel analyses uitgevoerd om fouten te vermijden die kunnen ontstaan door het negeren van zo n hiërarchische structuur (Twisk, 2007). Gecorrigeerd voor de invloed van deze geneste structuur (i.c.c.=0.193), bleek het verschil tussen de interventie- en controlegroep (m.b.t. beginnen met roken) marginaal significant te zijn (p=0.06). Hoewel met multilevel analyses geen significante interacties gevonden werden met opleiding, geslacht en leeftijd, toonden subgroepanalyses aan dat het effect van Smoke Alert per leeftijdsgroep verschillend was. Bij de respondenten van 15 jaar en ouder (N=137) begonnen significant minder jongeren met roken na deelname aan Smoke Alert dan in de controlegroep (p=0.04). Dit effect werd niet aangetoond bij respondenten jonger dan 15 jaar (N=782, p=0.25). Er werd tevens nagegaan of het significante effect van de interventie ook gold voor leerlingen afkomstig uit het praktijkonderwijs/vmbo (N=298). Uit een subgroepanalyse bleek dat dit het geval was. Ook wanneer alleen gekeken werd naar deze groep respondenten, bleek dat er minder jongeren waren begonnen met roken na deelname aan de interventie (p<0.05). De analyses suggereerden tevens positieve resultaten voor wat betreft het continueren van roken. Na deelname aan Smoke Alert continueerden minder rokers hun rookgedrag (69.8%) dan in de controlegroep (77.2%) (p=0.38). Echter, de grote uitval noopt tot voorzichtigheid met betrekking tot finale conclusies. De hoge uitval kan tevens invloed gehad hebben op het hoge natuurlijke stoppercentage (22.8% in de controlegroep). Het geschatte verwachte stoppercentage in het effectiviteitsonderzoek van Smoke Alert 1.0 lag op 5%. In dit onderzoek werd uiteindelijk een natuurlijk stoppercentage van 17.2% aangetroffen (Dijk & De Vries, 2009). De mogelijkheid bestaat dat met name rokers die succesvol gestopt zijn, bereid waren om in eigen tijd (vanuit huis) aan de nameting deel te nemen (i.t.t. het onderzoek naar Smoke Alert 1.0 dat geheel op school plaatsvond). In het onderzoek van Smoke Alert 1.0 begon 3.6% van de jongeren met roken na het krijgen van een briefadvies, 6.3% na het krijgen van een internetadvies en 10.7% in de controlegroep (Eindverslag ZonMW, 2007). In het huidige onderzoek lag het percentage jongeren dat begon met roken in controlegroep (en ook in de huidige interventiegroep versus de groep met internetadvies) beduidend Onderzoeksrapport Smoke Alert

46 lager. Ook dit zou verklaard kunnen worden door de hoge uitval (met name onder niet-rokers met een hogere intentie om te beginnen met roken) vanwege vrijwillige deelname aan de nameting. Naast een hogere uitval onder niet-rokers met een hogere intentie om te beginnen met roken, bleek de uitval onder niet-rokers in de interventiegroep hoger te zijn dan in de controlegroep. Er moet dus rekening gehouden worden met de mogelijkheid dat het aantal jongeren dat is begonnen met roken in de interventiegroep in werkelijkheid hoger ligt. Er werden geen intention-to-treat (ITT) analyses uitgevoerd (het worst-case scenario ) omdat 82% van de baselinerespondenten (N=6.325) niet had deelgenomen aan de nameting. Het was daarom zeer waarschijnlijk dat intention-to-treat analyses tot onbetrouwbare resultaten zouden leiden. 2. Implementatie van Smoke Alert Voor de impact van gezondheidsbevorderende internetinterventies speelt naast de effectiviteit ook het bereik een zeer belangrijke rol (De Nooijer et al., 2005; Crutzen et al., 2008). Om jongeren met Smoke Alert te kunnen bereiken, is het belangrijk dat zij de interventie aantrekkelijk en begrijpelijk vinden (Lindgaard et al., 2006; Crutzen, 2009). Ook is het van belang dat docenten de meerwaarde zien van het inzetten van de interventie in hun klassen. Uit inventarisaties onder docenten en jongeren bleek dat Smoke Alert 2.0 positief beoordeeld werd. Terwijl de vormgeving van Smoke Alert 1.0 door een kwart van de jongeren als leuk en aantrekkelijk beschouwd werd, werd de vormgeving van Smoke Alert 2.0 door (ruim) driekwart van de jongeren mooi gevonden. Bovendien vonden jongeren het advies van Smoke Alert 1.0 (te) lang, terwijl respondenten tevreden bleken te zijn over de lengte van het advies van Smoke Alert 2.0. Naast een verbetering in de beoordeling van de interventie, zijn er ook indicaties dat meer jongeren die de homepage bezochten vervolgens ook daadwerkelijk met de rooktest startten en de gehele vragenlijst doorliepen. Het is voor het bereik van e-health interventies heel belangrijk dat jongeren op de website van de interventie blijven (Crutzen et al., 2008). 2.1 Belang van promotie via social media en scholen De bezoekcijfers lieten verder zien dat promotie van de interventie (via social media) het bereik enorm kan vergroten. Smoke Alert kan structureel gepromoot worden door middel van bijvoorbeeld banners op websites die door de doelgroep bezocht worden, maar kan ook 1 à 2 keer per jaar middels een actie via social media onder de aandacht gebracht worden. Aangezien jongeren in het onderzoek aangeven liever op school dan thuis de rooktest in te vullen, is het ook belangrijk om Smoke Alert jaarlijks bij docenten onder de aandacht te brengen (bijv. via de nieuwsbrieven Gezonde School vanuit RIVM/CGL). Uit het grote aantal aanmeldingen door docenten voor het effectiviteitsonderzoek -met name uit het praktijkonderwijs/vmbo- blijkt dat de behoefte aan een interventie zoals Smoke Alert groot is. Uit de docenteninventarisatie blijkt dat het inzetten van Smoke Alert in de klas voor veel docenten gemakkelijk realiseerbaar is. Het vraagt beperkte voorbereidingtijd en er hoeft slechts een half lesuur voor gereserveerd te worden. Dit kan benadrukt worden in de communicatie met docenten. Onderzoeksrapport Smoke Alert

47 2.2 Uitbreiding van doelgroep naar praktijkonderwijs/vmbo Het dient aanbeveling Smoke Alert niet alleen in te zetten voor havo- en vwo-leerlingen, maar juist ook op praktijk- en vmboscholen. Uit het effectiviteitsonderzoek bleek immers dat Smoke Alert ook voor deze leerlingen effectief is voor de preventie van roken. Daarnaast bleek het bereik in de praktijk onder jongeren uit het praktijkonderwijs/vmbo (en mbo) erg groot te zijn. Dit is zeer positief aangezien de rookprevalentie onder lageropgeleide jongeren relatief hoog is (TNS NIPO, 2011). Deelname aan Smoke Alert kan de kans verkleinen dat lageropgeleide jongeren beginnen met roken. Verder bleek uit het effectiviteitsonderzoek dat Smoke Alert het beste ingezet kan worden bij jongeren vanaf 15 jaar. Docenten kunnen dan ook geadviseerd worden de interventie vanaf de derde klas in te zetten. Er werden geen (korte termijn) effecten van de interventie gevonden voor jongeren jonger dan 15 jaar. In een vervolgonderzoek met een nameting na 12 maanden kan worden nagegaan of Smoke Alert bij deze leeftijdsgroep wel positieve effecten heeft op langere termijn. 2.3 Stimuleren van herlezen van advies Het is tevens aan te bevelen het gebruik van het PDF-advies te stimuleren. Uit de evaluatie bleek dat de meeste jongeren het advies er niet vaker opnieuw bijpakten. Mogelijk kan het effect van Smoke Alert versterkt worden wanneer jongeren na het lezen van het online advies op een later moment de informatie nog eens doorlezen met behulp van het PDF-advies dat zij per opgestuurd krijgen. Zo kan het effect van een booster gecreëerd worden. Boosters kunnen het effect van een interventie behouden of versterken (Dijkstra et al., 1999). Het lezen van het PDF-advies (op een later moment) kan gestimuleerd worden door bijvoorbeeld tips of interessante weetjes over (niet-) roken (geautomatiseerd) naar de jongeren te mailen en daarbij hun eigen advies als bijlage mee te sturen. 2.4 Integratie binnen bredere weerbaarheidsprogramma s en gezondheidsmonitors Bij de implementatie van Smoke Alert kan een koppeling gemaakt worden met bestaande weerbaarheidsprogramma s. Zo worden jongeren niet alleen weerbaar gemaakt tegen de verleiding om te beginnen met roken, maar ook tegen andere verleidingen zoals drinken en blowen. Ook kan vanuit bestaande gezondheidsmonitors (zoals de E-MOVO) -bij de vragen over het rookgedrag- voor verdieping doorverwezen worden naar Smoke Alert. Het digitale karakter van Smoke Alert leent zich goed voor deze koppelingen met bestaande programma s en monitors. 3. Adviezen t.b.v. doorontwikkeling en vervolgonderzoek 3.1 Nieuwswaarde van advies verhogen Het is zinvol om de interventie up-to-date te houden en te blijven doorontwikkelen. Zo bleek uit het huidige onderzoek dat de nieuwswaarde van het advies een verbeterpunt is. Veel jongeren gaven aan weinig informatie te hebben gekregen die nieuw voor hen was. Het is goed om hier bij doorontwikkeling van Smoke Alert rekening mee te houden. Zo zou bijvoorbeeld algemeen bekend Onderzoeksrapport Smoke Alert

48 veronderstelde informatie (zoals roken is schadelijk voor de gezondheid ) verpakt kunnen worden in aantrekkelijke facts & figures (zoals Wist je dat 1 op de 2 rokers eerder dood gaat door het roken? ). 3.2 Onderzoek naar het voorkomen van uitval bij e-health onderzoek Vanwege de hoge uitval moeten de resultaten uit dit onderzoek met voorzichtigheid benaderd worden. E-health onderzoek wordt helaas in het algemeen gekenmerkt door een grote uitval (Eysenbach, 2005). In het huidige onderzoek was geen ruimte om uitgebreid kwalitatief te achterhalen wat de redenen waren voor de hoge uitval. Een vervolg onderzoek is derhalve nodig om na te gaan wat de determinanten voor uitval zijn, en hoe deze kan worden voorkomen. 3.3 Vervolgonderzoek met voor- en nameting in één schooljaar Om nog nauwkeuriger uitspraken te kunnen doen over de effectiviteit van de interventie m.b.t. stoppen met roken en de beoordeling ervan door jongeren in de praktijk, dient het aanbeveling om zowel het effectiviteitsonderzoek als de inventarisaties in de toekomst te herhalen onder een grotere groep respondenten. Om uitval te beperken, is het wenselijk om het vervolgonderzoek te laten plaatsvinden binnen één schooljaar, zodat de voor- en nametingen op school uitgevoerd kunnen worden. Wanneer voldoende rokers in een vervolgonderzoek geïncludeerd worden, kan beter nagegaan worden welke determinanten een rol spelen voor het stoppen met roken. Zo kan bijvoorbeeld inzichtelijk gemaakt worden of de nieuwe vraaggroep m.b.t. coping plans rokers kunnen helpen om de stoppoging vol te houden. In het huidige onderzoek kon dit helaas niet in kaart gebracht worden. In het huidige onderzoek werden geen effecten gevonden bij de respondenten jonger dan 15 jaar. In een vervolgonderzoek met nameting na 12 maanden zou nagegaan kunnen worden wat het effect bij deze groep op de langere termijn is. Vanwege het lagere natuurlijke percentage jongeren jonger dan 15 jaar dat begint met roken of al rookt (TNS NIPO, 2011), is het -voor het bestuderen van effecten op beginnen met en continueren van roken- daarbij belangrijk dat de onderzoeksgroepen groot zijn en uitval beperkt blijft. Als uit een dergelijk vervolgonderzoek blijkt dat Smoke Alert 2.0 tevens effectief is voor jongeren jonger dan 15 jaar, kan aanbevolen worden Smoke Alert als vast onderdeel op te nemen in het curriculum van het gehele voortgezet onderwijs (en mbo). Zo kan voorkomen worden dat niet-rokende jongeren hiermee beginnen en krijgen rokende jongeren hulp bij het stoppen. Dit is van groot belang om de dalende rookprevalentie onder jongeren te kunnen doorzetten. Onderzoeksrapport Smoke Alert

49 Literatuur Ajzen, I. (1991). The Theory of Planned Behaviour. Organizational Behaviour and Human Decision Processes, 50, CBS Statistieken Nederland (2012). Leerlingen en studenten naar woongemeente vanaf 2000/'01 [elektronische bron]. [ ] Centers for Disease Control and Prevention (CDC). High School Students Who Tried to Quit Smoking Cigarettes United States, MMWR 2009; 58(16): Crutzen, R., Brouwer, W., Brug, J., Vries, N.K. de, Oenema, A. & Nooijer, J.M. de (2008). Gezondheidsbevorderende interventies via internet: onderzoek naar mogelijkheden voor effectievere verspreiding en blootstelling. onbekend: UM Universiteit Maastricht. Crutzen, R., De Nooijer, J., Brouwer, W., Oenema, A., Brug, J., & De Vries, N. K. (2008). Internetdelivered interventions aimed at adolescents: a Delphi study on dissemination and exposure. Health Education Research, 23, Deckers, J.W. & Kromhout, D. (2005) De invloed van leefstijl en voeding op hartziekten. Het bulletin 2005, 36: De Nooijer, J., Oenema, A., Kloek, G., Brug, J., De Vries, H., & De Vries, N. K. (2005). Bevordering van gezond gedrag via internet: nu en in de toekomst. Maastricht: Universiteit Maastricht. De Vries, H., Dijkstra, M., & Kuhlman, P. (1988). Self-efficacy: The third factor besides attitude and subjective norm as a predictor of behavioural intentions. Health Education Research, Sep Vol 3 (3), De Vries, H., Mudde, A.N., Dijkstra, A., & Willemsen, M.C. (1998). Differential beliefs, perceived social influences, and self-efficacy expectations among smokers in various motivational phases. Preventive Medicine, 27 (5 Part 1), De Vries, H., Mesters, I., Van der Steeg, H., & Honing, C. (2005). The general public s information needs and perceptions regarding hereditary cancer: An application of the integrated change model. Patient Education and Counselling, 56, De Vries, H., Dijk, F., Wetzels, J., Mudde, A., Kremers, S., Ariza, C., Duarte Vitória, P., Fielder, A., Holms, K., Janssen, K., Lehtovuori, R., Candel, M. (2006). The European Smoking prevention Onderzoeksrapport Smoke Alert

50 Framework Approach (ESFA): effects after 24 and 30 months. Health Education Research, Vol. 21 (1), Dijk, F. & de Vries, H. (2009). Internet-based smoking-cessation aids for young people practical experience and current evidence. Documentation of a FCHE workshop held in Berlin, September Research and Practice of Health Promotion, Vol. 14, Dijkstra, M., Mesters, I., de Vries H., et al. (1999). Effectiveness of a social influence approach and boosters to smoking prevention. Health Education Research, Vol. 14, Eindverslag ZonMW (2007). Projectnummer: Universiteit Maastricht. Eysenbach, G. (2005). The law of attrition. Journal of Medical Internet Research,Vol. 7 (1), e11. Hoeymans, N. N. & Van Baal P.H.M. (2010) Wat is de bijdrage van risicofactoren? Volksgezondheid Toekomst Verkenning, Nationaal Kompas Volksgezondheid. < Bilthoven, RIVM. Houts, P.S., Doak, C.C., Doak, L.G & Loscalzo, M.J. (2006). The role of pictures in improving health communication: A review of research on attention, comprehension, recall, and adherence. Patient Education and Counseling, 61(2): King, W.C., Dent, M.M. & Miles, E.W. (1991). The persuasive effect of graphics in computer-mediated communication. Computers in Human Behavior, Vol. 7, Kleinjan, M. (2008). Dawning Dependence. Processes underlying smoking cessation in adolescence. Rotterdam: Erasmus Universiteit. (proefschrift). Langlois, M. A., Petosa, R. L., & Hallam, J. S. (2005). Measuring self-efficacy and outcome expectations for resisting social pressures to smoke: Journal of Child & Adolescent Substance Abuse, 15 (2), Mudde, A.N., Willemsen, M.C., Kremers, S., De Vries, H. (2006). Meetinstrumenten voor onderzoek naar stoppen met roken. 2 e editie. Den Haag: Stivoro voor een rookvrije toekomst. Pauwels R.A., Buist, A.S., Calverley, P.M., Jenkins, C.R., Hurd, S.S. (2001). Global strategy for the diagnosis, management, and prevention of chronic obstructive pulmonary disease. NHLBI/WHO Global Initiative for Chronic Obstructive Lung Disease (GOLD). Workshop summary. Am J Respir Crit Care Med 2001, 163: Onderzoeksrapport Smoke Alert

51 Prochaska, J.O., & DiClemente, C.C. (1983). Stages and processes of self-change of smoking: toward an integrative model of change. The Journal of Consulting and Clinical Psychology, 51 (3), QUO-Communications (2010). Rapportage Pretest Smoke Alert t.b.v. STIVORO. Schnotz, W., & Rasch, T. (2005). Enabling, facilitating, and inhibiting effects of animations in multimedia learning: Why reduction of cognitive load can have negative results on learning. Educational Technology Research and Development, 53 (3), TNS NIPO (in opdracht van STIVORO) (2011). Roken Jeugd Monitor. Twisk, J. (2007). Applied Multilevel Analysis: A Practical Guide. Cambridge, UK: Cambridge University Press. US Department of Health and Human Services. (2000). Reducing tobacco use: a report of the Surgeon General. Atlanta, Georgia: Centers for Disease Control and Prevention, National Center for Chronic Disease Prevention and Health Promotion, Office on Smoking and Health. U.S. Department of Health and Human Services. (2012). Preventing Tobacco Use Among Youth and Young Adults: A Report of the Surgeon General. Atlanta, GA: U.S. Department of Health and Human Services, Centers for Disease Control and Prevention, National Center for Chronic Disease Prevention and Health Promotion, Office on Smoking and Health. Williams, M.D. & Sandler, A.B. (2001). The epidemiology of lung cancer. Cancer Treat Res, 105: Onderzoeksrapport Smoke Alert

52 BIJLAGE I: Nieuwe vormgeving Smoke Alert Afbeelding 1: homepage Afbeelding 2: eerste pagina vragenlijst Onderzoeksrapport Smoke Alert

53 Afbeelding 3: vraag met schuifbalkjes Afbeelding 4: adviespagina Onderzoeksrapport Smoke Alert

54 Afbeelding 5: PDF van het advies Onderzoeksrapport Smoke Alert

55 BIJLAGE II: Afbeeldingen uit animaties Afbeelding 1: sigaret weigeren (variant jongen ) Afbeelding 2: sigaret weigeren (variant meisje ) Afbeelding 3: stopdatum prikken (variant jongen ) Onderzoeksrapport Smoke Alert

56 Afbeelding 4: stopdatum prikken (variant meisje ) Afbeelding 5: m n vriendin wil niet meer zoenen als ik rook (variant jongen ) Afbeelding 6: m n vriend wil niet meer zoenen als ik rook (variant meisje ) Onderzoeksrapport Smoke Alert