Bijlagen BIJLAGEN BIJLAGE 1. UITKOMSTMATEN VRAGENLIJST BIJLAGE 2. PROEFPERSONEN... 41

Transcriptie

1 Bijlagen BIJLAGEN BIJLAGEN BIJLAGE 1. UITKOMSTMATEN VRAGENLIJST BIJLAGE 2. PROEFPERSONEN BIJLAGE 3. UNIDIMENSIONALITEIT EN NORMALITEIT BIJLAGE 4. CORRELATIES EN COVARIANTIES...45 BIJLAGE 5. REGRESSIE ANALYSES BIJLAGE 6. EXITVRAGEN STUDENTEN BIJLAGE 7. OPEN- EN EXITVRAGEN WETENSCHAPPERS BIJLAGE 8. SIGNIFICANT MANUSCRIPT BIJLAGE 9. NIET-SIGNIFICANT MANUSCRIPT... 70

2 Bijlagen BIJLAGE 1. Uitkomstmaten vragenlijst Vragenlijst review en perceptie van anderen Schaal Waarden A. Betreffende de inleiding van het manuscript 1. inleiding 1 Het verband tussen de probleemstelling en de theoretische Interval, Likert (1-5) achtergrond is in voldoende mate aangegeven. eens 2. inleiding 2 De probleemstelling wordt op juiste wijze vertaald in een Interval, Likert (1-5) onderzoekbare vraagstelling. 2a* Open vraag B. Betreffende de gebruikte methoden in het manuscript 3. methoden 1 De onderzoeksopzet (design) geeft in voldoende mate de Interval, Likert (1-5) mogelijkheid tot beantwoording van de vraagstelling. eens 4. methoden 2 De beschrijving van de onderzoeksprocedure is duidelijk en Interval, Likert (1-5) volledig. 4a. Open vraag C. Betreffende de beschreven resultaten in het manuscript 5. resultaten 1 De statistische verwerking van de gegevens is op Interval, Likert (1-5) controleerbare wijze weergegeven eens 6. resultaten 2 De onderzoeksresultaten zijn duidelijk -in tekst, tabellen of Interval, Likert (1-5) figuren- weergegeven 6a* D. Betreffende de discussie van het manuscript Open vraag 7. discussie 1 In de discussie zijn in voldoende mate aanwijzingen gegeven Interval, Likert (1-5) voor vervolgonderzoek. eens 8. discussie 2 In de discussie worden de gestelde hypothesen en Interval, Likert (1-5) theoretische implicaties in voldoende mate behandeld. 8a* Open vraag De schrijfstijl is duidelijk en helder. 9. algemeen 1 Interval, Likert (1-5) eens Het manuscript is in voldoende mate origineel. 10. algemeen 2 Interval, Likert (1-5) 10a* Open vraag 11. kwaliteit Wat is uw algemene oordeel over de wetenschappelijke kwaliteit? Ordinaal 1= uitstekend 1= zeer oneens tot 5= zeer 1= zeer oneens tot 5= zeer eens 1= zeer oneens tot 5= zeer 1= zeer oneens tot 5= zeer eens 1= zeer oneens tot 5= zeer 1= zeer oneens tot 5= zeer eens 1= zeer oneens tot 5= zeer 1= zeer oneens tot 5= zeer eens 1= zeer oneens tot 5= zeer 1= zeer oneens tot 5= zeer eens 2=goed 3=voldoende 4=matig 5=slecht 12. publiceerbaarheid Stel u bent redacteur van een wetenschappelijk tijdschrift. Ordinaal 1=in deze vorm accepteren Wanneer u een aanbeveling zou moeten doen voor publicatie van dit manuscript wat zou uw oordeel dan zijn? 2=accepteren, mits met wijzigingen 3=afwijzen, aanmoedigen tot ingrijpend reviseren 13. bekendheid 14. interesse Was u reeds bekend met het betreffende manuscript? In hoeverre sluit het onderwerp aan bij uw interessegebied? * deze vragen zijn alleen gesteld in aan de groep wetenschappers Exit vragenlijst Nominaal Ordinaal 4=definitief afwijzen 1=bekend 2=onbekend 1=heel veel 2=veel 3=neutraal 4=matig 5=slecht Vraag A. Leeftijd Wat is uw leeftijd? metrisch 0-98

3 Bijlagen B. Geslacht Geslacht nominaal 1= vrouw 2= man *C. Vakgebied Wat is uw vakgebied? Open vraag *D. Universiteit Aan welke universiteit bent u verbonden? nominaal 1= Universiteit van Amsterdam 2=Vrije Universiteit Amsterdam 3= Rijks Universiteit Groningen 4= Universiteit van Tilburg 5= Universiteit van Leiden 6= Universiteit van Maastricht 7= Universiteit van Nijmegen *E. Ervaring met reviewen Hoeveel manuscripten heeft u reeds gereviewd? Ordinaal 1=0 2=1-5 3=6-10 4=10 of meer *F. Universitaire aanstelling Wat voor aanstelling heeft u? Nominaal 1= Assistent in Opleiding 2= Post-Doc 3= Universitair medewerker 4= Universitair docent 5= Universitair Hoofd-docent 6= Hoogleraar 7= anders G. Bedoeling onderzoek Wat is volgens u de bedoeling van het onderzoek waaraan u open vraag net heeft meegewerkt? H. Wetenschappelijke Wat vindt u van de wetenschappelijke waarde van het open vraag waarde onderzoek waaraan u net heeft meegewerkt? I. Opmerkingen / aanmerkingen Heeft u nog verdere opmerkingen naar aanleiding van het onderzoek waaraan u net heeft meegewerkt? open vraag J. adres Als u de resultaten na afloop van het onderzoek wilt ontvangen open vraag vult u dan hier uw adres in. * deze vragen zijn alleen gesteld aan de groep wetenschappers

4 Bijlagen BIJLAGE 2. Proefpersonen Verdeling aanstelling, ervaring en vakgebied wetenschappers (n=33) Vraag Frequentie Percentage F aanstelling Assistent in Opleiding Post-doc Universitair Medewerker Universitair docent Universitair Hoofd-Docent Hoogleraar anders Total Frequentie Percentage E ervaring 0 manuscripten gereviewd manuscripten gereviewd manuscripten gereviewd of meer manuscripten gereviewd Total Frequentie Percentage C Vakgebied cognitieve psychologie methoden&statistiek sociale psychologie ontwikkelingspsychologie arbeids & organisatie psychologie klinische psychologie divers Totaal

5 Bijlagen BIJLAGE 3. Unidimensionaliteit en normaliteit Er zijn verschillende meetmodellen die we kunnen gebruiken om de antwoorden te analyseren. Onze veronderstelling is dat de antwoorden op de verschillende items over specifieke onderdelen de uiteindelijke waardering van het manuscript bepalen. De uiteindelijke waardering wordt gemeten door het antwoord op de vraag over de kwaliteit van het manuscript en de vraag over de publiceerbaarheid. Dit kunnen we het beste meten met een formatief meetmodel (Edwards & Bagozzi, 2000). Om dit model toe te kunnen passen gaan we eerst bekijken of er toch niet één achterliggende factor te onderscheiden is die de data kan verklaren. Dit toetsen we met een exploratieve factoranalyse. Met een principale componenten analyse vinden we zowel binnen en over de groepen zeven of meer factoren met een eigenwaarde groter dan 1. Dit ondersteunt de veronderstelling dat meerdere eigenschappen van het manuscript verantwoordelijk zijn voor de beoordeling. In de tabel hieronder staan de eigenwaardes voor de gevonden factors gevonden met een principale componenten analyse gebaseerd op de correlatiematrices. Eigenwaardes en hoeveelheid verklaarde variantie principale componenten analyse NIET-SIGNIFICANT SIGNIFICANT TOTAAL groep Component Eigenwaarde % σ 2 Component Eigenwaarde % σ 2 Component Eigenwaarde % σ 2 STUDENTEN WETENSCHAPPERS TOTAAL Toetsen op normaliteit Uit de onderstaande tabel blijkt dat de vragenlijsten normaal verdeeld zijn, zowel voor de groep studenten als de groep wetenschappers. Alleen de vraag over publiceerbaarheid bij de groep studenten is niet normaal

6 Bijlagen verdeeld. Als we op item-niveau kijken zien we dat bij de groep studenten slechts een paar items normaal verdeeld zijn (zie bijlage 5). We zullen bij deze groep voorzichtigheid moeten hanteren bij het interpreteren van toetsen die normaliteit als voorwaarde hebben. Voor de vergelijking tussen de items over publiceerbaarheid en kwaliteit zullen we gebruik maken van een chi-kwadraat toets aangezien deze op een schaal gemeten wordt die tussen interval en nominaal ligt. Bij de groep wetenschappers zijn de meeste items normaal verdeeld. Ook hier is voorzichtigheid geboden bij het interpreteren van toetsen die normaliteit als voorwaarde hebben. One-Sample Kolmogorov-Smirnov Test op normaliteit afhankelijke variabelen Niet-significante conditie Significante conditie Studenten (n=65) K-S** α (2-zijdig) K-S** α (2-zijdig) Waardering voor manuscript (gem. somscore item 1-11) Mate van publiceerbaarheid (item 12) Perceptie van het oordeel van anderen (gem. somscore item 1-11) K-S K-S Wetenschappers (n=33) α (2-zijdig) α (2-zijdig) Waardering voor manuscript (gem. somscore item 1-11) Mate van publiceerbaarheid (item 12) Perceptie van het oordeel van anderen (gem. somscore item 1-11) * vet gedrukt: normaal verdeeld ** K-S: Kolmogorov-Smirnof

7 Bijlagen One-Sample Kolmogorov-Smirnov Test op normaliteit items REVIEW PERCEPTIE VAN ANDEREN groep Niet-significante conditie Significante conditie Niet-significante conditie Significante conditie Studenten Item K-S** α (2-zijdig) K-S** α (2-zijdig) K-S** α (2-zijdig) K-S** α (2-zijdig) Gem. somscore item inleiding inleiding methoden methoden resultaten resultaten discussie discussie algemeen algemeen kwaliteit publiceerbaarheid interesse Wetenschappers Vraag K-S α (2-zijdig) K-S α (2-zijdig) K-S α (2-zijdig) K-S α (2-zijdig) Gem. somscore item inleiding inleiding methoden methoden resultaten resultaten discussie discussie algemeen algemeen kwaliteit publiceerbaarheid interesse * vet gedrukt: normaal verdeeld ** K-S: Kolmogorov-Smirnof

8 Bijlagen BIJLAGE 4. Correlaties en covarianties Frequenties significante correlaties item 1-10 met items 11 en 12 STUDENTEN WETENSCHAPPERS REVIEW PERCEPTIE REVIEW PERCEPTIE Item paren niet-significant significant niet-significant significant niet-significant significant niet-significant significant total total Correlaties en covarianties review items studenten niet-significante conditie (n=32) inleiding 1 Pearson Correlation 1.00 Covariance inleiding 2 Pearson Correlation Covariance methoden 1 Pearson Correlation Covariance methoden 2 Pearson Correlation Covariance resultaten 1 Pearson Correlation Covariance resultaten 2 Pearson Correlation Covariance discussie 1 Pearson Correlation Covariance discussie 2 Pearson Correlation Covariance algemeen 1 Pearson Correlation Covariance algemeen 2 Pearson Correlation Covariance kwaliteit Pearson Correlation

9 Bijlagen Covariance publiceerbaarheid Pearson Correlation Covariance interesse Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed) Correlaties en covarianties review items studenten significante conditie (n=33) inleiding 1 Pearson Correlation 1.00 Covariance inleiding 2 Pearson Correlation Covariance methoden 1 Pearson Correlation Covariance methoden 2 Pearson Correlation Covariance resultaten 1 Pearson Correlation Covariance resultaten 2 Pearson Correlation Covariance discussie 1 Pearson Correlation Covariance discussie 2 Pearson Correlation Covariance algemeen 1 Pearson Correlation Covariance algemeen 2 Pearson Correlation Covariance kwaliteit Pearson Correlation Covariance publiceerbaarheid Pearson Correlation Covariance interesse Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed) Correlaties en covarianties perceptie van anderen items studenten niet-significante conditie (N=32) perceptie inleiding 1 Pearson Correlation 1.00 Covariance perceptie inleiding 2 Pearson Correlation Covariance perceptie methoden 1 Pearson Correlation Covariance perceptie methoden 2 Pearson Correlation Covariance

10 Bijlagen perceptie resultaten 1 Pearson Correlation Covariance perceptie resultaten 2 Pearson Correlation Covariance perceptie discussie 1 Pearson Correlation Covariance perceptie discussie 2 Pearson Correlation Covariance perceptie algemeen 1 Pearson Correlation Covariance perceptie algemeen 2 Pearson Correlation Covariance perceptie kwaliteit Pearson Correlation Covariance perceptie publiceerbaarheid Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed) Correlaties en covarianties perceptie van anderen studenten significante conditie (N=33) 1 perceptie inleiding 1 Pearson Correlation Covariance perceptie inleiding 2 Pearson Correlation Covariance perceptie methoden 1 Pearson Correlation Covariance perceptie methoden 2 Pearson Correlation Covariance perceptie resultaten 1 Pearson Correlation Covariance perceptie resultaten 2 Pearson Correlation Covariance perceptie discussie 1 Pearson Correlation Covariance perceptie discussie 2 Pearson Correlation Covariance perceptie algemeen 1 Pearson Correlation Covariance perceptie algemeen 2 Pearson Correlation Covariance perceptie kwaliteit Pearson Correlation Covariance perceptie publiceerbaarheid Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed)

11 Bijlagen Correlaties en covarianties review vragen wetenschappers niet-significante conditie (n=15) 1 inleiding 1 Pearson Correlation Covariance inleiding 2 Pearson Correlation Covariance methoden 1 Pearson Correlation Covariance methoden 2 Pearson Correlation Covariance resultaten 1 Pearson Correlation Covariance resultaten 2 Pearson Correlation Covariance discussie 1 Pearson Correlation Covariance discussie 2 Pearson Correlation Covariance algemeen 1 Pearson Correlation Covariance algemeen 2 Pearson Correlation Covariance kwaliteit Pearson Correlation Covariance publiceerbaarheid Pearson Correlation Covariance interesse Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed) Correlaties en covarianties review vragen wetenschappers significante conditie (n=18) inleiding 1 Pearson Correlation 1.00 Covariance inleiding 2 Pearson Correlation Covariance methoden 1 Pearson Correlation Covariance methoden 2 Pearson Correlation Covariance resultaten 1 Pearson Correlation Covariance resultaten 2 Pearson Correlation Covariance discussie 1 Pearson Correlation Covariance discussie 2 Pearson Correlation Covariance algemeen 1 Pearson Correlation Covariance algemeen 2 Pearson Correlation

12 Bijlagen Covariance kwaliteit Pearson Correlation Covariance publiceerbaarheid Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed) Correlaties en covarianties perceptie van anderen items wetenschappers niet- significante conditie (n=15) perceptie inleiding 1 Pearson Correlation 1.00 Covariance perceptie inleiding 2 Pearson Correlation Covariance perceptie methoden 1 Pearson Correlation Covariance perceptie methoden 2 Pearson Correlation Covariance perceptie resultaten 1 Pearson Correlation Covariance perceptie resultaten 2 Pearson Correlation Covariance perceptie discussie 1 Pearson Correlation Covariance perceptie discussie 2 Pearson Correlation Covariance perceptie algemeen 1 Pearson Correlation Covariance perceptie algemeen 2 Pearson Correlation Covariance perceptie kwaliteit Pearson Correlation Covariance cons. publiceerbaarheid Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed) Correlaties en covarianties perceptie van anderen items wetenschappers significante conditie (n=18) perceptie inleiding 1 Pearson Correlation 1.00 Covariance perceptie inleiding 2 Pearson Correlation Covariance perceptie methoden 1 Pearson Correlation Covariance perceptie methoden 2 Pearson Correlation Covariance perceptie resultaten 1 Pearson Correlation Covariance perceptie resultaten 2 Pearson Correlation Covariance perceptie discussie 1 Pearson Correlation Covariance

13 Bijlagen perceptie discussie 2 Pearson Correlation Covariance perceptie algemeen 1 Pearson Correlation Covariance perceptie algemeen 2 Pearson Correlation Covariance perceptie kwaliteit Pearson Correlation Covariance cons. publiceerbaarheid Pearson Correlation Covariance vet gedrukt; correlatie is significant met α.05 (2-tailed)

14 Bijlagen BIJLAGE 5. Regressie analyses Multipele lineaire regressie (ENTER) item 1 t/m 10 op item 11 (kwaliteit) STUDENTEN REVIEW PERCEPTIE conditie = niet-significant conditie = significant conditie = niet-significant conditie = significant B Beta B Beta B Beta B Beta (Constant) inleiding inleiding methoden methoden resultaten resultaten discussie discussie algemeen algemeen WETENSCHAPPERS REVIEW PERCEPTIE conditie = niet-significant conditie = significant conditie = niet-significant conditie = significant B Beta B Beta B Beta B Beta (Constant) inleiding inleiding methoden methoden resultaten resultaten discussie discussie algemeen algemeen * vet gedrukt: α 0.05

15 Bijlagen Multipele lineaire regressie (ENTER) item 1 t/m 10 op item 12 (publiceerbaarheid) STUDENTEN REVIEW PERCEPTIE conditie = niet-significant conditie = significant conditie = niet-significant conditie = significant B Beta B Beta B Beta B Beta (Constant) inleiding inleiding methoden methoden resultaten resultaten discussie discussie algemeen algemeen WETENSCHAPPERS REVIEW PERCEPTIE conditie = niet-significant conditie = significant conditie = niet-significant conditie = significant B Beta B Beta B Beta B Beta (Constant) inleiding inleiding methoden methoden resultaten resultaten discussie discussie algemeen algemeen * vet gedrukt: α 0.05

16 Bijlagen BIJLAGE 6. Exitvragen studenten Wat is volgens u de bedoeling van het onderzoek waar u net aan heeft meegewerkt? Niet-significante conditie (N=32) er wordt gekeken of een zogenaamde pretest een negatieve invloed heeft op de posttest het testen hoe prop psy studenten wetenschappelijke onderzoeksartikelen beoordelen en wat ze van hun niveau vinden in vergelijking met de andere prop psy studenten mate waarin een bepaalde tekst kritisch wordt geevolueerd identificatie met groep psy studenten om te kijken of studenten denken dat hun mening overeenkomst met die van andere studenten geen idee (3x) testen van cognitie om te kijken hoe mensen over anderen denken of je je kan inleven in hoe de andere studenten (lijst 2) je dan positiever evalueert omdat het dan een soort pretest posttest procedure is (??) onderzoeken hoe mensen anderen inschatten de positie van jezelf tov anderen bekijken over hoe kritisch je leest bekijken hoe studenten dit soort artikelen beoordelen verschil bekijken tussen wat proefpersoon zelf vindt en wat hij denkt dat anderen vinden onderzoek naar verschillen tussen sociaal 'wenselijke' antwoorden en pers. antw. invloed van anderen op jouw beslissing dat je eigen mening wordt beinvloed door het tekst. (dat je dan meegaat met de mening van het tekst) inschatten hoe anderen beoordelen kritisch lezen hoe je eigen mening staat t.o.v. andere studenten. in welke mate je denkt overeen te komen je eigen mening vergelijken met wat anderen mogelijk denken iets met sociale vergelijking; hoe men zich denkt te verhouden met de groep of er wel kritisch gelezen wordt? Of het manuscript eigenlijk wel klopt? kijken wat er wordt opgepikt uit een tekst en hoe dat vervolgens wordt ervaren positieve of negatieve attitudes ten opzichte van dit manuscript beoordelen manuscript of houding tov het manuscript vergeleken met hoe de ppn denkt dat andere studenten erover denken het begrijpen en beoordelen van teksten of eigen oordenel in vergelijk met men zelf denkt dat andere beoordelen waarschijnlijk gaat het niet om het lezen zelf maar om het verschil tussen wat ik denk dat andere studenten denken -> eigenlijk heb ik niet echt een idee nagaan in hoeverre mensen denken dat ze hetzelfde denken als andere mensen en daar hun keuze van laten afhangen in de war raken door het lezen van de tekst? Ik vond hem lastig om te lezen en kreeg steeds het gevoel dat er dingen niet in klopten Significante conditie (N=33) ik zou het echt niet weten. Of er een verschil is tussen mannen en vrouwen waar zij op letten. Vrouwen kijken meer naar verwoording van de resultaten en mannen de statistische resultaten aan tonen of een pretest gevolgen heeft voor de evaluatie van de test achteraf geen idee (4x) kijken hoe je jezelf vergelijkt met anderen ik denk dat onderzocht wordt hoe studenten gemiddeld denken zich te verhouden tegenover andere studenten misschien of ik mijzelf intelligenter beschouw dan andere psy-studenten

17 Bijlagen Dat de tekst goed begrepen wordt en dat je niet door de schrijfstijl wordt afgeleid dat je het beter gaat vinden (wetenschappelijker) misschien het vergeljken van hoe verschillende mensen dezelfde tekst zien en of ze denken dat anderen hetzelfde zien (maar het zal vast wel weer iets ingewikkelder zijn ) kijken of studenten niet sociaal wenselijk antwoorden maar ook durven toegeven dat ze er niet veel van snappen (???) kritisch lezen; je eigen mening vergeljken met die van je medestudenten hoe kritisch je leest, hoe geconcentreerd misschien uitvinden hoe goed studenten zijn bij het beoordelen van wetenschappelijke artikelen interessen van jongeren in wetenschappelijke teksten iets met de pre-test en de post-test werkelijk geen ideen van hoe studenten een onderzoek beoordelen (en waar ze op letten) om te kijken hoe goed studenten stof opnemen, als het in een bepaalde vorm wordt geprestenteerd tekstbegrip en beoordeling onderzoeken wat ook in het manuscript staat: of positief geformuleerde vragen een positiever beeld opleveren dan negatief geformuleerde vragen. Ook het vergelijken van vragenlijst 1 en 2 : Denkt ment dat anderen dezelfde mening hebben als zijzelf misschien over de identificatie van 1 student met andere psychologie studenten? onderzoeken van een bias bij een pretest-posttest design waardering en evaluatie bekijken in hoeverre het kritisch lezen door anderen studenten beoordeeld wordt in vergelijking met het eigen kritisch lezen het verschil te onderzoeken tussen jouw mening en wat jij denkt dat de mening van andere studenten zou zijn in hoeverre je eigen beoordeling van het gelezen stuk aansluit bij jouw oordeel over wat anderen vinden of we wetenschappelijk kunnen denken en dus ook kritisch lezen: goede conclusies kunnen trekken uit onderzoeken vergelijken van eigen mening met verwachtingen van andermans mening. eventueel fouten in het lezen kijken hoe goed je de wetenschappelijkheid van een artikel kan beoordelen link leggen tussen begrip en interesse of of je kritisch bent (meer negatief of positief) Wat vindt u van de wetenschappelijke waarde van het onderzoek waaraan u net heeft meegewerkt? Niet-significante conditie (N=32) er kwamen geen bijzondere resultaten uit het onderzoek. Er is niks ontdekt verder onderzoek is nodig! ik denk dat dit wel een bijdrage levert goed, belangrijk onderwerp om in veel onderzoeken pretests worden gebruikt ik weet het niet, maar het lijkt me wel goed goed (2x) matig (2x) de onderzoekers zelf konden niet eens zeggen dat de vraagstelling naar behoeve was beantwoord, dus niet zo goed ik weet niet waar dit onderzoek over gaat. Maar als het over bovengenoemde gaat dan vind ik het in ieder geval interessant prima matig, geen idee wat je ermee moet het zal vast wel goed zijn van kleine waarde? (2x) neutraal goed, omdat het vrij onduidelijk is wat de bedoeling is dus daardoor wordt het betrouwbaar hoge waarde

18 Bijlagen kan ik zo niet inschatten goed; maar iets te chaotisch om zo achter elkaar te lezen. Snel in de war als het daar op lijkt (3), dan is het in ieder geval praktisch niet voldoende niet heel erg bijzonder, beetje saai omdat pretest vaak in gebruik zijn vind ik het belangrijk onderzoek na hun mogelijke invloed te doen de wetenschappelijke waarde van dit onderzoek zal vast bestaan, maar om eerlijk te zijn heb ik zelf geen mening -> misschien omdat ik niet zo goed weet waarvoor het is gaat wel ik vindt het matig of slecht maar kan het eigenlijk niet beoordelen omdat de tekst op mij vreemd overkomt als vervolgonderzoek de resultaten bevestigen, vind ik waardevol om te weten dat de besproken bias in zo bestaat als tot nu toe vermoed Significante conditie (N=33) het zegt met niet zoveel, ik weet nooit zo goed wat ze met bijvoorbeeld Z=3.17;p willen niet zo heel groot,mij is niet duidelijk geworden wat het nut is van pretesten? (2x) hoger als bij rest van onderzoek misschien wel interessant als blijkt dat studenten zich blijken te overschatten geen idee (2x) het is wel belangrijk om ervoor te zorgen dat men goede pretesten en posttesten ontwikkeld ik weet de werkeljke toedracht niet dus daar kan ik niet veel over zeggen ik denk dat de wetenschappelijke waarde niet zo groot is het is waard best hoog goed (2x) weet niet of iedereen het even serieus neemt redelijk groot: het is van belang voor elk onderzoek redelijk, maar niet echt volledig ik niet zeker wat de bedoeling is, dus daar kan ik weinig over zeggen. er kloppen volgens mij heel veel dingen niet waardoor ik mijn twijfels heb over de wetenschappelijke waarde. Ik denk dat er verder onderzoek moet worden gedaan om echt ws. waarde aan het hechten. neutraal het is een gedetailleerd en saai onderwerp (volgens mij), maar wel van belang wel nuttig belangrijk mwah invloed van pretest is wel belangrijk ok weet niet wat er wordt onderzocht, dus kan er niks over zeggen geen flauw idee, aangezien ik niet weet waarover het gaat. Als het over 'kritisch lezen' gaat dan ik vind ik hem goed, want ik had moeite om de tekst te lezen, laat staan begrijpen!

19 Bijlagen Heeft u nog verder opmerkingen naar aanleiding van het onderzoek waaraan u net heeft meegewerkt? Niet-significante conditie (N=32) grappig, ik dacht dat er vragen zouden komen over het onderzoek, dus ik had me daarvoor voorbereidt nee (7x) geen ik weet toch niet wat anderen denken zonder ze gesproken te hebben ik had de indruk dat de inhoud van het artikel niet steeds consistent was * ja, ik zal inderdaad wel benieuwd zijn naar de bedoeling van het onderzoek mag wel even gezegd worden dat het engels is duidelijker in grote lijnen naar aanleding van het manuscript: De pretest en de posttest zijn voor het onderzoek ontwikkeld, er staat nergens vermeld hoe. Zo wordt niet duidelijk of het gemeten construct ook daadwerkelijk niet veranderd of dat dit aan de test kan liggen. ik wil graag weten wat de bedoeling is! Significante conditie (N=33) Nee (5x) een meer begrijpeljk manuscript (+boeiender) maar daar zal het wel om gaan in dit onderzoek veel lezen! ik vond het om eerlijk te zijn een moeilijke test moeilijke schrijfstijl x (2x) het manuscript is wel erg lang om goed je concentratie erbij te kunnen houden lastig om na 1 keer lezen goed de vragen te beantwoorden. Normaal gesproken lees ik dit soort artiekelen een aantal keer en maak ik er een samenvatting van was niet helemaal mijn gebied van interesse, beetje droog. Ik hoop dat dit voor mij (en anderen) niet de antwoorden beinvloed

20 Bijlagen BIJLAGE 7. Open- en exitvragen wetenschappers 2a. Eventuele opmerkingen naar aanleiding van de inleiding Niet-significante conditie (N=14) De inleiding kent geen duidelijke vraagstelling. Aan de hand van de theorie wordt wel duidelijk wat de onderzoekers willen weten, maar een vraagstelling en een (of meerdere) hypothese(s) zouden de leesbaarheid bevorderen. De tekst is erg abstract, het artikel is nogal "saai" opgeschreven. het 'sensitization effect' wordt helemaal niet toegelicht Mis in de eerste alinea referenties Significante conditie (N=18) Was misschien zinnig geweest om in het begin iets meer te zeggen over verschillende soorten onderzoeksdesigns en waarom pretest designs al dan niet nodig zijn. Gezien de conclusie: je kan ook toe met gerandomiseerd onderzoek was het hele onderzoek misschien niet nodig geweest. Zijn er helemaal geen situaties dan waar pretesten echt nodig is is? Referenties naar 'previous work' ontbreken. geen enkele referent voor de 5 aangehaalde punten.. te weinig inbedding in bestaande theorievorming, geen info over plaatsing van het onderzoek (veld van onderzoek: sociale psycholie, onderwijspsychologie, iets anders) er worden geen expliciete voorspellingen gedaan. herschrijven;zie discussie schrijfstijl ligt me niet zo, maar op zich laten de auteurs wel goed zien waarom dit een belangrijk onderzoek zou kunnen zijn. De probleemstelling wordt onvoldoende ingebed in het literatuuroverzicht. verschil/overeenkomsten Exp 1 en 2 niet duidelijk de theoretische achtergrond van de vraagstelling vond ik zeer matig! abstract is redelijk onduidelijk, daarnaast wordt de rol van positief vs negatief geformuleerde vragen niet onderbouwd en vanuit het niets in de probleemstelling geplaatst 1ste experiment zou antwoorden moeten geven, tweede niet

21 Bijlagen a. Eventuele opmerkingen naar aanleiding van de methoden Niet-significante conditie (N=14) Vooral het tweede onderzoek zou gebaat zijn met twee extra condities, namelijk 1) positieve pre-test met negatieve posttest en 2) negatieve pretest met positieve posttest. Op deze manier kun je pas echt weten wat het effect is van een positief of negatief gebias-de voormeting. Keuze voor onderzoeksopzet wordt niet duidelijk verdedigd. Geen heldere connectie met de resultatensectie. Te beknopt. De methodensectie bij experiment 2 is een stuk beter dan de methodensectie bij experiment 1. In beide teksten wordt echter niet duidelijk verwoord wat nou precies conditie 1 is en welke conditie aangeduid wordt als conditie 2. Alleen via de tabellen is deze informatie goed te achterhalen (en niet in de tekst). In de resultatensectie spreken de onderzoekers wel steeds over conditie 1 of 2. Dat is verwarrend en onduidelijk. experiment 1 niet duidelijk beschreven, experiment 2 wel Significante conditie (N=18) Ik denk dat er meer gecontroleerd had kunnen worden, meerdere willekeurige steekproeven nemen bv... m.i. moet er controle zijn voor een hertest-effect door ook no-treatment groepen in het design op te nemen. Een rationale voor het design ontbreekt. Vooral het tweede experiment is onvoldoende beschreven. Gaat het om dezelfde studenten? Gaat het om hetzelfde attitudeinstrument? Ook de attitude instrumenten zijn onvoldoende beschreven en referenties ontbreken. kan duidelijker opgeschreven worden. karakterestieken van pp missen (leeftijd, SD, hoeveel mannen en hoeveel vrouwen). Duur van test had ook wel vermeld kunnen worden. er is geen vraagstelling. Noch hypothese Methoden zijn niet zorgvuldig weergegeven, zo ontbreekt bijv. de man-vrouw ratio, gemiddelde leeftijd, ik mis voorbeeld items, etc. De operationalisatie kwam wat uit de lucht vallen. Verder wordt het materiaal onvoldoende beschreven, zeker in het licht van het belang dat eraan gehecht wordt. geen duidelijkheid over de soort vragen, geen uitleg over programmed instruction, het lijkt erop dat er een negatief oordeel bestaat over programmed instruction, daar wordt niets mee gedaan, hoe werd de cursus zelf beoordeeld, wordt ook niet aangegeven, zou kunnen interacteren wanneer die niet neutraal is, wat zijn de resultaten op het tentamen, invloed daarvan?er wordt niet aangegeven of 3.55 van 3.47 significant verschilt, etc., in studie 1 heeft post en pretest betrekking op de stijl van het te leren vak, in studie 2 gaan post en pretest over het 'vak' zelf, dit zijn 2 verschillende fenomenen, waarom worden er uit een groep van 86 personen er 36 random aan 1 subgroep en 50 aan de andere subgroep toegewezen, Sensititatie tussen pretest en treatment. In experiment 1 wordt treatment effect niet gemeten met controlegroep, dus interactie niet te meten 1. In de discussie blijkt pas dat studenten in experiment 1 de vragenlijst hebben moeten ondertekenen ("external commitment") en dat bij experiment 2 het onderzoek anoniem is uitgevoerd. 2. De beide eenvoudige experimenten zijn niet echt eenvoudig en systematisch beschreven. 3. In de resultaten van experiment 1 wordt de indruk gewekt dat conditie 2 een controle conditie is zonder instructie (?). "A repeated administration of the attitude measurement without any experience with programmed instruction in between, however, might show a similar decrease. Condition 2 allowed the assessment of this posibility". 4. Het is onduidelijk hoe de onderzoekers tot het idee komen dat de positieve en negatieve formuleringen van de items ertoe doen "Re-examination of the items....". Of je daar iets aan kunt zien. Afzonderlijke analyses met positieve en negatieve items had mogelijk iets duidelijk kunnen maken. Daar wordt niet naar verwezen. 5. Het is onduidelijk waarom de studenten zo onevenredig over beide condities van experiment 1 zijn verdeeld. 6. Van "separate-sample" design heb ik niet eerder gehoord. Mogelijk heb ik iets gemist.

22 Bijlagen Ik begrijp niet waarom in het design een "control questionnaire" wordt geïntroduceerd terwijl in tabel 2 onder pretest "no" staat. De controle vragenlijst is als zodanig niet waar te nemen in een collectieve testafname met vele metingen. Vrijwel elke vragenlijst uit de collectieve testafname had hier als controle lijst opgenomen kunnen worden. 8. Wat wordt bedoeld met "positive test week measure"? 9. Het onderzoek had zich wel wat meer mogen buigen over de bekende bronnen van het sensitisatieeffect door b.v. achteraf vragen te stellen over de voormeting (werd u nieuwsgierig, gemotiveerd, gehinderd uw mening bij een tweede meting aan te passen, hebt u rekening gehouden met de verwachtingen van de onderzoeker, enz). Ik noem maar wat. Het experiment 1 heeft nu geen toegevoegde waarde in vergelijking met eerder onderzoek. 10. De statistische power van de experimenten is waarschijnlijk onvoldoende voor het vaststellen van kleine effecten.

23 Bijlagen a. Eventuele opmerkingen naar aanleiding van de resultaten Niet-significante conditie (N=14) er zijn misschien ook nog andere verklaringen voor het verschil in antwoordgedrag tussen positief en negatief gestelde items Verschillen tussen de twee pretests worden niet beschreven. Niets gezegd over mogelijke maximumscores op verschillende vragenlijsten etc. "Condition 1" en "Condition 2" zijn zeer onduidelijke labels. Het zou handiger zijn om te spreken over de "pretest group" en de "no pretest group". Bij vraag 5 heb ik 'neutraal' gekozen, omdat de statistische verwerking van de gegevens bij experiment 1 niet duidelijk weergegeven is, terwijl dit bij experiment 2 al wel een stuk duidelijker en uitgebreider is gebeurd. experiment 1 niet, experiment 2 wel vraag 6 is dubbel geformuleerd. tabellen ok tekst niet. Condition 2 students evaluated the programmed method about the same after the treatment than Condition 1 students did before (means 3.24 vs. 3.28). Moet zijn "Condition 2 students evaluated the programmed method about the same after the treatment as Condition 1 students did AFTER the treatment (means 3.24 vs. 3.28)." Significante conditie (N=18) De betekenis van het begrip reliability in relatie tot de onderzoeksvraag is onduidelijk. In Exp. 2 staan slordigheden (t statistiek niet consistent over de twee experimenten... negatieve t-waarden.. = and > worden door elkaar gebruikt... in de resultaten sectie worden stukken discussie geschreven.. misschien beter om een discussie per experiment in te voeren, en een general discussion er zijn means, sd en N, maar er wordt niet overal statistieken en significanties gegeven/ook wordt niet expliciet gezegd wat conditie 1 en conditie 2 betekenen, al kan dat makkelijk achterhaald worden de statistiek zelf echter is zeer slecht, voor benatwoording van de vraag worden de verkeerde means met elkaar vergeleken. volgens mij voor "means" letter gebruiken. Soms is deze ook vermeld, maar soms zijn alleen de getallen gegeven zonder symbool of label. Er zijn geen toetsingswaardes (f-waarde o.i.d.) voor de verschilscore gegeven, allleen dat het "niet genoeg verschilde" In tabel 1 zou ook een indicatie gegeven kunnen worden welke waardes significant zijn. aan-en afwezigheid van verschillen gerapporteerd zonder toets + significantie Het is mij onduidelijk waarom dingen herscoord moeten worden, verder houd ik persoonlijk niet zo van tabellen etc. Enkele grafieken hadden het manuscript goed gedaan. Onduidelijk of er een- of tweezijdig wordt getoetst. Verder staan er hier en daar foutjes zoals gelijkenis over betrouwbaarheid op pagina 3. geen waarom eenzijdige t-tests, er wordt geen richting voorspelt, er staan fouten in t interactie van 1 vs 2 in vergelijking met 3 vs 4 niet met t-toetsen maar dmv variantie-analyse De statistische verwerking van de gegevens is wel controleerbaar, maar niet afdoende. M.i. zijn de gegevens van tabel 3 als volgt te interpreteren: 1. Er is een groot hoofdeffect van itemformulering op de voormeting en op de nameting; positieve formuleringen leiden tot lagere gemiddelde scores (wordt niet getoetst in het artikel, terwijl aan het eind van de resultatensectie van experiment 2 deze conclusies wel worden genoemd). 2. Het effect van de behandeling is groot en negatief voor beide instrumenten (ongeveer even sterk). 3. Het sensitisatie-effect van de voormeting met positief geformuleerde items op eenzelfde nameting is middelgroot en positief. Voor de positief geformuleerde posttest ES=0.46 sd en voor de negatief geformuleerde posttest ES=0.12 sd. M.i. had bij de analyses van de sensitisatie-effecten rekening gehouden moeten worden met de effecten van itemformulering (positief en negatief) en de (negatieve) effecten van de behandeling. De conclusie van de auteur dat positief geformuleerde items attitudeverandering inhiberen is moeilijk te volgen. Uit de tabel blijkt dat de attitudeverandering in conditie 1 en 3 ongeveer gelijk zijn (ES pretest1- posttest1= en ES pretest3-posttest3= -0.75). Het sensitisatie-effect van de positieve items is groter

24 Bijlagen dan die van de negatieve items (ES pretest1-posttest2= en ES pretest3-posttest4= +0.12). Daaruit volgt dat juist bij positieve items de grootste (negatieve) attitudeverandering plaats vindt. De conditie zonder (!) voormeting met positieve itemformuleringen lijkt negatievere attitudes te registreren. Zekerheid zou een controlegroep hebben opgeleverd of een meer zorgvuldige analyse. Verder staat een tikfout in de toetsingsresultaten: p>.001 moet zijn p< a. Eventuele opmerkingen naar aanleiding van de discussie Niet-significante conditie (N=14) de conclusies worden nogal sterk aangezet terwijl de studie beperkt was in opzet en omvang Significante conditie (N=18) Enkele punten aan het eind kunnen concreter worden uitgewerkt. het onderzoek laat te veel open.. niet beantwoord.. er worden genoeg suggesties gedaan ook al zijn ze totaal niet boeiend of relevant. theoretische implicaties worden niet behandled of zijn niet te geven aan de hand van de uitkomsten 1.er waren geen hypothesen 2. Nooit nieuwe resultaten in discussie rapporteren Tja, de discussie is wel ok voor zover ik kan beoordelen. Dat kan beter. evt mogelijkheden van research design bespreken het is mij uit de resultaten en methode sectie niet duidelijk geworden dat dezelfde pre en posttest zijn gebruikt, sterker nog het tegenovergestelde wordt geïmpliceerd, exp1 onjuiste conclusie, bovendien in exp1 wordt signeren niet gemanipuleerd. Derhalve geen consequentie voor xxx (1986 (p7) De discussie is incompleet omdat deze slechts de sensitisatie-effecten bespreekt van de voormeting op de nameting. In experiment 2 blijkt ook een (negatief) hoofdeffect van (positieve) itemformulering op attitude. Het negatieve hoofdeffect van de behandeling wordt evenmin besproken terwijl dit mogelijk het sensitisatie-effect heeft gemedieerd: positieve uitspraken lokken relatief lage scores uit in het zicht van respectievelijk na een negatieve behandeling. De verklaring van de auteur lijkt me onzin: "The negative pretest statements perhaps confirmed prevailing prejudices". De attitudes met de negatieve itemformuleringen leiden tot hogere (positievere) scores. Dat positieve pretestitems attitudeveranderingen bemoeilijken lijkt moeilijk te geloven (zie 6A). De laatste opmerking begrijp ik niet: "Finally, without a pretest". De opmerking "The data support the idea that it is.... general way. (p6/7) begrijp ik niet. De conclusie moet zijn dat waarschijnlijk niet dezelfde eigenschappen gemeten worden. 10a. Eventuele algemene opmerkingen naar aanleiding van het manuscript Niet-significante conditie (N=14) de originaliteit is beperkt vanwege beperkte studie-opzet Soms wel erg populair geschreven (vehicle of instruction??). Slecht leesbaar, vermoeiend. Niveau van discussie is erg mager. Originaliteit kan ik niet beoordelen. Ben niet thuis in de literatuur op dit vlak. Ik kan niet beoordelen in welke mate het manuscript origineel is, omdat ik niet thuis ben in dit onderzoeksveld. Significante conditie (N=18) Enkele slordigheden. matig engels. Zinnen zijn te vrij vertaald uit een andere taal (nederlands..?).. geklojo, verschrikkelijk amateuristische stijl, duidelijk door niet engelstaligen geschreven. vreselijke ad hoc vraagstelling, er was eerst data en toen werd pas een vraag bedacht. verkeerde analyses, totaal niet interessant. slechte inbedding in literatuur.