Does the method of assessment affect memoryperformances?

Beïnvloedt de wijze van testafname de geheugenprestaties? Onderzoek naar de validiteit van een woordenleertest binnen het Virtueel Laboratorium van de Open Universiteit Does the method of assessment affect memoryperformances? A Study on the validity of a word learning test within the Virtual Laboratory of the Open University Marijke Leeuwenkamp Eerste begeleider: dr. S. van Hooren Tweede begeleider: dr. W. Waterink juli 2009 Faculteit Psychologie Afstudeerrichting Gezondheidspsychologie Open Universiteit Nederland 1

Inhoudsopgave SAMENVATTING... 4 SUMMARY... 6 1 INLEIDING... FOUT! BLADWIJZER NIET GEDEFINIEERD. 1.1 Maakt motivatie of stress verschil bij de OU-internet-geheugentest?.Fout! Bladwijzer niet gedefinieerd. 1.2 Belang van standaard- en optimale testcondities en fairness...fout! Bladwijzer niet gedefinieerd. 1.3 Testcondities bij computerbased-testing: proefleider en bekendheid met computerhulpmiddelen...fout! Bladwijzer niet gedefinieerd. 1.4 Gecomputeriseerde neuropsychologische testen...fout! Bladwijzer niet gedefinieerd. 1.5 Testen via internet: bekendheid met de wijze van testafname...fout! Bladwijzer niet gedefinieerd. 1.6 Van literatuur naar vraagstelling...fout! Bladwijzer niet gedefinieerd. 1.7 Onderzoeksvraag en - variabelen...fout! Bladwijzer niet gedefinieerd. 1.8 Hypothesen...Fout! Bladwijzer niet gedefinieerd. 2 METHODE... FOUT! BLADWIJZER NIET GEDEFINIEERD. 2.1 Onderzoeksdesign...Fout! Bladwijzer niet gedefinieerd. 2.2. Onderzoekspopulatie...Fout! Bladwijzer niet gedefinieerd. 2.3 Procedure...Fout! Bladwijzer niet gedefinieerd. 2.4 Meetinstrumenten...Fout! Bladwijzer niet gedefinieerd. 2.5 Analyses...Fout! Bladwijzer niet gedefinieerd. 3. RESULTATEN... FOUT! BLADWIJZER NIET GEDEFINIEERD. 3.1 Onderzoeksgroep: demografische gegevens...fout! Bladwijzer niet gedefinieerd. 3.2 Missing Data...Fout! Bladwijzer niet gedefinieerd. 3.3 Centrale vraagstelling: geheugenprestaties...fout! Bladwijzer niet gedefinieerd. 3.4 Motivatie en Stress...Fout! Bladwijzer niet gedefinieerd. 2

4 DISCUSSIE... FOUT! BLADWIJZER NIET GEDEFINIEERD. 4.1 Testafname-wijze...Fout! Bladwijzer niet gedefinieerd. 4.2 Stress...Fout! Bladwijzer niet gedefinieerd. 4.3 Motivatie...Fout! Bladwijzer niet gedefinieerd. 4.4 Onderzoeksgroep en power...fout! Bladwijzer niet gedefinieerd. 4.5 Ten slotte...fout! Bladwijzer niet gedefinieerd. REFERENTIES... FOUT! BLADWIJZER NIET GEDEFINIEERD. BIJLAGE 1 DOCUMENTEN PROCEDUREFOUT! BLADWIJZER NIET GEDEFINIEERD. BIJLAGE 2 BEREKENING UIT GPOWER. FOUT! BLADWIJZER NIET GEDEFINIEERD. BIJLAGE 3 BELASTINGSSCHAAL MENTALE INSPANNING... FOUT! BLADWIJZER NIET GEDEFINIEERD. BIJLAGE 4 VRAGENLIJST MOTIVATIE ASPECTEN... FOUT! BLADWIJZER NIET GEDEFINIEERD. BIJLAGE 5 PERCEIVED STRESS SCALE. FOUT! BLADWIJZER NIET GEDEFINIEERD. 3

Samenvatting Het internet is een dankbaar en groeiend medium voor psychologisch onderzoek. De Open Universiteit heeft een traditionele face-to-face test voor het meten van geheugenprestaties vertaald naar een internetafname-test binnen het Virtueel Laboratorium. De validiteit hiervan is echter nog niet vastgesteld. Bij het vorige valideringsonderzoek van Franssen (2007) bleken prestaties via internet significant lager te liggen dan bij de persoonlijke afname op een studiecentrum. Computerhouding, motivatie, of computerervaring konden deze verschillen niet verklaren, maar mogelijk wel motivatie in verband met de aanwezigheidvan een proefleider en stress in verband met opgetreden computerproblemen. Binnen de huidige studie heeft opnieuw validatie van de internetgeheugentest plaatsgevonden middels een experimenteel design waarbij stress en motivatie met meer betrouwbare instrumenten zijn gemeten en een aantal softwareproblemen tevoren is opgelost. De centrale vraagstelling van dit onderzoek luidt: In hoeverre is de wijze van testafname van invloed op de geheugenprestaties? In de literatuur werd gevonden dat bekendheid met de computerhulpmiddelen en aanwezigheid van een proefleider belangrijk zijn voor het goed verlopen van computerbased-testen. Verondersteld werd dat mensen beter bekend zijn met een persoonlijke testafname op een voor hen bekende locatie dan met internet-testen met behulp van nieuwe computerhulpmiddelen als een pc-microfoon, en alleen thuis zonder persoonlijk proefleider. De centrale hypothese luidde: In de groepen die een internet geheugentest hebben gekregen, heeft men lagere geheugenscores dan in de groep die een face-to-face geheugentest heeft gekregen. Deze hypothese is getoetst door een independent random group design, met 5 onafhankelijke groepen. De deelnemers wisten tevoren niet aan welke groep ze zouden worden toebedeeld. In internetgroep-1 kregen ze alleen een geheugentest, in internet-groep 2 kregen ze tevoren ook een training in de computerhulpmiddelen, in internetgroep 3 kregen ze bij de geheugentest begeleiding van een virtuele proefleider, in internetgroep 4 kregen ze bij de geheugentest zowel een training als een virtuele proefleider en in groep 5 legden ze de geheugentest af in een studiecentrum onder begeleiding van de onderzoeker met behulp van een powerpointpresentatie die identiek was aan de internettest. In het onderzoek werden ook diverse vragenlijsten gebruikt om de stress en motivatie van de deelnemers te meten. De groep deelnemers bestond uit studenten psychologie uit heel Nederland. Uit de analyse van de resultaten kan worden geconcludeerd dat de gemiddelde score op de face-toface geheugentest niet significant verschilt met de gemiddelde score op de internet-groepen 1, 4

2 en 3. Dit zou verklaard kunnen worden door het feit dat de face-to-face-afname nu meer gestandaardiseerd is afgenomen dan bij het vorige valideringsonderzoek. De geheugenscores van de verschillende internetgroepen verschilden ook niet met elkaar, en dit zou verklaard kunnen worden door de mogelijkheid dat de aangeboden training in computerhulpmiddelen te weinig effect heeft gehad op bekendheid met de procedures, of dat aanwezigheid van een virtuele proefleider niet geloofwaardig was. De stress en motivatie van de deelnemers verschillen niet per conditie. Mogelijk zijn deze variabelen niet met valide instrumenten en niet op het juiste tijdstip tijdens het experiment gemeten. Bij vervolgonderzoek zouden de variabelen, stress en motivatie, ook beter gemanipuleerd kunnen worden met uit onderzoek bekende stressoren en intrinsieke en extrinsieke beloningen. Vervolgonderzoek kan plaats vinden bij andere doelgroepen met bijvoorbeeld gemiddeld een lagere opleiding of mindere computerervaring. Hiervoor kan wel de ontwikkelde face-to-face-geheugentest gebruikt worden samen met de eerste groepen internettesten, bijvoorbeeld om de gevonden resultaten te repliceren. 5

Summary The Internet is a grateful and growing medium for psychological research. The Open University has modified a traditional face-to-face-memory test to an Internet-based-test within the Virtual Laboratory. The validity of it has not yet been established. In the previous validation study of Franssen (2007), memory-performance in the Internet-based-test was significantly lower compared to the memory-performance in face-to-face-test. Computer attitude, motivation, or computer experience could not explain these differences, but explanations could be found in the motivation related to the presence of a test-leader and /or stress associated with computer problems occurred. In the present study has again validation taken place of the Internet-memory-test by means of an experimental design in which stress and motivation are measured with more reliable instruments and a number of software problems have been previously solved. The central question of this research is: To what extent does the method of test affect memory performance? In the research literature was found that familiarity with computer tools and the presence of a test leader are important for the smooth operation of computer-based testing. The presumption was that people are more familiar with a personal test on a well-known location than with Internet testing using new computer tools as a PC microphone, and perform better with a test-leader than performing home alone without a personal test leader. The central hypothesis was: In the groups with an Internet-memory-test, participants have lower memory scores than participants in the group with a face-to-face memory test. This hypothesis has been tested by an independent random group design, with 5 independent groups. The participants didn t know in advance to which group they were assigned. Internet Group-1 only had a memory test, in the Internet group 2 they had a pre-training in computer tools as well, Internet group 3 passed the memory-test in the attendance of a virtual test-leader and participants in the Internet group 4 received the same computertraining in advance and also the guidance of a virtual test-leader, group 5 did the memory test in a well-known university-location under the guidance of the researcher using a powerpoint presentation that was identical to the Internet test. In the study, several questionnaires were used to measure stress and motivation of participants. The group of participants consisted of psychology students from all over the Netherlands. The analysis of the results showed that the average score on the face-to-face memory test was not significantly different from the average score on the Internet groups 1, 2 and 3. This could be explained by the fact that the face-to-face test was performed in a more standardized way than the previous validation study. The memory scores of the various internet groups also did not 6

differ from each other, and this can be explained by the possibility that the training in computer tools has had little effect on knowledge of the procedures, or presence of a virtual test leader was not credible. The stress and motivation of the participants did not differ by condition. Perhaps these variables were not measured with valid instruments or were not measured at the right time during the experiment. In follow-up study, these variables can better be manipulated with knowledge of potential stressors and intrinsic and extrinsic rewards. Advanced studies can be performed in other groups, for example recruiting participants with a lower level of education or computer experience to replicate the found results. The developed face-to-face memory test can be used in conjunction with the first three groups of the Internet memory testing. 7