Online Trust. Procesbeschrijving

Transcriptie

1 Online Trust Procesbeschrijving Dit document bevat een beschrijving van het proces bij de Online Trust opdracht voor de cursus Informatie-uitwisseling van de opleiding Informatiekunde Team #71: Bluelephant Marel Huijsmans, Jaber Roeleveld

2 1 Procesbeschrijving Online Trust Voor een beschrijving van eerdere werkzaamheden zie de procesbeschrijving webdesign. Inhoud Onderzoek... 2 Doel van het onderzoek... 2 Definitie van trust... 2 Methode van onderzoek... 3 Uitvoering en conclusies... 4 Webdesign... 5 Functioneel... 5 Esthetiek... 5 Kleurgebruik en lettertype... 5 Voorgrond- en achtergrondinformatie... 6 Afbeeldingen en foto s... 6 Checklist Website... 8 Bronnen... 9 Zoekwoorden en databases... 9 Samenvatting wetenschappelijke artikelen Geraadpleegde vakken en websites Extra Gebruikte vragenlijst Gebruikte stimuli De ruwe data Werkzaamheden Initiële planning Uiteindelijke activiteiten Taakverdeling Problemen Bijzondere teamactiviteiten Peer reviews door groep # Eigen peer reviews Reflectie Appendix A: Ruwe Data... 25

3 2 Onderzoek Doel van het onderzoek Inkadering Steeds vaker hoor je op het journaal waarschuwingen voor nagemaakte berichten die doen geloven dat ze verstuurd zijn door je bank, webwinkel of pakketbezorger. Natuurlijk kan je als ontvanger altijd de andere partij op een andere wijze contacteren om de legitimiteit van een bericht te toetsen, maar vaak blijkt dat wanneer de oorspronkelijke boodschap grondig wordt bekeken er al aanwijzingen waren dat iets niet in de haak was. Het zijn echter niet langer simpelweg s die worden nagebootst, steeds vaker worden web gebruikers omgeleid naar gedeeltelijke of volledige nagebootste websites. Ondertussen willen banken en webwinkels zelf nog wel een geloofwaardige indruk in stand houden, zo verzint men bijvoorbeeld het plaatje van het slotje voor veilige verbindingen. Dit werkt echter ook niet altijd. Web users ultimately want to get at data quickly and easily. They don't care as much about attractive sites and pretty design. Tim Berners-Lee Het web is bovendien tegenwoordig de eerste informatiebron die mensen raadplegen voor bijvoorbeeld financiële zaken maar bijvoorbeeld ook medische advies. Echter blijkt dat veel van deze informatie inaccuraat is. Doelstelling Het is daarom interessant vast te stellen welke queues of aspecten van de informatieoverdracht het vertrouwen van bezoekers beïnvloeden. Wij bouwen hierbij voort op onderzoek naar hoe variaties in presentatie van dezelfde informatie van invloed was op de geloofwaardigheid door web gebruikers. Hypothesen Een hoog stilistische presentatie van de informatie is geloofwaardiger dan o een inconsistente presentatie. o een laag stilistische presentatie. Wat is de invloed van een website zijn stilistische presentatie op de geloofwaardigheid van zijn tekstuele informatie? Een consistente presentatie van de informatie is geloofwaardiger dan een inconsistente presentatie. Definitie van trust Onze definitie van Online Trust bouwt voor op de definitie van Trustworthiness de staat waarin iets betrouwbaar is of vertrouwen verdient. In het kader van online trust betreft dit dus of informatie op het internet de aangeschreven geloofwaardigheid van de gebruikers verdient.

4 3 Methode van onderzoek We stellen vier sample websites samen met gelijke informationele-inhoud maar met variatie in visuele presentaties. Vanuit literatuur zijn heuristieken vastgesteld waarmee we hoog-esthetische en laag-esthetische presentaties maken voor de samples. Dit kunnen puur visuele heuristieken zijn maar mogelijk ook met betrekking tot usability of taalgebruik. Door de heuristieken toe te passen proberen we de presentatieverschillen kwantificeerbaar te houden. De inhoud van de sample websites zal informatief educatief of naslag zijn. Een goede kandidaat is een Wikipedia artikel. We willen voor dit onderzoek websites met transacties zoals banken of webwinkels in ieder geval uitsluiten omdat het rekening houden met economisch gedrag van bezoekers niet in het kader valt van een kort onderzoek. Testdeelnemers worden tijdens het experiment een aantal sample websites getoond en vullen tussen vertoningen in de enquête in. De vragen richten op kwantificeerbare eigenschappen omdat deze beter te verwerken en vergelijken zijn. Er blijft mogelijkheid voor open vragen. De enquête vraagt niet alleen naar geloofwaardigheid maar ook naar de visuele representatie. Door te kijken naar de correlatie tussen deze twee categorieën vragen is de uitslag van het onderzoek minder afhankelijk dan blind te vertrouwen op onze heuristieken. We willen verder gaan door meer te kijken naar websites als een geheel, bundelingen van pagina s, in plaats van individuele pagina s beoordelen. Hoewel de landingspagina meer doorslaggevend zou kunnen zijn voor bezoekers, willen we vaststellen wat er gebeurt wanneer de visuele presentatie van een site inconsistent is. Bovendien geeft dat meer mogelijkheden tot interactie, wat een belangrijk aspect is van het Web.

5 4 Uitvoering en conclusies Een uitgebreide verslagvoering vindt u in het verslag onderzoeksresultaten. Voorbereiding De inhoud van de testwebsites is vastgelegd. Er is een neutraal onderwerp gekozen: Prisma s. Er zijn vier pagina s inhoud over dit onderwerp geschreven en 3 plaatjes getekend. Deze inhoud is gebruikt om 4 verschillende websites met identieke inhoud te creëren. Hoog stilistisch Laag stilistisch Consistent Website 1 Website 3 Inconsistent Website 2 Website 4 Elke pagina is zelf wel consistent, maar bij de inconsistente websites is er sprake van verschillen tussen de 4 pagina s. De sample sites kunnen ook zelf bekeken worden. Testdeelnemers worden tijdens het experiment één voor één de vier sample websites getoond en vullen tussendoor de enquête in. Deelnemers mogen hierbij zelfstandig de websites verkennen. Er blijft daarbij een mogelijkheid voor opmerkingen aan het einde van de enquête. Analyse Er waren 11 deelnemers bij dit onderzoek. Voor vragen met puntenschaal zijn gemiddelde, modus en mediaan berekend. De vragen waar gebruikers kozen tussen verschillende websites zijn verwerkt als poll. Bij het trekken van conclusies kijken we vooral naar de mediaan omdat dit een robuuste statistiek is die met uitbijters om kan gaan. Conclusies We hebben geconcludeerd dat consistentie zeer veel invloed heeft op een website zijn mate van betrouwbaarheid. Dit is in overeenstemming met recente wetenschappelijke publicaties. Esthetische opmaak blijft bij dit onderzoek een betwistbaar punt. Resultaten lijken te suggereren dat geen opmaak beter is dan een verwarrende uitgebreide opmaak. Toelichting en onderbouwing van deze conclusie zijn te vinden op de website en het resultaten verslag. Ze zijn opgenomen in de procesbeschrijving voor overzicht.

6 5 Webdesign Functioneel Responsief ontwerp voor de hoofdwebsite op basis van Bootstrap voor verschillende soorten bezoekers. Alle pagina s schikken automatisch naar kolommen die het beste bij de schermgrootte passen. Op de onderzoek pagina wordt er extra rekening gehouden met het slim plaatsen van afbeeldingen, diagrammen en tabellen naast hun tekst als dit geschikt is voor de bezoeker. Er is gekozen om het onderzoek op één pagina te presenteren, met extra navigatie features. Deze navigatie blijft altijd in beeld. Esthetiek Hoofdwebsite We gebruiken een veel voorkomende Bootstrap lay-out met horizontale navigatiebalk. Dit levert een van de vele symmetrie aspecten op die het ontwerp esthetisch prettig maken. Samen met het gebruik van de containers die symmetrische marges introduceren geeft dit een prettig beeld. Het is conventioneel om het logo en de home link links te houden. Omdat onze onderzoek pagina extra navigatie heeft doormiddel van een dropdown hebben we gekozen deze zo rechts mogelijk te plaatsen, waardoor het duidelijker is waarbij dit dropdown menu hoort. Hierdoor eindigt de team link in het midden. Testwebsites Door gebruik van Bootstrap op website 1 hebben deze pagina's wat meer opmaakt gekregen: door de afgeronde hoeken, grotere gekleurde teksten en een verticale terugkoppeling gevende navigatie balk. Verder zijn alle pagina s qua opmaak consistent doordat overal hetzelfde thema gebruikt word en elementen dezelfde plaats behouden. Voor website 2 betekent het gebruik van Bootstrap dat deze pagina s wel meer opmaak hebben gekregen zoals vermeld bij website 1, echter op elke pagina is een ander Bootstrap thema gebruikt. hierdoor is de website wel hoog stilistisch, maar voldoet niet aan consistentie. Op website 3, zonder het gebruikt van thema s zijn deze pagina s alleen qua esthetiek opmaak ondersteund door de plaatsing van elementen, en groter maken van het lettertype met behulp van het header elementen. deze plaatsing is wel tussen alle pagina consistent. De verticale navigatie is gekozen voor extra asymmetrie, wat volgens onze bronnen bijdraagt aan lage esthetiek. Deze opmaak is wel op alle pagina s gebruikt. Ook bij website 4 is er alleen gebruik gemaakt van plaatsingselementen en headers. Echter verschilt website 4 van website 3 doordat nu op elke pagina de plaatsing van de elementen verandert. Kleurgebruik en lettertype Hoofdwebsite Voor het kleur gebruik en het lettertype op de hoofdwebsite hebben we als een totaal pakket gekozen voor een Bootstrap thema, Cerulean, dat gratis aangeboden wordt. We hebben voor dit thema gekozen omdat het niet ingrijpende veranderingen qua opmaak introduceert ten overstaan van het standaard Bootstrap thema. Het geheel is zo wel net iets

7 6 kleurrijker waardoor wij hopen dat onze site met blauwe tinten iets rustgevender over komt en zo ons onderzoek niet als dwingend zal laten overkomen, en men het op waarde zal schatten. Het lettertype in dit thema is een sans-serif lettertype dat overal wordt ingezet. Het thema maakt kopteksten blauw voor extra onderscheid van secundaire teksten. Er zijn verschillende tinten blauw voor verschillende doeleinden. Kopteksten, links en informationele mededelingen hebben allemaal hun eigen onderscheidbare tint blauw. Testwebsites Website 1 bevat een beperkt kleurgebruik, hierbij is gekozen voor een blauwig thema dat niet een extreme verandering geeft als met het zou vergelijken met andere thema s ten overstaan van html zonder opmaak. website 2 bevat een hele grote hoeveelheid aan kleur gebruik. alle 4 de pagina s bevatten namelijk een ander thema en de kleur schema s van de teams op zich zijn al genoeg om het verschil tussen de thema s aan te wijzen, verder bestrijken de gekozen thema s een groot deel van het kleuren spectrum, maar extreem rood komt weinig aan bod. Websites 3 en 4 bevatten geen kleur opmaak. Dit betekent dat de standaard waarden van de browser worden toegepast. Voorgrond- en achtergrondinformatie Hoofdwebsite Tekst is verdeeld in paragrafen. Leidende teksten in paragrafen hebben grote letters. Dikgedrukt wordt gebruikt voor nadruk op individuele woorden. Verder worden groepjes paragrafen aangeduid door headings en page headings met contrastrerende kleuren. Kaders zoals Blockquotes en call-outs worden gebruikt voor belangrijke informatie zoals onderzoeksdoel en hypothese. Voor subtiele citaties wordt superscript toegepast. Secundaire tekst heeft een lager contrast met de achtergrond en een kleinere letter grootte dan paragrafen. De homepage heeft links bovenin een blikvanger die Jumbotron wordt genoemd, deze verwijst direct naar de Onderzoekspagina (die begint met de inkadering). Pas onder deze blikvanger bevindt zich andere informatie bijvoorbeeld over het vak. Testwebsites Op alle 4 de websites is er gebruik gemaakt van heading, bold en paragraph elementen. Hierbij zijn er over alle websites op dezelfde plekken dezelfde nadruk elementen gebruikt. Afbeeldingen en foto s Afbeeldingen, diagrammen en foto s worden zoveel mogelijk naast hun relevante tekst geplaatst voor alle websites. Ook was het teamlogo aanwezig nabij de home knop op alle pagina s. Achtergronden waren doorgaans een effen kleur en geen afbeelding. Hoofdwebsite Op de hoofdwebsite was er extra aandacht aan besteed. Afhankelijk van de schermgrootte was dit in kolommen langs de tekst of rijen tussen de tekstblokken in. We hebben geprobeerd voorgrond afbeeldingen te voorzien van een kader, een nummering en een omschrijving.

8 Testwebsites Op alle vier de testwebsites zijn dezelfde afbeeldingen gebruikt die informatie ondersteunen: namelijk een plaatje hoe een prisma werkt, een plaatje over kleur mening bij licht en een plaatje over de werking van een regendruppel. Testwebsite 2 heeft op de Hoe pagina een thema met een achtergrondafbeelding. 7

9 8 Checklist Website Inkadering is gedaan Resultaat van onderzoek is beschreven Conclusies zijn afgerond Referenties bijgevoegd volgens APA-stijl IEEE-stijl De informatie is consistent en coherent en vormt een logisch geheel Feiten zijn zo veel mogelijk wetenschappelijk onderbouwd De bron van de feiten is aangegeven. Er zijn links naar artikelen opgenomen. Nieuwe termen en symbolen zijn expliciet geïntroduceerd. Vermijd jargon. Data is geanonimiseerd We hebben eerst een functionele indeling gemaakt en dan pas naar de vorm gekeken De structuur van de informatie is een logisch gerangschikt Informatie die bij elkaar hoort is in eenheden aangeboden We hebben grafieken en diagrammen gebruikt om data te presenteren. De teksten zijn goed leesbaar voor een breed publiek. Verdiept in de gebruiker van de website, en in ontwerpprincipes en digitaal design. Nagedacht over zowel de verbale- als de non-verbale onderdelen van de website.

10 9 Bronnen Zoekwoorden en databases We begonnen onze zoektocht met ideeën over presentatie van zoekresultaten en misleiding of taalgebruik en geloofwaardigheid. Proces We hebben literatuur gezocht via de UB website en Google Scholar. We keken ook naar Wikipedia voetnoten maar dit leverde geen relevante connecties op. Termen die we zochten waren Trust Trustworthiness Credibility Convincing Search Listing Phishing Language Complexity Na een aantal van de initiële papers gevonden te hebben op Science Direct (Elsevier) daar doorgezocht met de gerelateerde papers functie. Dit leverde onze uiteindelijke selectie papers op. Resultaten We vonden in het begin veel materiaal over taalgebruik en taalcomplexiteit voor verschillende demografieën. Ook vonden we uiteenlopende kwantitatieve maten voor taalcomplexiteit. Echter vonden we geen onderzoek dat dit in verband bracht met geloofwaardigheid. Dit zagen we als een dood einde. Ook voor het weergeven van zoekresultaten was lastig om papers te vinden die geloofwaardigheid beschouwen. Toch vonden we wel informatie over vormgeving en geloofwaardigheid van websites. Met name een paper over geloofwaardigheid van verschillende media en een specifiek over de esthetiek en geloofwaardigheid van websites trokken onze aandacht. Dit paper bleek een brug te vormen naar verschillende interessante papers waarop wij een vervolg onderzoek wisten te funderen. Al onze uiteindelijk geselecteerde papers hebben het peer review proces doorlopen en zijn dus gereviewed en gepresenteerd alvorens gepubliceerd te worden.

11 10 Samenvatting wetenschappelijke artikelen Van deze vier relevante papers draaien [1] [3] om het in kaart brengen van geloofswaardigheidsbeoordelingen. [1], [2] en [4] beschrijven onderzoeken in een direct verband aan websites. In [3] wordt een onderzoek beschreven naar geloofwaardigheidsbeoordelingen voor uiteenlopende media, waaronder interactieve media zoals het web. Vooral [2] en [4] bevatten voor ons onderzoek relevante voorbeelden van vraagstelling. Zo wordt er onderscheid gemaakt tussen klassieke esthetiek en expressieve esthetiek, met termen en vragen om beide in beeld te brengen. Er worden in [2] ook totaalcijfers voor websites naast hun scores dimensies per dimensie gelegd, wat een pad opende naar een vereenvoudigde vorm van vraagstelling. Ook helpt [2] bij het formuleren van onze methodiek omdat het aantoont dat de tijd die een bezoeker op een website doorbrengt minder uitmaakt voor hun uiteindelijke oordeel, wat wordt bevestigd door [1]. Het onderzoek in [1] beschreef niet alleen de tijd tot besluitvorming onder bezoekers, maar ook methodes om de geloofwaardigheid van sites te beïnvloeden. Hieruit trokken we de aanpak voor het ontwikkelen van hoog esthetische en laag esthetische versies van een website. IEEE Stijl citaties [1] David Robins and Jason Holmes, Aesthetics and credibility in web site design, Information Processing & Management, Volume 44, Issue 1, January 2008, Pages , ISSN , ( [2] Noam Tractinsky et al., Evaluating the consistency of immediate aesthetic perceptions of web pages, International Journal of Human-Computer Studies, Volume 64, Issue 11, November 2006, Pages , ISSN , ( [3] Brian Hilligoss and Soo Young Rieh, Developing a unifying framework of credibility assessment: Construct, heuristics, and interaction in context, Information Processing & Management, Volume 44, Issue 4, July 2008, Pages , ISSN , ( [4] Talia Lavie and Noam Tractinsky, Assessing dimensions of perceived visual aesthetics of web sites, International Journal of Human-Computer Studies, Volume 60, Issue 3, March 2004, Pages , ISSN , ( Geraadpleegde vakken en websites Vakken Het onderwerp Usability kwam aan bod bij de cursussen Ontwerp Interactieve Systemen, Modeleren en Systeem Ontwikkeling, Game Ontwerp (Informatica), Softwareproject (Informatica) en het vak Playability (HKU Minor). Dit is gerelateerd aan functioneel ontwerp en vormgeving voor interactieve media zoals websites. Websites Op onze onderzoek pagina vindt u een actueel overzicht van andere bronnen, waartoe ze zijn gebruikt en waar u ze kan vinden op het web voor onder andere: Bootstrap, Bootswatch, Glyphicons, Font Awesome, Placehold.it, Lipsum, Theme Factory en Wikipedia.

12 11 Extra Gebruikte vragenlijst Het basis idee is voor multiplechoicetest vragen een zeven-niveau schaal te gebruiken. Relevante literatuur hier voor moeten we weer terugvinden maar dit is ook toegepast bij het vak onderzoeksmethoden. Bij waarde 1, 4 en 7 staat een label. Elke multiplechoicevraag vraag heeft ook een plek eronder om vrij uit te weiden over je keuze zodat bij zeer uiteenlopende antwoorden wij dit kunnen inzetten te achterhalen waarom de antwoorden zo wisselend zijn. De introductievragen die verplicht werden gestel vanuit de opdrachtomschrijving zijn optioneel gemaakt. Omdat deze vragen erg persoonlijk kunnen zijn en deelnemers ongemakkelijk zouden kunnen maken. De vragen per website zijn vier keer afgenomen. Deze vragen maken gebruik van een 7 punten schaal. Eindvragen waren verplicht. De enquêtes zijn afgenomen met behulp van Google Forms. Introductievragen 1. Wat is uw leeftijd? vul het aantal jaren dat u leeft in 2. Wat is uw geslacht? vul het door u op uw ID-kaart/paspoort staande geslacht in 3. Wat is uw hoogst genoten opleiding? vul de door u hoogst genoten opleiding in (hiervoor hoeft u de opleiding niet succesvol te hebben afgerond) 4. Wat komt het eerste in u op als u aan vertrouwen denkt? vul hieronder een korte beschrijving in 5. Wat zijn voor u de belangrijkste ingrediënten van vertrouwen? vul hieronder een korte beschrijving in 6. Wat doet u zelf om vertrouwen bij anderen op te bouwen? vul hieronder een korte beschrijving in 7. Wanneer vind u een website/ in het algemeen (on)betrouwbaar? vul hieronder een kort beschrijving in 8. Vind u het belangrijk dat een website trustlogo's bevat, zo ja, welke? Trustlogo's zijn logos die iets proberen te zeggen over de brouwbaarheid van de website Vragen per website 1. Ik vond deze website overkomen als * (1) Onbetrouwbaar, (4) Verdacht, (7) Betrouwbaar 2. De inhoud van de website was * (1) Onduidelijk, (4) Verwarrend, (7) Duidelijk 3. De indeling van de website was * (1) Onduidelijk, (4) Verwarrend, (7) Duidelijk 4. Het navigeren door de website was * (1) Onmogelijk, (4) Stroef, (7) Soepel 5. De website zag er uit als * (1) Slordig, (4) Afgeraffeld, (7) Professioneel 6. De website kwam over als * (1) Onbetrouwbaar, (4) Verdacht, (7) Betrouwbaar

13 12 Eindvragen 1. Welke website kwam het meest betrouwbaar over? Website 1, Website 2, Website 3, Website 4 2. Wat was hierbij het meest doorslaggevend? Inhoud, Indeling, Uiterlijk, Geen van bovenstaande 3. Waarom was dit het meest doorslaggevend? Indien u geen van bovenstaande heeft gekozen, wat was er wel doorslaggevend 4. Welke website kwam het minst betrouwbaar over? Website 1, Website 2, Website 3, Website 4 5. Wat was hierbij het meest doorslaggevend? Inhoud, Indeling, Uiterlijk, Geen van bovenstaande 6. Waarom was dit het meest doorslaggevend? Indien u geen van bovenstaande heeft gekozen, wat was er wel doorslaggevend 7. Wat miste u het meeste bij de websites wat het vertrouwen erin had kunnen vergroten? 8. Zou u één van de websites aanraden aan anderen als zij over het onderwerp informatie zoeken? Zo ja welke?

14 13 Gebruikte stimuli De gebruikte stimuli zijn in uw eigen browser te bekijken op Voor de volledigheid volgen hier overzichtsafbeeldingen die alle 4 de pagina s van een website naast elkaar tonen. Overzicht pagina's Website 1 (Hoog esthetisch consistent)

15 14 Overzicht pagina's website 2 (Hoog esthetisch inconsistent)

16 Overzicht pagina's website 3 (Laag esthetisch consistent) 15

17 16 Overzicht pagina's website 4 (Laag esthetisch inconsistent) De ruwe data De ruwe data laat zich lastig presenteren in een verslag. Daarom is er een aparte bundel tabellen gemaakt. Deze worden achteraan in Appendix A: Ruwe Data ingevoegd maar zijn ook als PDF bestand te krijgen. Bovendien is de data beschikbaar als CSV bestand voor verwerkingsdoeleinden.

18 17 Werkzaamheden Initiële planning Overeenstemmend met opdrachtomschrijving, kalenderweken toegevoegd voor duidelijkheid. Projectweek Kalenderweek Taken WEEK 3 48 Literatuuronderzoek, voorstel indienen. WEEK 4 49 Bespreking student-assistent, aanpassingen, website opzetten. WEEK 5 50 Testpersonen laten deelnemen aan het experiment. WEEK 6 51 Data analyseren uit experiment. WEEK 7 2 Discussie en conclusie. WEEK 8 3 Peer Review. WEEK 9 4 Verwerking feedback. Uiteindelijke activiteiten Er was wat vertraging bij het ontwikkelen van de test websites, toch zijn dingen niet meer dan een week verschoven. Projectweek Kalenderweek Taken WEEK 3 48 Net onderzoeksvoorstel opgesteld. Een eigen procesbeschrijving opgezet (werd nog geen template aangeboden) Hoofdwebsite omzetten naar Bootstrap. (Homepage met procesbeschrijving en voorstel) Alvast doorgezet met literatuuronderzoek. WEEK 4 49 Bespreking met student-assistent. Geen aanpassingen nodig. Gevonden literatuur grondig doorgenomen, aantekeningen gemaakt. Hoofdwebsite verder omgezet: teampagina. Nagedacht over opzet van de test websites, thema van inhoud website vastgesteld (Prisma s) WEEK 5 50 Opzet van test websites vastgesteld: wire-frame modellen, thema s gekozen, plek op server geven. WEEK 6 51 Procesbeschrijving overgezet naar verplicht template. De 4 verschillende presentaties van sample websites opgezet. Elk hun 4 sub pagina s geprepareerd, klaar voor inhoud. Informatie voor inhoud bij elkaar gezocht. WEEK 7 2 Inhoud website afgeschreven, in websites gezet. Tests afgenomen. Data analyse, verslag gemaakt van ondervonden uitkomsten. WEEK 8 3 Peer review team was gestopt met vak, contact met docent. Nieuw team gezocht met student-assistent. Documenten uitgewisseld. Apart review aantekeningen gemaakt, samen overlegd. Verslagen apart opgesteld, elkaars verslagen gecontroleerd op taal fouten. Extra afvinklijst procesbeschrijving opgesteld. WEEK 9 4 Peer review gesprek gehad met andere team en bespreking met studentassistent. Hoofdwebsite en procesbeschrijving afgerond en tips van andere team verwerkt.

19 18 Taakverdeling Zowel Marel en Jaber hebben verschillende teksten voor de verslagen en websites geschreven maar Jaber heeft alles op spelling en andere taalfouten gecontroleerd. Vlakverdeling (wire-framing) voor website indeling werden gezamenlijk getekend. Onderzoeksmethodiek was ook gezamenlijk opgesteld. Jaber schreef voornamelijk de inhoud voor de websites. Hij was vooral bezig met de uitvoering van de hoofdwebsite (HTML/CSS schrijven). Ook zorgde hij voor de indeling van verslagen (tabellen en figuren plaatsen). Marel maakte veel stilistische beslissingen, heeft het teamlogo gemaakt en huisstijl uiteengezet. Marel maakte plaatjes voor in de testwebsites en diagrammen voor op de onderzoekpagina. Marel schreef voornamelijk inhoud voor verslagen. Ze schreef ook de enquête. Zij was vooral bezig met de uitvoering van de testwebsites (HTML/CSS schrijven). Marel heeft ook veel van de analyse zelfstandig gedaan. Problemen Het grootste probleem waar we tegenaan liepen, was de tijd die nodig was voor de begin opzet. Deze was namelijk veel groter dan ingeschat van tevoren, waardoor we al snel achter ging lopen op de planning. (Gelukkig konden we dit later weer opvangen doordat het voorwerk zo grondig was gedaan dat het testen en analyseren soepel verliep en minder tijd in beslag nam). Een probleem waar we ook tegenaan liepen was dat tijdens de peer review het ons aangewezen groepje ineens gestopt bleek te zijn met dit vak. Gelukkig waren we meteen gaan kijken naar de staat van wat we moesten peer reviewen en konden we dit op tijd genoeg melden om nog een andere oplossing te krijgen. Hierbij werden we gekoppeld werden aan een andere groep. De communicatie met de groep kwam langzaam op gang, maar wel op tijd genoeg. Net genoeg tijd de peer review af te ronden en een review gesprek te kunnen houden waar beide groepen iets van op konden steken. Als laatste was er nog het probleem van de niet altijd even duidelijk zijnde opdracht. Hierbij denkend aan de opzet van het document voor procesbeschrijving die in het begin niet bestond tevens als, de soms nogal breed te interpreteren afvink-lijsten. Dit hebben we opgelost door of verduidelijking te vragen aan de student-assistenten of zelf een zo n goed mogelijke interpretatie te bedenken. Bijzondere teamactiviteiten Dit gehele vak was een zeer bijzondere en leerzame ervaring.

20 19 Peer reviews door groep #55 Groep #55 heeft inzicht gehad in onze bestanden Trust1.pdf en Trust2.pdf beoordeelt: ons onderzoeksvoorstel en onderzoeksresultaten. Ook mochten ze een blik werpen op een overgangsversie van onze website, waar helaas de onderzoek pagina nog niet was afgerond. Beste Jaber en Marel, Jullie verslag zag er erg goed uit. Zo goed dat ik me begon af te vragen of ons eigen verslag wel op hoog genoeg niveau was. Het verslag oogt professioneel. Alles lijkt te kloppen, en ik heb geen enkele spellingsfout kunnen vinden. Als enig puntje was dat er in de inleiding werd gesproken over dat de medische informatie op het internet bijna nooit klopt, zonder dit verder te onderbouwen. Een statement als dat moet onderbouwd worden. Alles wat beweerd wordt moet worden onderbouwd met bronnen. Het enige wat me opviel bij het lezen van jullie verslag is dat er nergens in terugkomt wat de verschillen waren tussen jullie websites. Er staan wel links in met bekijk de websites hier, maar nergens een samenvatting wat de belangrijkste verschillen waren. Het is voor onduidelijk wat jullie nu precies hebben gedaan aan opzet, en wat jullie precies onderzocht hebben. Dit is vast op de site te vinden, maar moet ook in het verslag terugkomen. Dat was het eigenlijk. Het zag er heel netjes uit! Mvg, Sjoerd Door Michiel Wesseling Groep 55 Voor Marel Huijsmans en Jaber Roeleveld Groep 71 Peer Review Online Trust Positief: - Het onderzoek is professioneel opgesteld en was zelf ook nieuwsgierig naar de resultaten - Complimenten voor de methode die gebruikt is, ziet er steady en ingebakend uit. Jullie hebben zelf ook door dat bijvoorbeeld de volgorde van de sites invloed kan hebben op de resultaten etc., dat vermelden jullie dan ook netjes - Weinig tot geen spelfouten - De online trust- website heeft een goede lay-out - Goed naar de appendix gekeken wat betreft de verplichte vragen. Tips: - Mis een korte inleiding wat het onderzoek nou precies inhoudt, of de inleiding die er staat is te onduidelijk. - Te weinig informatie over wat de desbetreffende sites voor inhoud hebben aan het begin van het stuk of in ieder geval verwijzen naar appendix A - Hypotheses: Consistent tegen over inconsistent en hoog stilistische tegenover laag- stilistische - Wellicht screenshots van de sites maken en in het verslag (appendix) verwerken? Als dit artikel over een jaar nog gebruikt gaat worden is er kans dat de site niet meer bestaat. Miss. Aanpassingen die gemaakt zijn.

21 20 Eigen peer reviews We hebben twee documenten van groep #55 doorgenomen: Week1-Hetbegin.docx en OnlineTrustMitchSjoerd.docx. Deze zijn behandeld als onderzoeksvoorstel en onderzoeksverslag. Er was geen website gereed voor review. Peer review voor groep #55 Door: Marel Huijsmans groep #71 Informatie vooraf Hoewel de review moet gaan over zowel website als procesbeschrijving zijn deze volgens de deadline nog lang niet af. Dit was verwarrend en uiteindelijk is er gekozen om vooral naar het onderzoek te kijken en te kijken of deze alle informatie bevat die nodig zou zijn om de website te vullen (op aanraden van onze student assistent). Onderzoeksvoorstel (Week1) Verschil met Onderzoek uitwerking Hoewel de onderzoeksvraag en Hypothese niet zijn verandert is 1 van de sub hypotheses wel verandert. Namelijk degene die stelt welk lettertype als het meest betrouwbaar uit het onderzoek zal komen (in het voorstel was dit Arial maar bij de uitwerkingen is dit Times New Roman geworden). Bij de onderzoeksopzet is het aantal laptoppen dat gebruikt word van 4 terug geschroefd naar 3 en zijn de gekozen fonts verandert. Bij de voorbeeldvragen zijn veel termen dubieus (zoals gezellig), dit is bij de uiteindelijk vragen gelukkig wat ingeperkt, bij veel termen als mooi gezellig enzo, krijg je te maken met dat de voorkeur van mensen nogal kan verschillend kan zijn of dat hun beschrijving van wat iets gezellig maakt erg kan verschillen met wat jullie van tevoren dachten dat dit in zou houden. Uitleg over de analyse en de uiteindelijk toegepaste analyse brengen nogal veel vragen voort. Bij de uitwerkingen is namelijk niet duidelijk wat voor analyse er is toegepast, voornamelijk doordat er in het voorstel een beschrijving is gegeven van een mogelijke analyse. Namelijk bijvoorbeeld cijfer+rangschikking+andere scores gedeeld door 2. De bronnen die zijn opgeschreven worden nergens aangehaald in de tekst waardoor veel dingen in de tekst een vraagteken krijgen waarom iets gekozen is (zoals bijvoorbeeld waarom er voor de expliciet genoemde lettertypes is gekozen). Ook lijken de bronnen na ze doorgelezen te hebben meer betrekking te hebben tot online documenten en niet echt tot websites. Het nut van de bronnen ten overstaan van het onderzoek lijkt een beetje te ontbreken, wat verwijzingen vanuit de tekst naar de bronnen of delen uit de bronnen zouden hierbij kunnen helpen. De planning zag er goed uit qua inhoud, maar qua presentatie was het een beetje verwarrend, vooral de week nummers die in de lijst staan per week die het vak heeft afgelegd veranderen ineens in de tabel doordat er 2 extra weken bijkomen door de vakantie ertussen die ook genummerd word. Consistentie hierin zou erg handig zijn of kies voor 1 van de 2 weergaves zodat er geen verwarring kan ontstaan ^^. Onderzoeksuitwerking (Online Trust) Algemene opmerkingen De websites die gebruikt werden voor het experiment, tevens als de ruwe data die uit het afnemen van het experiment volgde ontbreken, hierdoor kan de rest van de data moeilijk op waarde worden geschat of het experiment worden gedupliceerd. Onderzoeksvraag & Hypotheses De onderzoeksvraag en hypothese zouden mogelijk geformuleerd kunnen worden zonder het woord online trust maar gewoon met betrouwbaarheid. Verder zoals hierboven genoemd mist de uitleg waarom er een verandering heeft plaats gevonden bij de Sub-Hypothese over welk lettertype het meest betrouwbaar is. En mist de verklaring waarom Times New Roman als het meest betrouwbaar zou worden gezien of waarom het lettertype dat mensen het mooist vinden niet als het meest betrouwbaar over komt. Opzet Onderzoek Meer uitleg over waarom er voor de oppak gekozen word, denk hierbij aan waarom is er voor 3 Mac Books gekozen in plaats van maar 1, en als er dan gekozen word voor 3 is een bevestiging van of alle 3 de laptoppen hetzelfde zijn erg handig, denk hierbij aan afmetingen van scherm, contrast, helderheid, enzo. Mochten de 3 laptoppen niet hetzelfde zijn waarin verschillen ze dan. Dit kan een grote invloed hebben op het onderzoek en moet dus wel duidelijk beschreven worden. Bij de enquête vragen miste er mogelijk een aantal vragen, in appendix 3 van de opdracht staat namelijk een lijstje van verplichte vragen, het is aan te raden om op zijn minste uit te leggen waarom deze vragen niet gebruikt zijn. Verder is de manier van vragen bij alle vragen eigenlijk hetzelfde, in theorie worden er maar 3 vragen gesteld waarbij de deelnemers de 3 sites steeds moeten rangschikken. Echter is dit niet expliciet gedaan en kan er dus nog worden getwijfeld over of men echt de impliciet slechts lijkende website echt het slechts vinden. Verder zorgen alle vragen ervoor dat de participant alleen maar de 3 websites vergelijken maar niet de 3 websites individueel beoordelen. Hierdoor kan er wel

22 21 gezegd worden dat het ene lettertype meer voorkeur heeft over de andere, maar er kan niet zegt worden of dit een significante invloed heeft (bijvoorbeeld wat als site 1 een 9,9 krijgt site 2 een 10.0 en site 3 een 9,8 gemiddeld op een schaal van 1.0 tot 10.0 lijkt het niet echt meer heel veel invloed te hebben) Wat meer uitleg over de website, en links naar de websites die gebruikt zijn tijdens het testen zouden zeer welkom zijn. De websites hebben veel te maken met de opzet van het onderzoek en kunnen een grote invloed hebben op het onderzoek. Ook was het handig geweest als, mochten de websites over een ingewikkeld of diepgaand onderwerp gaan, of de participanten hiermee al bekend waren. Het aantal gekozen participanten en het feit dat het gestreefde aantal is gehaald is fijn, dit moest echter wel zelf geconcludeerd worden maar had best even vermeld kunnen worden dat het streven gehaald was. Verder is mogelijk de woordkeuze wat ongelukkig maar beweren dat je een betrouwbaar resultaat krijgt door minimaal 20 participanten te hebben, zonder verdere onderbouwing waarom is nogal dubieus. Waaruit bestonden de bekeken statistieken, en op welke manier zijn hier precies conclusies uit getrokken, zijn er algoritmes gebruikt, zijn dingen tegen elkaar uitgezet, dit zijn allemaal vragen die opkomen. Hoewel er hierna resultaten en conclusie volgen worden deze vragen niet echt duidelijk beantwoord, iets uitgebreider beschrijven hoe er precies naar de resultaten is gekeken zou veel van deze vragen kunnen oplossen en ook de conclusie kunnen ophelderen. Resultaten Alle grafieken zijn van de vorm taart diagram echter lijkt dit niet echt de meest geschikte weergave voor alle vormen van data die gepresenteerd worden, voornamelijk die over leeftijd zou meer baten bij bijvoorbeeld een staaf diagram zodat de informatie beter opgenomen kan worden en men niet bij elk stukje taart punt moet gaan lezen om welke leeftijd het nu weer gaat. Het is wel goed dat er bij alle vragen een mogelijkheid was om een opmerking te plaatsen echter door ze aan het einde allemaal in 1 lijst te plaatsen valt weg bij welke vraag de opmerking hoorde, in het geval van deze opmerkingen is dit mogelijk niet een erg groot probleem maar vooral bij langere enquêtes of als participanten vaker een opmerking plaatsen, kan het erg verwarrend worden als het niet duidelijke is bij welke vraag de opmerking hoort. Conclusie Zoals al gemeld bij opzet, is het niet erg duidelijk wat voor analyse er toegepast is. En niet alleen dat, er worden gevolgtrekkingen gedaan die uit de resultaat diagrammen met een snelle blik afgeleid konden worden maar die eigenlijk helemaal niet waar hoeven te zijn zolang er geen grafieken zijn die de relatie vast leggen. Als voorbeeld: het kan zijn dat van de 17 mensen die website 2 als het mooist kozen 8 hebben gekozen voor een ander lettertype als het meest betrouwbaar. Dit zou betekenen dat maar de helft van de mensen die 2 het mooist vond deze ook als het meest betrouwbaar zagen. Of het zou kunnen dat zo ongeveer iedereen die een bepaalde lettertype het mooist vond dit ook zag als het meest betrouwbaar, waardoor de sub-hypothese over of de mooiste site niet het meest betrouwbaar word ondervonden nog harder word tegen gesproken. Ook wordt er een opmerking gedaan over hoe Times New Roman gemiddeld gezien een goede 2 de is maar waar komt dit gemiddelde precies vandaan? Voor de conclusie is het belangrijk dat je de claims onderbouwden en de data niet te ver geanonimiseerd, zodat er ook verbanden tussen antwoorden gegeven door dezelfde persoon getrokken kunnen worden. De geschreven conclusie kan nog steeds stand houden maar een betere onderbouwing zorgt voor een grotere overtuigingskracht. Peer review voor groep #55 Door: Jaber Roeleveld groep #71 Opzet van de review Hoewel de opdrachtomschrijving voorschrijft de website en procesbeschrijving te beoordelen, hoeven deze volgens dezelfde opdrachtomschrijving nog niet afgerond te zijn ten tijde van de review. Daarom is in overleg met een studentassistente besloten om vooral naar het onderzoeksvoorstel en onderzoeksverslag te kijken om te beoordelen of deze voldoende informatie bevatten om de website correct in te kunnen richten. Onderzoeksvoorstel (Week1) Methodiek Het onderzoeksdoel is recht voor zijn raap maar zonder de definitie van online trust kan dit toch onduidelijk zijn. Licht ook toe hoe jullie op deze 4 specifieke lettertypes zijn gekomen. Bijvoorbeeld omdat ze elk een bepaalde klasse lettertypen representeren, of omdat deze specifiek in een ander onderzoek zijn gebruikt? Licht ook de keuze voor het noemen van specifieke lettertypes in de hypothese wat toe. Wat representeert dit lettertype en op welk onderzoek of heuristiek baseer je dat dit het meest betrouwbaar is binnen je onderzoek? Is het bijvoorbeeld een herkenbaar lettertype wat mensen vaker hebben gezien in jullie context van online trust? Het is inderdaad keurig om te melden wat jullie gelijk houden tussen de websites. Toch is het handig te vermelden hoe dit

23 22 gedaan gaat worden voor bijvoorbeeld de inhoud en andere uiterlijke eigenschappen. Is de inhoud en het uiterlijk bijvoorbeeld ook minimalistisch? Of hebben jullie een typisch voorbeeld in gedachte in welke mate de inhoud en het uiterlijk een aandeel hebben in de website? Hoe is bovendien vastgesteld wat voor invloed de inhoud op het vertrouwen van de participanten kan hebben? Dit kan duidelijker worden gemaakt door alvast een type inhoud en uiterlijk vast te leggen. De keuze om de websites op meerdere apparaten gelijktijdig te tonen is verrassend. (Dit wijkt af van mijn beeld hoe een typische website bezoeker het web gebruikt.) Toch lijkt dit een logische aanpak is als je een bepaalde vorm voor vergelijkingsexperimenten aan wil houden, maar er is hier geen beschrijving van. Ik denk hierdoor dat uitleg waarom jullie niet sequentieel testen dus waardevol kan zijn. Er wordt een goed voorbeeld gegeven van mogelijke vragen en ook onderscheid gemaakt tussen verschillende typen vragen. Let wel op de verplichte vragen uit de opdrachtomschrijving. Overig Goed de diensten van de bibliotheek benut bij aanvang van het literatuur onderzoek, maar vergeet niet dat deze links voor derden niet zo praktisch zijn. Probeer in ieder geval de titel van het paper bij bronvermelding op te nemen. (Let op dat de opdrachtomschrijving citaties in APA stijl vereist op de website) Mocht de directe link naar een paper zijn verandert dan zou het niet teruggevonden kunnen worden in veel gevallen, doordat deze URL s gebruik maken van interne identificaties. Probeer ook in een voorstel de rol van de bronnen alvast wat toe te lichten. Wanneer ze bijvoorbeeld niet direct relateren aan je onderzoeksdoel benadruk dan dat je ze als springbord naar andere literatuur wil gebruiken. Voor aanvang van het literatuur onderzoek kan het nog wel begrijpelijk zijn dat de tekst verder geen citaties, verwijzingen of voetnoten bevat. Het enige wat op de planning valt aan te merken is dat de lijst en tabel andere weeknummering gebruiken, waarbij er ook afgeweken wordt bij de nummering door het vak of kalenderweeknummering. Inhoudelijk prima. Onderzoek uitslag (Online Trust) Methodiek Opnieuw geld dat de definiete van online trust bij de onderzoeksvraag ontbreekt. Zorg dat deze aanwezig zal zijn op de website en procesbeschrijving. Misschien dat het ook mogelijk is in een inkadering een soort voorbeeld te geven van jullie definitie van online trust. Er zijn ook een aantal opvallende veranderingen met het voorstel: het aantal websites en lettertypes is bijgesteld naar 3. Het lijkt me van belang dit nader te verklaren. Ook de selectie lettertypes (en een van de sub hypotheses) is aangepast. Een motivatie waarom deze drie lettertypen zijn gekozen en waarom de een betrouwbaarder dan de ander wordt verwacht is helaas ook niet aanwezig. Als jullie bijvoorbeeld de selectie lettertypes hebben verandert omdat jullie een nieuw soort onderzoek willen doen in plaats van een al gedaan experiment herhalen is dat een goede rede om aan te dragen. Een andere goede reden kan zijn dat ze elk een veel voorkomende of bekende instantie zijn van een bepaalde klasse lettertypen. Het gebruik van maar 3 in plaats van 4 websites kan prima zijn, maar maak duidelijk waarom. Indien dit is om de participanten niet te overweldigen of bijvoorbeeld de tijdslimiet per sessie te halen kan je dit aangeven. Als het is vanwege langdurige voorbereiding in het opzetten van de websites en vragenlijst of regelen van materieel is dat ook een goede reden. Helaas vond ik de specificatie van 3 Mac Books meer vragen oproepen dan dat het beantwoord. Zijn dit dan 3 identieke uitvoeringen, zodat de rest gelijk is? Probeer dit dan aan te geven, mogelijk met meer informatie over het gebruikte type. Anders is iets algemener zoals 3 laptoppen of 3 beeldschermen ook een mogelijkheid. Dit roept ook vragen op over hoe herkenbaar de gebruikte laptop of merk voor de participanten is en of dit een invloed heeft op hun vertrouwen. De vragen staan keurig op een plek bij elkaar in Opzet onderzoek. Het is ook mooi dat er ruimte in het onderzoek is voor opmerkingen door participanten. Het valt wel op dat er enkel vergelijkende vragen zijn gesteld en geen vragen over de individuele websites zelf. Terwijl er in het voorstel werd vermeld Daarna vragen we ze om elke site een cijfer te geven van 1 tot en met 10. Ook volgt de zin over opmerkingen op een zin met elke vraag, maar de opmerkingen worden niet gepresenteerd in associatie met een bepaalde vraag. Als er alleen opmerkingen op het einde zijn verzameld benadruk dit dan. Een kleine herhaling: beschrijf waarom verplichte vragen uit de opdrachtomschrijving achterwege zijn gelaten. De vraagstelling is ook opvallend omdat in het voorstel wordt gesproken over het verwerken van rangschikkingen, maar de gebruikte vraagstelling lijkt alleen over eerste en tweede keus te gaan. Zo is er wel een impliciete derde keus, toch is dit echt wat anders dan expliciet om een rangschikking vragen. Ook kan bijvoorbeeld vraagstelling aan de hand van een antoniem bijvoorbeeld minst in plaats van meest een andere invloed hebben dan daarna meest. Een andere voorbeeld kan zijn om stellingen te maken met Website X is het meest betrouwbaar samen met een Likert-type schaal. Probeer uit

24 23 te leggen waarom juist deze vorm van vraagstelling is gebruikt. De vraagstelling met zouden gebruiken voor de site geeft een aparte context. Benadruk of het de bedoeling was nogmaals de voorkeur voor een lettertype vast te stellen, of meer de bedoeling de participant te vragen wat hij zou kiezen om zelf op een bepaalde manier over te komen (betrouwbaar, mooi etc.) op bezoekers van de site. (Dan zou ook een vraag zijn wat participanten denken over wat de doelgroep van de site is.) Mogelijk reageren participanten die bekend zijn met het maken van sites op een andere manier dan onervaren participanten door de verwoording van deze vraag. Helaas is het niet duidelijk geworden wat voor inhoud en andere opmaak de websites bevatten. Als er een verwijzing was naar de gebruikte websites was dit al minder problematisch geweest maar in hun afwezigheid zal dit onderzoek niet gereproduceerd kunnen worden. Zorg voor een samenvatting over de inhoud, noem de aard (bijvoorbeeld naslagwerk, webwinkel, forum) en misschien zelfs wat voor voorkennis je over het onderwerp verwacht onder je participanten. De inhoud maakt ook uit voor de vragen met zouden gebruiken voor de site. De keuze van lettertype kan dan worden geassocieerd met inhoud en overige opmaak van de site of de geïmpliceerde doelgroep van de site. Resultaten Het doel van 20 participanten is wel positief in de zin van de lat wat hoger leggen. Het onderzoek afronden met 21 participanten is ook erg netjes. De verwoording is echter problematisch door de woorden betrouwbaar resultaat. Afhankelijk van de grootte van je doelgroep waar je participanten uit komen geeft 20 participanten niet zomaar een betrouwbaar resultaat. Statistische significantie is geen onderdeel van de cursus informatie-uitwisseling dus ik stel voor deze beschrijving achterwege te laten. Grafische weergave van de resultaten is erg prettig, maar ik betwijfel of taartdiagrammen geschikt zijn voor alle datatypen. Vooral bij leeftijd is een taartdiagram minder nuttig, het toont niet intuïtief spectrum van leeftijden van de participanten. Verder werd er in het voorstel een berekening genoemd bijvoorbeeld cijfer+rangschikking+andere scores maar ik kan deze waarden noch de formule ergens terugzien. Dit terwijl er wordt gesproken over gemiddeld gezien is Times New Roman ene goede tweede. Benadruk welke waardes bij elkaar worden gewogen, of welke globale rangorde uit de data volgde. Bij het trekken van vergelijkingen tussen verschillende stukken data kan het helpen om deze te ondersteunen met diagrammen die deze stukken data naast elkaar plaatsen. Door afwezigheid van tabellen is de informatie grondig geanonimiseerd maar gaat er informatie verloren over de relaties tussen tabellen. Het is bijvoorbeeld mogelijk dat participanten zichzelf tegenspreken, bijvoorbeeld mooist vs. zelf gebruiken. Tegenspraak hoeft helemaal niet gebeurt te zijn, dit is echter niet te controleren zonder deze data. Voor het testen van de sub-hypothese Het lettertype dat eruit komt als het mooist, is niet het meest betrouwbaar is deze data per participant ook van belang. Dat het zou gelden op de groepeerde data garandeert niet dat het geld voor individuen. (Statistiek gereedschap dat niet bij het vak hoort: covarianties.) Ik denk wel dat met toelichting en ondersteuning de huidige conclusies kunnen blijven staan. Let op bij het quoten van een van de opmerkingen je misschien wel wil benadrukken dat dit een opmerking op 21 deelnemers was, ook al sluit hij prachtig aan op de conclusie. Bronnen Bij het presenteren van jullie onderzoek zijn de bronnen zeer belangrijk, ook verwijzingen er naar vanuit de tekst. Bedenk bovendien dat een bron uit jullie voorstel zoals The Effects of Font Type and Size on the Legibility and Reading Time of Online Text by Older Adults na dit onderzoek minder relevant lijkt gezien de leeftijden van jullie participanten. Er kan natuurlijk nog steeds informatie uit een dergelijk paper aangegrepen worden of mee worden gecontrasteerd, zolang het maar duidelijk is dat dit geen onoplettendheid was.

25 24 Reflectie Marel haar zelfreflectie Al met al hebben we alle deadlines gehaald, en een resultaat opgeleverd waar we als team tevreden mee zijn. Echter een aantal dingen hadden wat beter gekund, we hadden namelijk in het begin een planning gemaakt aan de hand van de voorgestelde planning bij de opdracht, helaas bleek het voorwerk (wat wij als groep graag grondig deden) veel meer tijd in beslag te nemen dan gepland. In het vervolg zou ik hier persoonlijk meer tijd voor uittrekken omdat als het voorwerk goed en grondig gedaan word is het werk later een stuk minder tijdrovend. Los van de planning was er misschien ook het probleem dat de groep bestond uit niet de doelgroep van de cursus (namelijk ouderejaars informatica in plaats van eerstejaars informatiekunde), dit zorgde ervoor dat we met veel voorkennis aan de opdracht begonnen wat resulteerde in het veel te ingewikkeld naar de opdracht kijken en te hogen eisen stellen, na een tijdje konden we op beterwaarde inschatten wat er voor een onderdeel gedaan moest worden, maar dit duurde wel enige tijd waardoor er niet echt tijd verloren is gegaan maar wel er meer tijd in is gestoken dan de geplande bedoeling was. Zelf ben ik niet echt ergens bijzonder trots op. Dit omdat ik vind dat dingen die over het algemeen voor opdrachten gedaan worden, gewoon bij de inzet van het vak horen. Echter als kijk op het groepsproces kan ik wel positief zijn over hoe onze groep is omgegaan met het opvangen van verkeerd plannen, en met het omgaan van onverwachte (niet door ons veroorzaakte) tegenslagen en tijdrovende gebeurtenissen. Jaber zijn zelfreflectie Ik ben wel tevreden met de deliverables maar vond het proces engizins moeizaam verlopen. Qua onderzoek zou ik wel een paar specifieke dingetjes anders willen doen zoals: willekeurige volgorde vertoning stimuli, timen hoe lang elke stimuli bekeken wordt, of covarianties statistisch correct berekenen. Verder ben ik tevreden met onze methodiek, data, analyse en verslagen/site. Het proces was lastig omdat de opdracht omschrijving vaak net iets te onduidelijk was. Ruimte voor interpretatie is soms wel fijn, maar met de grote hoeveelheden tussen-deadlines is dit een probleem. De eisen voor deliverables moesten altijd moeizaam opgehelderd worden bij student-assistenten wat in totaal aardig wat tijd in beslag nam. (En vond het onaangenaam de assistent zo lastig te moeten vallen) De initiële planning in de opdrachtomschrijving werkte ook niet goed samen met de gestelde deadlines. Bijvoorbeeld peer review die over de website zou moeten gaan die nog niet in de planning was opgenomen. Was wel tevreden met de alternatieve soort peer review die we uiteindelijk deden maar de hoeveelheid tijd om hem op te zetten had ik graag ergens anders aan besteed. Ik ben nergens bijzonder trots op omdat ik van mezelf verwacht dit kunnen gezien ik de cursus onderzoeksmethoden heb voltooid. Ik had plezier met een website maken die enigszins geschikt is voor verschillende apparaten maar heb de indruk dat dit nog een stuk beter kan. Ook samenwerking in de groep ging gewoon goed. Er was veel contact wat een goed overzicht gaf. Tevens goede taakverdeling en snelle oplossing wanneer iets toch anders loopt. Dit zijn echter geen dingen om trots op te zijn als meerdere-jaars studenten.