Expertise in werkgroepen

Transcriptie

1 Expertise in werkgroepen Evaluatie van Automatische Expertise-extractie Willem Thoonen Augustus 2006

2 Expertise in werkgroepen Evaluatie van Automatische Expertise-extractie Auteur Willem Thoonen Instelling Universiteit van Tilburg Faculteit Communicatie en cultuur Opleiding Bedrijfscommunicatie en Digitale Media Studentnummer Begeleiders Drs. Toine Bogers Dr. Antal van den Bosch

3 Voorwoord Voor u ligt de afstudeerscriptie waarmee ik de studie Bedrijfscommunicatie en Digitale Media afsluit. Het heeft even geduurd voordat ik een onderwerp gevonden had waarop ik kon afstuderen en wat me aansprak. Na een gesprek met Antal van den Bosch en Toine Bogers over het evalueren van een automatische expertise-extractie methode werd mijn interesse gewekt en voor u ligt het eindresultaat. Het afgelopen half jaar heb ik er veel tijd en energie in gestoken. Echter, zonder de hulp van een aantal mensen was deze scriptie niet tot stand gekomen en daarom wil ik ze op deze manier graag bedanken. Allereerst mijn begeleiders. Antal van den Bosch voor de brainstormsessies die het onderzoek de goede kant op duwden en Toine Bogers voor de ideeën, de tijd, het geduld, samengevat de goede begeleiding. Mede door hun ideeën, ervaring en kennis kreeg mijn onderzoek steeds meer vorm. Hiernaast wil ik graag de participanten aan het onderzoek, de ILK-werkgroep, bedanken voor hun deelname aan het onderzoek. Zonder hun had ik geen resultaten gehad om de evaluatie mogelijk te maken. Ook de bespreking met Pascal Marcelis heeft geleid tot meer inzicht in het ontwikkelen van de vragenlijst, bedankt hiervoor. Samenvattend kan ik zeggen dat het, ondanks wat tegenslagen, een interessante en vooral leerzame periode van mijn leven is geweest. Ik vindt het echt geweldig dat ik straks de trotse bezitter ben van zowel een HBO- als een WO diploma en dat ik mijn eigen boterham kan gaan verdienen. Aan de andere kant vindt ik het ook jammer om de jaren van studie nu af te sluiten en verder te gaan. Ik zal de gezellige dagen tijdens de opleiding gaan missen en hoop dat een interessante en uitdagende baan dit gemis gaat opvullen. Tenslotte wil ik graag mijn ouders bedanken. Ze hadden altijd een luisterend oor beschikbaar als het even tegenzat en hebben me door de jaren heen altijd gesteund wat me écht heeft geholpen. Pa en Ma bedankt! Augustus 2006

4 Samenvatting Om zoekresultaten van een zoekmachine te verbeteren, hebben Bogers en Van den Bosch (2005) een nieuwe methode genaamd authoritative re-ranking in het leven geroepen. Deze methode herschikt de bestaande zoekresultaten aan de hand van een automatische geëxtraheerde expertise-extractie. Omdat dit proces automatisch gebeurt wordt er niet expliciet gecontroleerd of deze expertise-extractie ook overeenkomt met de werkelijkheid. Interessant was het om onderzoek te verrichten naar de werkelijke expertise van mensen en te evalueren in welke mate deze overeenkomt met de automatische manier van expertise-extractie. Door dieper in te gaan op wat expertise is en op welke manieren dit in kaart kan worden gebracht zijn de resultaten van de automatische expertise-extractie beoordeeld en vergeleken met de resultaten die de werkelijke expertise weergeven. Deze is bepaald aan de hand van een viertal onderdelen uit een vragenlijst die gezamenlijk hebben bijgedragen aan de werkelijke expertise van leden binnen een werkgroep. Hieruit blijkt dat publicaties een goede bron zijn voor het bepalen van de expertise van een auteur. De resultaten die de authoritative re-ranking methode levert zijn echter matig te noemen voor het extraheren van expertise termen. De top twintig aan termen die worden geëxtraheerd door de computer kregen een bovengemiddelde beoordeling, alleen de termen die door de benoemde experts werden geassocieerd met de eigen expertise werden slechts in redelijk mate geëxtraheerd. Hiernaast werd voor tien zoekopdrachten bepaald wie de werkelijke experts waren en dit werd vergeleken met de experts die door de computer werden aangewezen. Hieruit bleek dat de deelnemers aan dit onderzoek een groter onderscheid maken bij het aanwijzen van experts dan de authoritative re-ranking methode. Ook bleek dat wanneer er alleen per zoekopdracht gekeken werd naar dé aangewezen expert volgens de werkgroepleden, dat de computer bij de helft van de zoekopdrachten de juiste expert als eerste in de expertlijst had gerangschikt.

5 Inhoudsopgave 1. Inleiding Wat is expertise? Expertise en definities Expertise in de literatuur Expertise in kaart brengen Sociale netwerk analyse Interview Vragenlijst Expertise en de computer TREC en expertise en expertise Publicaties en expertise Onderzoeksvragen Experimentele opzet Analyse bestaande gegevens ILK testcollectie ILK werkgroep Authoritative re-ranking Methode Onderdeel A Onderdeel B Onderdeel C Onderdeel D Resultaten Onderdeel A Onderdeel B Onderdeel C Onderdeel D Conclusies en discussie Conclusies Discussie Aanbevelingen voor vervolg onderzoek...50 Literatuur...51

6 Bijlage...53 Bijlage 1: Onderdeel A...54 Bijlage 2: Onderdeel B...60 Bijlage 3: Onderdeel C...65 Bijlage 4: Onderdeel D...68

7 Tabellenlijst 3.1 Overzicht van de leden van de ILK werkgroep De optimale en strengere instellingen van de authoratitive re-ranking methode De opgestelde filters om ruis in de termenlijsten tot een minimum te beperken Per auteur zijn het aantal publicaties en de relatieve auteurpositie genoteerd De gemiddelde termposities per auteur berekend De gemiddelde scores van de twintig beoordeelde termen per termenlijst Voorbeeld data voor het berekenen van de Mean Reciprocal Rank Voorbeeld data voor het berekenen van de Ranked Recall Voorbeeld data voor het berekenen van de Mean Squared Error De Normalised Reciprocal Rank per query De expertscore uit de authoratitive re-ranking methode per query De Ranked Recall per query De Mean Squared Error per query...44

8 Figurenlijst 2.1 Sociale Netwerk Analyse weergegeven in de vorm van een graaf Sociale Netwerk Analyse weergegeven in de vorm van een matrix Screenshot van onderdeel A van de vragenlijst Screenshot van onderdeel B van de vragenlijst Screenshot van onderdeel C van de vragenlijst Screenshot van onderdeel D van de vragenlijst Weergave van de exacte, AND- en OR-match per termenlijst Weergave van het aantal publicaties per auteur uit de testcollectie Beoordeling van de publicaties in relatie tot de auteurposities...32

9 Hoofdstuk 1 Inleiding Binnen universitaire instellingen wordt onderzoek verricht naar een grote diversiteit aan onderwerpen. Een onderzoeksgroep of werkgroep bestaat uit hoogopgeleide wetenschappers die interessegebieden en expertise bundelen om vraagstukken aan de kaak te stellen. Ideeën worden bedacht, relevante literatuur wordt bestudeerd en methoden en technieken getoetst en ontwikkeld met als hoofddoel de wetenschap vooruit te helpen. Resultaten van een onderzoek worden beschreven in een zogeheten research paper, een artikel dat bestaande relevante literatuur bespreekt en de wijze waarop het onderzoek is verricht, beschrijft. De resultaten van het onderzoek kunnen weer de basis vormen voor nieuw onderzoek waarin nieuwe inzichten kunnen leiden tot een breder of dieper inzicht in het betreffende onderwerp. Een research paper herbergt (veel) informatie over het onderzochte en geeft in feite ook een deel van de kennis misschien zelfs expertisegebieden van de betreffende auteur(s) weer. Des te langer een auteur een onderwerp bestudeert en hierover schrijft, des te meer hij of zij waarschijnlijk hierover zal weten. Weten wat de expertisegebieden van een individu zijn, herbergt veel waarde. Binnen een werkgroep kunnen vraagstukken gerichter worden voorgelegd aan de juiste individuen waardoor er efficiënter met informatie kan worden omgesprongen. Als documenten, geschreven door een auteur binnen een werkgroep, een deel van de expertise van die auteur kunnen weergeven, dan is het interessant om te bekijken in hoeverre computertechnieken automatisch de expertisegebieden van een auteur kunnen achterhalen. Bestaande computer technieken kunnen automatisch informatie ophalen waarover, in globale lijnen, een document gaat. Deze technieken zijn alleen niet perfect en geven niet altijd een natuurgetrouw beeld van de inhoud van het document [1]. Eerder onderzoek (Bogers en Van den Bosch, 2005) heeft aangetoond dat zoekresultaten binnen een corpus kunnen worden verbeterd door deze aan de hand van een zogenaamde expertiseranking te herschikken. De expertiseranking wordt geproduceerd aan de hand van de inhoud van documenten binnen een werkgroep en gebruikt om de zoekresultaten te verbeteren. Dit onderzoek is gestart om te toetsen in hoeverre de expertiseranking uit het onderzoek van Bogers en Van den Bosch (2005) overeenkomt met de werkelijkheid. Er wordt getracht een goed beeld te krijgen van hoe expertise in elkaar zit en op welke manieren dit kan worden beoordeeld. Hierna volgen de onderzoeksvragen die in dit onderzoek gesteld worden, gevolgd door de methode en experimentele opzet waarmee wordt getracht om de werkelijke expertise binnen een werkgroep te bepalen en de kwaliteit van automatische expertiseextractie te evalueren. Na het behandelen van de resultaten die hieruit voortkomen, volgt tot slot de conclusie, de discussiepunten en aanbevelingen voor een vervolgonderzoek.

10 Hoofdstuk 2 Wat is expertise? De volgende anekdote 1 illustreert (op een amusante wijze) het probleem van het bepalen van expertise. He's Nobody's Fool When Albert Einstein was making the rounds of the speaker's circuit, he usually found himself eagerly longing to get back to his laboratory work. One night as they were driving to yet another rubber-chicken dinner, Einstein mentioned to his chauffeur (a man who somewhat resembled Einstein in looks & manner) that he was tired of speechmaking. "I have an idea, boss," his chauffeur said. "I've heard you give this speech so many times. I'll bet I could give it for you." Einstein laughed loudly and said, "Why not? Let's do it!" When they arrived at the dinner, Einstein donned the chauffeur's cap and jacket and sat in the back of the room. The chauffeur gave a beautiful rendition of Einstein's speech and even answered a few questions expertly. Then a supremely pompous professor asked an extremely esoteric question about anti-matter formation, digressing here and there to let everyone in the audience know that he was nobody's fool. Without missing a beat, the chauffeur fixed the professor with a steely stare and said, "Sir, the answer to that question is so simple that I will let my chauffeur, who is sitting in the back, answer it for me." Uit deze anekdote komt naar voren dat het bepalen van expertise niet altijd even gemakkelijk gaat en expertise niet alleen bestaat uit het hebben van een goed geheugen. Immers, iemand kan zich beter voordoen dan hij of zij in werkelijkheid is, zoals de chauffeur zich voordeed als Albert Einstein. Door gespecialiseerde vragen of gestandaardiseerde cases op te stellen om de expertise te meten kan hier doorheen worden geprikt zoals in de anekdote wordt aangegeven. Maar wat is expertise nu precies? Welke gangbare definities zijn hiervoor opgesteld en op welke manier is dit te meten en te vergelijken met een automatische expertise-extractie zoals beschreven in het onderzoek van Bogers en Van den Bosch (2005)? 1

11 2.1 Expertise en definities Expertise is een woord dat veel verschillende definities kent en verschillen in kennis en vermogen tussen individuen binnen een bepaald domein kan aantonen. Volgens de Van Dale heeft het woord expertise de betekenis deskundigheid. Hoe meer expertise een individu bezit binnen een bepaald domein, des te meer deskundigheid dit individu heeft binnen dit domein. Ondanks deze definitie blijft het begrip expertise abstract en kan het op meerdere manieren worden opgevat. De definitie deskundig heeft meer concrete voorstellingen waaronder: beslagen, gekwalificeerd, onderlegd, oordeelkundig en ter zake kundig volgens de Van Dale. Een deskundige of expert is iemand die door beroep of studie in het bijzonder bevoegd is tot het beoordelen van een zaak. Vraagstukken kunnen sneller en beter worden doorverwezen naar de juiste individuen wanneer men de expertise van sociale contacten kent (Campbell et al., 2003). Er zijn verschillende populaire definities in de wetenschappelijke literatuur van de term expertise. De meeste zijn nogal vaag en leiden op zichzelf niet naar concrete suggesties over hoe men een expert kan worden en herkennen (Salthouse, 1991). Een voorbeeld hiervan is iemand die voortdurend meer en meer over minder en minder leert. Het probleem bij het vertrouwen op deze definitie is de vraag wanneer men de specialisatie genoeg heeft gefocust zodat de kennis die iemand bezit genoeg is om als expert te worden gezien. De anekdote waarin de chauffeur van Albert Einstein de presentatie overnam, benadrukt dat het bezitten van kennis niet voldoende is voor expertise. Vroeger dacht men dat het verschil tussen experts en niet-experts zich vooral voordeed in de verwerking van informatie. Dit denkbeeld, dat experts beter zijn in het verwerken van informatie, werd veranderd door onderzoek van DeGroot (1965) en onderzoek van Chase and Simon (1973). Door in hun onderzoek diverse schaakopstellingen in korte tijd voor te leggen aan experts en niet-experts (beginnende spelers) werd duidelijk dat experts manieren hadden ontwikkeld om op een snelle en efficiënte manier visuele representaties te maken van de gegeven opstellingen. Echter, toen schaakopstellingen werden gepresenteerd die normaal niet kunnen voorkomen in een schaakspel bleken de experts niet beter te zijn dan de beginners in het onthouden van deze opstellingen. Deze resultaten kwamen niet overeen met het beeld van een expert die op de een of andere manier beter informatie kon verwerken dan een beginnende speler. Blijkbaar konden experts mogelijke opstellingen en patronen herkennen en vergelijken met opstellingen die zij hadden onthouden. Dit terwijl beginners de mogelijke opstellingen niet goed konden onderscheiden van onmogelijke schaakopstellingen waardoor zij geen voordeel uit de patroon herkenning konden halen. Sternberg (1994) gaat in zijn onderzoek in op wat een individu tot een expert maakt en geeft ondersteunende voorbeelden uit de literatuur om aan te tonen dat iemand met alleen maar kennis van een domein niet gezien kan worden als een expert. Hij behandelt verschillende

12 denkbeelden van expertise waarvan de eerste al gevormd werden in het begin van de twintigste eeuw. Sinds die tijd doen verschillende disciplines onderzoek naar vormen van expertise, al dan niet door gebruik te maken van hetzelfde label. De meeste moderne onderzoeken focussen op de individuele attributen van een expert (vaardigheden, cognitieve structuren), maar aan het begin van de twintigste eeuw werd al onderzoek gedaan naar intelligentie die kan worden gelabeld als intellectuele expertise. 2.2 Expertise in de literatuur In de literatuur wordt onderscheid gemaakt tussen het bezitten van expertise en het worden gezien als expert binnen een bepaald domein. Het bezitten van expertise binnen een domein maakt iemand nog niet tot een expert. Diverse vermogens dragen bij aan het onderscheid dat tussen individuen op het gebied van expertise kan worden gemaakt. Sternberg (1994) onderstreept een viertal factoren die dit onderscheid in expertise benadrukken. Superieur analytisch vermogen Met het superieur analytisch vermogen wordt het effectief gebruiken van de kennis die iemand bezit bedoeld. Experts zijn in staat om belangrijke informatie te scheiden om problemen op te lossen. Niet alleen de kwantiteit aan kennis, maar ook de organisatie van deze kennis zorgt voor het efficiënt gebruiken ervan. Een expert is niet alleen een opslagplaats van feiten, maar iemand die weet hoe hij of zij efficiënt kennis kan gebruiken die is opgeslagen. Superieur creatief vermogen Het superieur creatief vermogen omvat het creëren van nieuwe kennis op basis van bestaande kennis. Dit vermogen van experts gaat verder dan het analytisch vermogen. Op een of andere manier kunnen experts problemen herdefiniëren naar herkenbare eenheden. Hierbij wordt de relevante van de irrelevante informatie gescheiden en wordt de relevante informatie op een creatieve wijze gecombineerd en vergeleken met bestaande kennis. Het is hierbij niet zozeer de organisatie of kwantiteit van kennis die van belang is, maar meer het weten wanneer en hoe deze moet worden toegepast om te komen tot een passende oplossing voor het probleem. Experts zijn mensen die niet zozeer alle informatie hebben gememoriseerd en georganiseerd, maar mensen die creatieve theoretische en empirische contributies hebben bijgedragen in een bepaald gebied. Superieure automatisering Experts kunnen zich sneller aanpassen en verwerken informatie beter dan nietexperts. Experts lijken meer bij te dragen dan niet-experts in hun vakgebied en het lijkt erop dat ze dit doen met minder inspanning. Dit noemt Sternberg (1994) superieure automatisering. Salthouse (1991) geeft in zijn onderzoek aan dat mensen expertise gebruiken om menselijke verwerkingslimitaties te omzeilen. Het automatiseren van bepaalde methoden en processen zorgt voor een extra voordeel voor experts boven niet-experts. Hierdoor hebben zij extra bronnen beschikbaar die gebruikt kunnen worden om situaties op een hoger niveau te analyseren wat kan leiden tot betere resultaten.

13 Praktisch vermogen Naast abstracte vermogens heeft een expert ook een vermogen dat speciaal gericht is op de praktijk. Dit wil zeggen dat hij naast het werken met ideeën en hypotheses ook de (on)mogelijkheden van zijn vakgebied kent en hiernaar handelt. Het weten wat de beperkingen zijn binnen een domein is belangrijk om mogelijke oplossingen naar waarde te kunnen inschatten. Na overwegen kan een expert op schaakgebied een perfecte zet selecteren uit een aantal mogelijke zetten, wat de suggestie opwekt dat zijn of haar selectiestrategie anders is dan dat van een beginner, de beginner die waarschijnlijk deze perfecte zet niet als perfect zou herkennen. Met het praktische vermogen van een expert wordt deze nadrukkelijke kennis van het domein bedoeld. Een niet-expert zal weinig tot geen kennis hebben over het betreffende domein waardoor deze slecht kan inschatten welke oplossing(en) mogelijk zijn en leiden tot een bevredigend resultaat. Deze verschillende vermogens onderscheiden volgens Sternberg (1994) een expert van een niet-expert. Het worden gezien als expert heeft echter niet alleen te maken met het bezitten van deze vermogens, maar ook met sociale factoren. Mensen worden ingedeeld als expert, omdat ze aan bepaalde criteria voldoen om als expert gelabeld te kunnen worden. Deze criteria kunnen per vakgebied verschillend zijn, maar als er gesproken wordt over experts dan is dit labellen waarschijnlijk de hoofdfactor die bepalend is. Sternberg (1994) geeft het voorbeeld van een dokter. Deze wordt als expert beschouwd wanneer hij of zij certificering hiervoor krijgt. Ondanks dat er tussen doktoren verschil bestaat, hebben ze evenveel kans om als expert gelabeld te worden en worden ze ook als zodanig behandeld. Iemand met certificering wordt automatisch gezien als iemand met verstand van zaken en zal ook daarna worden behandeld. 2.3 Expertise in kaart brengen In de literatuur worden verschillende manieren genoemd om expertise van mensen in kaart te brengen. Omdat in dit onderzoek de automatische manier van expertise-extractie wordt beoordeeld zijn drie manieren beschreven die veelal gebruikt worden om de expertise van mensen te beschrijven Sociale netwerk analyse Door gebruik te maken van sociale netwerk analyse kan kennis in een organisatorische context worden achterhaald. Sociale netwerk analyse betreft het in kaart brengen in welke mate een lid van een netwerk wordt beoordeeld door andere leden van het netwerk bij een of meer relaties. Relaties tussen individuen worden gerepresenteerd als een graaf of matrix. Als A kennis zoekt van B dan is die relatie gerepresenteerd door een pijl te tekenen van A naar B zoals in figuur 2.1 staat afgebeeld. Dezelfde informatie kan in een matrix worden getoond (figuur 2.2) waarbij niet een pijl, maar het getal 1 Figuur 2.1: Graaf een relatie tussen de zender en ontvanger weergeeft.

14 Bij sociale netwerk analyse moet de onderzoeker eerst de relaties selecteren die hij in kaart wil brengen. Vervolgens moet elke mogelijkheid geschaald worden als een binaire keuze, een nominale keuze of op een interval schaal. Hierna worden vragen opgesteld die het verschil tussen individuen op de te onderzoeken relaties kan meten. Als men bijvoorbeeld wil weten wie een expert is op het gebied van belastingaangifte dan kan de vraag als volgt Figuur 2.2: Matrix worden geformuleerd: Bij wie kan je informatie inwinnen over belastingaangifte?. Onder elke vraag worden alle leden van de organisatie getoond waaruit de meest geschikte individuen kunnen worden geselecteerd. Afhankelijk van de manier waarop geschaald wordt kan worden aangegeven in welke mate een individu in relatie staat tot het subject. Per vraag kan worden bepaald wie het meeste is geselecteerd ofwel wie de meeste stemmen heeft ontvangen. Op deze manier ontstaat een duidelijk overzicht van de relaties tussen de individuen en de subjecten binnen het netwerk. Deze methode werd als eerste gebruikt in de context voor het identificeren van kandidaten om mee te doen in kennisacquisitie voor de ontwikkeling van een expert systeem (Stein, 1992). Een expert systeem is een geautomatiseerd systeem dat kennis en redeneertechnieken gebruikt om problemen op te lossen die normaal gesproken menselijke kennis vereist [17]. Kennis verkregen van experts en kennis uit gedocumenteerde bronnen wordt gecodeerd in een het systeem ingevoerd, en wordt gebruikt door redeneerprocessen van het systeem om op verzoek adviezen te geven. Expertise werd gemeten door elk lid van het netwerk te ranken aan de hand van de netwerk analyse. Hoe hoger de score, hoe groter het gedefinieerde niveau van expertise. De resultaten werden gevalideerd op verschillende manieren. Als eerste werden de scores vergeleken met een chi-kwadraat toets. De aanname was dat als mensen niet verschilden in expertise niveau, elke persoon ongeveer dezelfde beoordeling zou krijgen. De geobserveerde scores werden vergeleken met het aantal verwachte reacties van de gemiddelde ranking score. De chi-kwadraat waarde gaf aan dat de geobserveerde ranking scores voor mensen significant verschilden (p <.001). Dit resultaat steunde de aanname dat de bronkwaliteit een factor was in het selecteren van experts, mensen hebben een voorkeur voor een bepaalde bron en kunnen dit ook aangeven Interview Om kennis van mensen te beschrijven is een interview de meest gebruikelijke methode. Het doel is om, in gesprek met experts, zich een beeld te vormen van hoe hun expertise is opgebouwd. Hierbij wordt onder andere gekeken naar hoe experts oordelen maken, problemen oplossen en oplossingen vormgeven. Een probleem bij deze methode is dat de interviewer niet passief deelneemt in de situatie, wat deze techniek rijp maakt voor bias. De interviewer kan hetgeen het subject zegt interpreteren in termen die persoonlijk worden begrepen, maar verkeerd worden geïnterpreteerd doordat het subject dit anders bedoelde. Hiernaast moeten de experts tijd vrijmaken en genoeg geïnteresseerd zijn om actief deel te nemen aan het interview. Maar

15 om een redelijk ruwe, snelle introductie in een domein te krijgen, om objecten te coderen en om te horen hoe experts te werk gaan is een interview een gebruikelijke methode Vragenlijst Een veel gebruikte manier om de expertise van mensen te beschrijven is simpelweg vragen voor te leggen waarmee de expertisegebieden van een individu kunnen worden geïdentificeerd [12]. Diverse organisaties en instellingen gebruiken deze eigen beoordeling om expertise van mensen in kaart te brengen. Een drietal voorbeelden hiervan zijn de Universiteit van Tilburg, de Koninklijke Nederlandse Academie van Wetenschappen en de University of South Australia: De Universiteit van Tilburg 2 maakt gebruik van een trefwoorden lijst waarin werknemers bestaande trefwoorden kunnen selecteren danwel nieuwe trefwoorden toe te voegen die corresponderen met de eigen expertise. Hierdoor ontstaat een web van trefwoorden die verwijzen naar expertisegebieden en experts. Op de website kan worden gezocht naar experts (door de naam te selecteren) en op expertise (door het trefwoord te selecteren). De Koninklijke Nederlandse Academie van Wetenschappen 3 maakt gebruik van een soortgelijke opzet waarbij eigen trefwoorden de expertise van een individu weergeven. Hiernaast dient men een omschrijving van het huidige onderzoek in te vullen. Deze gegevens worden opgeslagen in de Nederlandse Onderzoek Databank (NOD) en is voor het raadplegen van experts vrij toegankelijk. De NOD is een openbare online databank met informatie over wetenschappelijk onderzoek, onderzoekers en onderzoeksinstituten. De University of South Australia 4 maakt ook gebruik van een dergelijke opzet en bestaat uit een drietal onderdelen die het individu zelf moet invullen. Gestart wordt met het vragen naar trefwoorden die de expertisegebieden weergeven. Hierna dient het individu onderzoeksgebieden en gevolgde cursussen te selecteren. Het derde onderdeel omvat een aantal globale subclusters waaruit de expert zijn of haar interesses kan selecteren. McDonald (2002) ontwikkelde het zogenaamde Knowledge Mapping Instrument (KMI) om het systeem Expertise Recommender te evalueren. Dit is een korte domeinspecifieke vragenlijst om te bepalen in hoeverre de meningen van collega s over het bezitten van expertise overeenkomen met het daadwerkelijk bezitten van expertise van een individu. De vragen strekken zich van eenvoudige trivia uit tot problemen die een gedetailleerd begrip van het specifieke domein vereisten. Analyse van de scores toont een bijzonder hoge correlatie (Pearson s r = 0,8823) tussen de sociale evaluatie en de prestaties van de individuen aan. De analyse demonstreerde dat de verwachting van elkaars expertise in de werkgroep relatief overeenkomt

16 Uit de genoemde perspectieven kan worden afgeleidt dat er op verschillende manieren naar de betekenis van expertise wordt gekeken. Experts zijn gedefinieerd als degene die worden (h)erkend binnen hun werkgebied en beschikken over de benodigde vermogens om te fungeren op het hoogste niveau. Zoals Sternberg (1994) al aangaf is labeling een veel gebruikte methode om aan te tonen dat iemand over een bepaalde vorm van expertise beschikt. Ook Stein (1997) geeft aan dat certificeringen gebruikt worden als expertiseindicator. Genoemde technieken om experts in kaart te brengen zijn het gebruik maken van certificeringen, sociale netwerk analyse, interviews en vragenlijsten. 2.4 Expertise en de computer In de literatuur wordt nog maar weinig gesproken over het automatisch in kaart brengen van expertise door de computer. Het vinden van de juiste persoon in een organisatie is vaak essentieel voor het succes van projecten die worden ondernomen. Systemen worden ontwikkeld die met behulp van automatische indexeertechnieken gepubliceerde documenten, en andere digitale bronnen exploiteren om experts in kaart te brengen TREC en expertise Tijdens de Text REtrieval Conference (TREC) 2004, een jaarlijkse conferentie waarin door grote organisaties en universiteiten overlegd wordt over de stand van zaken op het gebied van information retrieval, werd duidelijk dat er interesse bestaat om te kunnen zoeken naar de relaties tussen entiteiten binnen een organisatie zoals mensen, groepen, producten, etc. Vandaar dat in de TREC2005 een onderzoekstaak werd opgenomen waarin deelnemers werden uitgedaagd om een oplossing te bedenken om experts te vinden die gerelateerd zijn aan een specifiek onderwerp. Het scenario beschrijft dat een gebruiker wil weten wie er een expert is op onderwerp X en dat een systeem aan de hand van een zoekopdracht op onderwerp X een gerangschikte lijst van experts weergeeft. Het systeem opereert op basis van een zoekopdracht, een corpus en een lijst met kandidaat-experts. Er is geen expertise survey gehouden, omdat de organisatie in kwestie (het W3C) hier niet aan wilde deelnemen. In feite heeft het W3C niet eens een lijst met kandidaat-experts geleverd. Hierdoor is het experiment gebaseerd op een bestaande database van de W3C werkgroepen. De onderwerpen zijn namen van werkgroepen en de experts zijn leden van deze groepen. Het betreft zoeken naar expertise, omdat er wordt aangenomen dat de huidige leden van een bepaalde groep de experts zijn van deze groep ten aanzien van de leden van andere groepen. De kandidatenlijst werd als evaluatiemiddel genomen om te onderzoeken hoe de testcollectie het beste gebruikt kon worden voor een efficiënte rangschikking. Het nemen van de lijst als vergelijkingsmateriaal voor expertise heeft beperkingen. Er werd namelijk aangenomen dat leden van een werkgroep per definitie experts zijn van die werkgroep. Ook werd er geen onderscheid gemaakt tussen de experts onderling.

17 en expertise is net als sociale contacten een manier om antwoorden op vragen te krijgen. Campbell et al. (2003) heeft onderzoek verricht om te bepalen of het mogelijk is om aan de hand van het verkeer de expertise van individuen binnen bedrijven te bepalen. Een individu dat veel s krijgt of verstuurt over een bepaald onderwerp zal hier waarschijnlijk meer over weten, er meer expertise over bezitten dan iemand die hier weinig tot geen s over ontvangt of verstuurt. Door twee methoden met elkaar te vergelijken is geprobeerd de expertise van individuen te achterhalen en te beoordelen welke methode betere resultaten oplevert. Een simpel op content-gebaseerd algoritme werd vergeleken met het HITS, Hyperlink Induced Topic Search, algoritme, een op grafen gebaseerd beoordelingsalgoritme. Het op content-gebaseerd algoritme telt alleen het aantal s over een onderwerp verzonden door een individu. Een gaat hierbij over een onderwerp wanneer het één of meer keywoorden of zoektermen die een onderwerp beschrijven bevat. HITS neemt hiernaast ook de communicatie patronenanalyse mee in zijn expertoordeel. Om te toetsen of de algoritmes de werkelijke expertise konden benaderen werd een vragenlijst gemaakt waarin per categorie de namen van potentiële experts stonden. Mensen die met veel kandidaten in contact stonden, werden aangesteld om per categorie de potentiële experts te beoordelen op een 10-punts schaal. De beoordelaars werden gevraagd om elke kandidaat te beoordelen op hun expertiseniveau, op een schaal van 1 tot 10. Hierbij stelde 1 geen expertise en 10 zeer hoge expertise voor. De beoordelaars werden geïnstrueerd geen kandidaten te beoordelen die ze niet kenden en namen van potentiële experts toe te voegen die niet op de lijst voorkwamen en deze te beoordelen. Door gebruik te maken van en expliciete expertise puntentoekenning van de twee verschillende organisaties werden de resultaten geëvalueerd. De resultaten tonen aan dat het op graafgebaseerde algoritme HITS beter presteert bij beide organisaties. Het heeft een lagere recall 5 en een hogere precision 6. Het simpele op content-gebaseerd algoritme lijkt minder gerichte criteria te bezitten voor het bepalen van de experts waardoor het meer fouten maakt. is een vorm van social networking, een manier om experts op te sporen: een gebruiker heeft een probleem en naar wie gaat hij om dit probleem op te lossen. Natuurlijk is het zo dat men niet altijd direct antwoord krijgt en de gevraagde persoon het kan doorvragen alvorens antwoord te geven. Uit de resultaten van het onderzoek door Campbell et al. (2003) kan worden afgeleid dat analyse een expertiseranking kan voortbrengen. Echter is het verschil tussen beide algoritmes niet groot en zijn de resultaten matig. 5 Recall: het deel van de relevante experts die gevonden zijn. 6 Precision: het deel van de gevonden experts die relevant zijn.

18 2.4.3 Publicaties en expertise De aanleiding van dit onderzoek heeft betrekking op een mogelijke bron van expertise namelijk wetenschappelijke publicaties. Bogers en Van den Bosch (2005) ontwikkelden een nieuwe methode genaamd authoritative re-ranking. Hiermee kunnen zoekresultaten binnen een corpus worden verbeterd door gebruik te maken van automatische gegenereerde expertise-scores waarmee de zoekresultaten worden herschikt. Er wordt in het onderzoek verondersteld dat wanneer een auteur veel over een onderwerp schrijft, hij of zij ook meer expertise bezit in het onderwerp dan een auteur die niet of minder schrijft over het onderwerp. Hiernaast wordt verondersteld dat de publicaties van een auteur een goede bron zijn om expertise uit te extraheren. Gebaseerd op deze assumpties wordt ingeschat hoe goed een term of zin wijst naar een bepaald document en hierdoor indirect naar één of meerdere auteurs. Door gewichten aan deze termen of zinnen toe te kennen wordt verondersteld dat in zekere mate kan worden bepaald welke auteur of auteurs meer expertise bezitten in een onderwerp. Met behulp van statistische methoden om de (on)afhankelijkheid van twee waarden te schatten wordt deze informatie gebruikt om de expertise van auteurs te modelleren met als doel het verbeteren van de zoekresultaten. De aanname in het onderzoek is dat wetenschappelijke publicaties de expertise van de auteurs bevat en dat deze met behulp van de authoritative re-ranking methode kan worden geëxtraheerd uit de publicaties. De tweede aanname in het onderzoek is dat er bij het herschikken van de zoekresultaten de documenten van de betreffende experts hoger moeten worden ingeschaald. De vraag die hierbij gesteld kan worden is of deze aannames wel correct zijn en zomaar gevolgd kunnen worden. Weerspiegelen de publicaties van een auteur de werkelijke expertise van de auteur en in hoeverre wordt deze met behulp van authoritative re-ranking methode geïdentificeerd?

19 2.5 Onderzoeksvragen In dit onderzoek wordt getracht te achterhalen of het corpus van een werkgroep een goede plaats en authoritative re-ranking een goede methode is om de expertise van werkgroepleden te bepalen. Authoritative re-ranking is het herschikken (re-ranken) van zoekresultaten op basis van expertise. Deze methode, geïntroduceerd door Bogers en Van den Bosch (2005), doet zijn werk gebaseerd op de assumptie dat expertise van een werkgroeplid kan worden geschat aan de hand van de inhoud van zijn of haar publicaties. Deze assumptie heeft de basis gevormd voor het onderzoek. De hoofdvraag in dit onderzoek luidt als volgt: In hoeverre is de authoritative re-ranking methode succesvol in het bepalen van de expertise van leden van een werkgroep? Aangezien in het onderzoek van Bogers en Van den Bosch (2005) termen met een hoog onderscheidend vermogen worden gebruikt om de expertise-score per auteur te bepalen kan worden afgevraagd of deze termen wel een hoogonderscheidend vermogen bezitten volgens de eigenlijke auteurs. De deelvraag die hieruit voortvloeit luidt: In welke mate hebben de termen die volgens het systeem een hoog onderscheidend vermogen hebben, volgens de eigenlijke experts een onderscheidend vermogen? Hiernaast wordt met behulp van de volgende deelvraag geprobeerd te achterhalen in hoeverre het corpus van een werkgroep volgens de auteurs in de werkgroep een goede bron is voor het bepalen van expertise. In hoeverre is het corpus van een werkgroep een goede bron voor het bepalen van expertise? Het systeem bepaalt aan de hand van een expertisescore welke auteurs bij een zoekopdracht de meeste expertise bezitten en worden hierdoor aangeduid als experts met betrekking tot de zoekopdracht. De derde deelvraag die gesteld wordt in deze scriptie is: In hoeverre duidt het systeem de juiste auteurs bij een zoekopdracht aan? Door het beantwoorden van deze drie deelvragen wordt getracht een goed antwoord te geven op de hoofdvraag gesteld aan het begin van deze sectie.

20 Hoofdstuk 3 Experimentele opzet Bogers en Van den Bosch (2005) gebruikten in hun onderzoek vier verschillende testcollecties om de authoritative re-ranking methode te evalueren. Een testcollectie bestaat uit een verzameling documenten en query's ofwel zoekopdrachten waarbij voor elke query afzonderlijk is aangegeven welke documenten relevant zijn voor die query. Om de expertiseextractie in hun gecombineerde aanpak te kunnen evalueren, was het noodzakelijk om de testcollectie van de ILK 7 werkgroep te gebruiken. Sectie beschrijft deze collectie in meer detail. Bogers en Van den Bosch (2005) hebben naast de ILK collectie ook drie andere testcollecties gebruikt, maar deze representeerden niet de onderzoeksoutput van een specifieke werkgroep. Bij de ILK collectie echter was er echter wel de mogelijkheid om de leden van de werkgroep daadwerkelijk te betrekken bij de evaluatie van de expertiseextractie. 3.1 Analyse bestaande gegevens Het analyseren van de bestaande gegevens bestaat uit een analyse van de testcollectie waaruit de expertiseranking wordt geëxtraheerd, de verschillende werkgroepleden en de wijze waarop de expertiseranking wordt gemaakt door het systeem ILK testcollectie De ILK testcollectie 8 is destijds gecreëerd, omdat er volgens de makers geen werkgroepcollecties beschikbaar waren. Beide onderzoekers konden geen werkgroep testcollectie vinden waardoor zij er zelf een hebben aangemaakt. Deze bestaat uit de titels en abstracts van 147 Engelstalige publicaties van huidige en ex- leden van de ILK werkgroep. In totaal bevat de collectie 89 unieke auteurs en 169 query s met de bijbehorende bepaling van relevantie. De testcollectie werd gemaakt door alle publicaties binnen de werkgroep te verzamelen en om te zetten naar platte tekst. Hierna werd gevraagd aan de werkgroepleden om bij de eigen publicaties uit de testcollectie query s te bedenken en zelf alle relevante ILK publicaties te noteren. Hierbij gaat het om dus niet alleen om de eigen relevante publicaties, maar alle relevante publicaties uit de testcollectie. Bij elke query is op deze manier genoteerd welke publicaties relevant zijn. De ILK testcollectie bevat de publicaties van de ILK werkgroep tot De publicaties van werknemers die na 2004 zijn gestart bij de ILK werkgroep waren nog niet opgenomen in de 7 ILK is de afkorting van de werkgroep Inductie van Linguïstische kennis en werd opgericht door professor Walter Daelemans in de jaren De ILK testcollectie is te downloaden van