Els: de associatieve leerlijnenbrowser Taal en Rekenen Dit is het prototype van Els. Els is een informatieomgeving voor onderwijsprofessionals, zoals docenten, taal- en rekencoördinatoren, leermiddelenontwikkelaars, enzovoort. Els ontsluit een viertal informatiedomeinen in onderlinge samenhang: 1. Referentiekader Taal en Rekenen, en Kerndoelen 2. Referentieleerlijnen 3. Vakkennis 4. Lesmateriaal. Zoeken in Els maakt een gebruiker duidelijk: Op welk referentieniveau bepaalde vaardigheden thuishoren Welke leerlijnen opleiden tot welk referentieniveau Welke vakkennis aan de orde komt in welke leerlijn Hoe de referentieniveaus Taal en Rekenen samenhangen met de Kerndoelen Welke leerobjecten ingezet kunnen worden in welke leerlijn Enzovoort. Belangrijk! Het prototype van Els beperkt zicht tot de volgende twee subdomeinen van het referentiekader Taal en Rekenen: 1. Taal Lezen Zakelijke teksten 2. Rekenen Verhoudingen Verhoudingen niveau 2F Els beperkt zich tot het basisonderwijs en de onderbouw van het voortgezet onderwijs. Els werkt het beste met de trefwoorden samenvatting (Taal) en procenten (Rekenen)
- 2 - Snelstarthandleiding Vul op het openingsscherm een zoekterm in, bijvoorbeeld samenvatting of procent, voer onderwijstype en groep/klas in voor het niveau waarop je informatie wilt hebben en klik op Zoeken. De vervolgschermen tonen steeds: 1. Het gekozen hoofdonderwerp uit één van de vier informatiedomeinen 2. Verwante informatie uit de andere drie domeinen. Verwante informatie Hoofdonderwerp Door op de diverse hyperlinks te klikken reist de gebruiker door het informatieuniversum van Els en doet ondertussen kennis en expertise op.
- 3 - Wie is Els? Dit is hetprototype van Els, de associatieve leerlijnenbrowser Taal en Rekenen. Els is een afkorting van Educational LinkedScape, de titel van het onderzoeksprogramma van Kennisnet en SURFnet waarin semantisch-webtoepassingen voor het onderwijs worden ontwikkeld. Els is ontwikkeld in het kader van het project Ontwikkeling prototype associatieve browser Taal en Rekenen. De doelstelling van dit project is om te demonstreren dat het voor leerkrachten en docenten mogelijk is om de in 2010 ontwikkelde Referentieniveaus Taal en Rekenen en vigerende vakdidactische inzichten in ontwikkeling én onderhoud van taal- en rekenvaardigheden bij kinderen/jongeren in de praktijk in te zetten bij het oplossen van dagelijkse onderwijsproblemen in de klas (op het gebied van rekenen en taal). Dit project wordt uitgevoerd in het kader van het Plan van Aanpak ondersteuning eindgebruikers in doorlopende leerlijnen Taal en Rekenen van het Ministerie van OCW. Het project vindt nauwe aansluiting bij het programma Educatieve Contentketen 2 (ECK2), een initiatief van SLO, GEU en Kennisnet, waarvan het programmamanagement is belegd bij Stichting Kennisnet. Het in dit project ontwikkelde prototype fungeert als demonstrator (show case) van een nieuwe, rijkere vorm van metadateren, zoals die binnen het programma ECK2 wordt nagestreefd. Deze showcase betreft Taal en Rekenen, ECK2 zal zich uiteindelijk op een ruimer gebied aan vakken richten. Aan de ontwikkeling van Els werken mee: Expertisecentrum Nederlands (ontwikkeling referentieleerlijnen Taal) Freudenthal Instituut (ontwikkeling referentieleerlijnen Rekenen) Kennisnet (ontwikkeling RDF-informatiemodel) SLO (review informatiemodel en functioneel ontwerp van het prototype, onderzoek prototype). Het semantisch universum van Els In Els beschrijven we vier informatiedomeinen middels triples (entiteit associatie entiteit) en koppelen die domeinen vervolgens met een set aanvullende associaties aan elkaar. De vier domeinen zijn: 1. Formele kaders Hiervoor gebruiken we het Referentiekader Taal en Rekenen en daarnaast de Kerndoelen voor het primair onderwijs en de onderbouw van het voortgezet onderwijs. Samen vormen zij het formele kader van het onderwijs, ze bevatten de doelen van het onderwijs, uitgedrukt in vaardigheden. 2. Referentieleerlijnen Hiervoor gebruiken we referentieleerlijnen die zijn ontwikkeld door het Freudenthal Instituut (Rekenen) en het Expertisecentrum Nederlands (Taal). De referentieleerlijnen beschrijven een onderwijskundige route waarlangs een leerling een bepaalde vaardigheid uit het Referentiekader Taal en Rekenen zou kunnen verwerven 3. Vakkennis
- 4 - De Vakkennis is de body of knowledge van de vakgebieden Taal en Rekenen. De Vakkennis omvat relevante vaktermen en concepten, maar ook didactische inzichten, hulpmiddelen en voorbeelden. Voor de invulling van de Vakkennis gebruiken we de zogenoemde Kennisbases Taal en Rekenen (voor de PABO. Zie www.kennisbasispabo.nl). 4. Lesmateriaal Hiervoor gebruiken we leerobjecten zoals ze voorkomen in de Nederlandse referatory voor leerobjecten Edurep. De meeste docenten benaderen deze verzameling van leerobjecten via Wikiwijs. Deze vier informatiedomeinen hangen als volgt samen: Afbeelding 1.: De vier informatiedomeinen van Els In het domein Formele kaders zijn de Vaardigheden van het Referentiekader Taal en Rekenen en de Kerndoelen de dominante entiteiten (Kerndoelen niet weergegeven in het plaatje). In het domein Referentieleerlijnen is dat de Referentieleerlijn. Het domein Vakkennis bestaat uit Concepten (en uit nog enkele andere entiteiten, maar die zijn hier omwille van de overzichtelijkheid weggelaten). Het domein Lesmateriaal tenslotte is opgebouwd uit Leerobjecten. In het schema is ook aangegeven hoe deze vier dominante informatie-entiteiten onderling zijn verbonden. Dit zijn steeds specifieke functionele relaties zoals wordt geleerd met of leidt tot en niet vage associaties als heeft te maken met.
- 5 - Een voorbeeld van de uitwerking van deze vier domeinen voor Rekenen ziet er als volgt uit: Afbeelding 2.: Voorbeeld van enkele domeinoverstijgende associaties binnen Els In dit voorbeeld is sprake van de toepassing van een vaardigheid in een bepaalde context: het berekenen van een bepaalde korting op basis van een percentage voor het vak Economie. Een leerling is in staat om deze toepassing uit te voeren als hij een bepaalde leerlijn heeft doorlopen, namelijk die van het leren Rekenen met procenten. Deze leerlijn leidt op tot een bepaald niveau en domein van het Referentiekader Taal en Rekenen. In het geval van procenten gaat het om de Vaardigheid Berekeningen uitvoeren met verhoudingen. Bij deze vaardigheid worden didactische hulpmiddelen gebruikt. Een goed voorbeeld daarvan is de zogenoemde Strook. Er kunnen tenslotte Opgaven bestaan, oefeningen waarin rekenen met procenten wordt geleerd met behulp van de strook. Referentieleerlijnen Voor het modelleren van het concept Referentieleerlijn is voor Els uitgegaan van de definitie van Allard Strijker (www.slo.nl/downloads/2011/zoeken-en-arrangeren-met-leerlijnen.pdf/download): Een leerlijn is een beredeneerde opbouw van tussendoelen en inhouden, leidend naar een einddoel. Een leerlijn verschilt van een zogenoemd arrangement. Het verschil is in onderstaande afbeelding aangegeven:
- 6 - Afbeelding 3.: Leerlijnmodel van Allard Strijker, SLO Binnen Els gebruiken we het concept van de leerlijn heel neutraal. Vandaar ook dat we spreken van een Referentieleerlijn. De redenering ( beredeneerde opbouw ) van een Referentieleerlijn in Els is gebaseerd op de uiteenrafeling van een bepaalde vaardigheid die een leerling in het onderwijs verwerft, in zijn constituerende elementen. Dat kunnen bijvoorbeeld deelvaardigheden zijn of voorwaardelijke vaardigheden. In Els worden deze constituerende elementen heel neutraal Referentieleerlijnonderdelen genoemd. Dus: In Els wordt een Referentieleerlijn gedefinieerd door zijn Einddoel - en dat Einddoel beschrijven we met een Vaardigheid Een Referentieleerlijn bestaat uit constituerende onderdelen die worden gedefinieerd door Tussendoelen - en die Tussendoelen beschrijven we met een Vaardigheid. Referentieleerlijnonderdelen kunnen voorkomen in verschillende Referentieleerlijnen. Ze kunnen a.h.w. worden hergebruikt. De Referentieleerlijnen van Els hebben een temporeel aspect: ze zijn geordend binnen de tijd en hebben een begin en een eind. Begin en eind van een Referentieleerlijn worden aangegeven met groepen (basisonderwijs) en klassen (voortgezet onderwijs). Dit temporele aspect van de Referentieleerlijnen van Els is descriptief bedoeld en niet normatief: het zijn de momenten waarop leerlingen in het Nederlandse onderwijs typisch beginnen respectievelijk eindigen met het verwerven van de betrokken vaardigheid. Normatief is wel de associatie van Referentieleerlijnen met het Referentiekader Taal en Rekenen. Dit kader beschrijft immers gewenste niveaus van beheersing op een bepaald moment in de onderwijscarrière van een leerling (eind primair onderwijs, eind vmbo, etc.). Omdat er verschillend gedacht kan worden over Referentieleerlijnen geeft Els steeds nadrukkelijk de naam van de ontwikkelaar van een bepaalde Referentieleerlijn aan. Dit kunnen expertisecentra zijn, de SLO, uitgeverijen of willekeurig welke andere persoon of instantie.
- 7 - Vakkennis Het Referentiekader Taal en Rekenen bevat een forse hoeveelheid van wat we ook wel Vakkennis noemen. In sommige contexten wordt dit ook wel de body of knowledge genoemd. In het Nederlandse onderwijs wordt deze Vakkennis beschreven in een aantal min of meer formele documenten die de Kennisbasis wordt genoemd. Deze zijn bedoeld voor de lerarenopleiding. Er zijn verschillende van deze Kennisbases, o.a. een voor Rekenen en een voor Taal. Wanneer je deze Kennisbases aan een nadere analyse onderwerpt zie je dat er verschillende soorten informatie in voorkomen. De Kennisbasis bevat meer dan alleen een opsomming en definitie van vaktermen, zoals Percentage of Samenvatting. De Kennisbasis beschrijft ook onderwijskundige didactische aspecten van het vak (dus achterliggende onderwijskundige ideeën en concepten en beschrijvingen van wat de docent didactisch doet of zou moeten doen) en besteedt eveneens aandacht aan de activiteiten van de leerling. In schema:
- 8 - Proof of concept op basis van een prototype: Els Om de waarde van het hierboven geschetste conceptueel kader te toetsen is een prototype van een leerlijnenbrowser ontwikkeld met de naam Els. Dit prototype bestaat uit drie lagen: Afbeelding 4.: Functionele lagen van het prototype van Els Het prototype van Els beperkt zich tot een deel van het referentiekader Taal en Rekenen en tot een goed afgebakende use case. De use case wordt uitgedrukt in een tweetal zogenoemde user stories. Domeinen Het prototype van els beperkt zicht tot de volgende twee domeinen van het referentiekader Taal en Rekenen: 3. Taal Lezen Zakelijke teksten 4. Rekenen Verhoudingen Verhoudingen niveau 2F Logica van het prototype Het concept van Els is gebaseerd op de hypothese dat een docent gebaat is bij het kunnen browsen door het hierboven geschetste semantisch universum met behulp van de aangegeven associatiehyperlinks. Wanneer hij een zoekterm intikt als percentages krijgt hij een resultaatpagina te zien waarop hij niet alleen een definitie van het concept ziet maar waarop hij ook ziet in welke referentieleerlijn dit concept thuishoort, voor welke vaardigheden dit concept nodig is en welke leerobjecten hij kan gebruiken om zijn leerlingen dit concept te laten doorgronden en/of te laten toepassen. Met een enkele druk op de knop kan hij bovendien zien in welke referentieleerlijn(en) het concept thuishoort en vanuit de referentieleerlijn die hij kiest, krijgt hij met een enkele muisklik toegang tot een voorselectie van passende leerobjecten.
- 9 - De kerngedachte van Els is dat een gebruiker zijn zoektocht begint met nauwelijks notie van waar hij naar op zoek is en dat elk achtereenvolgend scherm hem informatie biedt waarmee hij zijn zoekvraag beter kan begrijpen/expliciteren waardoor hij in staat is steeds beter geïnformeerde vervolgkeuzes te maken. Els maakt hiertoe gebruik van twee opeenvolgende zoekstrategieën: 1. Full-text Search 2. Redeneren volgens RDF-triples + menselijke reacties. Stap 1: Full-text De gebruiker voert een bepaalde zoekterm in Els in, bijvoorbeeld samenvatting. Els gaat nu in de volledige triple store (RDF-database) op zoek naar matches op deze zoekterm. Dat kunnen er heel wat zijn en ze kunnen in allerlei entiteiten zitten: leerdoelen, voorbeelden, beschrijvingen van referentieniveaus, enzovoort. Els legt een lijst aan van al deze entiteiten. Het kan zijn dat deze lijst een echte definitie van het concept samenvatting uit de Vakkennis bevat, maar de kans is net zo groot en misschien nog wel groter dat dit niet het geval is. In een normale zoekmachine zou deze lijst van hits vervolgens op basis van een bepaalde relevantiescore worden getoond aan de gebruiker. Dat is niet wat Els doet. Els gaat redeneren op basis van RDF-triples. Stap 2: RDF-redeneringen plus menselijke keuzes Els stelt zich de vraag met welke Referentieleerlijn(en) de entiteiten die de zoekterm samenvatting bevatten, het meest worden geassocieerd. Deze Referentieleerlijn wordt vervolgens gebruikt als organiserend principe van de informatie die aan de gebruiker wordt getoond. Daarin komen de vier informatiedomeinen van Els terug. Centraal staat de zoekterm samenvatting en bij die term krijgt de gebruiker vier lijsten van suggesties uit de triple store van Els te zien: 1. Wilt u weten hoe goed uw leerlingen dit moeten beheersen? [Zoekterm] komt voor op de volgende referentieniveaus Taal/Rekenen en in de volgende kerndoelen: Lijst van relevante Referentieniveaus Lijst van relevante Kerndoelen 2. Wilt u weten welke vakkennis hier allemaal bij hoort? [Zoekterm] heeft te maken met de volgende vaktermen: Lijst van relevante Vakkennis 3. Wilt u weten hoe u uw leerlingen hierin les kunt geven? [Zoekterm] komt voor in de volgende leerlijnen: Lijst van relevante Referentieleerlijnen 4. Wilt u opgaven en hulpmiddelen zien die hiermee te maken hebben? [Zoekterm] komt aan de orde in de volgende leerobjecten: Lijst van relevante Leerobjecten. Relevant wordt hier zoals gezegd bepaald door de set van Referentieleerlijnen die het sterkst geassocieerd wordt met de ingevoerde zoekterm.
- 10 - Els presenteert nu zoveel geordende tekstuele informatie uit de vier domeinen van de triple store dat de gebruiker makkelijker een vervolgkeuze kan maken. Als de gebruiker een keuze maakt, bijvoorbeeld voor een bepaald Referentieniveau, dan wordt hem vervolgens informatie over dat Referentieniveau aangeboden (tekst uit het Referentiekader) plus de relevante context: de geassocieerde Referentieleerlijnen, Vakkennis en Leerobjecten. Zet de gebruiker een stap die hem niet verder helpt, dan kan hij of terug of een keuze maken uit de in de context aangeboden entiteiten. Afbeelding 5.: Onderwerpen en contexten binnen Els Els gaat uit van de gedachte dat de gebruiker, geholpen door de contextuele informatie op basis van triple-redeneringen, in twee of drie stappen zal uitkomen bij wat hij zoekt (bijvoorbeeld een stappenplan om samenvattingen te maken of een goede oefening in het maken van samenvattingen) makkelijker en sneller dan wanneer hij zijn weg moet zoeken in tientallen of honderden hits in Google of op Wikiwijs. Toegevoegde waarde van RDF als vorm van metadateren Hierboven is het informatiemodel van Els beschreven. Ondanks het feit dat het uit slechts zeven hoofdentiteiten bestaat, is het beschrijven van bijvoorbeeld het Referentiekader Taal en Rekenen met de bijbehorende andere informatiedomeinen een omvangrijke klus. En als het gaat om het vinden van lesmateriaal met behulp van Els, dan hebben we in Nederland al online databases waarin lesmateriaal keurig geïndexeerd is met behulp van metadata. Wat is dan de toegevoegde waarde van de in Els toegepaste semantic web-werkwijze op basis van RDF (Resource Description Framework, http://nl.wikipedia.org/wiki/resource_description_framework) ten opzichte van het klassiek metadateren van leerobjecten zoals dat nu bijvoorbeeld gebeurt in Wikiwijs en Edurep? Wat is met andere woorden de business case van RDF in het onderwijsdomein?
- 11 - De toegevoegde waarde van een semantic web-metadatalaag voor informatiebronnen in het Nederlandse onderwijs bestaat uit de volgende elementen: Semantische rijkdom: met semantic web-metadatering creëer je een semantisch rijkere vorm van metadata Zoekvoordelen: met semantic web-metadatering kun je zoekinterfaces ontwikkelen die de eindgebruiker beter helpen om te vinden wat hij zoekt Flexibiliteit: met semantic web-metadatering kun je beter inspelen op veranderingen in metadata, bijvoorbeeld op nieuwe versies van de Kerndoelen of de Kwalificatiestructuur in het beroepsonderwijs Efficiency: met semantic web-metadatering kun je metadatasets eenvoudiger uitbreiden en kun je informatie sneller en goedkoper van de juiste labels voorzien. Semantische rijkdom Anders dan bij klassieke, vocabulairegeoriënteerde metadatering kun je met semantic webmetadatering op basis van RDF relaties leggen tussen verschillende informatiedomeinen. In de klassieke situatie formuleer je bijvoorbeeld een vocabulaire voor alle Kerndoelen in het voortgezet onderwijs en een vocabulaire voor de Bètacanon. Beide vocabulaires zijn niet met elkaar verbonden. Je kunt nergens zien met welke Kerndoelen een bepaald venster uit de Bètacanon inhoudelijk verbonden is. In het semantic web werkt dat fundamenteel anders. Daar kun je, bijvoorbeeld met RDF-associaties, de beide genoemde vocabulaires met elkaar verbinden. Een eindgebruiker kan nu relaties leggen tussen de Kerndoelen en de Bètacanon en zo tot een beter begrip komen van de toepassing van de Bètacanon in zijn onderwijspraktijk. In Els bestaat de semantische rijkdom uit het koppelen van de vier informatiedomeinen: Referentiekader Taal en Rekenen/Kerndoelen, Referentieleerlijnen, Vakkennis en Lesmateriaal. Met klassieke metadatering zou dit praktisch gezien onmogelijk zijn. Zoekvoordelen De dominante zoekstrategie die mogelijk is met klassieke metadatering is filtering. Je gebruikt de vocabulaires, bijvoorbeeld Soort Lesmateriaal, om het aantal zoekresultaten in te perken. De praktijk leert dat eindgebruikers de enorme hoeveelheid initiële hits in een database als Wikiwijs erg ontmoedigend vinden. De filteringsmogelijkheden worden vaak als te complex ervaren en daarom niet gebruikt. Eindgebruikers verwachten dat een omgeving als Wikiwijs à la Google automatisch de juiste objecten bovenaan zet in de resultatenlijst. Maar dat is met klassieke metadatering maar in heel beperkte mate mogelijk. Semantic web-metadatering daarentegen stelt een zoekapplicatie in staat zoekresultaten te tonen die semantisch in de buurt liggen van de oorspronkelijke zoekterm van de gebruiker. En deze semantiek is niet gebaseerd op taalaspecten o.i.d. maar op de expertise van domeinexperts. Het prototype van Els is een poging om een dergelijke associatieve semantische zoekmachine te creëren. Els vormt als het ware een semantische tussenlaag tussen de gebruiker en de gezochte informatiebronnen, een tussenlaag die de eindgebruiker de web wijst in de enorme hoeveelheid informatie die hij tot zijn beschikking heeft.
- 12 - Flexibiliteit Afbeelding 6.: Els als semantische tussenlaag tussen de gebruiker en de gezochte informatie Het Nederlandse onderwijs is een sterk veranderende omgeving. Dit blijkt uit de periodieke vervanging van Kerndoelen en Eindtermen, de introductie van een Referentiekader als dat voor Taal en Rekenen, het verschijnen van een Geschiedenis- en een Bètacanon, de elkaar razendsnel opvolgende versies van Kwalificatiedossiers in het beroepsonderwijs, enzovoort. In de situatie van klassieke metadatering moet voor elke versie van zo n lijst of zo n kader een nieuw vocabulaire of een nieuwe versie van een vocabulaire worden ontwikkeld. Zoals we eerder zagen, kunnen die vocabulaires niet aan elkaar worden gerelateerd. Daarvoor moeten aparte kruistabellen worden gemaakt die vervolgens in de systemen geïmplementeerd moeten worden die met de informatie werken. In de praktijk gebeurt dit zelden, waardoor eindgebruikers bijvoorbeeld maar moeilijk de opeenvolgende versies van een Kwalificatiedossier met elkaar kunnen vergelijken. Met semantic web-metadatering op basis van RDF moet je in de hierboven beschreven gevallen ook een nieuwe set entiteiten ontwikkelen, maar die kun je vervolgens eenvoudig en systematisch koppelen aan de bestaande entiteiten. Hierdoor wordt het voor de eindgebruikers mogelijk om automatisch en gemakkelijk opeenvolgende versies van standaarden en kaders met elkaar te vergelijken. Dit vergroot de flexibiliteit van het informatiebeheer aanmerkelijk. Efficiency Het met elkaar kunnen koppelen van verschillende metadateringsvocabulaires leidt tenslotte tot een aanmerkelijke efficiencyverbetering. Stel: je hebt een grote verzameling leerobjecten gemetadateerd naar de Kerndoelen. Dan wordt opeens de Bètacanon geïntroduceerd. In de situatie van klassieke metadatering moet je nu alle leerobjecten opnieuw gaan metadateren. Uiteraard is het mogelijk om dit proces te automatiseren, bijvoorbeeld met behulp van een kruistabel, maar dat is een ingrijpende operatie. En zeker wanneer het een database met leerobjecten van verschillende herkomst en eigenaar betreft, ligt hier een fors beheersissue. In het geval van semantic web-metadatering liggen de zaken veel eenvoudiger. Je hebt het vocabulaire van Kerndoelen, je creëert een nieuw vocabulaire van de Bètacanon en je koppelt alle entiteiten van de beide vocabulaires aan elkaar. Dit kan door één persoon gebeuren. Omdat de beide
- 13 - vocabulaires verbonden zijn, zijn alle leerobjecten die al gemetadateerd waren naar Kerndoelen nu ook automatisch gemetadateerd naar de Bètacanon. En dat zonder dat er ook maar iets aan de metadatarecords van die objecten zelf veranderd hoefde te worden. Andere sectoren De Nederlandse onderwijswereld staat niet alleen in het introduceren van semantic webmetadateren voor het ontsluiten van informatie. Een grootschalig project in de Verenigde Staten is het Achievement Standards Network (www.achievementstandards.org), een initiatief waarin het curriculum van de 51 staten van de VS is geanalyseerd en gepubliceerd als RDF-triples. Scholen en uitgeverijen kunnen nu moeiteloos uitzoeken welke leerdoelen/eindtermen van de ene staat worden gedekt door de leerdoelen/eindtermen van de andere staat. Ook de Amerikaanse Bètacanon, de Standards For Science Literacy van de American Association for The Advancement Of Sciences, is door ASN aan deze curricula gekoppeld, zodat het bijvoorbeeld mogelijk wordt om op basis van de leerdoelen/eindtermen van elke Amerikaanse staat te zoeken in de omvangrijke online contentbronnen van National Geographic. In Nederland houdt Digitaal Erfgoed Nederland (www.den.nl) zich bezig met het door middel van RDF koppelen van diverse online bronnen met historische informatie. Koppelingen van de semantische domeinen van het nationale erfgoed en het onderwijs liggen voor de hand. Conclusie Semanic web-metadatering vraagt initieel om een zekere extra metadateringsinspanning en ook om het bestaan van een degelijke infrastructuur voor het publiceren en beheren van triples, maar deze extra inspanning betaalt zich dubbel en dwars terug in de vorm van rijkere, effectievere, flexibeler en efficiëntere metadatering van informatiebronnen. Ontwikkelpartners Els is in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap ontwikkeld, gereviewed en getest door: Freudenthal Instituut Expertisecentrum Nederlands Kennisnet SLO. Ministerie van Onderwijs, Cultuur en Wetenschap Auteur: Jacob Molenaar 26 juni 2011