Aan : WP2 van het development programma Van : Wim van der Vegt Datum : 20-juni-2002 Betreft : Verslag oriënterend onderzoek Peer to Peer (P2P) netwerken. Status : Concept Inleiding. Voor WP2 van het development programma is een oriënterend onderzoek gedaan naar de techniek achter Peer to Peer (P2P) Netwerken. Deze P2P netwerken zijn momenteel populair voor het zoeken naar en delen van computer bestanden. In eerste instantie werd gedacht aan inzetten in de auteursomgeving, maar in de studeeromgeving zijn ook interessant mogelijkheden tot inzet. Voor Edubox worden twee mogelijke toepassing mogelijk geacht: 1. In de auteursomgeving zou men via deze techniek kunnen zoeken naar bruikbaar cursusmateriaal. Dit zou een eerste stap kunnen zijn richting een centrale repository met onderwijskundig materiaal of een aanvulling daarop. P2P technologie laat overigens toe om er een centrale repository mee te creëren en de P2P technologie te gebruiken als toegangsmethodiek. 2. Ook een toepassing in de player is mogelijk. Hiermee kan de mogelijkheid gecreëerd worden om de studenten zelf naar cursusmateriaal te laten zoeken. Units Of Learning (UOL) zouden in zo n geval kunnen bestaan uit een collectie zoekopdrachten naar materiaal zodanig dat aan de eisen van de cursus wordt voldaan. Het zo samenstellen van een UOS brengt natuurlijk wel vragen met zich mee over didactiek. Verder zou men er bronnen mee kunnen ontsluiten of zelfs groupware-achtige constructies mee kunnen realiseren. Alhoewel er qua schaalbaarheid nogal wat haken en ogen aan P2P zitten, is dit voor Edubox waarschijnlijk niet snel aan de orde. Ondertussen zijn er overigens al oplossingen voor de schaalbaarheid die in de praktijk uitstekend werken. Daarnaast is er genoeg Open-Source materiaal verkrijgbaar en is er doordat het een interessant onderzoeksonderwerp is ook aardig wat goede literatuur te vinden.
Historie Peer to Peer Netwerken. Na de ondergang van Napster, dat werkte met centrale servers die de zoekopdrachten afhandelden van napster clients nadat door deze clients de gedeelde bestandsnamen ge-upload waren, is er een vlucht geweest naar totaal gedistribueerde netwerken. Deze vlucht was ingegeven door de juridische aspecten die verbonden zijn aan het actief meewerken aan het distribueren van software en muziek (van belang hier zijn de door Napster beheerde servers en het feit dat de bestandsnamen daar bekend waren en doorzocht konden worden). Dit is de oorsprong van de P2P technologie. De meeste gedistribueerde netwerken zijn afgeleid van het Gnutella P2P protocol dat op zijn beurt voortkomt uit het reverse-engineeren van het protocol dat gebruikt werd door een netwerk van Nullsoft (gesubsidieerd door AOL) dat slechts enige uren in de lucht was. Een netwerk van alleen gnutella nodes (servents genaamd van server+client) blijkt in de praktijk niet erg schaalbaar te zijn (gezien de hoeveelheid netwerk verkeer dat het kan genereren) zodat er al snel zogenaamde Ultrapeers verschenen. Ultrapeers schermen grote hoeveelheden leafnodes af van het gros van het netwerk verkeer en vormen onderling wel een peer to peer netwerk. Leafnodes in deze opzet hoeven maar een enkele connectie met een Ultrapeer aan te gaan. De meeste netwerken verschillen in hoe de Ultrapeer nodes tot stand komen (van handmatig door gebruikers tot automatisch door het netwerk zelf) en eigenlijk nooit gecentraliseerd. De meeste netwerken configureren zich qua Ultrapeers automatisch (meestal nodes die voldoen aan een aantal eisen zoals stabiliteit, operating systeem en bandbreedte) als de behoefte ontstaat of verdwijnt, maar veel hangt af van de clients. De meest gangbare netwerken zijn momenteel Kazaa en Morpeus: 1. Kazaa, bedrijfseigen variant van gnutella (FastTrack) met automatische promotie tot ultrapeers. Alleen de client van Kazaa wordt toegelaten sinds het netwerk verkeer versleuteld is. Het exacte protocol is onbekend en sources zijn zonder licentie niet beschikbaar. 2. Morpheus, voorheen gebaseerd op FastTrack maar tegenwoordig op het programmatuur van Gnucleus die het Gnutella protocol implementeert. Onduidelijk is hoe de promotie van nodes naar Ultrapeers plaatsvindt aangezien dit afhankelijk is van de client software. Het Morhpeus netwerk bestaat naast de eigen client uit een veelvoud van andere clients hetgeen z n eigen problemen met zich meebrengt. Het grootste verschil tussen de diverse Gnutella clients zijn de uitbreidingsprotocollen en operating systemen die deze al of niet ondersteunen. Veel gratis P2P clients en netwerken zijn voorzien van wat men momenteel vangt onder de noemers Spyware en Addware. Spyware speels zonder weten van de gebruiker gegevens door aan de makers van het programma, terwijl Addware ervoor zorgt dat er regelmatig reclame getoond wordt in het programma. De reclame inkomsten zijn dan een bron van inkomsten voor de makers van het programma. Alhoewel vaak vervelend kan deze laatste vorm wel een leuke aanvulling vormen op
de client omdat het ook mogelijk moet zijn om in plaats van reclame nuttige boodschappen en aankondigingen te versturen naar studenten. Technologie De P2P technologie houd in dat er na het tot stand brengen van een verbinding (connectie) van een P2P node met een zogenaamd known entrypoint (een qua IP adres bekende P2P node) een lijst opgebouwd wordt van andere P2P nodes. Met een aantal daarvan (in de praktijk meestal vier) wordt een verbinding aangegaan en deze kunnen dan vervolgens worden doorzocht met behulp van simpele, meestal filenaam gebaseerde, zoekopdrachten. Deze vier nodes beantwoorden niet alleen de zoekopdrachten maar sturen deze ook door naar de nodes waarmee zij een verbinding hebben en routeren het antwoord terug. Doordat zoekopdrachten maar een maximaal aantal nodes (meestal vijf) kunnen doorkruisen (Time To Live oftewel TTL) ontstaat er een webvorming netwerk van beperkte omvang. Omdat een node er naar streeft om een bepaald maximaal aantal uitgaande verbindingen in stand te houden (en uitvallers te vervangen door andere nodes uit de opgebouwde lijst) blijft er eigenlijk altijd een redelijk aantal doorzoekbare nodes over. Bij een TTL van 5 leveren connecties met vier andere nodes een netwerk van maximaal 484 potentieel bereikbare nodes op, bij een TTL van 7 loopt dit aantal op naar 4372 nodes. De aantallen potentieel bereikbare nodes lopen explosief op, als elke node met 8 andere nodes verbindingen onderhoudt met een TTL van 8 is het aantal potentieel bereikbare nodes 7.686.400. In de meeste huidige P2P clients is het zoeken erg rudimentair (op stukken van filenamen en filetype, aangevuld met metadata die uit sommige bestanden gehaald kan worden zoals MP3 s ID3-tags). De ontwikkelingen gaan echter richting geavanceerder zoeken gaan doormiddel van complexere metadata en XML schema s. Probleem hierbij is hoe aan deze metadata te komen zonder de gebruiker er mee lastig te vallen. Voor ons doel is deze mogelijkheid van zeer groot belang aangezien we met onze zoekopdrachten willen kunnen zoeken in de metadata van EML documenten. Het berichtenverkeer is meestal simpel van aard en binair gecodeerd om het zo compact mogelijk te houden. Dit staat echter in de weg bij vernieuwingen en gebruik van XML zo hier goed kunnen werken alhoewel het formaat van de berichten er wel flink zou toenemen. Downloaden gaat met behulp van het HTTP protocol waarbij de clients HTTP requests accepteren op dezelfde poort als waarop de inkomende peer to peer connecties binnenkomen. Het is theoretisch mogelijk om een van een Gnutella node te downloaden met een standaard web-browser. Toepassing als onderdeel van de auteursomgeving. Toepassing als onderdeel van de auteursomgeving vereist een uitgebreide zoekmogelijkheid, liefst op metadata niveau in de onderdelen van een Unit of Learning. Qua netwerk structuur is het mogelijk om te werken met een centrale
repository in een centraal opgestelde P2P server of servers. Het andere uiterste, puur P2P is ook heel goed mogelijk mits er maar een stabiel known entrypoint is. Wel moet men rekening houden dat de beschikbaarheid van materiaal dan erg afhankelijk wordt van het on-line zijn van computers. Omdat de P2P technologie hier alleen gebruikt wordt voor search en retrieval is geen volle implementatie van alle protocollen nodig. Doordat er echter een ruime keus is aan client code is dit niet onmogelijk. Probleem bij puur P2P zoeken is het ontbreken van authetificatie. Dit is gezien het concept erg lastig te implementeren omdat men niet van nodes in het netwerk kan verwachten dat deze een username/password kennen van een onbekende gebruiker. Wel zou men analoog aan e-books kunnen denken aan financiële afrekening bij downloaden en gebruik van educatief materiaal, maar via het GnuTella protocol is dit niet geregeld. Toepassing als onderdeel van de studeeromgeving. Bij toepassing van P2P technologie als onderdeel van een studeeromgeving is het van belang om twee soorten zoeken te onderscheiden. De eerste is een query die meer dan een hit kan opleveren waarbij de student zelf een keuze kan maken (vgl. met de selectie). Omdat het mogelijk is om voorkeuren van de student te verwerken in de query kan het ook personaliserend werken (b.v. een voorkeur voor engelse teksten zou een engels talige cursus moeten opleveren). Verder moet er natuurlijk een mogelijkheid zijn om de studielast van deze didactische brokstukken te bepalen. Omdat er ten allen tijde materiaal toegevoegd kan worden kan een cursus on-the-fly verrijkt worden met nieuw materiaal. Aandachtspunt blijft wel het verwijderen of modificeren van materiaal. Bij een centrale repository is vereist dat alle in gebruik zijnde queries voldoende hits blijven opleveren. De tweede methode van zoeken, queries die precies een enkele hit opleveren lijkt in eerste instantie niet interessant maar is nodig om een player te creëren die geheel op Peer to Peer basis bestaat maar naast vrije keuzes ook verplichte vaste onderdelen bevat. Hiermee wordt P2P eigenlijk puur voor distributie doeleinden gebruikt. Voor een instelling zal dit betekenen dat er een centrale server nodig is om te garanderen dat het materiaal beschikbaar is en blijft. Aardig is natuurlijk dat binnen zekere grenzen materiaal te updaten is en zo actueel gehouden kan worden. Daarnaast is het mogelijk om voorkeuren van de student mee te nemen in de query. Uitbreidings protocollen voor Gnutella. Er zijn aardig wat uitbreidingen in de maak voor Gnutella hetgeen een aardig beeld geeft van de techniek achter netwerk, hoe de inherent aan P2P verbonden problemen opgelost kunnen worden alsmede de richting waar het netwerk zich zal gaan ontwikkelen. Een aantal van deze uitbreidingen is al in de een of andere vorm aanwezig in de diverse al of niet commerciële varianten van P2P netwerken.
Huge: Huge staat voor Hash/URN Gnutella Extensions. Belangrijkste doel is locale bestanden die door clients geshared worden voor zien van Hashes zodat deze op inhoud herkend kunnen worden (zie de hashes als een soort crc waardoor elke file van een vrijwel unieke id voorzien kan worden). Huge maakt het mogelijk om op verschillende nodes dezelfde file te vinden ook al is de naam verschillend of omgekeerd om verschillende files met identieke namen uit elkaar te houden. De Urn wordt in het protocol gebruikt als een soort van hyperlink waarin de Hash code verwerkt is. UltraPeers : Een voorstel voor een hiërarchische structuur voor het Gnutella netwerk doormiddel van het opdelen van nodes in gewone nodes (leafnodes) en supernodes (UltraPeers). In deze opzet hebben clients slechts één verbinding met één UltraPeers. De UltraPeers hebben onderling wel een beperkt aantal verbindingen. Belangrijkste eigenschap van UltraPeers is dat leafnodes afschermen voor de meeste ping/query paketten. Deze uitbreiding zegt overigens niets over de criteria waaraan voldaan moet zijn voor de promotie van een node tot ultrapeer. Query Mesh: Een uitbreiding van de zoekmogelijkheden door gebruikt te maken van naar elkaar doorverwijzende webservers als queryserver. Feature Query: Een van de tekortkomingen van het huidige Gnutella protocol is de uitbreidbaarheid en de mogelijkheid te achterhalen welke extensies (en versies ervan) beschikbaar zijn. Download Proxy: Komt voor een gedeelte te gemoed aan problemen die ontstaan bij P2P tussen nodes die elk achter een Proxy server liggen. Bye Packet: Gnutella sessies kennen geen formeel einde anders dan het zonder reden verbreken van een verbinding. Het Bye packet laat het toe een laatste melding met reden te geven van het verbreken van een verbinding. Ping Reduction Scheme: Pingen tussen client nodes zorgt voor aardig wat netwerk verkeer zonder dat het echt veel oplevert. Het Ping Reduction Scheme probeert hierin verandering te brengen door de reactie van nodes hierop (het Pong packet) te cachen. Extensible Handshaking Protocol:
Dit protocol (dat er gelijk voor zorgt dat Gnutella nodes zich als v0.6 i.p.v. v0.4 melden) is bedoeld om tijdens het maken van de verbinding gegevens over mogelijkheden van clients uit te wisselen. Query Routing for Gnutella Network Deze uitbreiding heeft tot doel het vervangen van textuele queries door hashes van query keywords. Hierdoor kan makkelijker bepaald worden welke nodes welke keywords kennen en dus voor een query interessant zijn. In Band Control Messages (IBCM) Een protocol dat tot doe heeft om gegevens tussen nodes uit te wisselen. Partial File Sharing Protocol (PFSP) Partial File sharing maakt het mogelijk om grotere bestanden in stukken te downloaded van meedere servers. Voornamelijk van belang voor grote files die op meerdere servers beschikbaar zijn. Standaard ondersteunt het Gnutella protocol al resumed downloads. Literatuur. 1. The Gnutella Protocol Specification v0.4 rev 1.2 by Clip2 2. Why Gnutella Can t Scale. No Really. By Jordan Ritter. 3. Ultrapeers: Another Step Towards Gnutella Scalability by Lime Wire LLC 4. Extensible Handshaking Protocol by Lime Wire LLC Alleen de belangrijkste artikelen zijn vermeld. De rest van o.a. de proposals is vinden in de the_gdf yahoo group (http://groups.yahoo.com/group/the_gdf). Een verder interessant startpunt is (http://www.openp2p.com).