AMS-IX. Henk Steenman CTO

Transcriptie

1 AMS-IX Henk Steenman CTO

2 Agenda De rol van een Internet Exchange in het Internet De AMS-IX organisatie Technisch overzicht AMS-IX platform Klantaansluitingen Ontwikkelingen

3 Agenda De rol van een Internet Exchange in het Internet De AMS-IX organisatie Technisch overzicht AMS-IX platform Klant aansluitingen Ontwikkelingen

4 De rol van een IX Internet Exchange: Infrastructuur waar aangesloten partijen (ISPs, content providers, Carriers etc.) IP verkeer met elkaar uitwisselen Partijen gaan daarbij een bilaterale relatie met elkaar aan

5 De rol van een IX Interconnectie modellen Transit Peering Korte Geschiedenis van Internet Exchanges Internet Exchanges in de Wereld Euro-IX

6 De rol van een IX Onderscheiden twee typen bilaterale relaties Peering Men adverteert aan elkaar alleen de eigen netwerken/klanten. Transit Men adverteert (en geeft toegang tot) de netwerken van derden. Een speciale vorm van een transit relatie is toegang geven tot het hele Internet. Dit noemt men ook wel usptream connectiviteit Meestal wordt deze service geboden over een speciaal hiervoor bedoelde verbinding in plaats van een exchange

7 De rol van een IX Typisch stuurt men elkaars bestemmingen (routes) met behulp van het BGP4 protocol Doel: Bespaar kosten aan upstream connectiviteit. Verkeer dat lokaal op een exchange wordt uitgewisseld hoeft niet via een dure upstream provider afgehandeld te worden Houd lokaal verkeer lokaal Geen reden om b.v. verkeer tussen Nederlandse providers via de VS te routeren

8 Verschillende Netwerken Elk netwerk autonoom in: Organisatie Doelstellingen Opzet Technologie Symbool: wolkje

9 Netwerk van Netwerken Elk netwerk autonoom in: Organisatie Doelstellingen Opzet Technologie Symbool: wolkje Niet autonoom Protocollen Adressering

10 Transit en Upstream Praktisch onmogelijk om elk netwerk met elk ander netwerk te verbinden Transit netwerken kunnen verkeer van en voor andere netwerken afhandelen Grotere netwerken bieden upstream aan kleinere netwerken

11 Upstream Upstream verkeer kost ISPs veel geld

12 Peering Upstream verkeer kost kleine ISPs veel geld Logische gedachte is lokaal verkeer lokaal af te handelen Peering Uitwisseling van verkeer tussen gelijke partijen Upstream blijft nodig voor verkeer dat niet via peering kan

13 Internet Exchange Point (IXP) Een faciliteit voor uitwisseling van verkeer tussen meer dan twee partijen Veelal peering Technologie Ethernet FDDI en ATM komen nauwelijks meer voor

14 Private Peering Rond IXPs clusteren veel ISPs samen in dezelfde gebouwen Onderlinge verbindingen zijn gemakkelijk te maken

15 Internet Exchange Grote IXPs trekken ook grotere netwerken Peering is geen verplichting Grote netwerken willen niet altijd (gratis) peeren.

16 De rol van een IX Interconnectiviteits modellen Transit Peering Korte Geschiedenis van Internet Exchanges Internet Exchanges in de Wereld Euro-IX

17 Eerste echte Exchange Metropolitan Access Experiment Metropolitan Area Ethernet Metropolitan Area Exchange WorldCom MAE-East Washington, D.C. Eind mb/s ethernet Initieel 4 lokaties MFS fiber hub Gedeelde administratie door deelnemers Sprint/ICM, Alternet, PSI, SURAnet, NSFnet

18 En Daarna - MAE-West / Federal Internet Exchange San Jose / Mountain View (1994) FDDI ring Bridged tot 10mb Ethernet in verschillende lokaties Commercial Internet Exchange Palo Alto (1994) Layer-3 MLPA DS1 (T1) lines naar een Cisco Not-for-profit industry association Alternet, PSI, Cerfnet

19 Europa LINX London 1994 Opgezet als een vereniging Ethernet AMS-IX Zie later Hong Kong Internet Exchange Chinese University of Hong Kong Ethernet switch Eerste grote gratis Exchange (1995)

20 Technologische veranderingen Shared 10Base-T Shared FDDI Switched FDDI Gigabit Ethernet Switched 10mb Ethernet 100Base-T / 100Base-FX IEEE 802.3u standaard beschikbaar Jul 1995 IEEE 802.3z standaard beschikbaar Jul Gigabit Ethernet IEEE 802.ae standaard beschikbaar Jun 2002

21 Andere Exchange Technologiën Layer-3 route-servers Frame Relay ATM Wireless Ethernet Crossconnect mesh

22 Typische Additionele Diensten Route-server Looking-glass Measurement and instrumentation Network Time Protocol Web cache parent News server Root server mirror

23 Verschillende business modellen Beheerd door universiteit of Overheid Vereniging van deelnemers Neutral for-profit onderneming Informeel Men zet ergens een switch neer en een ieder prikt zijn router er in. Vaak onbeheerd en of niet gemanaged

24 Verschillende afmetingen Gemeente Grotere metro-area National Regional

25 De rol van een Exchange in het globale Internet Interconnectiviteits modellen Transit Peering Korte Geschiedenis van Internet Exchanges Internet Exchanges in de Wereld Euro-IX 25

26 Europe 26

27 US 27

28 Asia 28

29 Africa 29

30 South America

31 De rol van een Exchange in het globale Internet Interconnectiviteits modellen Transit Peering Korte Geschiedenis van Internet Exchanges Internet Exchanges in de Wereld Euro-IX

32 Euro-IX Vereniging van Internet Exchanges in Europa Ook associated leden uit Azië en US Overleg orgaan voor Exchanges Deel ervaringen en discussie over verschillende oplossingen voor typische Exchange problemen. Zie voor uitgebreide informatie over de verschillende exchanges in Europa Voor geschiedenis en overzichten zie ook resources/

33 Agenda De rol van een Internet Exchange in het Internet De AMS-IX organisatie Technisch overzicht AMS-IX platform Klant aansluitingen Ontwikkelingen

34 De AMS-IX organisatie Vereniging Amsterdam Internet Exchange Ieder die een aansluiting wil op AMS-IX dient lid te worden van de vereniging. Vereiste is het zijn van een Internet gerelateerd bedrijf. AS nummer Vereniging formeel opgericht in 1997 Daarvoor al een informele Exchange (sinds 1994) met aangesloten partijen bij SARA en NIKHEF (Watergraafsmeer Science Park)

35 De AMS-IX organisatie Doel van de vereniging AMS-IX Het faciliteren van de uitwisseling van Internet verkeer tussen aangesloten leden. De vereniging is: Not for profit Neutraal ten opzichte van de belangen van de leden. Raad van bestuur van 5 personen gekozen uit de leden Twee jaarlijkse leden vergadering om rekenschap af te leggen. Het aantal leden van de AMS-IX vereniging is op het moment 266.

36 De AMS-IX organisatie Initieel beheer en organisatie uitbesteed aan SURFnet bv. Technisch beheer door SURFnet uitbesteed aan SARA In 2000 AMS-IX BV opgericht om beheer en organisatie van SURFnet over te nemen Technisch beheer blijft nog in handen van SURFnet Not for profit BV. AMS-IX BV 36

37 De AMS-IX organisatie Begin 2002 wordt technisch beheer overgenomen van SURFnet BV Oprichting AMS-IX NOC. AMS-IX BV betrekt pand op Westeinde 12, Amsterdam Centrum. Begin 2007, AMS-IX BV bestaat uit 17 FTE

38 De AMS-IX organisatie De AMS-IX vereniging is enige aandeelhouder van de AMS-IX BV Het bestuur van de AMS-IX vereniging is tevens raad van bestuur van de AMS-IX BV Sinds 2002 wordt het secretariaat voor EURO-IX door AMS- IX uitgevoerd

39 Agenda De rol van een Internet Exchange in het Internet De AMS-IX organisatie Technisch overzicht AMS-IX platform Klant aansluitingen Ontwikkelingen

40 Overzicht AMS-IX platform Ethernet platform 4 lokaties voor klant aansluitingen Watergraafsmeer Science Park SARA NIKHEF Telecity 2, Amsterdam Zuidoost Global Switch, Amsterdam West Westeinde 12. Kantoor en NOC in centrum Amsterdam

41 Overzicht AMS-IX platform Hub/Spoke topologie Edge Switches Core switches Foundry Networks BigIron JetCore 10GE access switches: GGN system 300 photonic switches Foundry networks MG8,RX16 FoundryNetworks RX16

42

43 Technisch Overzicht AMS-IX platform Basis Model Hub/Spoke

44 Technisch overzicht AMS-IX platform Waarom hub/spoke topologie? In hub/spoke model een optimale verdeling van de bandbreedte over de inter-switch links Alleen verkeer op een link voor de switch die daaraan verbonden is. Efficiënt gebruik van interface dichtheid op access switches Voorheen een cirkel topologie Alle interswitch links moeten dezelfde capaciteit hebben

45 Technisch overzicht AMS-IX platform In hub/spoke topologie verschillende single points of failure Core switch Dark fiber verbindingen tussen edge en core switch. Twee core switches Altijd een actief en een standby Edge switches zijn niet redundant Klanten sluiten aan op meerdere edge switches. Opgelost door implementatie van dubbele hub/spoke topologie Vanaf elke edge switch twee verbindingen naar core switches

46 Technisch Overzicht AMS-IX platform Basis Model dubbele hub/spoke

47 Technisch overzicht AMS-IX platform Protocol nodig voor failover en om loops in de Ethernet infrastructuur te voorkomen VSRP Altijd één core switch operationeel en één standby Geeft de mogelijkheid om te werken aan core switch (upgrade, aanpassingen etc) zonder de productie te verstoren Geeft de mogelijkheid te werken aan een of meerdere interconnectie links van de standby infrastruktuur.

48 VSRP virtual switch redundancy protocol Foundry propriety Master/Slave selection Een van beide core switches is geconfigureerd als master. De andere als slave Keuze voor master of slave gebaseerd op prioriteit. Prioriteit wordt geadverteerd in HELLO messages Na de initiële master keuze, stuurt alleen deze nog HELLO messages uit om te laten weten dat hij nog bestaat. De slave switch blokkeert zijn interfaces!

49 VSRP virtual switch redundancy protocol VSRP configuratie bestaat uit verschillende onderdelen Voor welk VLAN Prioriteit bepaalt of switch initieel master of slave word Interfaces welke van belang zijn voor VSRP Welke interfaces zin van belang voor een master/slave failover? Timers Bepaald de uiteindelijke convergentie tijd in geval van een failover

50 VSRP virtual switch redundancy protocol Prioriteits bepaling. Geconfigureerde prioriteit maal de verhouding tussen operationele en niet operationele links Bijvoorbeeld 4 links Geadverteerde prioriteit is = geconfigureerde prioriteit * (aantal operationele links)/4 Als alle links werken is de geconfigureerde prioriteit doorslaggevend voor master keuze Als één link breekt dan wordt de door de master geadverteerde prioriteit geconfigureerde prioriteit * 3/4 De geconfigureerde prioriteit van de slave is zo dat deze dan hoger wordt dan die van de master en failover plaatsvind.

51 VSRP virtual switch redundancy protocol Foundry edge switches zijn VSRP aware Luisteren naar HELLOs van de master Onthouden op welke poort deze binnen komen Op het moment dat de HELLOs over een andere poort binnenkomen passen ze de MAC tabel aan. Heeft als voordeel dat niet opnieuw MAC adressen geleerd hoeven te worden. Typische failover tijd voor de AMS-IX configuratie is < 100 ms.

52 VSRP virtual switch redundancy protocol

53 Topology group VSRP werkt per VLAN Ter vereenvoudiging gebruiken we zogenaamde Topology group Master VLAN draait VSRP Member VLANs (ISP, GRX, MDX) volgen topologie veranderingen master VLAN Alleen backbone lijnen geconfigureerd in master VLAN Geen klant interfaces, voorkomt invloed van klant infrastructuur.

54 Technisch overzicht AMS-IX platform Type Use Capacity BI , 100 base TX GE: SX, LX, LH 10GE for ISL 120 GE ports max. Limitation in ISL, max 2 * 10GE Aggregates = 14Gbit/s MG8 10GE customers 32 10GE ports max RX16 Core 64 10GE ports max MLX32 Nieuwe Core GE ports max

55 AMS-IX Platform Volledig Overzicht

56 Klant aansluitingen Co-Lo site Huren of plaatsen van racks met routers, switches, servers en dergelijke. Typisch verbinding van klant router op co-lo site naar lokale AMS-IX switch. AMS-IX beheer beperkt tot de switches. Co-locatie ruimte en verbindingen tussen klant apparatuur en AMS-IX verantwoording co-locatie.

57

58 Klant aansluitingen Elke co-locatie site heeft AMS-IX ethernet switch Interconnectie tussen switches (X * 10GE ) Klant poorten 10 of 100 Mbit/s over koper (UTP5/RJ45) 1GE SX over fiber (850 nm over MM fiber) 1GE Mbit/s LX of LH (1310 of 1550 nm over SM fiber) Geaggregeerde GE aansluitingen ( 2 of 4 GE) 10 GE ( nm over SM fiber, ook DWDM XFP) Geaggregeerde 10GE aansluiting (2 * 10GE)

59 Klant aansluitingen 10GE Realiseren door aansluiting op Photonic switch Photonic switch zorgt voor aansluiting op actieve 10GE edge switch Aansturing photonic switches Webinterface TL1 Management station laten luisteren naar SNMP traps voor VSRP Op grond van VSRP prioriteit verandering worden de photonic switches aangestuurd. Software hiervoor is door AMS-IX ontwikkeld

60 Klant aansluitingen Verschillende VLANs ISP VLAN Dit is het meest gebruikte en op het moment belangrijkste VLAN. Hierop vind de peerings plaats voor Internet connectiviteit tussen de aangesloten partijen GRX VLAN Aangesloten partijen zijn zogenaamde GRX providers. Verzorgen roaming verkeer tussen GPRS operators MDX VLAN Aangesloten partijen zijn de Nederlandse mobiele operators Interconnectie voor de uitwisseling van MMS verkeer.

61 56% 25% All Ports, All Vendors, Dec % 3% 10% Cisco Juniper Foundry Unknown Supermicro Avici Force10 Jetcell 3com Siara Riverstone Comda Giga-byte Intel Nokia Dell Myricom Network Newport Kingston Asustek Control Ferran Tyan Chelsio Vst Ww Klant Aansluitingen

62 65% FE ports, All vendors, Dec % 4% 5% 3% 12% Cisco Juniper Foundry Unknown Supermicro Avici Force10 Jetcell 3com Siara Riverstone Comda Giga-byte Intel Nokia Dell Myricom Network Newport Kingston Asustek Control Ferran Tyan Chelsio Vst Ww Klant Aansluitingen

63 25% 10GE connections All vendor, Dec % 3% 3% Cisco Juniper Foundry Unknown Avici Force10 Comda Myricom Chelsio 3% 2% 2% 50% Klant Aansluitingen

64 De optische infrastructuur De optische infrastruktuur bij AMS-IX bestaat uit twee componenten GE en 10GE interfaces worden optisch gekoppeld De gebruikt optische form factoren zijn: SFP XENPAK or XFP 850, 1310 en 1550 nm De laatste twee gebruiken SM fiber

65 De optische infrastructuur De optische infrastruktuur bij AMS-IX bestaat uit twee componenten Photonic switches Glimmerglass networks Layer 1 switches 64 or 144 port switch Map any fiber on any other fiber

66 Optical Infrastructuur

67 Photonic Switching Glimmerglass networks System 300 switch 64 port MEMS based switch Connect any port to any other port

68 Glimmerglass Networks photonic cross connect Glimmerglass Networks optical cross connects MEMS (micro-electromechanical switch) based 64 bij 64 mirror array MEMS array bestaat uit silicium spiegels (1mm diameter) die met behulp van een electrostatisch veld gericht worden. Maakt het mogelijk willekeurige inkomende fiber te mappen op een willekeurige uitgaande fiber. Typische switch tijd is in de orde van 15 ms.

69 Photonic Switching Fiber Array Micro lens Array Reflecting Mirror Micro Mirror Array

70 Optische infrastructuur Gebruik op twee manieren Alle interswitch links worden via photonic switches gerouteerd Schept de mogelijkheid van het verplaatsen van links of het in of uitschakelen van nieuwe links Het schakelen van 10GE klanten tussen de twee infrastrukturen.

71 Optische Infrastructuur

72 Bescherming van het platform Port security Groot gevaar voor Ethernet platform: LOOPs Controleerbaar op eigen platform Moeilijk als klanten L2 infrastructuren koppelen

73 Bescherming van het platform Port security Maatregelen Scheiden van VLANs. Klant L2 apparatuur zit niet in zelfde controle VLAN als AMS-IX Port security Sta slechts 1 MAC address toe achter een klant poort. Dit is per definitie de router anders geen functionaliteit. Luister niet naar STP of andere protocollen op klant poort AMS-IX VLANs volgen master VLAN in topology changes

74 Bescherming van het platform Port security Maatregelen Limiteer de hoeveel broadcasts, unknown unicasts en multicasts welke uitgestuurd worden op een poort. Breekt het ongebreideld groeien van broadcast verkeer in een loop Broadcast, multicast en unknown unicast worden door CPU adfgehandeld Een nieuwe poort wordt opgebracht in een zogenaamd Quarantaine VLAN Alleen die poort en monitor apparatuur. Controle dat alleen juiste MAC adres zichtbaar is en er geen L2 protocollen worden gestuurd.

75 Bescherming van het platform De Spons

76 Beheersing van het Platform Port Monitoring

77 Management van het Platform management infrastructuur Onafhankelijk management infrastructuur rond productie netwerk Elke site heeft een ethernet switch, onderling verbonden door dark fiber AMS-IX kantoor opgenomen in de ring Apparatuur op elke site aangesloten op management switch Productie apparatuur alleen bereikbaar over dit management netwerk. Configuratie management Verkeer metingen etc.

78 Management van het Platform Verkeers Metingen Gebaseerd op SNMP polling Data wordt opgeslagen in RRD bestand Centrale server polled alle switches en leest interface tellers. Verkeer gegevens voor alle interfaces. Totale verkeer op de Exchange is som van alle octets geteld op de klant interfaces Verkeer op een backbone link is som van alle octets op de interfaces die meedoen in een backbone link

79 Management van het Platform Verkeer metingen

80 Management van het Platform Verkeer metingen

81 Management van het Platform Verkeer metingen

82 What is sflow? Monitoring networks Cisco IOS - NetFlow Used at AMS-IX to: Sampling mechanism, not touching every packet Applicable to high speed networks Measure peer to Peer traffic (>= 1GE) Traffic per Ethertype: IPv4, IPv6, Mcast, Broadcast

83 What is sflow? sflow datagrams sent via UDP Datagram format standard defined in RFC 3176 Implemented on a wide range of devices (Foundry, Force10, Extreme...)

84 What is sflow? Switch Traffic In/Out Collector Sampling rate eg. 1 out of 8192 sflow datagrams UDP Up to 10 samples per sflow datagram

85 Performance issues Traffic up to 250 Gb/s (40 Mpps) ca samples per second hard to store each sample in a DB Many possible conversations (450 * 450) Need to write to many files in limited timeframe In practive around peerings, RRD files written in around 10 sec.

86 Software used at AMS-IX Written in PERL Easy to understand Good integration with RRDtool Due to PERL's re-use architecture (modules) lots of subtasks have already been programmed Largest common denominator of a language understood at the AMS-IX NOC

87 Net::sFlow Decodes sflow datagrams Available on CPAN Supports sflow version 2/4 and 5 Single (exportable) function, decode()

88 sflow daemon Based on module Net::sFlow Receives UDP datagrams Analyzes the information Stores data to RRD files

89 Privacy Concerns Statistical analysis Decoding only up to L2 (ethernet) Samples not saved after decoding More data not decoded by the software

90 Software used at AMS-IX Analysis Ether type graph percentage of IPv4, IPv6, ARP and other Multicast / Broadcast traffic Total IPv6 traffic graph in bps and pps Member-2-Member analysis in bps and pps

91 Results - Ether Type

92 Results - IPv6 Totals

93 Results - Example Peering traffic

94 Results - Outage

95 Agenda De rol van een Internet Exchange in het Internet De AMS-IX organisatie Technisch overzicht AMS-IX platform Klant aansluitingen Ontwikkelingen

96 Groei AMS-IX heeft alleen maar groei gekend! Zowel in aantal klanten, poorten als verkeer. Gezien de ontwikkelingen zal dat nog wel een tijdje doorgaan: Meer en snellere breedbandverbindingen naar de eindgebruikers ADSL2+, FTTH etc Toename gebruik video Groei zal dus voorlopig nog wel doorzetten.

97 Average traffic Tbyte/24 hour TByte/24 hour Jan-98 1-Jan-00 1-Jan-02 1-Jan-04 1-Jan-06 1-Jan-08 1-Jan-10 Groei Verkeers Volume

98 1000 Measured Average traffic/24h Measured Peak traffic Gbit/s Jan Jan Jan Dec Dec Dec Dec Dec Dec Dec-06 Groei Verkeers Gbit/s

99 Monthly traffic growth year Month Grand Total January February March April May June July August September October November December Grand Total Groei Verkeers Groei per maand

100 Measured Average traffic/24h Predicted Average Traffic/24h Measured Peak traffic Predicted peak Traffic 100 Gbit/s Jan Jan Dec Dec Dec Dec Dec-08 Groei Verkeers Voorspelling

101 BaseT 100BaseTX 1000BaseSX Total Ports 10GE Jul Jun Jun Jun Jun Jun Jun Jun Jun-07 Groei Poorten

102 BaseTX 1000BaseSX 10GE Linear (10GE) Jul Jun Jun Jun Jun Jun-08 Groei Poorten

103 Toekomst 100GE In de komende jaren wordt het noodzakelijk om een opvolger te hebben voor 10GE. In eerste instantie op de Inter Switch links (nu > 60Gbit/s) later voor klant aansluitingen (grootste nu 50Gbit/s) Deelname van AMS-IX in studie groep van de IEEE voor een volgende standaard. Wordt waarschijnlijk 100Gbit/s Standaard zal er echter niet eerder zijn dan eind 2009

104 Vragen? Opmerkingen?