Höhere Verfügbarkeit für X-WiN-Anschlüsse

8 | DFN Mitteilungen Ausgabe 75 | November 2008 | WISSENSCHAFTSNETZ
Höhere Verfügbarkeit für
X-WiN-Anschlüsse
Seit Inbetriebnahme des X-WiN wurden vielfältige Anstrengungen unter-
nommen, um den DFN-Nutzern einen leistungsfähigen und zuverlässigen
Zugang zum Internet bereitzustellen. Waren die bisherigen Aktivitäten mit der
redundanten Auslegung der Routerkomponenten, der doppelten Anbindung
der X-WiN-Standorte oder der sicheren Stromversorgung auf das „Innere“
des X-WiN gerichtet, werden mit der Leistungssteigerung 2009 nun die Zugangsverbindungen
zu den Anwendern in den Mittelpunkt gestellt.
Text: Hans-Martin Adler, Thomas Schmid
Hauptleitung (HL)
KR
Anwender-LAN
XR A XR B
Nebenleitung (NL)
Abb 1: Redundanter Anwenderanschluss am X-WiN

Ausgangssituation
In der Regel sind die Anschlüsse für den
DFNInternet-Dienst einfach mit einer
Zugangsleitung an den nächsten X-WiN-
Standort angebunden. Obwohl die Zuverlässigkeit
der Zugangsleitungen sehr
hoch ist und durch die aktive Überwachung
der Anschlüsse eine schnelle Entstörung
garantiert ist, führt der Ausfall
dieser Verbindung immer zu einem Konnektivitätsverlust
der Einrichtung. Einige
Einrichtungen haben deshalb zur Sicherung
ihres Zugangs den Backup-Dienst
des DFN-Vereins oder zusätzliche Internetzugänge
genutzt. Mit der Ausschreibung
der Zugangsleitungen im vergangenen
Jahr wurden die Anbieter aufgefordert,
jeweils auch Angebote zu den
benachbarten X-WiN-Standorten abzugeben.
In Auswertung dieser Angebote
konnte entschieden werden, dass ab 2009
der Standardanschluss für den DFNInternet-Dienst
mit einer doppelten Anbindung
angeboten werden kann. Mit den
Anbietern wurde vereinbart, dass die jeweils
zweite Anbindung möglichst redundant
ausgeführt wird und die dadurch
entstehenden Kosten durch den DFN-Verein
getragen werden.
Für den Regelanschluss (I-Kategorie)
des DFNInternet-Dienstes werden vom
Kundenrouter (KR) des Anwenders zwei
Zugangsleitungen (Hauptleitung und
Nebenleitung) zu verschiedenen Kernnetzknoten
des X-WiN geführt (siehe Abbildung
1). Für einen Clusteranschluss
(CI-Kategorie) schließt der DFN-Verein den
Clusterrouter mit einer Haupt- und einer
Nebenleitung ebenfalls an zwei unterschiedliche
Kernnetzknoten an. Nutzer
der Portanschlüsse (PI-Kategorien) erhalten
an einem anderen X-WiN-Knoten
einen zweiten Port. Anwender direkt an
einem Kernnetzstandort können einen
zweiten Anschluss oder eine Wellenlänge
zu einem anderen Standort nutzen.
Bei Anwendern, die bereits mehrere einfach
angebundene Anschlüsse besitzen,
kann geprüft werden, ob die angestrebte
Redundanz besser durch eine interne Ver-
bindung zwischen diesen Standorten rea-
lisiert werden kann. Für diese Nutzung
der Nebenleitung werden zwei grundlegende
Szenarien vorgeschlagen: Nutzung
der Nebenleitung als Backup-Zugang
oder Nutzung im laufenden Betrieb.
Anwender, die diese Angebote nicht nutzen
möchten, erhalten 2009 eine höhere
Bandbreite.
Grundlagen
Im X-WiN erfolgte das Routing mit den
Anwendern über den bisherigen Standardanschluss
statisch über die Zugangsleitung
zwischen X-WiN-Router (XR) und
Kundenrouter (KR). Für die Nutzung der
Nebenleitung wurde als günstigste Möglichkeit
das Border Gateway Protokoll
(BGP, RFC4271) für das Routing ausgewählt.
Dieses Protokoll beschreibt, wie
Router untereinander die Verfügbarkeit
von Verbindungswegen zwischen den
Netzen autonomer Systeme („AS“) propagieren.
Das Border Gateway Protokoll hat
den Vorteil, dass es auch für die Annoncierung
von Netzen innerhalb eines ASes
(internes BGP, iBGP) angewendet werden
kann. Die Anwender erhalten deshalb
vom DFN-Verein ein privates autonomes
System. Der DFN-Verein verwendet die
WISSENSCHAFTSNETZ | DFN Mitteilungen Ausgabe 75 |
AS-Nummer 680. Die folgenden Beispiele
zeigen, wie mit diesem Protokoll die redundanten
Anbindungen genutzt werden
können.
Szenario 1: Nutzung
der Nebenleitung als Backup
Die Nutzung der Nebenleitung erfolgt nur
dann, wenn die Hauptleitung gestört ist.
Für dieses Szenario gelten folgende Regeln:
• Die Nebenleitung verfügt über 1/3 der
Bandbreite der Hauptleitung.
• Die Zugangsleitungen enden beim Anwender
auf einem oder zwei Routern.
• Der Anwender bekommt vom DFN-NOC
eine AS-Nummer aus dem privaten Bereich
zugeteilt.
• Der Anwender annonciert seine Adressbereiche
über eBGP an das X-WiN. Der
DFN-Verein stellt eine unterschiedliche
Gewichtung für den Haupt- und den
Backup-Weg mit Hilfe von MEDs (Multi
Exit Discriminator) ein.
• Der DFN-Verein annonciert dem Anwender
eine Default-Route 0.0.0.0/0 bzw.
::/0. Die Gewichtung der Default-Route
über den Haupt- und Backup-Weg wird
vom DFN-Verein mit Hilfe von MEDs realisiert.
9

10 | DFN Mitteilungen Ausgabe 75 | November 2008 | WISSENSCHAFTSNETZ
Nebenleitung:
IP 188.1.100.5
IPv6: 2001:638:c:bbbb:::1/64
Nebenleitung:
IP 188.1.100.6
IPv6: 2001:638:c:bbbb:::2/64
Abb 2: Beispielkonfiguration für Szenario 1 mit zwei Kundenroutern
eBGP
KR2 Loopback:
IP 103.10.10.2/32
IPv6: 2001:638:1234:::2/128
• Darüber hinaus werden keine Maßnahmen
zur Verteilung des Verkehrs über
die Anschlüsse getroffen.
Da Ethernet-Verbindungen in der Regel
keine Signalisierung über die Verfügbarkeit
einer Ende-zu-Ende Beziehung bereitstellen,
werden auf DFN-Seite nicht die
default BGP Timer-Einstellung (Keepalive
60s, Hold Time 180s) verwendet.
Damit bei einem Ausfall einer Leitung
das Umrouten schnell erfolgen kann, wird
die BGP Session auf DFN-Seite mit kürzeren
Timer-Einstellungen konfiguriert.
D.h. bei einer Leitungsstörung, die nicht
zu einem ‚Interface down‘ führt, wird das
Routing i.d.R. nach ca. 20s auf den Backup-Weg
geschaltet. Kleinere Timer-Einstellungen
werden von den Herstellern
nicht empfohlen.
Wenn das Interface auf beiden Seiten
‚down‘ geht, geschieht das Umrouten
unabhängig von den Timer-Einstellungen
sofort. Auf Seiten des Anwenders sind
hierfür keine Konfigurationsänderungen
notwendig.
X-WiN
iBGP
LAN
eBGP
KR1 Loopback:
IP 103.10.10.2/32
IPv6: 2001:638:1234:::1/128
Hauptleitung:
IP 188.1.100.1
IPv6: 2001:638:c:aaaa:::1/64
Hauptleitung:
IP 188.1.100.2
IPv6: 2001:638:c:aaaa:::2/64
Falls der Kundenrouter darüber hinaus
weitere Mechanismen zur schnellen
Routingkonvergenz wie z.B. BFD (Bidirectional
Forwarding Detection, IETF draft)
unterstützt, können diese nach Prüfung
durch das NOC eingesetzt werden.
Die Firewall-Einstellungen des Anwenders
müssen so angepasst sein, dass
der BGP-Verkehr (TCP destination Port
179, source Port beliebig) eingehend und
ausgehend zwischen den Adressen der
Zugangsleitungen erlaubt ist.
Abbildung 2 zeigt eine Beispielkonfiguration
mit zwei Kundenroutern im LAN
des Anwenders.
Szenario 2: Nutzung der
Nebenleitung im laufenden
Betrieb
Der Anwender hat die Möglichkeit, beide
Zugangsleitungen im laufenden Betrieb
für Produktionsverkehr zu nutzen. Der
DFN-Verein unternimmt in diesem Fall
allerdings keinerlei Maßnahmen zur Ver-
teilung des Verkehrs über die beiden Leitungen.
Die Lastverteilung kann sinnvoll
nur vom Teilnehmer selbst vorgenommen
werden, denn nur er weiß, wie sich sein
Verkehr auf die unterschiedlichen Adressbereiche
verteilt. Wenn sich der Anwender
für dieses Szenario entscheidet, teilt
er dies dem DFN-NOC mit, damit die Gewichtung
der Routen auf DFN-Seite deaktiviert
werden kann.
Für dieses Szenario besteht die Möglichkeit,
über die beiden BGP Sessions jeweils
Teilnetze mit unterschiedlichen Gewichtungen
(MEDs) zu annoncieren. Dies betrifft
die Verkehrsrichtung aus dem X-WiN
zum Anwender. So kann z.B. der Verkehr
zum Webserver der Einrichtung über die
eine Zugangsleitung geroutet werden
und der restliche Verkehr über die zweite
Leitung. Es ist jedoch zu bedenken, dass
die Nebenleitung unter Umständen höhere
Delays besitzt, da sie in der Regel länger
ist.
Weiter ist zu beachten, dass das Setzen
identischer oder keiner MEDs für die Anwendernetze
auf den beiden Zugangsleitungen
nicht dazu führt, dass sich der
Verkehr gleichmäßig auf beide Leitungen
verteilt. Der Grund hierfür ist, dass
das Routing aus dem X-WiN zum Anwender
bei nicht gesetzten oder identischen
MEDs anhand der Routing-Kosten in der
X-WiN internen Topologie erfolgt.
Die Rückrichtung – von der Einrichtung
ins X-WiN - kann ebenfalls kontrolliert
werden, indem die Gewichtung der vom
DFN annoncierten Default-Route entsprechend
gesetzt wird. Entweder es wird nur
eine der beiden Leitungen für diese Verkehrsrichtung
verwendet, oder – falls die
Leitungen auf einem Router enden – es
werden identische MEDs gesetzt und der
Verkehr verteilt sich etwa im Verhältnis
von 50:50 auf die 2 Leitungen (BGP ‚maximum-path
2‘ Option). Es ist zu beachten,
dass das Loadsharing auf der Basis
von Ende-zu-Ende-Beziehungen durchgeführt
wird, d.h. sämtlicher Verkehr einer

Ende-zu-Ende-Beziehung über eine Zugangsleitung
läuft. Somit hängt die Auslastung
der Links vom Bandbreitenbedarf
der einzelnen Verkehrsbeziehungen ab.
Zudem ist eine 50:50 Aufteilung natürlich
nur dann sinnvoll, wenn beide Leitungen
über dieselbe Bandbreite verfügen.
Enden die beiden Leitungen auf zwei Routern,
ist eine definierte Aufteilung des
ausgehenden Verkehrs nur schwer möglich.
Auch hier ist zu beachten, dass die
Delays auf den 2 Zugangsleitungen unterschiedlich
ausfallen können.
Dem Anwender kann über das BGP auch
eine volle Routingtabelle annonciert werden,
anhand derer er die ausgehende Verkehrsverteilung
über die beiden Zugangsleitungen
nach eigenen Vorstellungen
Nebenleitung:
IP 188.1.100.5
IPv6: 2001:638:c:bbbb:::1/64
BGP Annoncierung:
103.10.11.0/24 primär
2001:638:5678::/48 primär
103.10.10.0/24 backup
2001:638:1234::/48 backup
Nebenleitung:
IP 188.1.100.6
IPv6: 2001:638:c:bbbb:::2/64
KR2 Loopback:
IP 103.10.10.2/32
IPv6: 2001:638:1234:::2/128
Abb 3: Konfiguration für Szenario 2 mit 2 Kundenroutern
gestalten kann. Diese Methode ist sehr
aufwändig und sollte deshalb nur in besonderen
Fällen zum Einsatz kommen.
Abbildung 3 zeigt einen Konfiguration
für Szenario 2.
Weiteres Vorgehen
Der DFN-Verein wird entsprechend der
Vorgaben der Anwender die Betreiber
der Zugangsleitungen auffordern, für
den ausgewählten Standort die ausgeschriebene
Zugangsleitung mit einer redundanten
Wegeführung zur Hauptleitung
anzubieten. Der Betreiber unterbreitet
anschließend einen Vorschlag, in
dem die redundante Wegeführung dargestellt
ist und eventuelle zusätzliche Kosten
benannt sind. In Absprache mit den
Anwendern wird dann der Vorschlag ge-
X-WiN
LAN
WISSENSCHAFTSNETZ | DFN Mitteilungen Ausgabe 75 |
KR1 Loopback:
IP 103.10.10.2/32
IPv6: 2001:638:1234:::1/128
Hauptleitung:
IP 188.1.100.1
IPv6: 2001:638:c:aaaa:::1/64
BGP Annoncierung:
103.10.10.0/24 primär
2001:638:1234::/48 primär
103.10.11.0/24 backup
2001:638:5678::/48 backup
11
prüft. Wenn er den Anforderungen an die
redundante Zuführung entspricht, erfolgt
die Beauftragung. Erste Erfahrungen haben
gezeigt, dass für die Erkundung eines
Zweitweges oft mehr als 8 Wochen benötigt
werden. Auch die Realisierung erfordert
einige Zeit, da in der Regel ein Teil
des Weges der Nebenleitung erst gebaut
werden muss. Dafür müssen teilweise
Genehmigungen eingeholt und oft auch
Tiefbauarbeiten durchgeführt werden.
Der DFN-Verein wird die Anwender über
den Status der Realisierung regelmäßig
informieren. Für die aufgeführten Szenarien
kann die DFN-Geschäftsstelle Musterkonfigurationen
bereitstellen. M
Hauptleitung:
IP 188.1.100.2
IPv6: 2001:638:c:aaaa:::2/64