資料3 - JANOG

JANOG26 IXPセッション
~ 頑 張 ってトラフィック 支 えてます~
IXの 信 頼 性 編
任 田 大 介 touda[at]mfeed.ad.jp
Internet Multifeed / JPNAP
1

IXにおける 品 質 向 上 のとりくみ
ネットワーク 構 成
バックボーン 機 器 冗 長
レイヤ2プロトコルにより 数 秒 で 障 害 回 避
拠 点 間 ファイバの 異 キャリア・ 異 ルート 冗 長
JPNAP 東 京 I 4 拠 点 間 接 続
バックボーン2 面 化 、 異 キャリア・ 異 経 路 接 続
LAG(リンクアグリゲーション) 活 用
耐 障 害 性
10GbE × 最 大 8 本 のLAGを 複 数 セット 使 用
但 し、 設 計 ・オペレーション 上 の 課 題 は 色 々あり
大 容 量 L2SW
10GbE × 128ポートなどの 高 密 度 収 容 L2スイッチ
ノード 集 約 、シンプルネットワーク 化
copyright (c) 2010 INTERNET MULTIFEED CO.
2

IXにおける 品 質 向 上 のとりくみ
光 スイッチによる 可 用 性 向 上
光 レベルで 接 続 を 冗 長
切 替 時 間 : 数 10msec 内
顧 客
ルータ 等
光
スイッチ
NTT-AT 社 HPより
http://keytech.ntt-at.co.jp/optic1/prd_1022.html
IXスイッチ(メイン)
IXスイッチ(バックアップ)
顧 客 ルータ ~ IXスイッチ(2 台 ) 間 に 設 置
IXスイッチ 故 障 で 自 動 切 替
copyright (c) 2010 INTERNET MULTIFEED CO.
3

IXにおける 品 質 向 上 のとりくみ
得 られる 効 果
格 段 に 早 い 切 り 分 け・ 復 旧
手 動 ケーブル 差 替 え 不 要
現 地 かけつけ 不 要 (リモート 操 作 可 )
シングルポイントの 故 障 率 低 減
L2スイッチに 比 べて 低 い 故 障 率
顧 客 間 トラヒックへの 影 響 の 極 小 化
『 顧 客 ルータがLink 断 検 知 しない』 ⇒ BGP peer 断 しない
顧 客 ルータでLink 断 検 知 のconfig 調 整 が 必 要 な 場 合 あり
Cisco carrier-delay msec
link debounce time
Juniper hold-time up down
copyright (c) 2010 INTERNET MULTIFEED CO.
4

IXにおける 品 質 向 上 のとりくみ
レイヤ2ループ 対 策
ブロードキャストストームによるNW 不 安 定
不 正 なMAC 学 習 による、 通 信 影 響
【いくつかの 対 策 】 ※IXによって 方 式 は 異 なります
学 習 MAC 制 限
顧 客 収 容 ポートで 学 習 できるMAC 数 に 上 限 設 定
超 過 時 には、 自 動 でInterface Shutdown
MACアクセスリスト
顧 客 ルータの 正 しいMAC アクセスリスト 許 可
レイヤ2ループ 等 で 生 じるフレームは、 不 正 Source-
MACフレームとして 廃 棄
copyright (c) 2010 INTERNET MULTIFEED CO.
5

IXにおける 品 質 向 上 のとりくみ
JANOG Comment 1005
IX 接 続 時 に 考 慮 すべき 事 項 をとりまとめ
http://www.janog.gr.jp/doc/janog-comment/jc1005.txt
インタフェース 設 定
流 してはいけないフレーム CDP,IGP,STP,Multicast, etc...
proxy-arp 、icmp redirectなどの 無 効 化
BGP peer 設 定 関 連
不 要 なpeer 設 定 の 削 除
ルーティング 関 連
IXセグメントアドレスの 取 り 扱 い( 他 ASへの 広 告 不 可 )
BGP next-hop-selfの 推 奨
copyright (c) 2010 INTERNET MULTIFEED CO.
6

IXにおけるトラブル 事 例 ~MAC Address Learning~
一 般 的 な 利 用 構 成
1BGP peer 確 立
keepalive, update 交 換
顧 客 A
ルータA
X
3Traffic 正 常 疎 通
A 宛 トラヒック
B 宛 トラヒック
Y
ルータB
顧 客 B
IX
(L2NW)
2MAC
学 習 OK
copyright (c) 2010 INTERNET MULTIFEED CO.
7

IXにおけるトラブル 事 例 ~MAC Address Learning~
顧 客 ルーティング 起 因 で 影 響 を 受 ける 例
1BGP peer 確 立
keepalive, update 交 換
ルータA1
ルータB
顧 客 A
X
2MAC
学 習 OK
IX
(L2NW)
Y
顧 客 B
BGP peerなし
( 顧 客 ポリシー)
ルータA2
Z
4スイッチZは、
ルータB のMACを
通 常 学 習 しない
3さらに、 顧 客 Bの 他 の
peer 相 手 もスイッチZ に 存
在 しなければ
copyright (c) 2010 INTERNET MULTIFEED CO.
8

IXにおけるトラブル 事 例 ~MAC Address Learning~
たとえば
- bgp next-hop-selfなし
- bgp next-hop はIXセグメント
アドレスのまま
- IGP でECMP
B 宛
トラヒック
顧 客 A
ルータA1
ルータA2
X
A 宛 トラヒック
B 宛 トラヒック
IX
(L2NW)
Y
BGP peer 確 立
keepalive, update 交 換
ルータB
BGP peerなし
( 顧 客 ポリシー)
顧 客 B
5BGP peerの
無 いルータA2から
送 信 される
Z
MAC
学 習 なし
6UnknownUnicast Flooding 継 続 発 生
装 置 高 負 荷 、 他 ユーザ 通 信 に 影 響
copyright (c) 2010 INTERNET MULTIFEED CO.
ARPで 一 時 的 に 学 習 することはあ
るが、 一 般 にルータのARP ageタ
イマよりIXスイッチのMAC ageタイ
マが 短 いため、IXスイッチはMAC
学 習 状 態 を 維 持 できない
9

IXにおけるトラブル 事 例 ~MAC Address Learning~
顧 客 からみれば
IXは、『 巨 大 な1つのL2スイッチ』
Trafficはどこから 入 れても
運 んで 欲 しい
ICMPサーバ
( 監 視 兼 MAC 解 決 )
IX
(L2NW)
ICMPサーバ
( 監 視 兼 MAC 解 決 )
顧 客
B
安 定 通 信 のための 施 策
監 視 用 pingサーバをNWの
エッジ 部 の 全 てに 設 置
全 顧 客 をフルメッシュでping 監 視
し、 継 続 的 なMACラーニングを 維 持
顧 客
A
ICMPサーバ
( 監 視 兼 MAC 解 決 )
ICMPサーバ
( 監 視 兼 MAC 解 決 )
顧 客
C
運 用 の 立 場 からは
BGP peer のあるルータから 送 信 して 頂 けるのがBestです
JC1005にある、iBGP next-hop-self をご 利 用 頂 くと、
実 は 解 決 します!
copyright (c) 2010 INTERNET MULTIFEED CO.
10

今 後 の 取 り 組 み
IXご 利 用 上 の 情 報 提 供 ( 引 き 続 き)
ルーティングや、 接 続 インタフェースの 設 定 ・ 考 慮 事 項
configサンプルなどの 情 報 提 供
光 スイッチ 切 替 時 に、 断 検 知 しないconfig、etc
100GbE-IFへの 取 り 組 み
シンプルな 網 構 成
増 加 するTrafficへの 対 応
LAG 運 用 からの 解 放
次 はBBIX 越 智 さんから、
地 域 ・ 分 散 IXのお 話 です
Ether-OAM 活 用 への 取 り 組 み
Ethernetレベルでの 疎 通 チェック、 品 質 確 認
copyright (c) 2010 INTERNET MULTIFEED CO.
11