BIG-IPと競合製品のパフォーマンス比較評価 - F5ネットワークスジャパン ...

F5 PERFORMANCE REPORTF5 BIG-IP 8800Cisco ACECitrix NetScaler 12000

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート目 次概 要 .................................................................................................................................................................. 1テストの 概 要 ..................................................................................................................................................... 1テスト 範 囲 ......................................................................................................................................................... 2テスト 結 果 - L4 ................................................................................................................................................. 2分 析 - L4 パフォーマンス ........................................................................................................................ 2テスト 結 果 - L7.................................................................................................................................................. 2分 析 - L7 パフォーマンス ........................................................................................................................ 4テスト 結 果 - SSL................................................................................................................................................ 4分 析 - SSL パフォーマンス ...................................................................................................................... 5テスト 結 果 - HTTP 圧 縮 .................................................................................................................................... 6分 析 - HTTP 圧 縮 パフォーマンス ............................................................................................................ 7テスト 結 果 - HTTP キャッシュ ........................................................................................................................... 8分 析 - HTTP キャッシュ・パフォーマンス ................................................................................................ 9特 殊 なテスト - SYN クッキー ............................................................................................................................ 9分 析 - SYN クッキー ............................................................................................................................. 10結 論 ................................................................................................................................................................ 10付 録 A: 用 語 と 定 義 ....................................................................................................................................... 11付 録 B: テストの 詳 細 の 追 加 情 報 .................................................................................................................. 12付 録 C: FAQ(よくある 質 問 )........................................................................................................................ 13

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート概 要本 レポートは、F5 Networks( 以 下 、F5)、Cisco® Systems( 以 下 、Cisco)、および Citrix®( 以 下 、Citrix) Netscaler® が 提 供 するアプリケーション・デリバリ・コントローラ 最 上 位 機 種 のパフォーマンスを 記 録 したものです。 堅 牢 で 透 過 的 、かつ 再 現 可 能 なテスト 方 法 を 策 定 して 実 施 した 結 果 、F5 は 包 括 的 な 一 連 のテストにおいて、 他 社 競 合 製 品 に 対 するパフォーマンス 上 の 圧 倒 的 な 優 位 性 を 実 証 しています。アプリケーション・デリバリ・コントローラ( 以 下 、ADC)の 市 場 は 競 争 が 激 しく、ほぼすべてのベンダーがさまざまなシナリオでパフォーマンス 上 の 優 位 性 を 主 張 しています。 残 念 なことに、 各 ベンダーの 主 張 の 根 拠 となっているパフォーマンス 基 準 の 定 義 はそれぞれに 異 なります。また 各 種 用 語 (L7 や 接 続 など)の 定 義 、 各 デバイスに 指 定 する 設 定 、および 結 果 の 表 記 の 仕 方 もベンダーごとに 異 なります。これらの 要 素 を 考慮 すると、 典 型 的 なベンダーによるパフォーマンスの 主 張 の 価 値 は 大 幅 に 低 下 します。このようなベンダー 間 で 統 一 されていない 定 義 では、とりわけ 公 表 されたデータシートの 内 容 に 関 して、ベンダーのパフォーマンス 指 標 を 公 平 に 比 較 することはできません。F5 は、 業 界 で 最 も 透 過 的 かつ 堅 牢 なパフォーマンス・テスト・ガイドを Web サイトに 公 開 しています。より 公 平 に 判 断 できるように、F5 はパフォーマンス・テスト 手 順 の 策 定 方 法 に 関 するガイドも 公 開 しています。この 一 般 に 公 開 しているガイドによって、 一 貫 した 定 義 と 評 価 基 準 で 複数 の ADC 製 品 のパフォーマンスを 評 価 するためのフレームワークをお 客 様 に 提 供 します。F5 は 新 しいパフォーマンス・テスト・ガイドに 基 づいてテストを 実 行 し、F5、Cisco、および Citrix の 最 新 の 製 品 (F5 の BIG-IP LTM 8800、Ciscoの ACE 8GB、および Citrix NetScaler 12000)を 比 較 した 本 レポートを 作 成 しました。このレポートでは、 多 岐 にわたるシナリオを 使 用 し、 一 般的 な 多 くのパフォーマンス 指 標 を 比 較 および 評 価 します。テストでは、さまざまな Web ページサイズ、HTTP リクエストのカウント、および L4、L7、SSL、 圧 縮 やキャッシュなどの HTTP 高 速 化 技 術 を 含 む 各 種 トラフィックタイプが 使 用 されています。 広 範 囲 にわたるテストパラメータと 公 開されたテストガイドラインが 使 用 されているため、ご 検 討 中 のお 客 様 はそれぞれのアプリケーションの 要 件 に 基 づいて 有 利 な 判 断 を 下 すことができます。ベンダーごとに 偏 って 選 択 されたレポートやパフォーマンス 定 義 の 矛 盾 に 煩 わされることがありません。テストの 概 要本 レポートは、 提 供 されているパフォーマンス・テスト 方 法 の 文 書 に 基 づいて 実 施 されたテストの 結 果 を 含 みます。 完 全 な 透 過 性 を 確 保 するために、F5 ではロード・ジェネレーション・ツールや L2 切 り 替 えインフラストラクチャなど、テストに 関 わるデバイス 設 定 もすべて 公 開 しています。 本 レポートで 使 用 されている 用 語 は 付 録 A を 参 照 してください。次 の 図 は、デバイスのテスト 環 境 の 概 要 です。外 部 VLANクライアントDUT( 被 試 験 デバイス)内 部 VLANサーバnテスト 結 果 のまとめ1 秒 あたりの L7 リクエスト 数 :BIG-IP8800は700,000を 超 える1 秒 あたりのL7 検 査 済 リクエスト 数 を 実 現 しました。これは Citrix NetScalerと Cisco ACE に対 して 8 倍 を 越 える 優 位 性 があります。テスト・インフラストラクチャがテスト 結 果 に 影 響 しないように、テスト・インフラストラクチャに 使 用 された 各 デバイスは 個 々に 評 価 され、そのパフォーマンス 機 能 がテストで 求 められる 機 能 をはるかに 上 回 っていることが 確 認 されました。ベンダーによる 偏 りを 排 除 するためのさらなる 対 策 として、L2 切 り 替 えインフラストラクチャはテストで 使 用されないベンダーのものを 選 択 しました。 次 の 図 は、 物 理 的 なテスト 環 境 の 概 要 です。10Gbpsまたは4GbpsDUT( 被 試 験 デバイス) Foundry BigIronRX-16シャーシ80x 1GbpsSpirent Test Centerシャーシ2.0テスト 方 法 の 詳 細 については、パフォーマンス・テスト 方 法 のガイド、および 付 録B に 記 載 されたその 他 のテストの 詳 細 (FAQ を 含 む)を 参 照 してください。nnnL4 スループット:BIG-IP 8800 はほ ぼ 10Gbps の ス ル ー プ ッ ト を実 現 し、Cisco ACE の 25% 以 上 、Citrix NetScaler の 2.5 倍 以 上 の 優位 性 を 実 証 しました。SSL TPS:BIG-IP 8800 は 48,000 を超 える 新 規 SSL TPS を 実 現 し、CitrixNetScaler の 70% 以 上 、Cisco ACEのほぼ 4 倍 の 優 位 性 があります。HTTP 圧 縮 ス ル ー プ ット:BIG-IP8800 は 4Gbps の 圧 縮 スル ープットを 実 現 しました。 こ れ は CitrixNetScaler が 達 成 したスループットの3 倍 以 上 です。Cisco は HTTP 圧 縮をサポートしていません。

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートテスト 範 囲このレポートでは、 一 般 に 利 用 できる 最 も 包 括 的 なパフォーマンス・テスト・ガイドに 従 って 実 施 されたパフォーマンス・テストの 結 果 を 詳 しく 説明 します。 最 先 端 のテスト 方 法 であっても、テスト 範 囲 をある 程 度 は 限 定 する 必 要 があります。したがってこのテストでは、 最 も 一 般 的 に 使 用 されている 導 入 設 定 と 製 品 の 機 能 のみを 対 象 とします。すべてのデバイスのパフォーマンスは、クライアントの 速 度 、サーバの 速 度 、ネットワークの 状 態 、 使 用 する 機 能 の 組 み 合 わせなどによって 大きく 異 なります。その 点 を 考 慮 すると、テストされたデバイスの 相 対 的 なパフォーマンスは、さまざまな 状 況 下 で 同 じような 結 果 を 示 す 可 能 性があるため、 最 も 一 般 的 な 導 入 シナリオに 関 してはこれらの 結 果 が 有 効 なパフォーマンス・ガイドとして 機 能 することになります。テスト 結 果 - LL4 のパフォーマンスは、 最 小 限 の 機 能 セットを 有 効 にした 基 本 設 定 における、TCP/IP ロードバランシングの 指 標 となります。L4 パフォーマンスは、大 量 のバルクデータを 処 理 するアプリケーションに 最 も 深 く 関 係 します。バルクデータは、アプリケーションによる 識 別 をほとんど 必 要 としません。FTP サーバ、およびある 種 のストリーミング・メディアは L4 ロードバランシングに 適 した 一 般 的 なシナリオです。通 常 、ほとんどのベンダーは、L4 のみのトラフィックに 最 適 化 されたハードウェアまたはソフトウェアのさまざまな「パケットパス」を 利 用 するL4 モードを 導 入 しています。テストされた 3 つのデバイスのすべてに L4 のみ(または TCP のみ)のモードに 対 する 設 定 オプションがあることが、次 の 結 果 の 比 較 からわかります。L4 テストでは 多 くの 場 合 、その ADC で 処 理 可 能 な 最 高 数 値 として1 秒 あたりの 接 続 数 や、スループット 結 果が 示 されます。このため、L4 テストは、 基 本 的 な L4 設 定 で 行 う 方 が、その 他 の 機 能 を 有 効 にするといったより 複 雑 なシナリオで 実 施 する 場 合より、 一 般 的 なパフォーマンス 結 果 が 導 きだせるため、 基 本 機 能 を 計 画 する 上 で 適 していると 言 えます。450,0001 秒 あたりの L4 接 続 数12GL4 スループット400,000F5 BIG-IP 88001 秒 あたりの HTTP リクエスト 数350,000300,000250,000200,000150,000100,00050,0000128B 2KB 8KB 64KBCitrix NetScaler 12000Cisco ACE 8-Gbps512KB1 秒 あたりの L2 ビット 数 (bps)10G8G6G4G2G0128B 2KB 8KB 64KBF5 BIG-IP 8800Citrix NetScaler 12000Cisco ACE 8-Gbps512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ分 析 - L4 パフォーマンスBIG-IP 8800 の 1 秒 あたりの 接 続 数 はピーク 時 395,000 に 達 し( 応 答 サイズ 128 バイト)、 最 大 スループットは 9.8Gbps に 達 しました( 応 答 サイズ 64KB)。BIG-IP 8800 のスループット・パフォーマンスは、 実 質 的 には 10Gbps です。このレベルのパフォーマンスは、F5 独 自 の ASIC である BIG-IP 8800 の PVA10 チップ(Packet Velocity ASIC 10)によって 達 成 可 能 となります。このトラフィックを ASIC で 処 理 することで、メインCPU はまったく 使 用 されず、メイン CPU がその 他 のトラフィックを 処 理 できるようになります。Cisco ACE のスループットは 7.7Gbps(もともと、ライセンスによって 8Gbps に 制 限 されています) を 達 成 しました。ACE では 1 秒 あたりの 接 続数 がピーク 時 249,000 に 達 しました。これは FAQ セクションに 記 載 されている 情 報 に 則 した 予 想 されるパフォーマンス 範 囲 内 と 言 えます。Citrix NetScaler は、 最 大 応 答 によるピーク 時 に 3.8Gbps で 1 秒 あたりの 最 大 接 続 数 が 105,000 でした( 詳 細 は FAQ の 項 目 を 参 照 )。L4 テスト中 では、NetScaler が 最 も 高 いTTLB( 最 後 のバイトまでの 時 間 )を 一 貫 して 示 し、128 バイトの 応 答 であっても 3 ミリ 秒 が 追 加 されただけでした。テスト 結 果 - LL7 パフォーマンス・テストでは、あらゆる HTTP リクエストを 検 査 し、 適 切 なサーバグループに 振 り 分 けるといった、 基 本 的 な HTTP のロードバランシング 能 力 が 測 定 されます。 通 常 この 技 術 は、サーバが 特 化 した 内 容 をより 多 く 管 理 するために 使 用 されています。たとえば、サーバのあるグループは 小 さいイメージを 格 納 し、 別 のグループは 大 きな zip 形 式 のファイルを 格 納 し、また 別 のグループはダイナミック Web ページのリクエストを 処 理 します。このテストでは、HTTP URI の 簡 単 な 検 査 を 行 ってイメージのリクエストを 識 別 し、これらを 異 なるサーバグループに 振 り 分 けます。

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートL7 パフォーマンスは 今 日 導 入 されているほとんどのアプリケーションと 関 係 しています。これは、ADC の 比 較 において 最 も 頻 繁 に 参 照 されるパフォーマンス 指 標 です。L4 テストと L7 テストとの 最 も 重 要 な 違 いは、DUT( 被 試 験 デバイス)がクライアントとサーバ 間 で 転 送 されるアプリケーション・レイヤ・データを 必 ず 検 査 しなければならないという 点 です。あらゆるクライアント・リクエストを 検 査 する 必 要 があるため、クライアントから 送 信 されるリクエストが 増 加 すると、DUT への 負 荷 が 増 加 することになります。さらに、これらのテスト 中 は HTTP リクエストの 多 重 化 ( 接続 の 再 利 用 )が 有 効 になります。これによって、サーバの 負 荷 が 軽 減 し、 指 定 された 接 続 の HTTP リクエストがすべて 検 査 されます。次 の 結 果 は、3 つの 非 常 に 類 似 した、TCP 接 続 あたりの HTTP リクエストの 数 がそれぞれ 異 なるテストを 含 みます。テストでのわずかな 違 いは、DUT による TCP/IP 処 理 と HTTP 処 理 との 効 果 の 違 いを 実 証 しています。1 接 続 あたりのリクエスト 数 1 では、リクエストあたりの TCP/IP 処 理 とHTTP 処 理 の 量 は 同 じです(1 つの TCP/IP 接 続 を 設 定 して 1 つのリクエストを 送 信 し、 応 答 を 受 信 した 後 、TCP/IP 接 続 を 切 断 します)。 接 続 あたりの HTTP リクエストをさらに 追 加 すると、TCP/IP 処 理 が 少 なくなり、DUT の L7 検 査 機 能 への 負 担 が 増 加 します。 接 続 あたりのリクエスト 数 に関 するニーズはアプリケーションによってさまざまですが、 最 新 の Web ブラウザは 接 続 あたりできるだけ 多 くのリクエストを 送 信 しようとすることは 知 っておいてください。1 秒 あたりの L7 リクエスト 数L7 スループット450,000(TCP 接 続 あたり 1HTTP リクエスト)8G(TCP 接 続 あたり 1HTTP リクエスト)400,000F5 BIG-IP 88007G1 秒 あたりの HTTP リクエスト 数350,000300,000250,000200,000150,000100,000Citrix NetScaler 12000Cisco ACE 8-Gbps1 秒 あたりの L2 ビット 数 (bps)6G5G4G3G2GF5 BIG-IP 880050,0001GCitrix NetScaler 120000128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KBCisco ACE 8-Gbps512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ1 秒 あたりの L7 リクエスト 数L7 スループット800,000(TCP 接 続 あたり 10HTTP リクエスト)8G(TCP 接 続 あたり 10HTTP リクエスト)700,000F5 BIG-IP 88007G1 秒 あたりの HTTP リクエスト 数600,000500,000400,000300,000200,000100,000Citrix NetScaler 12000Cisco ACE 8-Gbps1 秒 あたりの L2 ビット 数 (bps)6G5G4G3G2G1GF5 BIG-IP 8800Citrix NetScaler 12000Cisco ACE 8-Gbps0128B 2KB 8KB 64KB512KB0128B 2KB8KB 64KB512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート1 秒 あたりの L7 リクエスト 数L7 スループット800,000(TCP 接 続 あたり 無 制 限 の HTTP リクエスト)8G(TCP 接 続 あたり 無 制 限 の HTTP リクエスト)700,000F5 BIG-IP 88007G1 秒 あたりの HTTP リクエスト 数600,000500,000400,000300,000200,000100,0000128B 2KB 8KB 64KBCitrix NetScaler 12000Cisco ACE 8-Gbps512KB1 秒 あたりの L2 ビット 数 (bps)6G5G4G3G2G1G0128B 2KB 8KB 64KBF5 BIG-IP 8800Citrix NetScaler 12000Cisco ACE 8-Gbps512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ分 析 - L7 パフォーマンス最 初 の L7 テスト(1 接 続 あたりのリクエスト 数 1)は、 主 に DUT ごとの TCP/IP 処 理 機 能 の 効 率 を 示 すテストです。このテストでは、 接 続 あたりのリクエスト 数 を 10 まで 増 やした 後 、 無 制 限 とすることで、DUT の HTTP 処 理 エンジンの 効 率 を 実 証 します。 一 般 に、TCP/IP 接 続 設 定 は、 単一 の HTTP リクエストの 基 本 的 な L7 検 査 よりもリソースを 大 量 に 消 費 する 処 理 であるため、 接 続 あたりのリクエスト 数 が 増 加 すると、1 秒 あたりの HTTP リクエスト 率 も 増 加 します。1 接 続 あたりのリクエスト 数 1(HTTP/1.0 CPS、または L7 CPS とも 呼 ばれる)では、BIG-IP 8800 の 1 秒 あたりのリクエスト 数 は 128 バイトの 応答 で 394,000 に 達 しました。 接 続 あたりのリクエスト 数 が 10 のとき、これは 692,000 にまで 増 え、 無 制 限 の 場 合 は 724,000 に 達 します。 最大 応 答 サイズのスループットは 3 つのシナリオすべてにおいて 7Gbps でした。この 設 定 (HTTP リクエストを 検 査 して 振 り 分 け、リクエストの 多重 化 によってサーバの 負 荷 を 軽 減 する)の BIG-IP のパフォーマンスは、 競 合 他 社 に 対 して 5.5 倍 から 9.5 倍 の 優 位 性 があることを 示 しています。Citrix NetScaler は、 最 大 3.8Gbps のスループットレートで 1 秒 あたりのリクエスト 数 で 71,500 (1 接 続 あたりのリクエスト 数 1)から 最 大90,400( 無 制 限 )のパフォーマンスを 達 成 しました。 接 続 あたりのリクエスト 数 が 10 および 無 制 限 のテストでは、Citrix NetScaler の 2KB 応 答サイズの 1 秒 あたりのリクエスト 数 は 128 バイト 応 答 サイズに 比 べて 若 干 向 上 しました。いくぶん 奇 妙 な 結 果 ですが、この 動 作 は、 再 起 動 やその 他 の 診 断 作 業 の 後 でも 継 続 的 に 再 現 しました。 同 時 ユーザ 数 が 異 なっても 予 想 どおりの 結 果 が 達 成 されると 考 えられます。テストのガイドラインでは、デバイスごとに 特 殊 な 設 定 は 許 可 されていません。 詳 細 はこの 問 題 に 関 する FAQ 項 目 を 参 照 してください。L7 を 使 用 した 場 合 の 1 秒 あたりのリクエスト 数 のパフォーマンスでは、すべてのテスト 対 象 デバイス 中 で Cisco ACE が 最 も 低 く、 小 さいファイルサイズでは 60,000 弱 から 76,400 でした。しかしながら、Cisco ACE は 接 続 あたり 1HTTP リクエストで 512KB 応 答 サイズを 使 用 したテストにおいて 最 も 高 いスループットを 達 成 しました。 同 じテストで BIG-IP の L7 スループットが 6.981Gbps であったのに 対 してCisco は7.006Gbps でした。総 体 的 に、Cisco は 大 きいファイルサイズでは 5.5 から 7Gbps のスループットレートを 達 成 しました。Cisco は 接 続 あたりのリクエスト 数 が 無 制限 のテストにおいて、128 バイトから 8KB の 複 数 のファイルサイズに 対 する 1 秒 あたりのリクエスト 数 に 関 しては 同 じようなパフォーマンスを 保持 したことが 判 明 しました。Cisco ACE の 性 能 はスループットを 処 理 する 能 力 や、TCP/IP の 接 続 確 立 では 制 限 されなかったように 見 えます。その 代 わりに、Cisco ACE のパフォーマンスの 限 界 は、1 秒 あたり 約 76,000 を 上 回 る 速 さで HTTP リクエストを 検 査 するその 能 力 にあったようです。テスト 結 果 - SSLSSL は、ユーザとアプリケーションとの 間 の 通 信 を 保 護 するために 世 界 中 で 使 用 されています。SSL はあらゆる 主 要 なオペレーティング・システム、Web ブラウザ、スマートフォンなどで 使 用 できる 標 準 暗 号 化 プロトコルです。SSL 技 術 は 安 全 なオンライン・ショッピングの実 現 に 役 立 ち、リモートアクセス(SSL VPN)などの 安 全 を 確 保 します。SSL は 商 用 のネットワーク・セキュリティ・ソリューションでは一 般 的 です。SSL は 公 開 鍵 の 暗 号 化 ( 通 常 は RSA®)と 対 称 暗 号 化 ( 通 常 は RC4、3DES、または AES)の 組 み 合 わせを 使 用 してセキュリティを 提 供 します。RSA と 各 種 対 称 暗 号 化 アルゴリズムはいずれもリソースを 大 量 に 消 費 し、 許 容 できるパフォーマンスの 達 成 や SSL の 大 規模 な 商 業 的 利 用 (Web ベースの 電 子 メール、オンラインストア、セキュアログイン、オンライン・バンキング Web サイト、SSL VPN など)を 実 現 するには SSL の 特 殊 なハードウェアを 必 要 とします。

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートSSL TPS パフォーマンスは、 暗 号 化 の 負 荷 軽 減 機 能 の 指 標 となります。 小 さい 応 答 サイズに 対 しては、 新 しい SSL セッションの 開 始 時 に 発 生 する RSA ハンドシェイク 処 理 を 主 に 測 定 します。この RSA 処 理 はリソースを 大 量 に 消 費 するため、すべての 主 要 な SSL オフロードベンダーは 特 殊なハードウェアを 使 用 してこのタスクの 高 速 化 を 実 現 しています。サイズの 大 きい 応 答 については、RSA 処 理 のコストはあまり 関 係 がありません。RSA 処 理 はセッション 開 始 時 に 一 度 だけ 発 生 するため、 実 際 には、パフォーマンスは 対 称 暗 号 化 やバルク 暗 号 化 としても 知 られる 暗 号 化 トラフィックのスループットで 比 較 されます。バルク 暗 号 化 は、 指 定 の 秒 単 位 で 暗 号 化 できるデータ 量 の 指 標 です。ベンダーがバルク 暗 号 化 を 処 理できる SSL 専 用 ハードウェアを 持 っていれば、 大 きい 応 答 サイズのテストで 明 白 になります。公 開 鍵 の 処 理 ( 小 さいファイル)とバルク 暗 号 化 ( 大 きいファイル) 両 方 のパフォーマンスを 実 証 するために、テストはさまざまなファイルサイズで 実 施 しました。SSL TPSSSL スループット60,0006GF5 BIG-IP 8800F5 BIG-IP 88001 秒 あたりの HTTPS リクエスト 数50,00040,00030,00020,00010,000Citrix NetScaler 12000Cisco ACE 8-Gbps1 秒 あたりの L2 ビット 数 (bps)5G4G3G2G1GCitrix NetScaler 12000Cisco ACE 8-Gbps0128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KB512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ分 析 - SSL パフォーマンスSSL トラフィックの 処 理 はリソースを 大 量 に 消 費 するため、すべての ADC はなんらかの 形 式 のハードウエアによる SSL 高 速 化 機 能 を 搭 載 します。ハードウェアによる 高 速 化 で、SSL パフォーマンスは 大 幅 に 向 上 しますが、どんなに 優 れた SSL ハードウェアであってもそのドライバソフトウェアの 速 度 に 左 右 されることは 言 うまでもありません。TCP/IP 処 理 (SSL ハードウェアはこのタスクを 支 援 しません)を 実 行 するのが ADC のソフトウェアであることに 変 わりはないためです。また、ADC には SSL 高 速 化 ハードウェア(ドライバ) 間 のデータを 仲 介 するソフトウェアも 必 要 です。SSL トラフィックを 処 理 するために 必 要 なすべてのコンポーネントを 使 用 した 場 合 、デバイスの SSL パフォーマンスの 結 果 が TCP/IP の 効 率 、SSLドライバの 効 率 、SSL 高 速 化 ASIC の 速 度 と 数 量 の 組 み 合 わせであるのは 当 然 のことです。BIG-IP 8800 は、 小 さい 応 答 サイズで1 秒 あたり 最 大 48,300 の 新 規 SSL トランザクション、および 大 きい 応 答 サイズで 5.5Gbps を 超 えるスループットに 達 し、 他 社 製 品 を 圧 倒 して SSL パフォーマンスの 分 野 をリードし 続 けています。Citrix NetScaler は 28,000 SSL TPS を 達 成 し、その 公 表 仕 様 を 満 たしました。Citrix NetScaler の SSL スループットは 大 きい 応 答 サイズで 2.6Gbpsに 達 しました。Cisco ACE は 唯 一 12,100 SSL TPS を 達 成 するにとどまりました。この 結 果 は、 公 表 されている ACE の 仕 様 における 予 想 値 15,000 SSL TPS を19.2% 下 回 っています。128 バイトテストの「 起 動 」 段 階 では、Cisco ACE が 1 つの 測 定 サイクルに 対 して 約 20,000 SSL TPS を 達 成 し、 次 の 測定 サイクルでは 約 14,000 であったことが 示 されました。これらの 起 動 中 ( 定 常 状 態 の 前 )の 2 つの 変 則 的 な 高 い 測 定 値 の 後 、Cisco ACE は 約12,000 SSL TPS を 継 続 して 示 しました。テストが 15,000 SSL TPS のみに 変 更 された 場 合 、Cisco ACE は 小 さい 応 答 サイズに 対 してほぼ 15,000に 近 い SSL TPS パフォーマンスを 維 持 できることが 論 証 されました。テストガイドラインではベンダーごとに 特 殊 な 設 定 が 許 されないため、この論 理 はテストされませんでした。この 動 作 は Cisco ACE のみに 影 響 しました。Cisco ACE のテスト 中 に、 応 答 サイズ 128 バイトから 8KB において(サイズとともにスループットが 増 加 するにもかかわらず)SSL TPS 数 がほとんど 変 化 しないことが 判 明 しました。これはおそらく SSL ハードウェアがボトルネックではなく、より 高 いパフォーマンスの 妨 げとなっていたのはSSL ドライバやその 他 のソフトウェアであることを 示 しています。 同 じような 動 作 が L7 HTTP 検 査 パフォーマンスでも 確 認 されました( 上 記 を 参 照 )。ACE は、512KB の 応 答 サイズではスループットが 不 自 然 に 低 下 しましたが、これは 回 避 策 のない 既 知 の 問 題 と 思 われます(FAQ の 項 目 を 参 照 )。この 動 作 は、 再 起 動 やその 他 の 診 断 作 業 の 後 でも 継 続 して 再 現 しました。

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートテスト 結 果 - HTTP 圧 縮HTTP 圧 縮 パフォーマンスは、 現 在 のあらゆる Web ブラウザでサポートされている 標 準 的 な 圧 縮 アルゴリズムの 指 標 です。クライアントとサーバ 間 の 帯 域 幅 が 制 限 されている 状 況 では、 圧 縮 はエンドユーザにかなりのパフォーマンス 上 のメリットをもたらす 手 段 となります。また 企 業 では、圧 縮 によって Web ベースのアプリケーションを 提 供 するために 必 要 な 帯 域 幅 を 減 らすことができ、コスト 削 減 が 実 現 します。圧 縮 の 有 益 性 は 広 く 理 解 されていますが、 圧 縮 はサーバへの 負 担 が 極 めて 大 きい 処 理 であるため、 広 く 使 用 されていません。そのため、ADCに HTTP 圧 縮 機 能 をオフロードすることがますます 一 般 的 となっています。圧 縮 の 測 定 時 に 最 も 重 要 なメトリックとなるのがスループットです。サーバから 送 信 されるデータの 増 加 は、DUT における 圧 縮 作 業 の 増 加 へとそのままつながります。* 注 : Cisco ACE 8GB は、HTTP 圧 縮 をサポートしていないため、この 結 果 には 入 っていません。1 秒 あたりの 圧 縮 リクエスト 数圧 縮 スループット100,000(TCP 接 続 あたり 1HTTP リクエスト)4.5G(TCP 接 続 あたり 1HTTP リクエスト)1 秒 あたりの HTTP リクエスト 数90,00080,00070,00060,00050,00040,00030,00020,000F5 BIG-IP 8800Citrix NetScaler 120001 秒 あたりの L2 ビット 数 (bps)4G3.5G3G2.5G2G1.5G1GF5 BIG-IP 8800Citrix NetScaler 1200010,0000.5G0128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KB512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ1 秒 あたりの 圧 縮 リクエスト 数圧 縮 スループット1 秒 あたりの HTTP リクエスト 数140,000120,000100,00080,00060,00040,00020,000(TCP 接 続 あたり 10HTTP リクエスト)F5 F5 BIG-IP 8800Citrix NetScaler 120001 秒 あたりの L2 ビット 数 (bps)4.5G4G3.5G3G2.5G2G1.5G1G0.5G(TCP 接 続 あたり 10HTTP リクエスト)F5 BIG-IP 8800Citrix NetScaler 120000128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KB512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート1 秒 あたりの 圧 縮 リクエスト 数圧 縮 スループット160,000(TCP 接 続 あたり 無 制 限 の HTTP リクエスト)4G(TCP 接 続 あたり 無 制 限 の HTTP リクエスト)140,000 F5 BIG-IP 88003.5G1 秒 あたりの HTTP リクエスト 数120,000100,00080,00060,00040,000Citrix NetScaler 120001 秒 あたりの L2 ビット 数 (bps)3G2.5G2G1.5G1G20,0000.5GF5 BIG-IP 88000128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KBCitrix NetScaler 12000512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ分 析 - HTTP 圧 縮 パフォーマンスHTTP の 圧 縮 は HTTP/1.1 仕 様 (RFC2616)に 文 書 化 されている 標 準 技 術 です。SSL 同 様 に、 圧 縮 はリソースを 大 量 に 消 費 する 技 術 です。 現 在の ADC の 中 には、 特 別 な ASIC を 使 用 して 圧 縮 を 実 行 するものもあれば、 汎 用 の CPU( 時 には 一 度 に 複 数 の CPU)を 使 用 するものもあります。これまで、 圧 縮 に 使 用 される 特 殊 な ASIC は、データのサイズの 縮 小 時 には 効 率 が 低 下 していましたが CPU の 実 装 と 比 べて 待 機 時 間 がはるかに 短 くてすみました。 今 日 の 圧 縮 ハードウェアの 中 には、 通 常 設 定 で 速 度 と 効 率 の 両 面 で CPU をしのぐものもあり、ハードウェアとソフトウェアのいずれの 圧 縮 を 実 装 するかを 選 択 する 際 に 妥 協 点 をみいだす 必 要 がなくなりました。このテストでダウンロードされたファイル(128 バイト、2KB、8KB、65KB、および 512KB)は、レポート 全 体 のすべてのテストで 使 用 されたファイルと 同 じものです(ファイルは 1 セットしか 使 用 されていません)。これらのファイルは 通 常 HTML を 含 み、512KB のファイルを 除 き、 約 60%から 80% は 圧 縮 可 能 (HTML の 平 均 )です。512KB ファイルはサイズが 512KB となるまで 64KB ファイルのコンテンツを 複 製 して 作 成 されました。512KB ファイルの 作 成 に 使 用 したこの 方 法 では、 他 の 方 法 よりもはるかに 高 いファイル 圧 縮 率 が 可 能 です( 何 度 も 複 製 された 同 じコンテンツを 含むため)。 結 果 として、512KB ファイルはほぼ 90% まで 圧 縮 可 能 です。このことからも、 圧 縮 率 の 高 いファイルを 圧 縮 するためにリソースがさらに 多 く 消 費 されるため、512KB のデータポイントでの 圧 縮 スループットは 当 然 ながら 低 下 します。圧 縮 パフォーマンスを 明 確 に 理 解 するには、スループットに 加 えて 圧 縮 率 を 調 べる 必 要 があります。 圧 縮 率 により、DUT がクライアントにデータを 送 信 する 前 にサーバからのデータをどの 程 度 効 率 的 に 圧 縮 したかがわかります。2 対 1 の 圧 縮 率 は、データサイズが 半 分 に 縮 小 されたことを 意 味 します(たとえば 1000 バイトは 500 バイトに 圧 縮 )。 圧 縮 率 が 高 いほうが 望 ましいといえます。ファイルサイズ 128B 2KB 8KB 64KB 512KBBIG-IP 0.45528 1.59636 2.15674 3.14766 3.40133Citrix NetScaler 0.56036 1.21030 1.30240 2.41297 7.74997この 結 果 は、128 バイトの 応 答 を 圧 縮 しようとすると、 実 際 には 応 答 のファイルサイズが 大 きくなることを 実 証 しています。BIG-IP と CitrixNetScaler のいずれに 関 しても、 通 常 は 128 バイトの 応 答 を 圧 縮 するように 求 められることはありませんが、 例 示 のために 最 小 サイズであっても常 に 圧 縮 するように 設 定 しました。BIG-IP 8800 では 128 バイト 応 答 ( 接 続 あたりのリクエスト 数 は 1 から 無 制 限 まで)で 1 秒 あたりのリクエスト 数 が 90,000 から142,700 に 達 しました。この 場 合 、ファイルサイズの 大 きい 応 答 のスループットは 3.6 ~ 4Gbps でした。Citrix NetScaler はスループット1 ~ 1.24Gbps で、1 秒 あたりのリクエスト 数 は 43,000 から 49,000 を 達 成 しました。これは Citrix NetScalerの 仕 様 に 記 載 された 1.3Gbps にかなり 近 い 値 です。

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートほとんどの 応 答 サイズに 関 して、BIG-IP 8800 にはスループットと 圧 縮 率 の 両 方 において 優 位 性 がありますが、512KB 応 答 サイズの 圧 縮 率 については Citrix NetScaler が 非 常 に 優 位 です。Citrix NetScaler のデフォルトの 圧 縮 設 定 は、512KB のファイルを 作 成 した 複 製 タイプに 最 適 に 設定 されていると 仮 定 されます。 両 方 の 製 品 には、 圧 縮 率 やスループットを 上 げるために 圧 縮 を 調 整 するさまざまな 設 定 オプションがありますが、これらの 設 定 は 今 回 評 価 していません。なお 前 述 のとおり、Cisco ACE は HTTP 圧 縮 をサポートしていません。テスト 結 果 - HTTPキャッシュHTTPキャッシュ・パフォーマンスは、DUTが 自 らの 内 部 HTTPキャッシュからHTTP 応 答 を 提 供 する 速 度 の 指 標 です。HTTPキャッシュは、スタティック・コンテンツへのリクエストのほとんどを 処 理 することでサーバへの 負 荷 を 軽 減 するため、サーバはアプリケーションのビジネス 固 有 の 側 面 にリソースを 集 中 させることができます。また HTTP キャッシュを 使 用 することで、エンドユーザのパフォーマンスも 改 善 できます。これはサーバにユーザのリクエストを 処 理 する 空 きリソースが 増 えるためです。あまり 知 られていない、HTTP キャッシュのもう1つの 有 効 な 側 面 は、バックエンドサーバからコンテンツをリクエストする 場 合 と 比 較 すると、キャッシュ 機 能 を 提 供 するデバイスは 少 ない 負 荷 増 加 でキャッシュ 対 象 オブジェクトを 提 供 できることです。キャッシュデバイスは 自 身 のキャッシュからコンテンツを 提 供 することで、サーバからコンテンツをリクエストする 場 合 に 必 要 なラウンドトリップタイムを 回 避 し、 応 答 時 間 を 改 善 します。HTTP キャッシュを HTTP 圧 縮 (ADC またはサーバで 処 理 される)と 組 み 合 わせると、 同 じコンテンツを 圧 縮 しなければならない 回 数 が 減 るため、さらにリソース 要 件 を 下 げることができます。* 注 : Cisco ACE 8GB は、HTTP キャッシュをサポートしていないため、この 結 果 には 入 っていません。1 秒 あたりのキャッシュリクエスト 数キャッシュ・スループット200,000(TCP 接 続 あたり 1HTTP リクエスト)9G(TCP 接 続 あたり 1HTTP リクエスト)180,000F5 BIG-IP 88008G1 秒 あたりの HTTP リクエスト 数160,000140,000120,000100,00080,00060,00040,00020,000Citrix NetScaler 120001 秒 あたりの L2 ビット 数 (bps)7G6G5G4G3G2G1GF5 BIG-IP 8800Citrix NetScaler 120000128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KB512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ1 秒 あたりのキャッシュリクエスト 数キャッシュ・スループット350,000(TCP 接 続 あたり 10HTTP リクエスト)9G(TCP 接 続 あたり 10HTTP リクエスト)1 秒 あたりの HTTP リクエスト 数300,000250,000200,000150,000100,00050,000F5 F5 BIG-IP BIG-IP 8800 8800Citrix NetScaler 120001 秒 あたりの L2 ビット 数 (bps)8G7G6G5G4G3G2G1GF5 BIG-IP 88000128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KBCitrix NetScaler 12000512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート1 秒 あたりのキャッシュリクエスト 数キャッシュ・スループット450,000(TCP 接 続 あたり 無 制 限 の HTTP リクエスト)9G(TCP 接 続 あたり 無 制 限 の HTTP リクエスト)400,000F5 BIG-IP 88008G1 秒 あたりの HTTP リクエスト 数350,000300,000250,000200,000150,000100,000Citrix NetScaler 120001 秒 あたりの L2 ビット 数 (bps)7G6G5G4G3G2G50,0001GF5 BIG-IP 88000128B 2KB 8KB 64KB512KB0128B 2KB 8KB 64KBCitrix NetScaler 12000512KBリクエストしたファイルのサイズリクエストしたファイルのサイズ分 析 - HTTP キャッシュ・パフォーマンス多 くの ADC には、Web サーバの 負 荷 を 軽 減 するために 統 合 された HTTP キャッシュ( 通 常 はメモリ 内 )が 搭 載 されています。これらのキャッシュは 価 値 を 提 供 するために 非 常 に 高 速 (Web サーバへのアクセスよりも 高 速 )でなければならないので、キャッシュのパフォーマンス 上 の 特 性 を理 解 することは 重 要 です。BIG-IP 8800 は、128 バイトの 応 答 では 1 秒 あたり 177,000(1 接 続 あたりのリクエスト 数 1)から 403,000(1 秒 あたり 無 制 限 のリクエスト)のリクエスト 数 を 達 成 し、サイズの 大 きい 応 答 では、3 つのすべてのテストにおいて 8Gbps のスループットでした。 接 続 あたりのリクエスト 数 が10 以 上 では、BIG-IP 8800 は 8KB 以 上 (8KB、64KB、512KB)のファイルサイズで 8Gbps を 達 成 しました。Citrix NetScaler は 1 接 続 あたり 1 リクエストで 1 秒 あたり 107,000 リクエストを 達 成 し、1 接 続 あたりのリクエストが 無 制 限 のときは 最 大149,000 リクエストを 達 成 しました。1 接 続 あたりのリクエスト 数 1 に 対 して 64KB のファイルサイズのテストから 開 始 し、 接 続 あたり 10 リクエストに 対 して 8KB のファイルサイズのテスト、そして 接 続 あたり 無 制 限 のリクエストに 対 して 8KB のファイルサイズのテストを 行 いました。3 つのテストすべてにおいてスループットは 3.9Gbps でした。Cisco ACE は HTTP キャッシュをサポートしていません。特 殊 なテスト - SYNクッキーSYN クッキーの 背 後 にあるコンセプト、および SYN クッキーがもたらす 価 値 は、 単 純 明 快 です。TCP 接 続 設 定 イベントはリソースを 大 量 に 消 費します。SYN クッキーがなければ、SYN フラグセットで 単 一 のパケットを 受 信 する TCP ホストに 対 して、リソースを 大 量 に 消 費 する 接 続 設 定 プロセスを 実 行 することになります。SYN クッキーが 提 供 するメカニズムでは、 接 続 設 定 を 実 行 する 前 にリモートホストから 複 数 のパケットを 受 信する 必 要 があります。SYN クッキーを 実 装 すると、SYN パケットを 大 量 に 送 りつける DoS 攻 撃 からホストを 防 御 する 可 能 性 が 高 くなります。BIG-IP 8800 は F5 独 自 の PVA10 ASIC を 搭 載 しており、 他 のデバイスでは 現 状 実 現 できないほど 非 常 に 高 速 に SYN クッキーを 処 理 できます。NetScaler には SYN クッキーを 制 御 する 専 用 のハードウェアはありません。Cisco ACE は SYN クッキーをサポートしていません。1 秒 あたりの SYN クッキーリクエスト 数1 秒 あたりの SYN クッキーリクエスト 数8,000,0007,000,0006,000,0005,000,0004,000,0003,000,0002,000,0001,000,0000F5 BIG-IP 8800Citrix NetScaler 12000

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート分 析 - SYN クッキーBIG-IP 8800 は CPU をまったく 使 用 せずに 1 秒 あたり 744 万 の SYN クッキーを 生 成 しました。Citrix NetScaler はトラフィックを 制 御 する CPU を 100% 使 用 して 1 秒 あたり 174 万 の SYN クッキーを 生 成 できました。BIG-IP 8800 は 4 倍 以上 のパフォーマンスを 達 成 したことになります。Citrix NetScaler 12000 プラットフォームの 公 表 仕 様 では、230 万 までの「1 秒 あたりの SYN 攻 撃 」を 制 御 可 能 となっています。 残 念 ながらこの「1秒 あたりの SYN 攻 撃 」という 用 語 は 公 式 な 定 義 ではないようです。SYN 攻 撃 を 生 成 可 能 な SYN クッキーと 選 択 したパケット 損 失 の 組 み 合 わせとして、SYN 攻 撃 に 対 するパフォーマンスを 論 じているベンダーもあります。さまざまな 要 因 に 左 右 されますが、これによってデバイスが 一 部 の有 効 なトラフィックを 引 き 続 き 処 理 しながらも、SYN クッキーを 生 成 する 能 力 を 超 える SYN フラッド 攻 撃 を 受 けてしまうことがあります。CitrixNetScaler の 1 秒 あたり 230 万 の SYN 攻 撃 という 仕 様 を 達 成 するために 必 要 な 定 義 は 明 確 ではありません。このテストの 実 施 方 法 の 詳 細 は、FAQ の 項 目 を 参 照 してください。* 注 : Cisco ACE は SYN クッキーをサポートしていません。結 論このレポートの 結 果 は、 現 在 市 場 に 出 回 っている ADC の 中 で BIG-IP 8800 が 最 速 であることを 明 確 に 実 証 しています。 共 通 のパフォーマンス指 標 に 基 づいて 実 施 されたテストにおいて、 多 くの 項 目 で 競 合 他 社 よりも 何 倍 も 高 いパフォーマンスを 達 成 しました。 具 体 的 には、1 台 の BIG-IP 8800 の 1 秒 あたりの L7 リクエスト 数 を 達 成 するには、Cisco ACE デバイス 4 台 と Citrix NetScaler デバイス 4 台 を 一 緒 に( 合 計 で 8 台 )フル稼 働 させる 必 要 があります。それでも1 台 の BIG-IP 8800 とは 1 秒 あたりのリクエスト 数 で 5 万 以 上 の 差 があります。このレポートはパフォーマンス 上 の 比 較 、 共 通 の 能 力 および 性 能 に 限 定 しています。この 点 を 考 慮 すると、 機 能 性 から 切 り 離 されたパフォーマンスだけでは 製 品 の 優 位 性 とはいえません。BIG-IP のアプリケーション・デリバリ 市 場 における 成 功 は、このレポートで 実 証 されているとおり、 業界 トップのパフォーマンスと TMOS、iRules、iControl などの 業 界 最 先 端 の 機 能 とが 常 に 組 み 合 わさって 提 供 できている 点 に 他 なりません。注 文 情 報 など BIG-IP 8800 の 詳 細 は www.f5.com を 参 照 してください。パフォーマンス・テスト 方 法 の 策 定 に 関 するガイドは、DevCentral でご 覧 いただけます。http://devcentral.f5.com/LinkClick.aspx?link=http%3a%2f%2fdevcentral.f5.com%2fdownloads%2ff5%2fcreating-performance-test-methodology.pdf&tabid=73&mid=935ロード・ジェネレーション・ツールや L2 切 り 替 えインフラストラクチャなど、テストに 関 わるデバイス 設 定 もすべて DevCentral で 公 開 しています。http://devcentral.f5.com/LinkClick.aspx?link=http%3a%2f%2fdevcentral.f5.com%2fdownloads%2ff5%2fperformance-report-configs.zip&tabid=73&mid=93510

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート付 録 A: 用 語 と 定 義用 語DUTクライアント / サーバL4L7意 味Device Under Test( 被 試 験 デバイス)。 一 般 に DUT は、 現 在 テスト 中 のデバイスを 指 します。たとえば BIG-IP8800 をテストしている 場 合 、DUT は BIG-IP 8800 となります。この 文 書 のクライアントおよびサーバという 用 語 は、Spirent Avalanche/Reflector 負 荷 テスト 装 置 がシミュレートするクライアントまたはサーバを 指 します。TCP トラフィックのロードバランスで 必 要 な 最 小 限 の DUT 設 定 パラメータを 指 します。これは 宛 先 IP アドレスとTCP ポート 番 号 のみ 変 換 し、 接 続 の 再 利 用 やレイヤ 7 検 査 はありません。HTTP リクエストの URI を 検 査 し、URI に 基 づいてバックエンド Web サーバの 各 種 グループから 選 択 するために必 要 な 最 小 限 の DUT 設 定 パラメータを 指 します。L7 の 用 語 単 体 には、 接 続 の 再 利 用 の 意 味 はありません。1 秒 あたりの 接 続 数 1 秒 あたりに 完 了 する TCP 接 続 設 定 (3 パケット)、HTTP リクエスト、HTTP 応 答 、 および TCP 接 続 切 断 。Spirent 設 定 オプションを 使 用 して RST の 代 わりに TCP FIN で 終 了 します。1 秒 あたりのリクエスト 数 1 秒 内 に 完 了 する HTTP リクエストとリクエストに 対 する 応 答 。SSL TPS圧 縮 スループットアプリケーション・デリバリ・コントローラ(ADC)HTTP リクエストの 多 重 化( 接 続 の 再 利 用 )テスト 実 行最 初 のバイトまでの 時 間(TTFB)最 後 のバイトまでの 時 間(TTLB)1 秒 あたりの SSL トランザクション 数 。1SSL トランザクションは、TCP 接 続 設 定 、SSL セッション 設 定 、HTTP リクエスト、HTTP 応 答 、SSL シャットダウン、TCP 終 了 と 定 義 されます。1 秒 あたりに 送 信 される HTTP クライアントデータおよび HTTP サーバデータ。一 般 にこのレポートでテストされたデバイスの 種 別 を 指 すために 使 用 されます。ADC はロードバランス、アプリケーション 高 速 化 、およびサーバオフロードなどの 機 能 を 備 えます。ADC とクライアント 間 に 接 続 がない 場 合 でも、ADC とサーバ 間 の HTTP 接 続 をオープンにし 続 ける ADC の 機 能を 指 します。 特 に、できるだけ 多 くのクライアントからできるだけ 多 くの HTTP リクエストを 処 理 するために 使 用される 接 続 を 指 します。ADC とクライアント 間 で 多 数 の 接 続 を 開 閉 する 一 方 で、ADC とサーバ 間 では 少 数 の 接続 を 開 くようにするものです。 結 果 として 多 くの TCP 接 続 設 定 / 終 了 イベントを 処 理 する 必 要 がなくなり、サーバの 負 荷 が 軽 減 されます。F5 ではこれを OneConnect と 呼 んでいます。DUT またはテスト 環 境 を 変 更 することなく、 全 ての 記 載 されたパフォーマンステストを 実 行 すること(ロードジェネレータ 装 置 は、すべてのテストおよびテストのバリエーションを 中 断 なくプログラムで 自 動 的 に 実 行 します)。クライアントが SYN を 送 信 してから、DUT からデータの 最 初 のバイトを 受 信 するまでのミリ 秒 (ms) 数 。 通 常 、接 続 設 定 の 有 効 性 の 指 標 として 使 用 します。クライアントが SYN を 送 信 してから、DUT からデータの 最 後 のバイトを 受 信 するまでのミリ 秒 (ms) 数 。 通 常 、デバイスのパケット 処 理 効 率 全 体 の 有 効 性 の 指 標 として 使 用 します。また、デバイスによって 付 加 される 待 ち 時間 の 指 標 にもなります。11

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート付 録 B: テストの 詳 細 の 追 加 情 報テスト 要 件 の 概 要• 可 能 な 限 り、デフォルトの 構 成 設 定 を 使 用 します。• ロード 生 成 装 置 の 設 定 は、テスト 対 象 の 全 デバイスで 同 じです。• 1 つの DUT 構 成 をすべてのテスト 実 行 で 使 用 します(テスト 中 は 変 更 しません)。•すべてのデバイスで 少 なくとも 5 つのテスト 実 行 ( 定 義 )を 完 了 します。• テスト 実 行 ごとに、DUT とロード 生 成 装 置 を 再 起 動 します。それ 以 外 で DUT を 再 起 動 することはありません。• レポートするテスト 結 果 は、すべてのテスト 実 行 で 達 成 された 最 高 値 であり、テスト 実 行 間 のばらつきは 記 録 しません。• テスト 実 行 中 は 管 理 目 的 (CLI、SNMP、Web 、Web など)で DUT を 接 続 しません。テスト 対 象 装 置 の 詳 細ベンダー 製 品 モデル ソフトウェアのバージョン スイッチへのアップリンクF5 Networks, Inc. BIG-IP LTM 8800 9.4.0 1x 10GbpsCisco Systems, Inc.Citrix Systems, Inc.Application ControlEngine Module(ACE)NetScaler EnterpriseEdition8-Gbps 3.0(0)A1(4a) 1x 10Gbps12000 8.0 build 45.4 4x 1Gbpsロード 生 成 装 置 の 情 報ハードウェア / ソフトウェアすべてのテストを Spirent® Communications の 最 新 の L4-L7 パフォーマンス・テスト 装 置 で 実 施 しました。ハードウェアは 10x L4-L7 ブレード(CPU_5000A) 付 き Spirent TestCenter 2.0 シャーシで、ソフトウェアのバージョンは 2.00.3102.0010 です。6 つのブレードをクライアントに 指定 し、4 つのブレードをサーバに 指 定 しました。設 定すべてのデバイスで、 可 能 な 限 りデフォルトの 設 定 を 使 用 しました。デフォルトから 変 更 した 主 な 設 定 には、ロード 仕 様 、HTTP バージョン(1.1)、最 大 HTTP リクエスト 数 ( 変 数 )、カスタム・コンテンツ・ファイル(128 バイト、2KB、8KB、64KB、512KB)、 輻 輳 制 御 の 無 効 化 、 複 数 の HTTP サーバの 設 定 (TCP ポートの 80、81、8080、8081 を 使 用 )、SSL 暗 号 仕 様 (RC4-MD5)、そしてもちろんのこと Action List( 変 数 )などが 挙 げられます。ポート 設 定 と 関 連 付 けは 定 型 です。 他 のベースライン 設 定 は 変 更 していません。使 用 したベースライン 設 定 は Spirent SPF ファイルを 参 照 してください。すべてのテストは Spirent TCL API を 使 用 して 自 動 化 しました。 自 動 スクリプトはまずベースライン 設 定 を 取 り 込 みます。 次 に 各 テストの 目 的 に 合 わせて 必 要 な 設 定 を 変 更 します。 自 動 スクリプトが 変 更 する 設 定 は、Action List(リクエストターゲットおよびアクションリスト 項 目 数 の 変 更 )とクライアント 接 続 あたりの HTTP リクエスト 数 です。これ 以 外 にスクリプトが 変 更 する 設 定 はありません。これによってベースライン Spirent SPF ファイルの 使 用 が 容 易 になり、 完 全 な TCL API フレームワークを 使 うことなく、またすべてのテストを 再 実 行 することなく、テスト 結 果 を 簡 単 に 再 現 できます。12

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポート付 録 C: FAQ(よくある 質 問 )デバイスベンダーがテストを 実 施 していますが、これらの 結 果 は 信 頼 できますか。すべてのデバイス 設 定 、およびテストを 再 現 するために 必 要 な 情 報 はすべて 公 開 されています。テスト・インフラストラクチャで 使 用 されたデバイスとテストされた 装 置 は、すべて 市 販 されています。このため、あらゆる 個 人 または 企 業 はこのレポートで 示 されているテスト 結 果 を 再 現 することができます。さらに、このレポートのいくつかのテストに 関 しては、パフォーマンス 結 果 はベンダー 自 身 が 主 張 するパフォーマンスとまったく同 じか、ほとんど 同 じです。ベンダーの 主 張 とほぼ 一 致 することから、このテスト 結 果 が 比 較 のために 有 効 であることは 明 らかです。なぜテスト 結 果 の 中 にベンダーの 主 張 と 一 致 しないものがあるのですか。これには 複 数 の 理 由 があります。そしてどの 理 由 が 特 定 の 状 況 に 当 てはまるのかを 決 定 することはこのレポートの 範 疇 ではありません。 業 界 全体 にわたって(このレポートまたはこのレポートに 登 場 するベンダーに 関 係 なく) 一 般 的 に 言 うと、いくつかの 共 通 の 理 由 があります。たとえば、ベンダーによって 自 身 の 製 品 のテストに 使 用 する 負 荷 テスト 装 置 が 異 なる 場 合 があります。この 場 合 、 使 用 される 負 荷 テストの 設 定 は 異 なります(おそらく 同 一 の 設 定 をおこなうことは 不 可 能 です)。また、ベンダーが 使 用 している 用 語 の 定 義 が 異 なることもあります。 同 じ 定 義 を 使 用 した 場合 でも、その 公 表 されている 主 張 が 他 の 公 表 レポートと 一 致 しないこともあります。さらに、ベンダーが 非 標 準 のパフォーマンス・テスト・ツール( 社 内 開 発 されたものなど)を 使 用 している 場 合 もあります。これを 比 較 のために 公 平 に 使 用 することはできません。 多 くの 場 合 、ベンダーは正 確 なテスト 結 果 に 基 づいていない、 達 成 された 結 果 に 近 い、おおよその 数 値 を 選 んでパフォーマンスを 主 張 します。このような 問 題 やその 他多 くの 事 柄 が、ベンダーの 主 張 と 公 表 レポートの 結 果 に 相 違 が 生 じる 要 因 となっている 可 能 性 があります。いずれにせよ、すべてのデバイスがまったく 同 じロードテスト 装 置 と 設 定 でテストされているため、これらの 結 果 は 少 なくともデバイス 同 士 の 相 対 的 な 値 としては 正 確 なものです。たとえば、BIG-IP 8800 は 単 純 なテキストファイルで 優 れた 圧 縮 率 を 達 成 しますが、これは Citrix NetScaler に 関 しても 同 様 です。そのため 選 択 したファイルと 関 係 なく、デバイスの 相 対 的 なパフォーマンスが 最 も 意 味 があります。なぜすべてのテスト 実 行 の 平 均 ではなく 最 大 パフォーマンスがレポートされているのですか。テストされたデバイスの 平 均 パフォーマンスと 最 大 パフォーマンスにそれほど 大 きな 違 いがなかったためです。なぜSSLセッションIDの 再 利 用 がテストされなかったのですか。このレポートでテストした 3 つのベンダーはすべて、 新 規 セッションに 対 して 再 利 用 セッションとほぼ 同 等 のパフォーマンスを 実 現 する 特 別 なSSL 高 速 化 ハードウェアを 使 用 しています。たとえ SSL セッション ID を 9 回 再 利 用 しても、SSL TPS パフォーマンスの 増 加 は 通 常 128 バイトの応 答 でおよそ 15% 未 満 です。ファイルサイズが 増 加 すると、パフォーマンスの 増 加 はすぐに 0% まで 落 ち 込 みます。 場 合 によっては 再 利 用 しない 場 合 より 遅 くなることさえあります。パフォーマンスを 評 価 する 場 合 、この 情 報 の 有 効 性 は 非 常 に 限 定 されることから、 他 のテスト 結 果 の 詳 細な 分 析 を 優 先 してこれらのテストを 割 愛 するほうが 良 いと 判 断 しました。なぜ 他 のSSL 暗 号 化 がテストされなかったのですか。前 述 の「なぜ SSL セッション ID の 再 利 用 がテストされなかったのですか。」を 参 照 してください。 簡 潔 に 言 うと、 一 般 的 な 各 種 対 称 SSL 暗 号 化 (RC4、3DES、AES) 間 のパフォーマンス 上 の 違 いは、 現 在 の SSL 高 速 化 ハードウェアを 使 用 することでむしろ 小 さくなります。さらに 各 ベンダーはさまざまな 暗 号 仕 様 で 相 対 的 にほとんど 同 じようなパフォーマンスを 持 ちます。そのため、この 情 報 はサイズや 比 較 にとってそれほど 有 益 とは 見 なさず、レポートではその 他 の 説 明 にページを 割 くことにしました。特 別 なSYNクッキーテストに 関 する 違 いは 何 ですか。「 特 別 」と 記 載 されたテストは、このレポートの 後 半 で 使 用 されるテスト 方 法 の 範 疇 ではありません。そのため、この 違 いを 明 確 に 理 解 していただくことが 重 要 と 考 えました。たとえば SYN クッキーテストの 間 、DUT の CPU を 監 視 しましたが、これは 標 準 の 方 法 では 許 可 されていません。さらに、ロードテストのハードウェアとロードテストの 設 定 は、テストの 要 件 に 合 わせるためまったく 違 うものでなければなりませんでした。いくつかの 必 要 な 違 いがあるにもかかわらず、テストの 再 現 性 および 透 明 性 を 同 じように 確 保 しています。128 バイト の L4 テストの 実 行 には 通常 の Spirent 装 置 および 設 定 を 使 用 しましたが、 最 大 試 行 トラフィックは 1 秒 あたり 1,000 接 続 のみに 変 更 しました。この Spirent トラフィックは、DoS 攻 撃 の 間 、 通 常 のトラフィックが 成 功 するかどうかを 検 証 するために 使 用 しました。 次 に 2 つの TXS4-256MB カードを 装 着 した Iixia®1600T シャーシを 使 用 して SYN トラフィックを 生 成 しました(IxExplorer ソフトウェアを 使 用 )。それぞれの DUT では、L4 バーチャルサーバのIP ポートと MAC アドレスが 5 つの 独 立 したインターフェイスのストリームを 宛 先 としてプログラムしました。 各 ストリームでは、TCP ポート 番 号の 増 加 にともなって 1 つのソース IP から SYN パケットをシミュレートするために 必 要 な 最 小 パラメータのみを 使 用 しました。4 つのインターフェイスは 伝 送 路 速 度 の 20% で 開 始 し、 有 効 なパケットの 受 信 率 と 送 信 パケット 率 に 5% を 超 える 差 異 が 生 じる(DUT が 遅 延 したことを 示 します)まで 1% ずつ 増 加 するように 調 整 しました。4 つのインターフェイスでは、Citrix NetScaler がその 限 界 である 4 つのインターフェイスの 伝 送 率29% に 達 しました。BIG-IP 8800 では 4 つのインターフェイスで 100% に 達 した 後 、5 つめのインターフェイスが 追 加 され 同 じように 起 動 しました。このテストでは 生 成 できる SYN クッキーの 数 だけを 測 定 します(すべてのインターフェイスからのパケット 受 信 率 の 合 計 として 測 定 します)。いくつかの 有 効 なトラフィックを 処 理 している DUT に 送 信 できる SYN の 最 大 数 は 決 定 しません。13

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートユーザ 数 および 他 のロード 生 成 装 置 設 定 はどのように 決 定 したのですか。ロード 生 成 装 置 はその 最 適 な 設 定 を 決 定 するために、 連 続 した 構 成 で DUT を 使 用 せずにテストしました。テスト 装 置 ベンダーの 協 力 の 下 、ロード 生 成 装 置 の 設 定 が 最 適 と 判 断 されるまで、またはほぼ 最 適 と 判 断 されるまで、 少 しずつ 変 更 して 実 行 されました。これらの 設 定 はテスト 対 象のどのデバイスにも 最 適 化 されてはいません。テスト 要 件 ではデバイスごとに 異 なるテスト 設 定 を 行 うことはできません。また 1 つの DUT を 基準 として 取 り 上 げることは 公 平 ではありません。このアプローチの 弱 点 は、 各 DUT がその 潜 在 能 力 を 最 大 限 発 揮 できないことです。DUT ごとに変 更 したロード 生 成 設 定 を 使 用 したテストを 実 施 したところ、パフォーマンスの 差 異 が 値 として 十 分 に 現 れないことがわかりました。さらに、 環境 によるばらつきも 大 きいため、このテストに 対 して 他 に 考 えられる 設 定 を 選 択 したとしても、 違 いはほどんどありません。ロード 仕 様 は「SimUsers」で、624 と 6,240 の 両 方 でテストされました。なぜCitrix NetScalerだけが4Gbps 接 続 だけでテストされたのですか。Citrix NetScaler には 10Gbps インターフェイスがなく、リンク・アグリゲーション・グループあたり 最 大 4 ギガビットのインターフェイスをサポートしています。テスト 環 境 は、すべてのクライアントが 1 つの 外 部 VLAN にルーティングされ、 単 一 の 外 部 VLAN 上 に 常 駐 するサーバに 配 信 される、一 般 的 で 単 純 な 顧 客 の 展 開 をシミュレートするように 設 計 されています。リンク・アグリゲーション・グループあたり 4 つのインターフェイスしかサポートしないという 制 限 によって、 追 加 のインターフェイスを 使 用 することはできません。Citrix の Web サイトにある 公 開 情 報 では、このプラットフォームが 最 大 で 6Gbps( ( 未 テスト)をサポートするとしていますが、これは F5 BIG-IP および Cisco ACE がスループット・バウンド・テストで実 証 した 値 を 下 回 ります。また 1 秒 あたりのリクエストのほとんどのメトリックは 4Gbps スループット 制 限 に 影 響 を 受 けなかったということにも注 意 してください。なぜCisco ACEは8Gbpsライセンスだけでテストされたのですか。テストの 時 点 で Cisco ACE は 8Gbps までのライセンスしか 使 用 できませんでした。 一 部 のプレスリリース、および 2006 年 の 4 月 から 開 始 されている 販 売 目 的 の 出 版 物 で、Cisco は ACE の16Gbps バージョンについて 触 れています。しかし2007 年 6 月 現 在 では、すべての Cisco ACE データシート、リリースノート(2007 年 6 月 )、 製 品 マニュアル、および Cisco グローバル 価 格 表 では、4Gbps および 8Gbps ライセンスだけが 利 用 可 能 になっています。なぜCisco ACEは 特 に512KB 応 答 でのSSLパフォーマンスが 悪 いのですか。テストを 実 施 した 時 点 では、 高 SSL スループットや 大 きい 応 答 サイズに 影 響 する 回 避 策 (Cisco ACE のリリースノートに 記 載 あり)を 持 たないCisco ACE 製 品 に 関 する 既 知 の 問 題 がいくつかありました。Cisco ID「CSCsh19382」には SSL スループットが 3.4Gbps までに 制 限 されるとあり、「CSCsh54479」では SSL スループットが 4Gbps を 下 回 るとあります。さらに「CSCsj37029」では 大 きなサイズのページのストレステストで SSLパフォーマンスが 低 下 することがあると 言 及 されています。 最 初 の 問 題 は 2006 年 12 月 の Cisco リリースノートに 記 載 されていますが、 最 新 のソフトウェアリリース(2007 年 6 月 付 )でもこの 問 題 は 解 決 されていません。なぜCitrix NetScalerの 構 成 は 多 くのポート(80、81、8080、8081)のサーバを 含 むのですか。テスト 方 針 では、HTTP リクエストの 多 重 化 ( 接 続 の 再 利 用 )、HTTP 圧 縮 テスト、HTTP キャッシュなどは 別 にテストすることになっています。テストの 手 順 でも、テスト 間 で DUT の 設 定 を 変 更 しないことが 求 められます。これはすべてのテストに 1 つの 設 定 が 適 用 されるようにするためです。Citrix の 製 品 は、サーバ(Citrix NetScaler の 用 語 では「サービス」)ごとに 特 定 の 機 能 ( 圧 縮 やリクエストの 多 重 化 など)を 使 用 する 場 合 を 指 定できます。 必 要 とされる 機 能 の 組 み 合 わせによって、TCP ポート 80、81、8080 および 8081 それぞれに 4 つの 異 なるサービスを 定 義 する 必 要がありました。その 他 の 製 品 と 同 様 に、Citrix は L7 の 決 定 に 基 づいて 一 部 の 機 能 を 有 効 または 無 効 にするオプションを 提 供 しています。CitrixNetScaler は 複 数 のサービス 定 義 を 行 った 方 がパフォーマンスが 向 上 することが 判 明 したため、テストではこの 速 い 設 定 を 使 用 しました。Cisco ACEではどのタイプのスーパーバイザ・モジュールとラインカードが 使 用 されたのですか。Cisco ACE の Catalyst 6509 シャーシの 内 部 に 組 み 込 まれた Supervisor Engine 720(WS-SUP720-3BXL)を、CEF720 4 ポート10-Gigabit Etherラインカード(WS-X6704-10GE)を 介 してメインスイッチに 接 続 しました。14

f5 PERFORMANCE REPORTアプリケーション・デリバリ・コントローラのパフォーマンス・レポートなぜCitrix NetScalerでは1 秒 あたりのHTTPリクエスト 数 が275,000に 達 しないのですか。Citrix NetScaler 12000 の 公 式 なデータシートでは、このプラットフォームで 1 秒 あたり 最 大 275,000 の HTTP リクエストを 達 成 できるとしています。 本 レポートのテスト 結 果 ではこの 主 張 を 再 現 できませんでした。Citrix NetScaler は 1 秒 あたりの HTTP リクエスト 数 を 数 年 にわたって 公 表 していました。この 調 査 中 に、Network Computing 誌 が BIG-IP システムと NetScaler の 両 方 を 2005 年 にレビューしたことがわかりました。 同 様に Network World 誌 のレビューでも 2006 年 に 両 製 品 が 評 価 されています。これらの 発 行 物 の 両 方 の 結 果 が Citrix NetScaler データシートに 記載 されている 数 値 より、 本 レポートで 確 認 された 結 果 にかなり 近 い 値 でした。 本 レポートでは、Citrix NetScaler は 1 秒 あたりの HTTP リクエスト数 が 最 大 148,757(キャッシュテスト 中 )に 達 しましたが、これは 仕 様 書 にレポートされている 数 値 をはるかに 下 回 ります。この 問 題 を 調 査 したところ、Citrix NetScaler はテストを L4 設 定 (HTTP 検 査 なし、リクエストあたりのロードバランシングなし、HTTP リクエスト多 重 化 なし)で 実 施 したことが 分 かりました。またテスト 装 置 は 接 続 テストあたりの L7 無 制 限 リクエストのように 設 定 されていました。これらの設 定 を 使 用 した 場 合 、1 秒 あたり 270,000 から 300,000 ののリクエスト 数 が 非 公 式 に 確 認 されました。BIG-IP 8800 および Cisco ACE で 同 様 のテストを 実 施 すると、1 秒 あたりの HTTP リクエスト 数 が 1,000,000 を 超 えました。なぜCisco ACEでは1 秒 あたりのL4 接 続 数 が260,000 以 下 なのですか。2007 年 6 月 現 在 で Cisco から 入 手 可 能 な 最 新 のリリースノートによると、テストで 1 秒 あたりの 接 続 数 が 最 大 で 330,000 を 超 えないよう 計 画 されていない 限 り、このレベルのパフォーマンスは Cisco ID「CSCsd80505」の 警 告 によって 制 限 されています。テスト 要 件 では、デバイスごとに独 自 のロードテスト 設 定 を 行 うことを 許 可 していません。さらに、 最 大 試 行 トラフィック 量 を 作 為 的 に 制 限 することは 有 効 ではありません。これは 実 際 の 導 入 では 不 可 能 であるためです。この 問 題 は 2006 年 12 月 の Cisco リリースノートで 初 めて 公 表 されました。分 析 のセクションで1 秒 あたりのリクエスト 数 をより 正 確 に 記 述 しないのはなぜですか。このレポートでは、 読 みやすさを 配 慮 して 1 秒 あたりのリクエスト 数 の 端 数 は 切 り 捨 てています。たとえば、123,123 は 有 効 桁 の 論 理 にしたがって 123,000 に 四 捨 五 入 します。これは 統 計 上 の 正 確 さにほとんど 影 響 ありません。 通 常 、1% 未 満 で 1.5% を 超 えることはありません。F5 ネットワークスジャパン 株 式 会 社東 京 都 港 区 赤 坂 4-15-1 赤 坂 ガーデンシティ 19Fhttp://www.f5networks.co.jp/fc/© 2007 F5 Networks, Inc. All rights reserved. F5、F5 Networks、F5のロゴ、BIG-IP、FirePass、およびiControlは、 、FirePass、およびiControlは、 、およびiControlは、 米 国 および 他 の 国 におけるF5 Networks, Inc.の の 商 標 または 登 録 商 標 です。15