Introduction_to_Intel_DPDK_v2

Introduction to
Intel DPDK
Oct 24 th , 2014
IGEL Co.,Ltd.
Tetsuya Mukawa
武 川 哲 也

はじめに
Q: Intel DPDK( 以 下 、DPDK)って
A: 高 スループット/ 低 レイテンシのネットワークを 実 現 する 仕 組 みです。
Q: DPDKの 目 的 は
A: 高 価 なNW 機 器 と 同 等 の 機 能 ・ 性 能 を、Linux/BSD 上 のソフトウェアで 実 現 することです。
Q: DPDKは、サーバ 用 途 の 技 術 では
A: 今 のところ、その 通 りです。
Q: なぜ、CELFで
A: 高 速 化 手 法 が 面 白 いので 紹 介 します。
Q: あなたは 誰
A: 組 込 みエンジニアです。たまに、CELFに 参 加 しています。
2

DPDKの 衝 撃 1 ~ 高 速 転 送 ~
• 公 称 、”Over 160Mpps(fps)”
– 64byte(ショート)パケットで、 約 80Gbps
– 1024byteパケットで、 約 1300Gbps
通 信 事 業 にとっては、
ショートパケットのパ
フォーマンスが 重 要 らしい
( 聞 いた 話 )
現 在 手 に 入 るNICの 最 速
は40Gbps()
– というわけで、160Mppsは、 信 じられないくらい 速 い。
• 信 じられないので、 調 べてみました( 後 述 )。
4

DPDKの 衝 撃 2 ~ 安 価 ~
• BSDライセンス
• Linux/BSD 上 で 動 作
• x86だけでなく、ARMやPower 上 でも 動 作
– ATOMも
• 専 用 機 器 に 比 べて 非 常 に 安 価 なサーバ 上 で、 専 用
機 器 と 同 等 の 性 能 ・ 機 能 を 持 つネットワーク 機 器 を 作
成 することが 可 能 に。
– ネットワーク 業 界 に 大 きなインパクト
5

DPDKの 生 まれた 背 景
~ 想 像 です~
【 通 信 事 業 者 】
最 近 では・・・
Linaro
IBM
ARMポーティングは、Linaro 主 導
https://wiki.linaro.org/LNG/Engineering/DPDK
NW 専 用 機 器 は 高 す
ぎる
【Intel】
自 社 のCPUやNIC
を 売 りたい
【ソフトウェア 会 社 】
寡 占 だったNW 専
用 機 器 にビジネ
スチャンス
DPDK 初 期 では・・・
6WIND
Wind River
Powerポーティングは、IBM 主 導
7

DPDKの 歴 史
年 月 バーション 拡 張 された 機 能
2012 年 11 月 DPDK-1.2.3
2013 年 6 月 DPDK-1.3.1
2013 年 8 月 DPDK-1.4.1
2013 年 9 月 DPDK-1.5.0
2013 年 10 月 DPDK-1.5.1
2014 年 1 月 DPDK-1.6.0
2014 年 6 月 DPDK-1.7.0
2014 年 11 月 DPDK-1.8.0
VMとの
通 信 拡 張
数 種 の 仮 想
デバイスサ
ポート
機 能 の 詳 細 につ
いては 後 述
アプリ 制 作 に
便 利 なライブ
ラリの 追 加
比 較 的 、 新 しい
ソフトウェア
最 近 になって、アプリ 用 のライブラリ
が 充 実 してきている
8

コミュニティ
DPDK-1.4
DPDK-1.6
Intelの 対 応
6WINDの 対 応
利 用 者 の 反 応
Intelの 対 応
• Intelの 公 式 サイト
にて、ソースコード
のみ 公 開
• gitは 非 公 開
• dpdk.orgを 立 ち 上
げ、 独 自 にMLとgit
を 提 供
• Intelのソースから
作 成 したgit tree
• dpdk.orgにpatchを
投 稿
• IntelのDPDK-1.5
より、dpdk.orgの
DPDK-1.5の 方 が
高 機 能 に。
• dpdk.orgを 公 式
なgitと 認 定
• Intel 自 身 も、
dpdk.orgに 投 稿
• メンテナは、Intel
ではなく、6WIND
コミュニティでは、Intelと 共 に
6WINDにも 存 在 感
9

概 要
~ 既 存 フレームワークによる 転 送 の 限 界 ~
• 例 えばLinuxでは、1Mpps 以 下
– 1500byte 程 度 のパケットでも、 実 測 10Gbpsを 下 回 るらしい。
• 既 存 デバドラによる 転 送 はなぜ 遅 いか
– 割 り 込 みによるオーバーヘッド
– コンテキストスイッチのオーバーヘッド
– TLBミス
– (CPU Coreの)キャッシュミス
11

概 要
~DPDKのアーキテクチャ( 超 基 本 )~
• uio/vfioを 使 ったユーザースペースデバイスドライバと
ライブラリ
– ( 主 に)IntelのNIC 対 象
• ユーザ 空 間 から 独 自 のリソース 管 理
– コア
– メモリ
• 独 自 のメモリ 管 理 の 仕 組 みを 構 築
サーバ 対 象 のソフトウェアなのに、
uio/vfioと 組 込 みみたい
12

概 要
~ブロック 図 ~
DPDK Application
DPDK EAL
ポーリングで 動 作 す
るアプリケーション
ポーリング 動 作 する
デバイスドライバ
(PMD)
コアを 占 有 。コンテ
キストスイッチさせな
い=ポーリング
etc...
ポート 管 理
user level
device driver
コア 管 理
バッファ 管 理
キュー 管 理
メモリ 管 理
キャッシュラインまで
意 識 したバッファの
管 理
ロックレスなキュー
独 自 のメモリ 管 理 機
構 を 構 築
uio / vfio
CPU
affinity
OS
hugetlbfs
物 理 メモリを 直 接
ユーザランドに
mmapさせる
NIC CPU memory
カーネル 空 間
13
ユーザ 空 間

概 要
~ 実 際 の 操 作 例 1~
• 準 備 (DPDKはコンパイルしていること 前 提 )
– hugepageをmount
• Bootオプションを 以 下 のように 変 更
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash
default_hugepagesz=1G hugepagesz=1G hugepages=10
norandmaps=0“
• fstabに 以 下 のように 設 定
nodev /mnt/huge hugetlbfs pagesize=1GB 0 0
– おまじないを 唱 える
$ sudo modprobe uio
$ sudo insmod ./build/kmod/igb_uio.ko
./dpdkにてDPDKを
コンパイルしたと 想 定
14

概 要
~ 実 際 の 操 作 例 2~
• サンプルアプリケーション(testpmd)の 実 行 まで
– DPDKのuioドライバ 配 下 に、NICを 配 置
• まずは、 現 状 確 認
Network devices using DPDK-compatible driver
============================================
現 在 は、
e1000eドライバ 配 下
Network devices using kernel driver
===================================
0000:02:00.0 '82572EI Gigabit Ethernet Controller
(Copper)' if=p4p1 drv=e1000e unused=
0000:06:00.0 'RTL8111/8168/8411 PCI Express Gigabit
Ethernet Controller' if=eth0 drv=r8169 unused= *Active*
Other network devices
=====================
15

概 要
~ 実 際 の 操 作 例 3~
• サンプルアプリケーション(testpmd)の 実 行 まで
– DPDKのuioドライバ 配 下 に、NICを 配 置
• DPDKのuioドライバ(igb_uio)にbind
$ sudo ./dpdk/tools/dpdk_nic_bind.py -b igb_uio
0000:02:00.0
16

概 要
~ 実 際 の 操 作 例 4~
• サンプルアプリケーション(testpmd)の 実 行 まで
現 在 は、DPDK 配 下
– DPDKのuioドライバ 配 下 に、NICを 配 置
• igb_uioにbindされているか 確 認
Network devices using DPDK-compatible driver
============================================
0000:02:00.0 '82572EI Gigabit Ethernet Controller
(Copper)' if=p4p1 drv=e1000e unused=
Network devices using kernel driver
===================================
0000:06:00.0 'RTL8111/8168/8411 PCI Express Gigabit
Ethernet Controller' if=eth0 drv=r8169 unused= *Active*
Other network devices
=====================
17

概 要
~ 実 際 の 操 作 例 5~
• サンプルアプリケーション(testpmd)の 実 行 まで
– testpmdを 実 行
$ sudo ./dpdk/build/app/testpmd –c f –n 1 –vdev
“eth_pcap0,iface=eth1” -- -i
( 略 )
testpmd>
– オプションの 意 味
-c このアプリケーションを 動 作 させるコアマスク 指 定
f は、Core0~Core3にて、DPDKのスレッドが 実 行 されることを 示 す。
-n CPUソケットごとのメモリチャンネルの 数
vdev
仮 想 デバイスの 追 加 指 定 。この 場 合 、ibpcapでeth1にアクセスする 仮 想
デバイスをアタッチしている。
-- これ 以 前 は、DPDK 共 通 のオプション。これ 以 後 は、アプリケーション 固
有 のオプション
-i インタラクティブモードで 起 動
あとは、startコマンドにて、
0000:02:00.0とeth1 間 の
双 方 向 データ 転 送 開 始
testpmd
02.0 eth1
18

概 要
~まとめ1~
• uio/vfioを 使 ったユーザースペースデバイスドライバと
ライブラリ
– ( 主 に)IntelのNIC 対 象
• ユーザ 空 間 から 独 自 のリソース 管 理
– コア
– メモリ
• 独 自 のメモリ 管 理 の 仕 組 みを 構 築
どうやって
本 当 に 速 いの
19

概 要
~まとめ2~
• uio / vfioを 使 っても 速 い 理 由
– コアを 占 有 してポーリング 動 作
• どうやって、 独 自 のリソース 管 理 をするか
– コアを 占 有 するために、 既 存 のAffinity 用 のAPIを 利 用
• コアを 占 有 なので、 管 理 といって 良 いかは 微 妙 だが・・・
– hugetlbfsを 利 用 して、 物 理 メモリを 直 接 マッピング
• hugepage(1Mや1G)なので、TLBミスも 大 幅 減
– 獲 得 したメモリ 上 に、 独 自 のメモリ 管 理 機 構 を 構 築
• 詳 細 は 後 述
20

概 要
~まとめ3~
速 さの 秘 密 は、
ポーリング
キャッシュに 載 りやすい
コンテキストスイッチなし
ポーリング 動 作
割 り 込 み 駆 動 の 必 要 なし
効 率 よくポーリングさせる 仕 組 みを
DPDKは 提 供
• ロックしない
• キャッシュミスを 減 らす
実 は、アプリ 実 装 時 にも 意 識 する 必
要 要 がある。
21

詳 細
~アプリの 作 り 方 ~ Run to completionモデル
RX
Port
パケット 処 理 用 ポーリングスレッド
(recv⇒sendを 繰 り 返 す)
TX
Port
• 1スレッドが 受 信 から 送 信 まで 行 うモデル
• 単 純 な 処 理 ならこれで 十 分
• レイテンシも 抑 えられる。
• なお、 各 ポートにアクセスできるのは1スレッドまで
• 複 数 スレッドを 使 った 並 列 化 は 不 可 能
• この 制 約 は、PMDの 仕 様 による。
23

詳 細
~アプリの 作 り 方 ~ Pipelineモデル
RX
Port
受 信 専 用
スレッド
ロックレ
スな
キュー
転
スレッド
送 専 用
転 スレッド 送 専 用
転 スレッド 送 専 用
転 スレッド 送 専 用
転 スレッド 送 専 用
スレッド
ロックレ
スな
キュー
送 信 専 用
スレッド
TX
Port
• 幾 つかのスレッドをつなげてパケット 転 送 を 行 うモデル
• “ 転 送 専 用 スレッド”で 複 雑 なパケット 操 作 を 行 う。
• 当 然 、 各 スレッドごとにコアを1つ 占 有 する 。┐(´-`)┌
• 複 雑 な 処 理 を 複 数 コアに 分 けて 並 列 度 をあげる。
• 転 送 順 を 乱 してはいけない 場 合 は、 何 か 考 える 必 要 あり。
• 複 雑 なアプリはだいたいこの 方 式 の 派 生 モデルで 実 装 ()
• 事 前 に 処 理 能 力 を 想 定 しておく 必 要 あり。
• 伝 統 的 な 組 込 みっぽい。
24

詳 細
~ 高 速 動 作 の 仕 組 み~ ロックしない 仕 組 み1
• Pipelineモデル 等 に 使 われるロックレスなキュー
– もともとLinux/BSDで 使 用 されてきたキューの 軽 量 版
• スレッドがコアを 占 有 することを 前 提 にさらに 高 速 化
– DPDKでは、”Ring”と 呼 ばれる。
• 例 えば、バッファのアドレスをキューイングする。
– Single/Multi Producer – Single/Multi Consumerに 対 応
• キューに 対 して 複 数 スレッドから 同 時 にアクセス 可 能
• ただし、Multi 環 境 では、 完 了 するまでロックしないがBusy waitする
ことがある。
Producer/Consumer 共
Producer
Consumer
に、シングルでもマルチ
Ring
Producer
Consumer スレッドでも 良 い!
26

詳 細
~ 高 速 動 作 の 仕 組 み~ ロックしない 仕 組 み1 (contd.)
• Ringを 使 用 する 際 の 制 約
– multi producersにて、あるRingに 対 してenqueueするスレ
ッドは、 同 一 のRingに 対 してmulti producersでenqueueす
る 別 スレッドにpreemptされてはならない。
– multi consumersにて、あるRingに 対 してdequeueするス
レッドは、 同 一 のRingに 対 してmulti consumersで
dequeueする 別 スレッドにpreemptされてはならない。
– DPDKでは、1スレッドでコアを 占 有 するため、Ringの 操 作
中 にpreemptされることがない。
27

詳 細
~ 高 速 動 作 の 仕 組 み~ ロックしない 仕 組 み2
• ロックしない 仕 組 みではないが・・・
– 各 PMD(デバイスドライバ)は、 同 一 ポートに 対 して 複 数 ス
レッドがアクセスしてくることはないという 前 提 で 実 装
– ポートにアクセス 可 能 なスレッドが 一 つの 理 由
28

詳 細
~ 高 速 動 作 の 仕 組 み~ キャッシュの 活 用 (TLB)
• TLBミスの 発 生 回 数 を 低 減 させる 仕 組 み
– hugetlbfsを 利 用
• DPDKから 物 理 メモリをmapするためにも 利 用
• 2MBや1GBのpagesizeを 利 用
• 黙 っていると、DPDKのアプリケーションは、 利 用 可 能 な 全 ての
hugetlbfs 用 のメモリをmapしようとします。┐(´-`)┌
– オプションで 使 用 メモリを 指 定 可 能
29

詳 細
~ 高 速 動 作 の 仕 組 み~ キャッシュの 活 用 (Data)
• DPDK 独 自 のメモリ 管 理
– CPUキャッシュを 効 率 的 に 使 えるように、キャッシュのアラ
イメント、DDR3やDIMMのチャンネル 数 、ランク 数 を 意 識 し
てメモリを 割 り 当 てる 仕 組 み
– ちなみに、NUMA 構 成 も 考 慮
(DPDK Programers guideより)
30

詳 細
~ 高 速 動 作 の 仕 組 み~ コア 単 位 のデータ 構 造
• コア 別 のバッファ・リサイクルキューを 持 つ。
– DPDKは、マルチプロセス・マルチスレッド 対 応
– 複 数 のタスクから 共 有 されるデータは、hugetlbfs 上 に 構 築
された 独 自 のメモリ 機 構 の 上 に 置 かれる。
– ・・・が、なるべく、 一 つのデータにアクセスしたくない。
– パケットバッファについては、 巧 妙 な 仕 組 みで 最 適 化

詳 細
~ 高 速 動 作 の 仕 組 み~ コア 単 位 のデータ 構 造 (contd.)
• パケット 用 バッファには、 巧 妙 な 仕 掛 けがある。
– このバッファは、もちろん、キャッシュラインを 考 慮 して 獲 得 されたもの。
– バッファの 集 合 (mempool)を 用 意 し、mempoolの 使 用 状 況 をRingで 管 理
– 複 数 スレッド(コア)からRingにアクセスし、ロックせずに 高 速 にバッファを
取 得 解 放 可 能
スレッド
スレッド
スレッド
バッファ 解 放
バッファ 獲 得
バッファ 解 放
Ring
mempool
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
複 数 タスクからア
クセスすると、
RingはBusy wait
することがあるん
じゃ・・・
この 図 は、 実 は 正 しくないです。 次 ページが 正 しい 図

詳 細
~ 高 速 動 作 の 仕 組 み~ コア 単 位 のデータ 構 造 (contd.)
• 複 数 タスクが 同 一 Ringにアクセスする 場 合 、ロックはしないが、
Busy waitすることがある。
– このオーバーヘッドも 低 減 したい
• スレッドごとに、バッファのリサイクルキュー( 実 際 は 配 列 ) 持 つ。
• 使 い 終 わっても 直 ぐに 返 しにはいかない。
• バッファ 獲 得 要 求 に 対 し、Ringに 返 さずに 取 っておいたバッファを 割 り 当 てる。
スレッド
リサイクルキュー
未 使 用 バッファ
バッファ 解 放
mempool
未 使 用 バッファ
劇 的 な
高 速 化 !
スレッド
スレッド
リサイクルキュー
未 使 用 バッファ
リサイクルキュー
未 使 用 バッファ
バッファ 獲 得
バッファ 解 放
Ring
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
未 使 用 バッファ
キャッシュするバッファ 数 は 設 定 可 能

詳 細
~ 高 速 動 作 の 仕 組 み1~ SSEの 利 用
• DPDKにおけるSSE
利 用 の 一 例
• DPDKは、 独 自 の
memcpy APIを 提 供
– rte_memcpy
• DPDKスレッド 上 で、
DPDKのメモリ 機 構 上 の
メモリをコピーする 速 度
を 比 較
バッファサイズ
平 均
rte_memcpy (sec/byte)
平 均
memcpy (sec/byte)
8 2.50295E-10 4.58804E-10
16 6.25674E-11 2.50263E-10
24 4.1712E-11 1.66842E-10
32 3.12835E-11 1.25132E-10
40 4.19413E-11 1.00106E-10
48 3.49382E-11 8.34208E-11
56 2.99602E-11 7.74625E-11
64 2.6234E-11 6.77814E-11
128 3.02553E-11 3.65069E-11
192 4.06138E-11 3.65201E-11
256 3.44818E-11 2.99948E-11
320 3.06291E-11 2.72697E-11
384 2.66848E-11 2.44344E-11
448 2.58069E-11 2.46057E-11
512 2.41141E-11 2.34078E-11
34

詳 細
~ 高 速 動 作 の 仕 組 み2~ SSE 拡 張 の 利 用
5E-10
4.5E-10
4E-10
3.5E-10
3E-10
256byte 以 下 の 転 送
が 劇 的 に 速 い
2.5E-10
2E-10
rte_memcpy
memcpy
1.5E-10
1E-10
5E-11
0
0 500 1000 1500 2000 2500

詳 細
~ 高 速 動 作 の 仕 組 み~ 高 速 化 手 法 のもたらす 制 約
• 1スレッドで1コアを 占 有 する 制 約
– Ringは、スレッドがコアを 占 有 していることが 前 提 の 実 装
– 前 述 のように、RingはDPDKの 根 幹 に 食 い 込 んでいるので、
Ringを 使 えないのは 致 命 的
• 同 一 ポートにアクセス 可 能 なのは、1スレッドという 制 約
– PMDの 実 装 による 制 約

詳 細
~PMDの 書 き 方 ~
• Null PMD
– /dev/nullライクなPMDを 書 いてみた。
• 幾 らでもパケットを 受 信 できる。
• 幾 らでもパケットを 送 信 できる。
– 仮 想 デバイスに 対 するPMD
– http://dpdk.org/dev/patchwork/patch/686/
– 非 常 に 単 純 な 構 造 なので、ひな 型 になるはず。
– Intel 以 外 のNICでも、PMDを 書 けば、DPDKは 動 作 するの
で、 興 味 がある 人 は 書 いてみてください。
38

詳 細
~ 限 界 性 能 測 定 1~
• Null PMDを 利 用 して、DPDKの 限 界 性 能 を 簡 易 測 定
– testpmdは、2つのポート 間 の 単 純 な 転 送 を 繰 り 返 す。
– 2つのスレッドを 持 つ
• port0⇒port1の 転 送 を 行 うスレッド
• port1⇒port0への 転 送 を 行 うスレッド
– Null PMDは、( 非 常 に 小 さいコストで)いくらでもパケットを 送 受 信 でき
るので、 限 界 性 能 が 簡 易 測 定 できる。
– 転 送 時 に1コピー
• 本 当 はゼロコピー 環 境 が 転 送 の 限 界 性 能 に 近 いはずだが、 今 回 は 測 定 時
間 がなかったので、 以 前 に 測 定 した1コピー 転 送 の 結 果
testpmd
port0
Null PMD
port1
Null PMD
40

詳 細
~ 限 界 性 能 測 定 2~
測 定 環 境
CPU
hugetlbfs 割 当
Intel(R) Xeon(R) CPU E5-2697 v2 @ 2.70GHz
40GB (pagesize=1GB)
測 定 結 果 ~コアあたりの 転 送 性 能 ~ (かなり、ざっくり)
64byte 52Mpps / 26Gbps
1500byte 16.72Mpps / 195.05Gbps
1コピーでこの 速 度 なら、ゼロコピーで160Mppsに 届 くのかも
もしくは、 複 数 コア/ポートを 使 って、160Mfpsという 意 味 なのかも
1コピーでこの 性 能 なため、 複 雑 なパケット 処 理 を 行 うと、この 値 以
下 になりそう。
41

ホスト-VM 間 通 信
• ホスト 上 のDPDKアプリと、VM 上 のDPDKアプリが 高
速 に 通 信 する 仕 組 みについて
– なぜ、 必 要 なのか
• ネットワーク 業 界 でよく 言 われる、SDN-NFVという 構 成 を 実 現 する
際 に 必 要 になる。
– SDN-NFVとは
• ホスト 上 では、OpenFlowに 対 応 したソフトウェアスイッチ(SSW)を
動 作 させ、 実 際 のパケット 処 理 はVMで 行 うという 構 成
– LinuxとQEMU 環 境 の 場 合 について 説 明
43

ホスト-VM 間 通 信
~e1000 & pcap 経 由 ~
user space on host
Guest
DPDK App2
user space on VM
DPDK App1
e1000 PMD
uio
kernel space on VM
pcap PMD
e1000
tap client
QEMU
tap driver
kernel space on host
44

ホスト-VM 間 通 信
~e1000 & pcap 経 由 ~ App1からの 送 信
QEMU
tap client
User
DPDK App1
pcap PMD
コピー
Kernel
コピー
tap driver
※ 注 意
黒 線 をまたぐと
コンテキストスイッチ 発 生
Host
Guest
e1000
コピー
割 り 込 み
コピー
パケット
バッファ
レジスタ
アクセス
レジスタ
アクセス
KVM
割 り 込 み
DPDK App2
e1000 PMD
割 り 込 み
uio
参 考 https://www.nic.ad.jp/ja/materials/iw/2011/proceedings/s09/s09-02.pdf

ホスト-VM 間 通 信
~virtio-net & pcap 経 由 ~
user space on host
Guest
DPDK App2
user space on VM
DPDK App1
virtio-net PMD
uio
kernel space on VM
pcap PMD
virtio-net
tap client
QEMU
tap driver
kernel space on host
46

ホスト-VM 間 通 信
~virtio-net & pcap 経 由 ~ App1からの 送 信
QEMU
tap client
User
DPDK App1
pcap PMD
コピー
Kernel
コピー
tap driver
※ 注 意
黒 線 をまたぐと
コンテキストスイッチ 発 生
Host
virtio-net
コピー
割 り 込 み
KVM
Guest
コピー
パケット
バッファ
割 り 込 み
実 デバイスをシミュ
レートしていない
virtio-netは、そもそ
も、 送 受 信 に 際 して
レジスタアクセスを
発 生 させない。
DPDK App2
virtio-net PMD
割 り 込 み
uio
参 考 https://www.nic.ad.jp/ja/materials/iw/2011/proceedings/s09/s09-02.pdf

ホスト-VM 間 通 信
~virtio-net & vhost & pcap 経 由 ~
user space on host
Guest
DPDK App2
user space on VM
DPDK App1
virtio PMD
uio
kernel space on VM
pcap PMD
tap driver
kernel space on host
virtio-net
vhost-net
tap client
QEMU
vhost-netは、ホス
トのカーネル 内 で、
virtio-netのパケット
送 受 信 処 理 を 行 う
仕 組 み。
よって、 送 受 信 の
際 にvirtio-netは 関
わらなくなる。
48

ホスト-VM 間 通 信
~virtio-net & vhost & pcap 経 由 ~ App1からの 送 信
QEMU
User
DPDK App1
pcap PMD
Kernel
コピー
tap driver
コピー
※ 注 意
黒 線 をまたぐと
コンテキストスイッチ 発 生
tap client
Host
vhost-net
割 り 込 み
KVM
Guest
コピー
パケット
バッファ
割 り 込 み
DPDK App2
virtio-net PMD
割 り 込 み
uio
参 考 https://www.nic.ad.jp/ja/materials/iw/2011/proceedings/s09/s09-02.pdf

ホスト-VM 間 通 信
~virtio-net & cuse & vhost backend 経 由 ~
user space on host
DPDK App1
vhost
backend
eventfd
kernel module
kernel space on host
DPDK App2
virtio PMD
uio
virtio-net
CUSE
Guest
user space on VM
CUSEを 使 って、vhost-netの
実 装 をDPDK App1の 中 で 行 っ
てしまう!
この 場 合 、DPDK App1からゲ
kernel ストの space 物 on 理 メモリにアクセスで
VM
きる 必 要 がある(ゲストの 物 理
メモリをhugetlbfs 上 から 取 得 す
QEMU
る 必 要 がある。 読 み 書 きの 権
限 も 必 要 )
また、 通 知 のために、DPDKの
提 供 する 特 別 なカーネルモ
ジュールが 必 要
Intel 考 案 !
50

ホスト-VM 間 通 信
~virtio-net & cuse & vhost backend 経 由 ~ App1からの 送 信
User
Kernel
※ 注 意
黒 線 をまたぐと
コンテキストスイッチ 発 生
Host
QEMU
DPDK App1
vhost
backend
コピー
割 り 込 み
event 通 知
kernel
module
割 り 込 み
KVM
Guest
パケット
バッファ
割 り 込 み
App1とApp2が 共
にポーリングしてい
るので、 通 知 は 必
要 なし!
DPDK App2
virtio-net PMD
割 り 込 み
uio
参 考 https://www.nic.ad.jp/ja/materials/iw/2011/proceedings/s09/s09-02.pdf

ホスト-VM 間 通 信
~virtio-net & vhost-user backend 経 由 ~
user space on host
DPDK App1
vhostuser
backend
DPDK App2
virtio PMD
virtio-net
eventfd
Guest
user space on VM
QEMU-2.1 以 上 では、vhost-net
のバックエンドを、ユーザ 空 間 にイ
ンプリさせるための 仕 組 みが 実 装
されている(vhost-user)。
kernel space on VM
よって、CUSEを 使 う 必 要 はなくな
る。
QEMU
なお、この 仕 組 みでも、ゲストの 物
理 メモリは、hugetlbfsから 取 得 す
る 必 要 がある。
なお、イベント 通 知 には、 通 常 の
eventfdを 使 用 する( 特 別 なカーネ
ルモジュールは 必 要 ない)。
kernel space on host
52

ホスト-VM 間 通 信
~virtio-net & vhost-user backend 経 由 ~ App1からの 送 信
User
Kernel
※ 注 意
黒 線 をまたぐと
コンテキストスイッチ 発 生
QEMU
DPDK App1
Host
vhost -user
backend
コピー
割 り 込 み
eventfd
割 り 込 み
KVM
Guest
パケット
バッファ
割 り 込 み
App1とApp2が 共
にポーリングしてい
るので、 通 知 は 必
要 なし!
DPDK App2
virtio-net PMD
割 り 込 み
uio
参 考 https://www.nic.ad.jp/ja/materials/iw/2011/proceedings/s09/s09-02.pdf

ホスト-VM 間 通 信
~その 他 ~
• 他 にも、いろいろありますが、ここでは 割 愛
– IVSHMEM + Ring
– MEMNIC PMD
• NEC 製
– 高 速 な 転 送 を 実 現 するものは、 何 らかの 共 有 メモリを 実 現
して、そのうえでパケット 交 換 するものです。
54

DPDKアプリ 例
~open sourceのみ~
アプリ 名
ライセンス 概 要
lagopus BSD OpenFlow-1.3 対 応 のソフトウェアスイッチ
dpdk-ovs BSD DPDK 対 応 したOpen vSwitch
Packetgen BSD パケットジェネレータ
dpdk-rumptcpip BSD
ipaugenblick
rumpkernelのDPDK 対 応
GPL/BSD Linux TCP/IPスタックのDPDKポーティング
dpdk-odp BSD BSDのTCP/IPスタックをDPDKにポーティング
(ソースコードをいつまでも 公 開 しないので、 使
わない 方 が 無 難 )
56

まとめ
• 既 存 のフレームワークでは、 高 速 転 送 を 実 現 できない
• DPDKは、ユーザランドから、CPU・メモリ・NICを 扱 う 仕 組 み
– NICは、uio/vfio 経 由
– CPUは、Affinity 管 理
– メモリは、hugetlbfs 経 由
• ポーリングを 効 率 的 に 行 うことで 高 速 化 を 達 成
• 実 際 に、DPDKを 使 用 したアプリや 製 品 が 出 始 めている。
• DPDKのコミュニティ
– Site: http://dpdk.org/
– ML: dev@dpdk.org
57