MapReduce 架構下的平行化局部診斷設計與模擬 - 第二十九屆組合 ...

The 29th Workshop on Combinatorial Mathematics and Computation Theory先 觀 察 表 2, 可 發 現 當 維 度 ≤ 8 時 , 都 在 相當 快 速 且 接 近 的 時 間 完 成 , 表 示 該 情 況 下 map運 算 時 間 非 常 微 小 , 大 部 分 時 間 為 Hadoop 其 他固 定 流 程 所 耗 費 , 而 維 度 是 18 時 點 數 為 262144,換 算 下 來 每 個 資 料 節 點 須 運 算 65536 個 點 , 可得 知 當 資 料 節 點 負 責 運 算 的 點 數 小 於 65536 時 ,都 可 以 相 當 快 速 且 接 近 的 速 度 完 成 , 至 於 診 斷時 間 全 落 於 22 秒 ~25 秒 之 間 , 彼 此 之 間 出 現 1~3秒 的 些 微 落 差 , 這 是 因 為 在 分 配 map 和 reduce的 工 作 以 及 結 果 輸 出 時 , 受 到 網 路 速 度 所 影 響 。接 下 來 直 到 維 度 是 19 時 mapper 的 運 算 時 間 開始 緩 緩 上 升 , 維 度 是 20 時 , 仍 以 不 到 一 分 鐘 的速 度 完 成 診 斷 一 百 萬 個 點 , 最 後 當 維 度 達 到 21時 , 才 使 診 斷 速 度 有 了 較 明 顯 的 變 慢 , 可 發 現此 時 維 度 21 的 點 數 是 維 度 20 的 一 倍 , 運 算 時間 也 與 之 成 正 比 , 大 約 上 升 了 一 倍 ; 再 來 觀 察表 3 和 表 4, 可 發 現 交 錯 立 方 體 與 雙 扭 立 方 體 的診 斷 時 間 都 與 超 立 方 體 相 似 , 雖 然 彼 此 的 結 構不 相 同 , 但 因 使 用 同 一 種 匹 配 方 法 , 使 得 它 們的 診 斷 時 間 一 定 會 非 常 接 近 。 整 體 而 言 , 由 於這 三 種 圖 形 都 具 有 規 則 的 連 線 的 特 性 , 因 此 為各 點 建 構 T 1 的 匹 配 方 法 能 夠 設 計 得 非 常 簡 單 且快 速 。5.2 隨 機 簡 單 圖 診 斷 時 間 與 可 診 斷 性這 個 實 驗 我 們 以 局 部 診 斷 演 算 法 來 診 斷 隨機 簡 單 圖 , 所 有 樣 本 皆 根 據 維 度 在 10 維 ~21 維之 間 的 超 立 方 體 的 點 數 和 分 支 度 來 產 生 , 但 分支 度 偏 移 值 為 1, 我 們 進 行 三 回 合 的 測 試 , 第 一回 合 將 壞 點 數 設 定 為 圖 形 總 點 數 的 10%, 第 二回 合 為 20%, 第 三 回 合 則 是 30%, 藉 此 實 驗 來觀 察 超 立 方 體 與 無 規 則 的 圖 形 以 局 部 診 斷 演 算法 來 診 斷 的 時 間 差 異 性 , 並 藉 以 體 會 隨 機 圖 形的 可 診 斷 性 , 診 斷 時 間 如 下 表 。數 據 顯 示 , 在 點 數 ≤ 131072 的 時 候 , 只 需二 十 幾 秒 即 可 完 成 診 斷 ,map 運 算 時 間 很 小 ,直 到 點 數 為 262144 時 , 時 間 才 有 較 明 顯 的 升 高 ,與 此 點 數 相 對 的 是 18 維 的 超 立 方 體 , 但 在 上 個實 驗 18 維 的 超 立 方 體 依 然 能 快 速 診 斷 , 彼 此 時間 上 升 的 轉 捩 點 相 差 1 個 維 度 , 並 且 發 現 在 19維 之 後 的 診 斷 時 間 約 為 超 立 方 體 的 1 倍 。 會 造成 如 此 差 距 是 因 為 隨 機 簡 單 圖 的 匹 配 方 法 較 為複 雜 , 因 為 匹 配 方 法 不 同 而 造 成 的 時 間 差 距 完全 體 現 於 數 據 之 中 , 由 此 實 驗 可 發 現 局 部 診 斷演 算 法 對 於 結 構 良 好 的 圖 形 能 有 更 快 的 診 斷 速度 ; 而 在 這 三 個 回 合 的 測 試 中 , 當 點 數 ≤262144時 , 它 們 的 平 均 時 間 完 全 一 樣 , 這 是 因 為 診 斷時 間 都 非 常 快 速 , 時 間 的 飄 移 範 圍 很 小 所 致 ,直 到 點 數 達 到 一 百 萬 點 以 上 時 , 才 讓 彼 此 出 現數 秒 的 差 距 , 具 有 相 當 程 度 的 穩 定 性 。 另 外 ,當 壞 點 數 量 是 圖 形 總 點 數 的 10% 時 , 所 有 樣 本均 被 成 功 診 斷 出 所 有 壞 點 , 假 設 v 的 分 支 度 是 d,經 過 觀 察 各 樣 本 的 連 線 後 發 現 , 任 意 一 點 v 的各 個 鄰 點 的 所 有 鄰 點 相 同 率 不 高 , 因 此 v 的 各個 鄰 點 能 輕 易 的 找 到 配 對 , 可 為 v 建 構 出 k 值 接近 d 的 T 1 (v; ), 且 因 壞 點 分 佈 平 均 , 使 T 1 上 的壞 點 數 量 不 容 易 超 過 k; 接 下 來 壞 點 數 達 到 20%時 , 出 現 極 少 數 無 法 被 完 全 診 斷 的 樣 本 , 觀 察這 些 樣 本 後 , 發 現 它 們 其 實 只 有 少 數 幾 點 無 法診 斷 , 最 後 在 第 三 回 合 將 壞 點 數 量 提 升 到 30%時 , 開 始 出 現 大 量 無 法 被 完 全 診 斷 的 樣 本 , 每個 樣 本 都 已 出 現 許 多 點 無 法 被 正 確 診 斷 的 情形 。表 5. 以 局 部 診 斷 演 算 法 , 診 斷 複 數 取 樣 的 隨 機 簡 單 圖 的 平 均 時 間 , 及 無 法 完 全 診 斷 的 樣 本 數 量292