老蒋谈存储案例教学 - LinuxTone.Org

从 上 面 的 图 中 可 以 看 出 ,Namenode,Datanode,Client 之 间 的 通 信 都 是 建 立 在 TCP/IP 的 基
础 之 上 的 。 当 Client 要 执 行 一 个 写 入 的 操 作 的 时 候 , 命 令 不 是 马 上 就 发 送 到 Namenode,Client 首
先 在 本 机 上 临 时 文 件 夹 中 缓 存 这 些 数 据 , 当 临 时 文 件 夹 中 的 数 据 块 达 到 了 设 定 的 Block 的 值 ( 默 认 是
64M) 时 ,Client 便 会 通 知 Namenode,Namenode 便 响 应 Client 的 RPC 请 求 , 将 文 件 名 插 入 文 件
系 统 层 次 中 并 且 在 Datanode 中 找 到 一 块 存 放 该 数 据 的 block, 同 时 将 该 Datanode 及 对 应 的 数 据 块
信 息 告 诉 Client,Client 便 这 些 本 地 临 时 文 件 夹 中 的 数 据 块 写 入 指 定 的 数 据 节 点 。
HDFS 采 取 了 副 本 策 略 , 其 目 的 是 为 了 提 高 系 统 的 可 靠 性 , 可 用 性 。HDFS 的 副 本 放 置 策 略 是 三
个 副 本 , 一 个 放 在 本 节 点 上 , 一 个 放 在 同 一 机 架 中 的 另 一 个 节 点 上 , 还 有 一 个 副 本 放 在 另 一 个 不 同
的 机 架 中 的 一 个 节 点 上 。 当 前 版 本 的 hadoop0.12.0 中 还 没 有 实 现 , 但 是 正 在 进 行 中 , 相 信 不 久 就
可 以 出 来 了 。
2.4.KFS
KFS(KOSMOS DISTRIBUTED FILE SYSTEM), 一 个 类 似 GFS、Hadoop 中 HDFS 的 一 个 开 源
的 分 布 式 文 件 系 统 。
google 的 三 大 基 石 gfs,bigtable,map-reduce 相 对 应 的 开 源 产 品 gfs:kfs( 据 传 google 创 史 人 的
同 窗 所 创 ),hdfs(hadoop 的 子 项 目 ) bigtable:hbase(hadoop 的 子 项 目 ),Hypertable( 从 hbase
项 目 组 分 离 出 去 的 , 用 c++ 实 现 ) map-reduce:hadoop(apache 的 项 目 ,java 实 现 , 目 前 创 史
人 在 yahoo 全 力 打 造 , 已 有 2000 个 以 上 的 节 点 并 行 计 算 的 规 模 )
PDF 文 件 使 用 "pdfFactory Pro" 试 用 版 本 创 建 www.fineprint.cn