老蒋谈存储案例教学 - LinuxTone.Org

Google 两 个 共 同 创 始 人 的 两 个 大 学 同 窗 ( 印 度 人 )Anand Rajaraman 和 Venky Harinarayan, 创
立 的 一 个 新 的 搜 索 引 擎 Kosmix 最 近 捐 献 了 一 个 克 隆 GFS 的 文 件 系 统 KFS 项 目 。Hadoop 和
Hypertable 这 两 个 项 目 也 开 始 支 持 KFS 来 做 底 层 的 存 储 。KFS 是 用 C++ 写 的 , 但 是 其 client 支 持
C++,Java 和 Python。 那 么 KFS 到 底 有 什 么 特 性 呢 ?
支 持 存 储 扩 充 ( 添 加 新 的 chunckserver, 系 统 自 动 感 知 )
有 效 性 ( 复 制 机 制 保 证 文 件 有 效 性 )
负 载 平 衡 ( 系 统 周 期 地 检 查 chunkservers 的 磁 盘 利 用 , 并 重 新 平 衡 chunkservers 的 磁 盘 利 用 ,HDFS
现 在 还 没 有 支 持 )
数 据 完 整 性 ( 当 要 读 取 数 据 时 检 查 数 据 的 完 整 性 , 如 果 检 验 出 错 使 用 另 外 的 备 份 覆 盖 当 前 的 数 据 )
支 持 FUSE(HDFS 也 有 工 具 支 持 FUSE)
使 用 契 约 ( 保 证 Client 缓 存 的 数 据 和 文 件 系 统 中 的 文 件 保 持 一 致 性 )
HDFS 未 支 持 的 高 级 特 性 :
支 持 同 一 文 件 多 次 写 入 和 Append, 不 像 HDFS 支 持 一 次 写 入 多 次 读 取 和 不 支 持 Append( 最 近 要 增
加 Append, 但 是 遇 到 许 多 问 题 )。
文 件 及 时 有 效 , 当 应 用 程 序 创 建 一 个 文 件 时 , 文 件 名 在 系 统 马 上 有 效 。 不 像 HDFS 文 件 只 当 输 入 流 关 闭
时 才 在 系 统 中 有 效 , 因 此 , 如 果 应 用 程 序 在 关 闭 前 出 现 异 常 导 致 没 有 关 闭 输 入 流 , 数 据 将 会 丢 失 。
2.5 Ceph
Ceph 是 开 源 的 分 布 式 文 件 系 统 , 能 轻 松 的 管 理 多 PB 的 数 据 。 整 个 架 构 和 HDFS 相 似 。 动 态
分 布 的 Metadata 管 理 是 他 的 一 个 特 点 。
PDF 文 件 使 用 "pdfFactory Pro" 试 用 版 本 创 建 www.fineprint.cn