老蒋谈存储案例教学 - LinuxTone.Org

什 么 是 Hadoop?
Hadoop 是 apache 下 面 的 一 个 分 布 式 并 行 计 算 框 架 , 是 从 lunece 中 抽 取 出 来 的 一 个 框 架 。
Hadoop 的 核 心 设 计 思 想 是 :MapReduce 和 HDFS,MapReduce 是 Google 提 出 的 一 个 软 件 架
构 , 用 于 大 规 模 数 据 集 ( 大 于 1TB) 的 并 行 运 算 。 概 念 "Map( 映 射 )" 和 "Reduce( 化 简 )",
和 他 们 的 主 要 思 想 , 都 是 从 函 数 式 编 程 语 言 借 来 的 , 还 有 从 矢 量 编 程 语 言 借 来 的 特 性 ;HDFS
是 Hadoop Distributed File System 的 缩 写 , 即 :Hadoop 分 布 式 文 件 系 统 , 为 分 布 式 计 算 存 储
提 供 底 层 支 持 。 注 :MapReduce (google mapreduce 论 文 点 击 这 里 ),GFS(Google File System)
和 bigtable 是 google 的 三 大 核 心 技 术 。
HadoopMapReduce 介 绍
Map( 映 射 ) 和 reduce( 化 简 ) 是 分 开 处 理 的 ,map 是 将 一 个 任 务 分 解 为 多 个 任 务 执 行 ,reduce
是 将 多 个 任 务 汇 总 起 来 得 到 想 要 的 结 果 。 把 一 个 list 拆 解 为 多 个 放 到 线 程 池 中 启 动 多 个 线 程 计 算 list
中 值 , 然 后 把 多 个 任 务 返 回 的 结 果 合 并 为 一 个 总 的 结 果 其 实 就 是 一 个 简 单 的 MapReduce 的 应 用 。
在 Hadoop 官 方 文 档 ( 单 击 这 里 ) 介 绍 了 HadoopMapReduce 的 三 个 步 骤 ,map( 主 要 是 分
解 并 行 的 任 务 ),combine( 主 要 是 为 了 提 高 reduce 的 效 率 ),reduce( 把 处 理 后 的 结 果 再 汇 总 起
来 )
2.3.HDFS
即 Hadoop Distributed File System (Hadoop 分 布 式 文 件 系 统 )
HDFS 具 有 高 容 错 性 , 并 且 可 以 被 部 署 在 低 价 的 硬 件 设 备 之 上 。HDFS 很 适 合 那 些 有 大 数 据 集 的
应 用 , 并 且 提 供 了 对 数 据 读 写 的 高 吞 吐 率 。HDFS 是 一 个 master/slave 的 结 构 , 就 通 常 的 部 署 来 说 ,
在 master 上 只 运 行 一 个 Namenode, 而 在 每 一 个 slave 上 运 行 一 个 Datanode。
HDFS 支 持 传 统 的 层 次 文 件 组 织 结 构 , 同 现 有 的 一 些 文 件 系 统 在 操 作 上 很 类 似 , 比 如 你 可 以 创
建 和 删 除 一 个 文 件 , 把 一 个 文 件 从 一 个 目 录 移 到 另 一 个 目 录 , 重 命 名 等 等 操 作 。Namenode 管 理 着
整 个 分 布 式 文 件 系 统 , 对 文 件 系 统 的 操 作 ( 如 建 立 、 删 除 文 件 和 文 件 夹 ) 都 是 通 过 Namenode 来 控
制 。
下 面 是 HDFS 的 结 构 :
PDF 文 件 使 用 "pdfFactory Pro" 试 用 版 本 创 建 www.fineprint.cn