【 苗C~，饵" .7. Il ，~ - 世界大学城

第 20章 缺 失 值 分 析 入 门缺 失 { 直 是 许 多 研 究 在 数 据 采 集 中 经 常 会 出 现 的 现 象 , 也 是 统 计 分 析 人 员 和 数 据 采 集 人 员 最不 愿 意 见 到 , 却 又 无 法 完 全 避 免 的 东 西 。 例 如 在 大 型 随 访 队 列 中 , 即 使 有 着 非 常 严 格 的 质 量 控制 , 含 有 缺 项 、 漏 项 的 记 录 也 可 以 非 常 容 易 的 达 到 10% ; 而 在 进 行 敏 感 问 题 调 查 时 , 缺 失 值 问 题就 更 加 突 出 。 如 问 卷 中 涉 及 家 庭 收 入 、 婚 外 性 伴 侣 等 问 题 时 , 许 多 受 访 者 都 会 以 漏 填 来 避 免 尴尬 。 绝 大 部 分 统 计 模 型 都 不 能 对 含 有 缺 失 值 的 数 据 进 行 直 接 分 析 , 当 记 录 中 存 在 缺 失 值 时 , 一 般都 是 将 其 直 接 删 除 以 保 证 统 计 模 型 能 够 正 常 拟 合 。 当 缺 失 { 直 较 少 时 , 这 样 做 没 有 太 大 问 题 ; 但 当缺 失 值 数 量 较 多 时 , 这 样 会 极 为 奢 侈 的 丢 弃 该 记 录 中 的 其 余 大 量 信 息 , 可 能 会 严 重 影 响 分 析 结 果的 准 确 性 。 另 一 方 面 , 这 种 直 接 删 除 的 做 法 还 完 全 忽 略 了 完 全 观 测 和 不 完 全 观 测 间 可 能 存 在 的系 统 差 异 , 从 而 只 使 用 完 全 数 据 进 行 的 分 析 就 不 能 代 表 原 来 的 整 体 人 群 , 有 可 能 会 得 到 错 误 的 结论 。 本 章 的 目 的 就 是 较 为 系 统 的 向 读 者 介 绍 缺 失 值 分 析 的 一 些 基 础 理 论 , 以 及 常 用 的 缺 失 值 填充 算 法 , 从 而 能 对 实 际 的 工 作 有 所 帮 助 。20.1 缺 失 值 理 论 简 介20. 1. 1 数 据 的 缺 失 机 制数 据 的 缺 失 往 往 都 有 一 定 的 规 律 , 这 种 规 律 也 被 称 为 缺 失 机 制 。 总 的 来 说 , 常 见 的 缺 失 机 制有 以 下 三 种 : 完 全 随 机 缺 失 CMissing Completely At Random, MCAR) 、 随 机 缺 失 CMissing At Random, MAR) 、 非 随 机 缺 失 CMissing At Non - Random, MANR) 。1. 完 全 随 机 缺 失指 缺 失 现 象 完 全 是 随 机 发 生 , 和 自 身 或 其 他 变 量 的 取 值 无 关 。 这 是 缺 失 值 问 题 中 处 理 起 来最 简 单 的 一 种 , 如 果 MCAR 假 设 为 真 , 则 可 以 直 接 将 缺 失 值 删 除 , 无 需 担 心 估 计 偏 差 , 这 样 做 唯一 的 缺 点 是 会 丧 失 一 些 信 息 。 也 可 以 采 用 均 值 替 换 等 方 法 对 缺 失 值 进 行 填 充 , 以 充 分 利 用 样 本信 息 。 要 评 估 MCAR 假 设 是 否 成 立 , 可 以 用 比 较 回 答 者 和 未 回 答 者 分 布 的 方 法 来 评 估 观 察 数据 , 也 可 以 使 用 单 变 量 t 检 验 或 Little' s MCAR 检 验 来 进 行 更 精 确 的 评 价 , 详 细 介 绍 参 见 后 面 有关 章 节 。 但 是 , 数 据 缺 失 完 全 符 合 MCAR 的 情 况 非 常 少 见 , 而 且 上 述 的 检 验 方 法 都 只 能 证 明MCAR 假 设 不 成 立 , 而 不 是 证 明 其 成 立 。 因 此 在 对 缺 失 情 况 作 评 价 时 一 定 要 相 当 谨 慎 , 切 不 可 妄下 结 论 。2. 随 机 缺 失这 种 情 况 要 严 重 些 , 但 也 更 加 常 见 。 它 的 含 义 是 有 缺 失 值 的 变 量 其 缺 失 情 况 的 发 生 与 数 据• 408 •