信息过滤中基于二元近似关系分布的噪声屏蔽算法 - 哈尔滨工业大学 ...

洪 宇 等 : 基 于 二 元 近 似 关 系 屏 蔽 噪 声 的 信 息 过 滤 算 法针 对 子 图 (4) 的 不 足 , 子 图 (5) 采 用 所 有 噪 声 的 质 心 构 造 p , 使 相 关 信 息 和 噪 声 分 布 于 邻 接 的 两 个 带状 区 域 内 ; 在 此 基 础 上 子 图 (6) 滤 除 p 内 出 现 于 p 的 特 征 , 使 两 种 分 布 近 似 可 分 。 但 是 , 子 图 (5) 和 子 图(6) 要 求 过 滤 系 统 必 须 预 先 知 道 哪 些 信 息 是 噪 声 , 不 适 用 于 无 指 导 的 自 适 应 过 滤 任 务 。 因 此 , 基 于 所 有 噪 声作 为 先 验 知 识 训 练 分 类 曲 线 的 方 法 只 适 用 于 信 息 路 由 、 批 过 滤 和 有 指 导 的 自 适 应 过 滤 任 务 。3 基 于 二 元 近 似 关 系 的 噪 声 识 别 及 屏 蔽 算 法基 于 二 元 近 似 关 系 及 其 分 布 (DTS), 过 滤 系 统 需 要 选 择 一 种 划 分 相 关 信 息 与 噪 声 的 方 法 , 即 如 何 估 计两 者 在 二 维 空 间 的 分 类 曲 线 , 从 而 实 现 噪 声 的 识 别 与 屏 蔽 。 本 文 采 用 线 性 分 类 器 实 现 这 一 划 分 , 线 性 分 类 器的 核 心 思 想 是 为 不 同 类 别 寻 找 线 性 判 别 函 数 [16] , 其 几 何 解 释 为 界 于 不 同 类 别 之 间 的 判 定 面 , 线 性 判 别 函 数 定义 如 下 :tG( x)= W X + w( 公 式 2)其 中 , W = [ w 1 , L,w n ] 表 示 权 向 量 ; X = [ x 1 , L,x n ] 表 示 类 别 属 性 ; w 0 代 表 偏 置 。 对 于 DTS, 线 性 判 别函 数 退 化 为 二 维 空 间 的 判 定 线 , 定 义 如 公 式 3:0⎡w0⎤⎢ ⎥g( x)=⎢w1⎥⋅ [ 1, x1,x2]( 公 式 3)⎢⎣w⎥2 ⎦估 计 线 性 判 别 函 数 需 要 定 义 准 则 函 数 J (w), J (w)实 际 上 是 当 前 权 向 量 W 与 最 优 权 向 量 W ′ 的 距 离 , 当 W达 到 最 优 解 时 , J (w)为 最 小 。 因 此 , 线 性 判 别 函 数 的 估 计 转 化 为 求 解 J (w)极 小 值 的 问 题 , 通 常 可 以 采 用 梯度 下 降 法 对 其 进 行 求 解 。 假 设 ∇ J s 是 J (w)收 敛 的 梯 度 , 则 梯 度 下 降 法 通 过 在 训 练 样 本 集 上 的 反 复 迭 代 , 使 权向 量 总 是 沿 着 梯 度 ∇ J s 最 陡 的 方 向 移 动 , 从 而 使 J (w)逐 渐 收 敛 为 极 小 化 的 解 。 因 此 , 相 关 信 息 和 噪 声 分 类 曲线 的 建 立 流 程 如 下 :⑴ 建 立 由 相 关 信 息 和 噪 声 组 成 的 训 练 样 本 , 样 本 属 性 为 二 元 近 似 关 系 , 如 2.2 节 ;⑵ 选择 线 性 分 类 器 及 其 准 则 函 数 的 收 敛 梯 度 ∇ J s ;⑶ 基 于 训 练 样 本 反 复 迭 代 地 求 解 准 则 函 数 J (w)的 极 小 化 解 , 将极 小 化 解 对 应 的 W 作 为 分 类 曲 线 的 向 量 , 即 分 类 器 的 权 向 量 。 在 此 基 础 上 , 后 续 过 滤 过 程 将 信 息 的 二 元 近 似关 系 作 为 分 类 器 的 输 入 , 基 于 分 类 器 输 出 的 判 定 值 裁 决 信 息 是 否 为 噪 声 并 进 行 屏 蔽 。3.1 基 于 LMS 分 类 器 的 分 类 曲 线 求 解本 文 选 择 LMS [17] 分 类 器 描 述 分 类 曲 线 ,LMS 分 类 器 是 基 于 最 小 均 方 算 法 ( 简 写 为 LMS) 构 造 的 , 同 时也 是 梯 度 下 降 法 的 一 种 改 进 。 其 准 则 函 数 的 下 降 梯 度 ∇ 定 义 如 下 :1 Lm tJ st∇J= η X ( Xa − b)( 公 式 4)s其 中 , a = [ w , , w ] ; X = x , L,x ] ; m 为 迭 代 的 次 数 ; w = [ w , w1, wn] 为 第 i 次 迭 代 时 判 定 面 的权 向 量 , 针 对 DTS , w ii i i i t描 述 当 前 相 关 信 息 与 噪 声 分 类 线 的 权 向 量 , 可 表 示 为 w = w , w , w ] ; 而iii[ 1 mii i0 Lit[ 0 1 2x = [ 1, x1, L,xn] 代 表 参 与 第 i 次 迭 代 的 样 本 分 布 属 性 , 基 于 二 元 近 似 关 系 的 定 义 , 如 果 训 练 样 本 相 关 于 用 户 模型 , 则 该 样 本 的 分 布 属 性 x i = [ 1, r(d,p),r(d,p)] , 否 则 x i = [ −1,− r(d,p),− r(d,p)] , 其 中 r ( d,p)为 样 本 d 与 p的 相 关 度 , r ( d,p)为 d 与 p 的 相 关 度 , 如 2.2 节 。 此 外 , [ 1 , ,m i 1η = η L η ] , η = η / i , η 1 和 b 为 任 意 正 常 数 。iLMS 算 法 的 优 点 在 于 η 随 着 i 的 增 大 而 减 小 , 从 而 保 证 了 准 则 函 数 的 收 敛 。 因 此 ,LMS 算 法 总 能 根 据 训练 样 本 将 J (w)收 敛 到 一 个 极 小 值 , 即 确 定 一 个 分 类 曲 线 。 但 是 ,LMS 算 法 的 收 敛 解 并 不 总 是 最 优 分 类 线 ,因 此 LMS 分 类 器 是 一 个 弱 分 类 器 。3.2 DTS 的 非 线 性 可 分 问 题 求 解DTS 往 往 非 线 性 可 分 , 如 图 3, 此 外 LMS 分 类 器 并 不 总 能 获 得 最 优 解 。 因 此 本 文 采 用 LMS 线 性 分 类 器