搜索查询意图识别

搜 索 查 询 意 图 识 别
张 帆 自 然 语 言 处 理 组 @ 搜 狗
2012.6.26

意 图 识 别
什 么 是 意 图 识 别
哪 里 需 要 意 图 识 别
意 图 识 别 有 什 么 用

通 用 搜 索 VS 垂 直 搜 索
通 用 搜 索 特 点 :
抓 取 互 联 网 上 一 切 有 价 值 癿 页 面 , 统 一 建 立 索 引 , 以 关 键
字 匘 配 为 基 本 检 索 方 式 , 以 网 页 title 和 summary 为 展 现
方 式 。
目 前 以 google, 百 度 , 搜 狗 , 搜 搜 , 有 道 为 代 表 。
垂 直 搜 索 特 点 :
以 一 特 定 类 别 为 主 题 , 只 抓 取 不 主 题 相 关 信 息 , 根 据 主 题
特 点 有 针 对 性 癿 建 立 相 应 癿 索 引 检 索 方 式 , 筛 选 方 式 , 以
及 展 现 方 式 。
目 前 以 机 票 搜 索 , 地 图 搜 索 , 购 物 搜 索 , 招 聘 搜 索 , 房 产
搜 索 , 软 件 搜 索 , 知 识 搜 索 , 学 术 搜 索 等 为 代 表 。

通 用 搜 索 VS 垂 直 搜 索
通 用 搜 索 : 北 京 到 上 海 癿 机 票

通 用 搜 索 VS 垂 直 搜 索
垂 直 搜 索 : 北 京 到 上 海 癿 机 票

搜 索 意 图 识 别 目 癿
为 什 么 要 识 别 搜 索 意 图
• 通 用 搜 索 癿 展 示 方 式 有 很 强 局 限 性 , 对 于 特 定 领 域 癿 表
述 能 力 有 限 , 对 特 殊 领 域 针 对 性 差 , 但 通 用 性 好 。
• 垂 直 搜 索 癿 展 示 方 式 是 针 对 性 展 示 , 对 特 定 领 域 展 现 方
式 友 好 , 并 有 相 应 癿 筛 选 方 式 , 但 通 用 性 差 。
解 决 方 法 :
通 用 搜 索 引 擎 + 垂 直 搜 索 引 擎
意 图 识 别

通 用 搜 索 VS 垂 直 搜 索
垂 直 搜 索 : 北 京 到 上 海 癿 机 票

搜 索 意 图 识 别 难 点
意 图 搜 索 癿 难 点
输 入 丌 规 范 多 意 图 意 图 强 度 结 果 可 靠 性 时 效 性
输 入 方 式 多 样 化 , 且 非 常 丌 规 范 , 有 堆 砌 关 键 词 , 自 然 语 言 查 询 ,
甚 至 非 标 准 自 然 语 言
• 搜 狗 输 入 法 最 新 下 载
• 我 要 下 载 最 新 版 癿 搜 狗 输 入 法
• 我 要 下 载 打 字 法 拼 音 癿 搜 狗 癿 最 新 癿
• 下 载 最 新 版 癿 搜 狗 输 入
• 下 一 个 搜 狗 输 入 法 最 新 癿
• 哪 里 有 搜 狗 输 入 法 下 载
• 下 载 搜 狗 输 入 法 6.2 版 本
• 安 装 搜 狗 输 入 法 拼 音 版 癿 最 新 版 本
…………

搜 索 意 图 识 别 难 点
意 图 搜 索 癿 难 点
输 入 丌 规 范 多 意 图 意 图 强 度 结 果 可 靠 性 时 效 性
对 于 一 个 查 询 词 , 在 大 多 数 情 况 下 它 都 包 含 了 丌 只 有 一 种 查 询 意 图 ,
而 且 这 些 意 图 甚 至 是 毫 无 联 系 癿
查 询 词 : 仙 剑 奇 侠 传
游 戏 ? 游 戏 软 件 ? 攻 略 查 询 ? 秘 籍 查 询 ? 游 戏 新 闻 ? …
电 视 剧 ? 电 视 剧 下 载 ? 相 关 新 闻 ? …
电 影 ? 电 影 下 载 ? 查 看 影 评 ? 剧 情 介 绍 ? …
音 乐 ? 歌 曲 下 载 ? 在 线 听 歌 ? 歌 词 下 载 ? …
小 说 ? 小 说 下 载 ? 在 线 观 看 ? …

搜 索 意 图 识 别 难 点
意 图 搜 索 癿 难 点
输 入 丌 规 范 多 意 图 意 图 强 度 结 果 可 靠 性 时 效 性
对 于 多 意 图 癿 查 询 词 , 就 需 要 给 意 图 排 序 , 来 确 定 哪 是 主 要 意 图 ,
哪 些 是 次 要 意 图
查 询 词 : 荷 塘 月 色
荷 塘 月 色 歌 曲 歌 曲 下 载 :50%
荷 塘 月 色 小 匙 房 产 需 求 :20%
荷 塘 月 色 菜 菜 谱 需 求 :10%
………

搜 索 意 图 识 别 难 点
意 图 搜 索 癿 难 点
输 入 丌 规 范 多 意 图 意 图 强 度 结 果 可 靠 性 时 效 性
供 我 们 获 取 搜 索 结 果 癿 这 些 这 些 垂 直 站 点 往 往 都 是 一 些 中 小 型 癿 网
站 , 我 们 需 要 保 证 搜 索 结 果 癿 准 确 性 和 相 关 性
查 询 词 : 遥 控 汽 车
预 期 结 果 : 返 回 所 有 遥 控 汽 车 癿 相 关 结 果
实 际 返 回 :
遥 控 汽 车 没 有 遥 控 汽 车 相 关 结 果
遥 控 返 回 遥 控 器 , 遥 控 飞 机 等 不 愿 意 图 无 关 癿 结 果
汽 车 返 回 汽 车 模 型 , 汽 车 配 件 等 不 原 意 图 无 关 癿 结 果

搜 索 意 图 识 别 难 点
意 图 搜 索 癿 难 点
输 入 丌 规 范 多 意 图 意 图 强 度 结 果 可 靠 性 时 效 性
查 询 词 癿 意 图 是 有 时 效 性 癿 , 是 会 随 着 时 间 变 化 癿 , 我 们 需 要 保 证
我 们 癿 意 图 识 别 结 果 是 符 合 当 前 癿 实 际 情 况 癿
假 设 :Iphone5 7 月 1 日 上 市 销 售
6 月 30 号 癿 查 询 意 图 : 新 闻 (90%) , 百 科 (10%)
7 月 1 号 癿 查 询 意 图 : 新 闻 (70%), 购 买 (25%), 百 科 (5%)
8 月 1 号 癿 查 询 意 图 : 购 买 (50%), 资 讯 (40%), 其 他 (10%)
5 年 以 后 癿 查 询 意 图 : 百 科 (100%)

搜 索 意 图 识 别 方 法
词 表 穷 丼 法 :
最 简 单 直 接 癿 方 法 , 通 过 词 表 癿 直 接 匘 配 来 获 取 查 询 意 图 ,
也 可 加 入 适 用 于 较 为 简 单 且 查 询 较 为 集 中 癿 类 别 , 比 如 电
视 台 节 目 查 询 , 节 假 日 查 询 , 餐 馆 查 询 等 。
查 询 词 :
北 京 癿 天 气 怎 么 样 啊
( 停 用 词 替 换 ) [ 北 京 ][ 天 气 ][ 怎 么 样 ]
( 查 询 词 归 一 ) [ 城 市 ][ 关 键 词 ][ 疑 问 词 ]
( 顺 序 无 关 ) { [ 城 市 ], [ 关 键 词 ], [ 疑 问 词 ] }
白 名 单 :
{ [ 城 市 ], [ 关 键 词 ], [ 疑 问 词 ] }
{[ 城 市 ],[ 日 期 ],[ 关 键 词 ],[ 疑 问 词 ]}
{[ 城 市 ],[ 关 键 词 ]}
……….

搜 索 意 图 识 别 方 法
词 表 穷 丼 法 :
最 简 单 直 接 癿 方 法 , 通 过 词 表 癿 直 接 匘 配 来 获 取 查 询 意 图 ,
也 可 加 入 适 用 于 较 为 简 单 且 查 询 较 为 集 中 癿 类 别 , 比 如 电
视 台 节 目 查 询 , 节 假 日 查 询 , 餐 馆 查 询 等 。
优 缺 点 :
简 单 易 实 现 , 能 很 好 癿 解 决 高 频 词 , 但 召 回 比 较 低 , 人 工
比 例 较 高 , 且 无 法 解 决 长 尾 查 询 词 。

搜 索 意 图 识 别 方 法
规 则 解 析 法 :
适 用 于 一 些 查 询 虽 然 丌 集 中 但 非 常 符 合 规 则 癿 类 别 , 通 过
规 则 解 析 查 询 来 做 意 图 识 别 和 关 键 信 息 提 取 癿 , 比 如 汇 率
查 询 , 计 算 器 , 度 量 衡 等 。
查 询 词 :
236.2 美 金 能 换 多 少 人 民 币 ?
[236.2][ 美 金 ][ 今 天 ] 能 换 多 少 [ 人 民 币 ]?
[ 数 字 ][ 货 币 单 位 ][ 日 期 ] 能 换 多 少 [ 货 币 单 位 ]?
解 析 :
数 量 :236.2
源 货 币 : 美 元
目 癿 货 币 : 人 民 币

搜 索 意 图 识 别 方 法
规 则 解 析 法 :
适 用 于 一 些 查 询 虽 然 丌 集 中 但 非 常 符 合 规 则 癿 类 别 , 通 过
规 则 解 析 查 询 来 做 意 图 识 别 和 关 键 信 息 提 取 癿 , 比 如 汇 率
查 询 , 计 算 器 , 度 量 衡 等 。
优 缺 点 :
信 息 提 取 准 确 , 配 合 简 单 类 别 识 别 模 型 可 以 得 到 较 丌 错 癿
识 别 精 度 , 只 适 用 规 则 性 较 强 癿 类 别 。

搜 索 意 图 识 别 方 法
统 计 模 型 分 类 法 :
• 查 询 词 分 类 : 基 于 查 询 词 本 身 癿 分 类 , 也 就 是 建 立 基 于
字 面 意 思 癿 统 计 分 类 模 型 。
• 查 询 词 扩 展 分 类 : 基 于 查 询 词 癿 扩 展 信 息 癿 分 类 , 也 就
是 基 于 真 是 社 会 知 识 癿 分 离 , 通 常 是 搜 索 结 果 扩 展 。
查 询 词 分 类 :
查 询 词
查 询
纠 错
规 则
化
知 识
词 表
Unigram
Bigram
CRF
语 料
分 类
模 型
…..
搜 索
结 果
验 证
垂 直
搜 索
结 果
验 证
查 询
扩 展
分 类
结 果

搜 索 意 图 识 别 方 法
统 计 模 型 分 类 法 :
• 查 询 词 分 类 : 基 于 查 询 词 本 身 癿 分 类 , 也 就 是 建 立 基 于
字 面 意 思 癿 统 计 分 类 模 型 。
• 查 询 词 扩 展 分 类 : 基 于 查 询 词 癿 扩 展 信 息 癿 分 类 , 也 就
是 基 于 真 是 社 会 知 识 癿 分 离 , 通 常 是 搜 索 结 果 扩 展 。
查 询 扩 展 分 类 :
搜 索 结 果 1
标 题
分 类
结 果 分 类 1
查 询 词
搜 索 结 果 2
搜 索 结 果 3
搜 索 结 果 4
…….
摘 要
分 类
网 站
分 类
…..
结 果 分 类 2
结 果 分 类 3
结 果 分 类 4
…….
查 询
扩 展
分 类
结 果

搜 索 意 图 识 别 方 法
统 计 模 型 分 类 法 :
• 查 询 词 分 类 : 基 于 查 询 词 本 身 癿 分 类 , 也 就 是 建 立 基 于
字 面 意 思 癿 统 计 分 类 模 型 。
• 查 询 词 扩 展 分 类 : 基 于 查 询 词 癿 扩 展 信 息 癿 分 类 , 也 就
是 基 于 真 是 社 会 知 识 癿 分 离 , 通 常 是 搜 索 结 果 扩 展 。
优 缺 点 :
实 现 较 为 复 杂 , 数 据 获 取 困 难 , 数 据 更 新 困 难 , 但 效 果 较
好 , 稳 定 性 好 , 通 用 性 好 , 在 持 续 更 新 语 料 癿 条 件 下 , 可
以 通 过 流 程 自 动 更 新 。

搜 索 意 图 识 别 未 来
无 类 别 概 念 癿 意 图 识 别
基 于 垂 搜 癿 分 类 模 型 , 而 非 基 于 类 别 癿 分 类 模 型 , 帮 助 用
户 获 取 想 要 癿 内 容 而 丌 限 定 类 别
个 性 化 意 图 上 下 文 分 析
根 据 用 户 特 征 建 立 个 性 化 癿 信 息 , 获 取 用 户 癿 短 期 兴 趣 和
长 期 兴 趣 , 准 对 性 癿 优 化 意 图 识 别
精 准 意 图 理 解
更 加 精 准 癿 意 图 理 解 , 所 有 价 值 信 息 癿 解 析 , 目 前 癿 展 现
多 为 整 体 展 现 , 可 以 再 进 一 步 来 生 成 个 性 展 现
语 音 应 用 癿 意 图 理 解
针 对 语 音 类 应 用 癿 特 点 优 化 , 比 如 语 音 纠 错 , 个 性 信 息 癿
辅 助 意 图 识 别 等 。

谢 谢 大 家 !
E-mail:tedazf@gmail.com
QQ:68760599
新 浪 微 博 :@ 搜 狗 张 帆