Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
人 工 标 注 (Human Labeling)<br />
• 训 练 + 评 估<br />
• 单 点 标 注<br />
• 为 每 个 查 询 文 档 对 打 上 绝 对 标 签<br />
• 二 元 标 注 : 相 关 v.s. 不 相 关 {1,0}<br />
• 五 级 标 注 : 完 美 (Perfect), 出 色 (Excellent), 好 (Good), 一 般 (Fair), 差 (Bad)<br />
‣ 一 般 + 差 = 不 相 关<br />
• 好 处 : 工 作 量 相 对 较 小 (O(n))<br />
• 坏 处 : 定 多 少 级 合 适 不 同 的 人 对 相 同 的 级 , 相 同 的 文 档 能 否 有 相 同<br />
的 理 解 ---> 噪 声 大 , 一 致 性 差<br />
• 两 两 标 注<br />
• 对 于 一 个 查 询 q, 文 档 d 1 是 否 比 文 档 d 2 更 相 关 q, d 1 ≻ q, d 2<br />
• 好 处 : 不 同 的 标 注 人 员 容 易 达 成 一 致<br />
• 坏 处 : 工 作 量 大 , (O(n 2 )), 最 好 (O(nnnnn))<br />
• 列 表 标 注<br />
• 给 定 一 个 查 询 , 为 所 有 文 档 给 出 标 准 排 序<br />
• 不 常 见