机器翻译原理与方法 - ä¸­ç§‘é™¢è®¡ç®—æ‰€è‡ªç„¶è¯­è¨€å¤„ç†ç ”ç©¶ç»„- 中国科学院 ...

机 器 翻 译 原 理 与 方 法
第 五 讲 基 于 句 法 的 统 计 机 器 翻 译 方 法
刘 群
中 国 科 学 院 计 算 技 术 研 究 所
liuqun@ict.ac.cn
中 国 科 学 院 计 算 技 术 研 究 所 2009 年 秋 季 课 程

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
2

概 述
•
基 于 短 语 的 统 计 翻 译 方 法 的 问 题
•
基 于 句 法 的 统 计 翻 译 方 法 的 分 类
•
目 前 的 进 展
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
3

基 于 短 语 的 统 计 翻 译 方 法 的 问 题
•
泛 化 能 力 差
–
中 国 大 使 馆 、 美 国 大 使 馆 → 月 球 大 使 馆 ?
•
产 生 的 句 子 不 符 合 语 法
–
短 语 的 简 单 组 合 , 没 有 句 法 结 构
•
无 法 表 示 不 连 续 的 短 语 搭 配 的 翻 译
–
召 开 了 一 次 关 于 … 的 会 议 hold a meeting on …
•
无 法 进 行 长 距 离 的 语 序 调 整
•
解 决 办 法 : 引 入 句 法 结 构 !
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
4

统 计 机 器 翻 译 方 法 的 金 字 塔
Interlingua
Semantic-based
Syntax-based
Phrase-based
Source Language
Word-based
Target Language
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
5

基 于 句 法 的 统 计 机 器 翻 译 模 型 (1)
syntax level
phrase level
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
6

基 于 句 法 的 统 计 机 器 翻 译 模 型 (1)
linguistic syntax level
formal syntax level
phrase level
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
7

基 于 句 法 的 统 计 机 器 翻 译 模 型 (1)
linguistically
syntax-based model
tree-to-tree
model
string-to-tree
model
tree-to-string
model
formally syntax-based model
phrase-based model
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
8

基 于 句 法 的 统 计 机 器 翻 译 模 型 (2)
•
形 式 上 基 于 句 法 的 模 型
–
不 使 用 任 何 语 言 学 知 识
–
所 有 句 法 结 构 直 接 从 未 标 注 的 语 料 库 中 自 动 学 习 得 到
•
语 言 学 上 基 于 句 法 的 模 型
–
使 用 语 言 学 知 识
–
语 言 通 常 要 从 句 法 树 库 训 练 得 到
• 树 到 串 模 型 : 只 在 源 语 言 端 使 用 语 言 知 识
• 串 到 树 模 型 : 只 在 目 标 语 言 端 使 用 语 言 知 识
• 树 到 树 模 型 : 在 源 语 言 端 和 目 标 语 言 端 都 使 用 语 言 知 识
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
9

形 式 上 基 于 句 法 的 模 型
•
反 向 转 录 语 法 ( ITG ) 和 括 号 转 录 语 法 ( BTG )
Inversion (Bracketing) Transduction Grammar
(ITG,BTG), Wu 1997
•
有 限 状 态 中 心 词 转 录 机
Finite-State Head Transducer, Alshawi 2000
•
基 于 层 次 短 语 的 翻 译 模 型
Hierarchical Phrase-based Model, Chiang 2005
•
最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
Maximal Entropy Bracket Transduction Grammar
(ME-BTG), Xiong 2006
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
10

语 言 学 上 基 于 句 法 的 模 型
•
串 到 树 模 型 String-to-Tree Model
–
美 国 南 加 州 大 学 信 息 科 学 研 究 所 ( ISI/CSU ) 的 工 作
Yamada 2001, Galley 2006, Marcu 2006
•
树 到 串 模 型 Tree-to-String Model
–
中 科 院 计 算 所 的 工 作
Tree-to-string Alignment Template Model (TAT),
Yang Liu ACL2006
–
微 软 研 究 院 的 工 作 ( 依 存 模 型 )
Dependency Treelet Translation, Quirk 2005
•
树 到 树 的 模 型 Tree-to-Tree Model
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
11

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
12

同 步 语 法 (1)
•
定 义 : 同 步 语 法 是 一 种 形 式 语 法 , 这 种 语
法 的 每 一 次 推 导 , 都 在 两 种 或 者 两 种 以 上
语 言 中 同 步 生 成 一 个 句 子 。
同 步 语 法
我
我 们
我 们 是 中 国 人
中 国 是 世 界 上 人 口
最 多 的 国 家
……
I
We
We are Chinese
China is the country with the
largest population in the world
……
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
13

同 步 语 法 (2)
•
同 步 语 法 的 具 体 形 式 :
–
同 步 上 下 文 无 关 语 法 ( SCFG )
• 反 向 转 录 语 法 (ITG) 和 括 号 转 录 语 法 (BTG)
–
同 步 树 替 换 语 法 (STSG)
–
同 步 树 粘 接 语 法 (STAG)
–
多 文 本 语 法 (MTG)
•
同 步 语 法 的 应 用 :
–
编 译 中 的 代 码 生 成
–
自 然 语 言 的 语 义 解 释
–
自 然 语 言 的 机 器 翻 译
–
双 语 语 料 库 的 对 齐
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
14

同 步 语 法 (3)
•
同 步 语 法 与 统 计 机 器 翻 译
–
同 步 语 法 是 很 多 基 于 句 法 的 统 计 机 器 翻 译 模 型
的 理 论 基 础
–
理 论 上 说 , 如 果 采 用 同 步 语 法 , 在 完 成 源 语 言
句 法 分 析 的 同 时 , 目 标 语 言 就 生 成 了 , 因 此 可
以 利 用 各 种 成 熟 的 句 法 分 析 算 法 进 行 机 器 翻
译 , 而 无 需 另 外 设 计 专 门 的 翻 译 算 法
–
另 一 方 面 , 采 用 同 步 语 法 对 源 语 言 进 行 句 法 分
析 时 , 要 把 目 标 语 言 的 因 素 考 虑 进 来 , 这 不 同
于 通 常 的 句 法 分 析
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
15

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
16

反 向 转 录 语 法
•
Inversion Transduction Grammar (ITG)
吴 德 凯 (1997 onwards)
•
ITG 是 一 种 形 式 最 简 单 的 同 步 语 法 , 可 以 并 行 地
生 成 两 颗 对 齐 的 句 法 树
–
ITG 的 规 则 都 是 乔 姆 斯 基 范 式 形 式 的
• 规 则 的 右 部 或 者 全 部 是 终 结 符 , 或 者 全 部 是 终 结 符
• 非 终 结 符 规 则 都 是 二 分 的
–
ITG 的 规 则 可 以 指 定 语 序 的 变 化 : 保 序 或 逆 序
–
ITG 中 两 种 语 言 的 规 则 使 用 同 一 套 非 终 结 符
•
ITG 中 对 规 则 的 二 分 限 制 降 低 了 搜 索 的 复 杂 度
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
17

反 向 转 录 语 法
ITG rules Source Target
非 终 结 符 规 则
A → [ B C ] A→BC A→BC
A → < B C > A→BC A→ CB
终 结
符 规 则
A → x/y A→x A→y
.
BNP
S
S
VP
./。
target
straight
inverted
The/e
game/ 比 赛
BVP
PP
source
will/e start/ on/e Wednesday / 星 期 三
开 始
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
18

反 向 转 录 语 法
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
19

基 于 反 向 转 录 语 法 的 统 计 机 器 翻 译 (1)
•
训 练 : 从 词 语 对 齐 的 语 料 库 中 自 动 抽 取 规 则
•
解 码 : 类 似 于 一 个 概 率 化 句 法 分 析 的 过 程
–
利 用 规 则 的 源 语 言 部 分 进 行 句 法 分 析
• 存 在 源 语 言 部 分 相 同 而 目 标 语 言 部 分 不 同 的 规 则 ( 保
序 或 逆 序 ), 这 是 不 同 于 传 统 句 法 分 析 的 地 方
• 句 法 分 析 时 , 对 于 源 语 言 部 分 相 同 而 目 标 语 言 部 分 不
同 的 规 则 , 需 要 通 过 概 率 计 算 进 行 评 分 , 这 相 当 于 对
译 文 语 序 进 行 选 择
–
句 法 分 析 完 成 的 同 时 也 就 生 成 了 译 文 句 法 结 构 和
译 文 句 子
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
20

基 于 反 向 转 录 语 法 的 统 计 机 器 翻 译 (2)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
21

基 于 反 向 转 录 语 法 的 统 计 机 器 翻 译 (3)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
22

括 号 转 录 语 法
•
Bracketing Transduction Grammar : BTG
•
BTG 是 ITG 的 一 个 特 例 , 其 中 只 有 唯 一 的 一 个 非
终 结 符 X
•
可 以 这 么 理 解 : BTG 仅 仅 给 出 了 两 种 语 言 的 句 子
结 构 结 构 之 间 的 对 应 关 系 , 没 有 任 何 句 法 标 记 信
息 ( 如 NP 、 VP 等 等 )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
23

统 计 机 器 翻 译 中 语 序 调 整 的 方 式
•
无 约 束 ( 所 有 匹 配 都 运 行 )
–
所 有 语 序 调 整 都 是 允 许 的
–
对 于 N 个 词 ( 或 短 语 ), 在 IBM 约 束 下 , 语 序 调 整 有 N! 种 可 能
性 , 搜 索 空 间 随 着 句 子 长 度 呈 指 数 级 增 长 , 因 此 其 搜 索 问 题 是 NP
问 题
•
IBM 约 束 ( IBM Constrains )
–
为 了 减 少 搜 索 空 间 , 通 常 在 从 左 到 右 的 解 码 过 程 中 都 会 采 用 IBM
约 束 来 限 制 语 序 调 整 的 搜 索 空 间 , 也 就 是 说 , 每 次 只 选 择 最 左 边
若 干 个 未 被 翻 译 的 词 语 进 行 翻 译 ( 对 Hypothesis 进 行 扩 展 )
–
IBM 约 束 可 以 大 大 减 少 搜 索 空 间 , 但 依 然 存 在 大 量 非 法 语 序 调 整
•
BTG 约 束 ( BTG Constrains )
–
只 有 能 够 满 足 某 种 BTG 映 射 的 语 序 调 整 才 是 允 许 的
–
BTG 约 束 大 大 降 低 了 搜 索 空 间 大 小 , 确 保 搜 索 范 围 内 的 语 序 调 整
都 满 足 语 法 约 束 , 同 时 不 在 搜 索 范 围 内 的 约 束 都 不 满 足 语 法 约 束
–
BTG 约 束 搜 索 使 得 长 距 离 语 序 调 整 成 为 可 能
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
24

这 里 给 出 了 四 个 词 的 所 有 可 能 的 调 序 方 案 以 及 对 应 的 BTG 转 换 模 式 。
其 中 有 两 种 方 案 在 BTG 约 束 下 是 不 允 许 的 ( 找 不 到 对 应 的 BTG 转 换 模 式 )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
25

BTG 约 束 导 致 搜 索 空 间 大 大 压 缩
word reordering
which are not
permitted in BTG
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
26

真 实 自 然 语 言 的 翻 译 满 足 BTG 约 束 吗 ?
对 于 汉 语 和 英 语 之 间 的 翻 译 , 几 乎 满 足
一 个 例 外 ( 出 处 ?) :
对 于 一 些 自 由 语 序 的 语 言 , 不 一 定 满 足
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
27

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
28

基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
A Translation Model Based on Maximum Entropy
Bracketing Transuction Grammar (ME-BTG)
•
Deyi Xiong, Qun Liu, and Shouxun Lin. Maximum
Entropy Based Phrase Reordering Model for Statistical
Machine Translation. COLING-ACL 2006, Sydney,
Australia, July 17-21.
•
Deyi Xiong, Min Zhang, Ai Ti Aw, Haitao Mi, Qun Liu and
Shouxun Lin, Refinements in BTG-based Statistical
Machine Translation, IJCNLP 2008, Hyderabad, India,
January 7-12
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
29

BTG 的 主 要 问 题
•
两 条 主 要 合 并 规 则
A → [ A A ] 0.8
A → 〈 A A 〉 0.2
•
如 何 使 用 这 两 条 规 则 , stochastic BTG 给
每 条 规 则 赋 以 先 验 概 率
•
先 验 概 率 是 一 种 非 常 粗 糙 、 简 单 的 处 理 方
法 , 不 能 有 效 地 处 理 重 排 序 问 题
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
30

ME-BTG : 基 本 思 想
•
在 BTG 框 架 下 , 将 重 排 序 问 题 看 作 是 一 个 2 类 分
类 问 题 :
–
条 件 : 各 种 与 重 排 序 短 语 相 关 的 特 征
–
类 别 : 相 邻 语 块 的 顺 序 {straight, inverted}
•
引 入 最 大 熵 模 型 作 为 分 类 模 型 , 根 据 实 际 上 下 文
计 算 合 并 规 则 的 概 率
straight 0.05
inverted 0.95
with them
keep contact
keep contact
with them
与 他 们
保 持 联 系
与 他 们
保 持 联 系
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
31

ME-BTG 模 型
•
模 型
•
特 征
= p o∣A 1, A 2 =
∑
o'
∑
i
exp∑
i
i
h i
o , A 1, A 2
i h i o' , A 1, A 2
h i
o , A 1, A ={ 2 1 if f A1, A 2 =T ,o=O
0 otherwise
O∈{straight ,inverted }
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
32

ME-BTG 训 练
单 词 对 齐 的 双 语 语 料
抽 取 重 排 序 实 例
提 取 重 排 序 特 征
训 练 最 大 熵 分 类 器
最 大 熵 重 排 序 模 型
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
33

抽 取 重 排 序 实 例
S1
S2
在 双 语 语 料 库 中 抽 取 所 有 如 下 两 类
双 语 短 语 块 :
T1
b1
→ STRAIGHT
T2
b2
E.g. < 今 天 有 棒 球 比 赛 |Are there any baseball
games today; 吗 ? |?> → STRAIGHT
S3
S4
T3
b4
→ INVERTED
T4
b3
E.g. < 澳 门 政 府 |the Macao government; 有 关 部
门 |related departments of> → INVERTED
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
34

重 排 序 特 征
•
单 目 特 征 : 单 个 源 / 目 标 语 言 边 界 单 词
•
双 目 特 征 : 两 个 源 / 目 标 语 言 边 界 单 词 的 组 合
< 与 他 们 |with them; 保 持 联 系 |keep contact> → INVERTED
特 征 选 择
h mono
o , A 1, A ={ 2 1 if A2 .t 1 =keep , o=inverted
0 otherwise
h bino o , A 1, A ={ 2 1 if A1 .t 1 =with , A 2 .t 1 =keep ,o=inverted
0 otherwise
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
35

为 什 么 使 用 边 界 单 词 作 为 特 征 ?
C1
E1
Source boundary words
C2
E2
Target boundary words
feature IGR
Phrases .02655
C1C2E1E2 .0263687
E1E2 .0239286
C1C2 .023363
C2E2 .0192932
C1E1 .0153117
C2 .011371
E2 .00994372
E1 .00899752
C1 .00758598
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
36

基 于 ME-BTG 的 统 计 机 器 翻 译 系 统
•
Bruin : 基 于 ME-BTG 的 统 计 机 器 翻 译 系 统
•
解 码 算 法
–
基 于 CKY 算 法
• 自 底 向 上 , 考 虑 每 一 个 区 间 (i,j) , 每 个 区 间 保 留 一 个 堆 栈
• 对 于 每 个 区 间 (i,j) , 考 虑 其 每 一 个 分 割 (i,k)*(k+1,j)
• 对 于 每 一 个 分 割 , 考 虑 其 所 有 子 节 点 的 候 选 译 文 , 以 及 “ 保 序 ”
和 “ 逆 序 ” 两 种 情 况 , 计 算 所 有 可 能 的 候 选 译 文
–
采 用 柱 搜 索 ( Beam Search ) 策 略 , 对 堆 栈 中 的 候 选 译
文 结 点 进 行 剪 枝
–
对 于 堆 栈 中 的 候 选 译 文 结 点 进 行 归 并 (recombination):
如 果 结 点 的 左 右 n-1 个 单 词 都 相 同 , 在 归 并 为 一 个 结 点
( 假 设 这 里 采 用 n 元 语 法 模 型 )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
37

CKY 解 码 算 法
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
38

基 于 ME-BTG 模 型 的 翻 译 过 程
查 短 语 表
原 文 f
他 将 于 4 月 10 日 访 问 美 国 。
译 文 e
he will on April 10 visit America .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
39

基 于 ME-BTG 模 型 的 翻 译 过 程
利 用 边 界 词 特 征 计 算 是 否 调 序
原 文 边 界 词 :“ 于 ” + “ 访 问 ”
译 文 边 界 词 :“ on” + “visit”
保 序 概 率 : 0.05
原 文 f
他 将 于 4 月 10 日 访 问 美 国 。
译 文 e
he will on April 10 visit America .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
40

基 于 ME-BTG 模 型 的 翻 译 过 程
利 用 边 界 词 特 征 计 算 是 否 调 序
原 文 边 界 词 :“ 于 ” + “ 访 问 ”
译 文 边 界 词 :“ on” + “visit”
逆 序 概 率 : 0.95
原 文 f
他 将 于 4 月 10 日 访 问 美 国 。
译 文 e
he will on April 10 visit America .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
41

基 于 ME-BTG 模 型 的 翻 译 过
搜 索
在
所
有
可
能
的
结
构
变
换
中
搜
索
概
率
最
大
的
形
式
程
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
42

基 于 ME-BTG 模 型 的 翻 译 过 程
得 到 结 果
原 文 f
他 将 于 4 月 10 日 访 问 美 国 。
译 文 e
he will visit America on April 10 .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
43

ME-BTG : 实 验
Systems NIST MT 05 IWSLT 04
Bruin with monotone search 20.1 37.8
Bruin with distance-based reordering 20.9 38.8
Bruin with flat reordering 20.5 38.7
Pharaoh 20.8 38.9
Bruin with MEBTG ( 单 目 ) 22.0 42.4
Bruin with MEBTG ( 单 目 + 双 目 ) 22.2 42.8
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
44

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
45

同 步 上 下 文 无 关 语 法
•
David Chiang. An introduction to
synchronous grammars. In Proc.
of ACL Tutorial, 2006.
本 部 分 讲 义 引 自 David Chiang 的 上 述
Tutorial 中 的 内 容 , 特 此 说 明 , 并 向 原 作 者
表 示 感 谢 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
46

同 步 上 下 文 无 关 语 法 (1)
•
英 语 的 语 法 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
47

同 步 上 下 文 无 关 语 法 (2)
•
日 语 的 语 法
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
48

同 步 上 下 文 无 关 语 法 (3)
•
两 种 语 法 的 一 一 对 应 关 系 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
49

同 步 上 下 文 无 关 语 法 (4)
•
同 步 上 下 文 无 关 语 法 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
50

同 步 上 下 文 无 关 语 法 (5)
•
同 步 句 法 树 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
51

同 步 上 下 文 无 关 语 法 (6)
•
带 概 率 的 同 步 语 法 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
52

同 步 上 下 文 无 关 语 法 (7)
•
同 步 句 法 树 的 概 率 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
53

类 似 的 表 示 形 式
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
54

同 步 上 下 文 关 语 法 的 层 次 (1)
•
乔 姆 斯 基 范 式 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
55

同 步 上 下 文 关 语 法 的 层 次 (2)
•
5 阶 → 2 阶
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
56

同 步 上 下 文 关 语 法 的 层 次 (3)
•
3 阶 → 2 阶 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
57

同 步 上 下 文 关 语 法 的 层 次 (4)
•
4 阶 → 2 阶 ?
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
58

同 步 上 下 文 关 语 法 的 层 次 (5)
•
4 阶 → 2 阶 ?
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
59

同 步 上 下 文 关 语 法 的 层 次 (5)
•
表 达 能 力 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
60

算 法 复 杂 度
•
机 器 翻 译 复 杂 度 :
–
分 析 : O(n 3 )
–
转 换 : O(n)
–
生 成 : O(n)
•
同 步 句 法 分 析 复 杂 度 :
–
O(n 10 )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
61

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
62

层 次 短 语 模 型 (1)
•
层 次 化 基 于 短 语 的 翻 译 模 型 ( 蒋 伟 , UMD )
Hierarchical Phrase-Based Translation Model
•
David Chiang. A Hierarchical Phrase-Based
Model for Statistical Machine Translation.
ACL2005. (Best Paper Award)
•
本 讲 义 这 一 部 分 内 容 直 接 引 用 了 以 下 讲 义 的 部 分 内
容 , 特 此 说 明 并 向 原 作 者 表 示 感 谢 :
–
David Chiang, Hiero: Finding Structure in Statistical
Machine Translation, in National University of Singapore
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
63

层 次 短 语 模 型 (2)
•
传 统 的 基 于 短 语 的 翻 译 模 型 中 , 短 语 是 平 面
的 , 不 能 嵌 套
•
在 层 次 短 语 模 型 中 , 引 入 了 嵌 套 的 层 次 短 语
•
采 用 平 行 上 下 文 无 关 语 法 作 为 理 论 基 础 , 但
只 使 用 唯 一 的 非 终 结 符 标 记
•
效 果 比 传 统 的 短 语 模 型 有 很 大 提 高
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
64

观 察 : 短 语 的 层 次 性
可 以 观 察 到 短 语 是 有 层 次 的 , 短 语 之 间 可 以 嵌 套 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
65

用 层 次 短 语 进 行 翻 译 (1)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
66

用 层 次 短 语 进 行 翻 译 (2)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
67

用 层 次 短 语 进 行 翻 译 (3)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
68

用 同 步 语 法 表 示 层 次 短 语 (1)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
69

用 同 步 语 法 表 示 层 次 短 语 (2)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
70

层 次 短 语 的 抽 取
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
71

约 束 : 降 低 复 杂 度
•
用 于 抽 取 规 则 的 短 语 长 度 (≤7–20)
•
规 则 长 度 (≤5–6)
•
规 则 中 至 少 要 有 一 个 终 结 符
•
最 多 有 两 个 不 相 邻 的 非 终 结 符
•
句 法 约 束 ?
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
72

非 终 结 符 标 记
•
到 目 前 未 知 只 采 用 一 个 非 终 结 符 X
•
可 能 的 扩 展 :
–
句 法 类 型
–
其 他 信 息 , 如 命 名 实 体 标 记 ( 人 名 、 地 名 等 )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
73

规 则 举 例
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
74

粘 合 规 则 ( Glue Rules )
•
找 不 到 可 用 的 规 则 时 , 引 入 粘 合 规 则
•
粘 合 规 则 的 作 用 在 于 将 短 语 的 译 文 从 左 到 右 依 次
顺 序 “ 粘 合 ” 成 完 整 的 译 文 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
75

特 殊 规 则
•
实 际 的 翻 译 系 统 中 , 通 常 需 要 一 些 特 殊 的
翻 译 模 块 :
–
数 词
–
时 间 词
–
人 名 、 地 名 、 机 构 名
–
新 闻 byline
•
将 以 上 模 块 翻 译 的 结 果 处 理 成 一 条 规 则 :
( X→ 一 百 二 十 三 , X→123 )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
76

模 型
•
直 接 利 用 同 步 上 下 文 无 关 语 法 的 概 率 模 型
•
通 过 对 数 线 性 模 型 融 合 其 他 特 征 , 如 传 统
短 语 模 型 的 各 种 特 征
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
77

模 型 特 征
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
78

模 型 特 征
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
79

解 码
•
类 似 于 句 法 分 析 , 在 对 源 语 言 分 析 的 同
时 , 产 生 目 标 语 言 的 结 构 。
•
算 法 复 杂 度 O(n 3 )
•
为 了 减 少 搜 索 时 间 , 只 将 抽 取 出 来 的 规 则
用 于 比 较 短 的 串 ( 如 少 于 10-15 个 词 ),
对 于 更 长 的 串 只 使 用 粘 合 规 则 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
80

小 结
•
形 式 上 基 于 句 法 的 模 型
•
性 能 明 显 超 过 基 于 短 语 的 模 型
•
完 全 兼 容 基 于 短 语 的 模 型
•
所 有 规 则 可 以 自 动 抽 取
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
81

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
82

树 到 串 翻 译 模 型
•
树 到 串 翻 译 模 型 指 这 样 一 类 翻 译 模 型 :
–
在 源 语 言 端 进 行 句 法 分 析
–
在 目 标 语 言 端 不 进 行 句 法 分 析
–
从 源 语 言 端 句 法 分 析 和 词 语 对 齐 的 语 料 库 中 抽 取 翻 译 规
则 并 构 造 翻 译 模 型
•
树 到 串 翻 译 模 型 的 发 展 经 历 了 三 个 阶 段 :
–
基 于 树 的 方 法 ( Tree-based Approach )
–
基 于 森 林 的 方 法 ( Forest-base Approach )
–
基 于 串 的 方 法 , 句 法 分 析 和 解 码 联 合 方 法
( String-based Approach, Joing Parsing and Translation )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
83

基 于 树 的 方 法
Tree-to-String Model
● Yang Liu, Qun Liu, and Shouxun Lin. 2006.
Tree-to-String Alignment Template for
Statistical Machine Translation. In
Proceedings of COLING/ACL 2006, pages
609-616, Sydney, Australia, July.
Meritorious Asian NLP Paper Award

基 于 树 到 串 对 齐 模 板 的 翻 译 模 型
•
基 于 树 到 串 对 齐 模 板 的 翻 译 模 型 ( 刘 洋 , ICT )
A Translation Model Based on Tree-to-String
Alignment Template
•
Yang Liu, Qun Liu, and Shouxun Lin. 2006.
Tree-to-String Alignment Template for Statistical
Machine Translation. COLING-ACL 2006,
Sydney, Australia, July 17-21.
•
Yang Liu, Yun Huang, Qun Liu and Shouxun Lin,
Forest-to-String Statistical Translation Rules,
ACL2007, Prague, Czech , June 2007
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
85

基 于 树 到 串 对 齐 模 板 的 翻 译 模 型
•
基 于 树 到 串 对 齐 模 板 ( 简 称 TAT ) 的 统 计
翻 译 模 型 是 一 种 在 源 语 言 进 行 句 法 分 析 的
基 于 语 言 学 句 法 结 构 的 统 计 翻 译 模 型
•
树 到 串 对 齐 模 板 既 可 以 生 成 终 结 符 也 可 以
生 成 非 终 结 符 , 既 可 以 执 行 局 部 重 排 序 也
可 以 执 行 全 局 重 排 序
•
从 经 过 词 语 对 齐 和 源 语 言 句 法 分 析 的 双 语
语 料 库 上 自 底 向 上 自 动 抽 取 TAT
•
自 底 向 上 的 柱 搜 索 算 法
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
86

树 到 串 对 齐 模 板
NP
LCP
NP
NR
NN
NP
LC
DNP
NP
布 什
总 统
NR CC NR 间
NP
DEG
美 国 和
President
Bush
between United States and
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
87

Tree-based Translation
●
Recursive rewrite by pattern-matching
IP
X1:NPB
IP
X2:VP
VP
X1
X2
PP
VPB
NPB P NPB VS AS NPB
bushi yu shalong juxing le huitan

Tree-based Translation
●
Recursive rewrite by pattern-matching
NPB
bushi
VP
Bush
PP
VPB
NPB P NPB VS AS NPB
bushi yu shalong juxing le huitan

Tree-based Translation
●
Recursive rewrite by pattern-matching
VP
X1:PP
X2:VPB
VP
X2
X1
PP
VPB
P NPB VS AS NPB
Bush yu shalong juxing le huitan

Tree-based Translation
●
Recursive rewrite by pattern-matching
VPB
VS AS X1:NPB
juxing
le
held a X1
VPB
VS AS NPB
P
PP
NPB
Bush juxing le huitan yu shalong

Tree-based Translation
●
Recursive rewrite by pattern-matching
NPB
huitan
talk
NPB
P
PP
NPB
Bush held a huitan yu shalong

Tree-based Translation
●
Recursive rewrite by pattern-matching
PP
P
yu
X1:NPB
PP
with X1
P
NPB
Bush held a talk yu shalong

Tree-based Translation
●
Recursive rewrite by pattern-matching
NPB
shalong
Sharon
Bush
held a talk
NPB
with shalong

Tree-based Translation
●
Recursive rewrite by pattern-matching
Bush
held a talk
with Sharon

模 型
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
96

模 型 特 征
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
97

训 练
•
数 据 : 源 语 言 句 法 分 析 和 词 语 对 齐 的 双 语 语
料 库
•
自 底 向 上 抽 取
•
为 避 免 抽 取 的 TAT 数 量 过 大 , 需 要 对 抽 取 过
程 施 加 一 些 约 束 :
–
树 高 度 约 束 height(T)

Tree-to-String Rule Extraction
●
Compute target spans

Tree-to-String Rule Extraction
●
Find admissible
nodes

Tree-to-String Rule Extraction
●
Extract minial rules

Tree-to-String Rule Extraction
●
Extract minial rules

Tree-to-String Rule Extraction
●
Extract minial rules

Tree-to-String Rule Extraction
●
Get composed rules

解 码
•
自 底 向 上
•
柱 搜 索 ( Beam Search )
•
对 于 每 一 棵 子 树 , 找 到 所 有 与 其 根 节 点 匹 配
的 TAT , 计 算 其 候 选 译 文 ( Candidate )
•
候 选 译 文 ( Candidate ) 的 数 据 结 构 :
–
TAT 序 列
–
部 分 翻 译 结 果
–
累 积 的 特 征 值
–
累 积 的 概 率 值
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
105

Tree-based Button-up Decoding

Tree-based Button-up Decoding

Tree-based Button-up Decoding

Tree-based Button-up Decoding

Tree-based Button-up Decoding

Tree-based Button-up Decoding

Tree-based Button-up Decoding

Tree-based Button-up Decoding
●
Beam Search

解 码 : 构 造 缺 省 TAT
如 果 匹 配 不 到 合 适 的 TAT , 就 构 造 一 个 缺 省 的 TAT :
NR
NR
中 国
NP
construct default TATs
中 国
中 国
NP
DNP
NP
construct default TATs
DNP
NP
NP DEG NN NN
NR
的 经 济 发 展
中 国
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
114

剪 枝 策 略
•
模 板 表 剪 枝
–
tatTable_limit
–
tatTable_threshold
•
堆 栈 剪 枝
–
stack_limit
–
stack_thrshold
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
115

候 选 译 文 归 并 ( Recombination )
The economic development of China is very rapid .
The economic develop of China is quite rapid .
The economic developing of Chinese is rapid .
The economic development of Chinese are quite rapid .
考 虑 采 用 英 文 的 三 元 语 法 模 型 , 为 了 保 证 动 态 规 划 算 法 所
要 求 的 单 调 性 , 对 同 一 个 堆 栈 中 , 首 尾 Bigram 完 全 相 同 的
候 选 译 文 ( Candidate ), 可 以 合 并 成 一 个 结 点 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
116

实 验
•
Baseline : Pharaoh (Koehn et al., 2004)
•
实 验 系 统 : Lynx
•
训 练 语 料 : 31,149 句 子 对
含 843K 汉 语 词 和 949K 英 语 词
•
开 发 集 : 2002 NIST 汉 英 测 试 数 据 的 一 部 分
(571 of 878 sentences)
•
测 试 集 : 2005 NIST 汉 英 测 试 数 据
(1,082 sentences)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
117

训 练 过 程
句 子 对 齐 的 双 语 语 料 库
双 向 GIZA++ 及 合 并
词 语 对 齐 的 双 语 语 料 库
Pharaoh 训 练 工 具
汉 语 句 法 分 析
带 汉 语 句 法 树 及 词 语 对 齐 的 双 语 语 料 库
Lynx 训 练 工 具
双 语 短 语 表
TAT 表
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
118

实 验 环 境
•
评 测 工 具 : mteval-v11b.pl
•
语 言 模 型 工 具 : SRI Language Modeling To
olkits (Stolcke, 2002)
•
显 著 性 测 试 工 具 : Zhang et al., 2004
•
汉 语 句 法 分 析 : Xiong et al., 2005
•
最 小 错 误 率 训 练 工 具 : optimizeV5IBMBLE
U.m (Venugopal and Vogel, 2005)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
119

实 验 结 果
Comparison of Pharaoh and Lynx with different feature settings
Lynx achieves an absolute improvement of 0.9% (4.3%
relative) over Pharaoh in terms of BLEU score. This
difference is statistically significant (p < 0.01).
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
120

与 短 语 的 兼 容 性
•
TAT 模 型 与 短 语 模 型 是 不 兼 容 的
–
句 法 短 语 可 以 表 示 为 TAT
–
非 句 法 短 语 无 法 表 示 为 TAT
•
实 验 表 明 , 非 句 法 短 语 对 于 提 高 系 统 性 能 有 重 要
作 用
•
即 使 对 于 句 法 短 语 , 由 于 句 法 分 析 不 可 靠 ( 对 于
同 一 个 短 语 的 分 析 有 时 正 确 有 时 错 误 ), 也 会 造
成 TAT 概 率 估 计 上 的 不 准 确
•
设 想 : 利 用 双 语 短 语 ( BP ) 可 以 改 进 TAT 模 型
的 性 能
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
121

利 用 句 法 短 语 修 正 TAT 的 概 率
•
理 由 :
–
句 法 分 析 是 不 可 靠 的 , 对 于 同 一 个 短 语 , 可 能
有 时 分 析 正 确 , 有 时 分 析 错 误 , 这 样 会 导 致 TA
T 概 率 估 计 上 的 不 准 确
•
做 法 :
–
把 句 法 短 语 ( SBP ) 的 四 个 概 率 与 相 应 的 TAT
的 四 个 概 率 进 行 比 较 , 用 其 中 较 大 者 取 代 TAT
原 来 的 概 率
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
122

例 子
TAT table
NP
NR
NN
NP
布 什
总 统
0.4 0.2 0.3 0.5
NR
NN
President Bush
布 什
总 统
BP table
布 什
总 统
0.3 0.6 0.2 0.4
President Bush
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
123

例 子
TAT table
NP
NR
NN
NP
布 什
总 统
0.4 0.2 0.3 0.5
NR
布 什
NN
总 统
BP table
President Bush
NP
NR
布 什
NN
总 统
0.3 0.6 0.2 0.4
President Bush
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
124

例 子
NP
NR NN
布 什 总 统
NP
NR NN
布 什 总 统
President Bush
0.4 0.6 0.3 0.5
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
125

采 用 句 法 短 语 修 正 TAT 概 率 的 效 果
Effect of Using Bilingual Phrases for Lynx
Using bilingual phrases brings an absolute
improvement of 0.6% in terms of BLEU score
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
126

利 用 非 句 法 双 语 短 语 改 进 译 文 流 利 度
Problem with Lynx:
国 际 足 联 将 严 惩 足 球 场 上 的 欺 骗 行 为
FIFA will severely punish cheat behaviour on the football field
国 际 足 联 执 委 会 还 宣 布 了 一 些 改 革 措 施 。
international 足 联 Executive Committee also announces that some reform measures.
How could this happen?
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
127

两 棵 句 法 树
NP-B
NP-B
NN
NN
NN
NN
NN
国 际
足 联
国 际
足 联
执 委 会
国 际
足 联
FIFA
the strength of BPs is restricted!
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
128

解 决 方 法
•
搜 索 结 束 后 , 在 翻 译 结 果 上 , 根 据 词 语 对 齐 ,
将 译 文 中 的 短 语 替 换 成 流 利 度 更 高 的 短 语 ( 根
据 语 言 模 型 分 值 )
•
如 果 有 多 个 候 选 译 文 , 每 个 译 文 都 可 以 进 行 上
述 替 换 , 这 时 可 以 通 过 计 算 调 整 后 的 总 的 翻 译
概 率 ( 同 时 考 虑 语 言 模 型 、 翻 译 模 型 和 其 他 特
征 ), 选 择 分 数 最 高 的 候 选 译 文
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
129

例 子
IP
NP-B VP PU
NN NN NN ADVP VP-B
。
国 际
足 联 执 委 会
AD VV AS NP
还 宣 布 了
QP
NP-B
CD NN NN
一 些 改 革 措 施
international 足 联 Executive Committee also announces that some reform measures .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
130

例 子
IP
NP-B VP PU
NN NN NN ADVP VP-B
。
国 际
足 联 执 委 会
AD VV AS NP
还 宣 布 了
QP
NP-B
CD NN NN
一 些 改 革 措 施
FIFA Executive Committee also announces that some reform measures .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
131

例 子
IP
NP-B VP PU
NN NN NN ADVP VP-B
。
国 际
足 联 执 委 会
AD VV AS NP
还 宣 布 了
QP
NP-B
CD NN NN
一 些 改 革 措 施
FIFA Executive Committee also announced some reform measures .
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
132

加 大 数 据 规 模
•
Bilingual corpus (train BPs and TATs)
–
2.6M sentence pairs (68.1M Chinese words an
d 73.8M English words)
–
Use all the data to obtain BPs and a portion of
800K pairs to obtain TATs
•
Monolingual corpora (train LM)
–
English side of the bilingual corpus (73.8M wo
rds)
–
Xinhua portion of Gigaword corpus (181M wo
rds)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
133

Training Data
(pairs)
TAT
加 大 数 据 规 模 后 的 实 验 结 果
Results of Lynx on test set with various settings.
BP
Language Model
Data
(words)
Order
Improve
Fluency
BLEU4
31K - 949K one 3-gram No 0.2178
31K 31K 949K one 3-gram No 0.2240
31K 800K 73M one 3-gram No 0.2431
800K 2.6M 73M one 3-gram No 0.2692
800K 2.6M 73M | 181M two 3-gram No 0.2934
800K 2.6M 73M | 181M two 4-gram No 0.3047
800K 2.6M 73M | 181M two 4-gram Yes 0.3184
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
134

小 结
•
基 于 树 到 串 对 齐 模 板 的 翻 译 模 型
–
一 种 树 到 串 的 模 型
–
在 源 语 言 句 法 分 析 和 词 语 对 齐 的 双 语 语 料 库 上 抽 取
双 语 对 齐 模 板 ( TAT ), 构 建 翻 译 模 型
–
解 码 时 先 进 行 源 语 言 句 法 分 析 , 然 后 自 底 向 上 依 次
对 树 的 每 个 结 点 构 造 候 选 译 文
•
模 型 简 洁 直 观 , 可 以 较 好 地 利 用 句 法 信 息 进 行 重
排 序
•
在 给 定 句 法 分 析 结 果 的 情 况 下 , 解 码 极 快
•
非 句 法 短 语 兼 容 性 不 好
•
受 句 法 分 析 性 能 影 响 , 性 能 不 高
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
135

基 于 森 林 的 方 法
Forest-based Translation
●
●
Haitao Mi, Liang Huang and Qun Liu.
Forest-Based Translation. In Proceedings
of ACL 2008 Columbus, OH
Haitao Mi and Liang Huang. Forest-based
Translation Rule Extraction. In Proceedings
of EMNLP 2008 ,Honolulu, Hawaii.
Nominated for the best-paper award

Parsing Mistake Propagation

Syntatic Ambiguity

1-best ➜ n-best trees?

Packed Forest

Patten Matching on Forest

Translation Forest

Translation Forest

Translation Forest

Translation Forest

Translation Forest

N-best Trees vs. Forest

Forest as Virtual ∞-best List

Forest-based Rule Extraction
●
Compute target spans

Forest-based Rule Extraction
●
Compute admissible
nodes

Forest-based Rule Extraction
●
Extract Minimal Rules

Forest-based Rule Extraction
●
Extract Minimal Rules

Forest-based Rule Extraction
●
Extract Minimal Rules

Forest-based Rule Extraction
●
Extract Minimal Rules

Forest-based Rule Extraction
●
Extract Minimal Rules

Rule Probabilities and Rule
counts

Fractional Count

Fractional Count

Results on forest training and
decoding

小 结

基 于 串 的 方 法
Joint Parsing and Translation
●
Yang Liu and Qun Liu. 2010. Joint Parsing
and Translation. In Proceedings of
COLING 2010, pages 707-715, Beijing,
China, August.

Seperate Parsing and
Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Joint Parsing and Translation

Evaluation
String-based Translation = Joint Parsing and
Translation

Search Space Comparison
String-based Translation = Joint Parsing and
Translation

小 结

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
179

串 到 树 翻 译 模 型
•
串 到 树 翻 译 模 型 指 这 样 一 类 翻 译 模 型 :
–
在 源 语 言 端 进 行 不 句 法 分 析
–
在 目 标 语 言 端 进 行 句 法 分 析
–
从 目 标 语 言 端 句 法 分 析 和 词 语 对 齐 的 语 料 库 中
抽 取 翻 译 规 则 并 构 造 翻 译 模 型
•
目 前 , 串 到 树 翻 译 模 型 的 典 型 工 作 是 美 国
南 加 州 大 学 信 息 科 学 研 究 所 ( USC/ISI )
从 2001 年 到 2005 年 的 系 列 工 作
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
180

ISI 的 工 作
•
Ulrich Germann, ACL2001 (Best Paper Award)
•
Kenji Yamada, ACL2001, ACL2002
•
Yaser Al-Onaizan, ACL2002
•
Michel Galley, NAACL-HLT 2004
•
Jonathan Graehl, NAACL-HLT 2004
•
Kevin Knight, CICLing 2005
•
Michel Galley, COLING/ACL 2006
•
Daniel Marcu, COLING/ACL 2006
•
Hao Zhang, NAACL-HLT 2006
•
Liang Huang, AMTA 2006
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
181

ISI 的 工 作
•
Scalable Inference and Training of Context-Rich Syntac
tic Models
–
Michel Galley
–
COLING/ACL 2006
•
SPMT: Statistical Machine Translation with Syntactified
Target Language Phrases
–
Daniel Marcu
–
EMNLP 2006
•
Synchronous Binarization for Machine Translation
–
Hao Zhang
–
NAACL-HLT 2006
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
182

同 步 生 成 树 、 串 和 对 齐
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
183

同 步 生 成 树 、 串 和 对 齐
NP
NP
VP
的
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
184

同 步 生 成 树 、 串 和 对 齐
NP
NP
VP
NNS
astronauts
的
宇 航
员
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
185

同 步 生 成 树 、 串 和 对 齐
NP
NP
VP
NNS
VBG
PP
astronauts
coming
IN
NP
from
来 自
的
宇 航
员
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
186

同 步 生 成 树 、 串 和 对 齐
NP
NP
VP
NNS
VBG
PP
astronauts
coming
IN
NP
from
NNP
China
来 自
中 国 的 宇 航 员
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
187

规 则 与 推 导
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
188

规 则 与 推 导
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
189

最 小 规 则 与 组 合 规 则
•
最 小 规 则
–
定 义 :
• 不 能 再 分 解 成 更 小 规 则 的 规 则
–
例 子 :
• NP(x0:DT,CD(7),NNS(people)) -> x0, 7 人
• DT(these) -> 这
•
组 合 规 则
–
定 义 :
• 由 两 个 或 者 多 个 最 小 规 则 组 合 成 的 规 则
–
例 子 :
• NP(DT(these),CD(7),NNS(people)) -> 这 , 7 人
• NP(x0:DT,CD(7),NNS(people)) -> x0, 7, 人
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
190

句 法 翻 译 概 率 表
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
191

•
Galley
翻 译 模 型 定 义
–
条 件 概 率 模 型 : 将 给 定 的 目 标 语 言 树 转 换 成 源 语 言 词 串
的 概 率 ( F 是 源 语 言 句 子 , π 是 目 标 语 言 句 法 树 , Θ 是
从 π 生 成 F 的 所 有 推 导 的 集 合 , θ 是 一 个 具 体 的 推 导 )
•
Marcu
●
Pr F∣= 1
∣∣ ∑ i
∈
∏
r j
∈ i
联 合 概 率 模 型 : 同 步 生 成 源 语 言 词 串 、 目 标 语 言 树 和
对 齐 的 概 率 ( F 是 源 语 言 句 子 , π 是 目 标 语 言 句 法
树 , A 是 F 和 A 的 对 齐 , Θ 是 同 时 生 成 π, F, A 的 所
有 推 导 的 集 合 , θ 是 一 个 具 体 的 推 导 )
Pr , F , A=
∑
i
∈ , c=, F , A
prhsr j
∣lhsr j
∏
r j
∈ i
pr j
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
192

与 短 语 模 型 的 兼 容 性 : 非 句 法 短 语
NPB
DT JJ NN
the mutual understanding
这 相 互 理 解
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
193

非 句 法 短 语 的 处 理 办 法
•
Marcu 的 办 法
–
忽 略 非 句 法 短 语
• 损 失 : 在 汉 语 - 英 语 双 语 语 料 库 中 提 取 的 短
语 中 , 28% 都 是 非 句 法 短 语
–
沿 目 标 语 言 句 法 树 向 上 找 一 个 可 以 覆 盖 该 短 语
并 满 足 对 齐 约 束 的 结 点
• 问 题 : 可 能 需 要 引 入 很 大 范 围 的 上 下 文
–
为 非 句 法 短 语 构 造 新 的 规 则 :
Compatible Rules 兼 容 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
194

构 造 兼 容 规 则 (1)
*NPB*_NN
DT
JJ
the
mutual
这
相 互
•
构 造 一 条 规 则 :
–
根 结 点 是 一 个 “ 伪 ” 非 终 结 符 结 点
–
覆 盖 若 干 棵 目 标 语 言 句 法 子 树 及 其 对 应 的 源 语 言 词 串
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
195

构 造 兼 容 规 则 (2)
NPB
*NPB*_NN
NN
•
构 造 另 一 条 对 应 的 规 则 : 描 述 该 “ 伪 ” 结 点 如 何
与 周 围 的 “ 真 ” 句 法 结 点 组 合 成 “ 真 ” 句 法 树 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
196

构 造 兼 容 规 则 (3)
•
兼 容 规 则 的 引 入 , 以 比 较 小 的 代 价 实 现 了
与 短 语 模 型 的 兼 容 性 , 提 高 了 系 统 的 性 能
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
197

模 型 特 征
•
Galley (1)
–
EM-trained root-normalized SBTM
•
Marcu (11)
–
p_root(r) root normalized conditional probability of all rules
–
p_cfg(r) CFG-like probability of non-lexicalized rules
–
is_lexicalized(r) indicator 0/1
–
is_composed(r) indicator 0/1
–
is_lowcount(r) indicator count < 3 ? 1 : 0
–
lex_pef(r) direct phrase-based conditional probability
–
lex_pfe(r) inverse phrase-based conditional probability
–
m1(r) IBM model 1 probability
–
m1inv(r) IBM model 1 inverse probability
–
lm(e) language model
–
wp(e) word penalty
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
198

训 练
•
规 则 抽 取
–
Input: word-aligned, target side parsed bilingual
corpus
–
Output: rules
•
概 率 估 计
–
How to estimate the probability distribution of
rules?
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
199

Galley 的 规 则 抽 取 方 法
•
首 先 计 算 边 沿 结 点 集 合
•
自 顶 向 下 , 以 每 一 个 边 沿 结 点 为 根 结 点 :
–
抽 取 最 小 规 则 , 得 到 最 小 推 导
或 者 :
–
对 于 该 结 点 覆 盖 的 未 对 齐 源 语 言 结 点 , 考 虑 其
不 同 的 附 着 方 式 , 抽 取 所 有 组 合 规 则 , 得 到 推
导 森 林
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
200

将 树 到 串 对 齐 表 示 为 图
•
为 了 对 规 则 抽 取 的 过 程 进 行 形 式 化 描 述 ,
我 们 将 ( 树 , 串 , 对 齐 ) 三 元 组 表 示 为 一
个 有 向 图 ( 边 都 是 向 下 的 ), 其 中 并 不 对
树 中 的 边 和 表 示 对 齐 关 系 的 边 加 以 区 别 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
201

Some Notions
•
The span of a node n is defined by the indices of the fi
rst and last word in the source string that are reachable
from n
•
The complement span of a node n is the union of the
spans of all nodes n’ in G that are neither descendants
nor ancestors of n
•
Nodes of G whose spans and complement spans are n
on-overlapping form the frontier set F∈G
•
A frontier graph fragment is a graph fragment that ro
ot and all sinks are in the frontier set
•
A minimal frontier graph fragment is the one that is
a subgraph of every other frontier graph fragment wit
h the same root.
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
202

一 些 概 念 定 义
•
一 个 结 点 n 的 区 间 (span) 是 该 结 点 所 对 应 的 第 一 个 和 最 后 一 个
源 语 言 单 词 所 指 定 的 范 围 。
•
一 个 结 点 n 的 补 区 间 (complement span) 是 图 G 中 所 有 既 非 n
的 子 孙 结 点 也 非 n 的 祖 先 结 点 的 那 些 结 点 n’ 的 区 间 (span) 所 构
成 的 并 集
•
图 G 的 边 沿 集 合 (frontier set) 是 由 图 G 中 那 些 其 区 间 与 补 区 间
不 重 叠 的 结 点 所 构 成 的 集 合 F ( F⊆G )
•
图 G 的 一 个 边 沿 图 片 段 (frontier graph fragment) 是 图 G 的 一 个
片 段 , 其 根 结 点 及 其 Sink 结 点 都 位 于 图 G 的 边 沿 集 合 中
•
图 G 的 一 个 最 小 边 沿 图 片 段 (minimal frontier graph fragment)
是 图 G 的 一 个 边 沿 图 片 段 , 而 且 它 是 所 有 其 他 具 有 相 同 根 结 点
的 边 沿 图 片 段 的 子 图
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
203

An Example
灰 色 结 点 构 成 边 沿 集 合
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
204

抽 取 规 则 算 法
•
Step 1: 计 算 图 的 边 沿 集 合
•
Step 2: 对 边 沿 集 合 中 的 每 个 结 点 , 计 算 以
其 为 根 结 点 的 最 小 边 沿 图 片 段
•
Step3: 从 该 最 小 边 沿 图 片 段 中 导 出 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
205

抽 取 规 则 1
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
206

抽 取 规 则 2
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
207

抽 取 规 则 3
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
208

抽 取 规 则 4
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
209

抽 取 规 则 5
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
210

抽 取 规 则 6
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
211

抽 取 规 则 7
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
212

抽 取 规 则 8
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
213

抽 取 规 则 9
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
214

抽 取 规 则 10
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
215

抽 取 规 则 11
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
216

抽 取 规 则 12
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
217

唯 一 最 小 推 导
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
218

未 对 齐 词 导 致 的 问 题
•
真 实 双 语 语 料 库 中 , 源
语 言 和 目 标 语 言 中 都 有
一 些 未 对 齐 的 词 , 这 些
词 会 导 致 以 下 问 题 :
–
未 对 齐 的 目 标 语 言 词 使 得
其 祖 先 结 点 区 间 无 法 确 定
–
未 对 齐 的 源 语 言 词 会 导 致
抽 取 的 规 则 数 量 组 合 爆 炸
n7
n5 n6
n1 n2 n3 n4
w1 w2 w3 w4
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
219

未 对 齐 词 的 处 理 办 法
•
单 边 附 着
–
将 未 对 齐 单 词 附 着 到 覆 盖 它 的 区 间 最 小 的 结 点
•
多 边 附 着
–
不 做 任 何 将 未 对 齐 词 “ 正 确 ” 附 着 的 先 验 性 假
设 , 而 是 返 回 所 有 与 图 G 相 容 的 推 导
–
利 用 语 料 库 的 统 计 信 息 来 优 先 选 取 与 整 个 语 料
库 一 致 性 最 好 的 未 对 齐 附 着 方 式
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
220

源 语 言 未 对 齐 词 的 多 边 附 着
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
221

推 导 森 林
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
222

新 的 规 则 抽 取 算 法
•
与 老 算 法 类 似 , 新 算 法 也 是 自 顶 向 下 遍 历 图 G,
区 别 在 于 , 对 于 每 个 结 点 n∈F 执 行 以 下 操 作 :
搜 索 所 有 以 n 为 根 结 点 的 子 树 , 找 到 对 源 语 言 未 对 齐
单 词 进 行 附 着 的 方 式 , 并 构 造 使 用 这 些 附 着 方 式 的 图 G
的 有 效 推 导
•
比 较
老 算 法
新 算 法
规 则 最 小 最 小 、 组 合
附 着 方 式 单 边 多 边
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
223

Marcu 的 规 则 抽 取 算 法
•
对 于 每 一 个 源 语 言 短 语 :
–
首 先 抽 取 覆 盖 该 短 语 的 最 小 规 则 ;
–
从 最 小 规 则 的 根 结 点 , 往 上 找 到 第 一 个 带 有 多
子 节 点 的 父 节 点 , 从 该 父 结 点 开 始 抽 取 一 个 包
含 该 短 语 的 组 合 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
224

Marcu 的 规 则 抽 取 算 法
最 小 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
225

Marcu 的 规 则 抽 取 算 法
组 合 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
226

Marcu 的 规 则 抽 取 算 法
最 小 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
227

Marcu 的 规 则 抽 取 算 法
组 合 规 则
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
228

估 计 规 则 概 率
按 规 则 左 部 完 整 树 进 行 归 一 化 :
按 规 则 左 部 根 结 点 进 行 归 一 化 :
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
229

Example
假 设 左 部 的 对 齐 出 现 了 99 次 , 右 边 的 对 齐 仅 出 现 了 1 次
按 树 归 一 化 :
p1 = 99/100 = 0.99
p2 = 1/100 = 0.01
p3 = 99/99 = 1.0
p4 = 99/99 = 1.0
preferred by Liu
按 根 结 点 归 一 化 :
p1 = 99/199 = 0.4975
p2 = 1/199 = 0.0050
p3 = 99/199 = 0.4976
p4 = 99/99 = 1.0
preferred by Galley
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
230

EM 训 练 算 法
可 以 采 用 EM 算 法 来 训 练 上 述 模 型 , 各 规 则 的 初 始
概 率 设 置 为 均 匀 分 布 :
• 计 算 所 有 推 导 θ i
的 概 率 , 为 推 导 过 程 所 采 用 的 所
有 规 则 概 率 的 乘 积 ;
• 对 同 一 个 句 子 的 所 有 推 导 θ i
的 概 率 进 行 归 一 化 ,
使 其 概 率 之 和 为 1 ;
• 对 于 每 一 条 规 则 , 对 齐 出 现 在 的 所 有 推 导 θ i
求
和 , 作 为 该 规 则 的 新 的 概 率 p i
• 对 p i
进 行 归 一 化
重 复 上 述 步 骤 , 语 料 库 的 似 然 率 将 逐 步 提 高 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
231

高 效 的 EM 训 练 算 法
•
由 于 不 可 能 对 大 量 的 推 导 进 行 穷 举 , 上 述
算 法 实 际 上 是 不 可 行 的 。
•
Graehl and Knight (2004) 提 出 了 一 种 高 效 的
训 练 算 法 :
–
对 于 每 个 训 练 实 例 构 造 一 个 推 导 森 林 ;
–
在 该 推 导 森 林 上 运 行 EM 算 法 , 其 复 杂 度 是 森
林 规 模 的 多 项 式 函 数 ;
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
232

解 码
•
采 用 自 底 向 上 的 CKY 形 式 的 算 法 , 在 源 语
言 句 子 的 基 础 上 , 构 造 目 标 语 言 的 短 语 结
构 句 法 树
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
233

Example
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
234

Example
NNS
gunmen
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
235

Example
NP
DT
The
NNS
gunmen
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
236

Example
NP
DT
The
NNS
gunmen
by
IN
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
237

Example
NP
DT
NNS
IN
NN
The
gunmen
by
police
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
238

Example
NP
NP
DT
NNS
IN
DT
NN
the
gunmen
by
the
police
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
239

Example
NP
NP
DT
NNS
IN
DT
NN
VBN
the
gunmen
by
the
police
killed
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
240

Example
NP
NP
DT
NNS
IN
DT
NN
VBN
.
the
gunmen
by
the
police
killed
.
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
241

Example
PP
NP
NP
DT
NNS
IN
DT
NN
VBN
.
the
gunmen
by
the
police
killed
.
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
242

Example
VP-C
PP
NP
NP
DT
NNS
VBN
IN
DT
NN
.
the
gunmen
killed
by
the
police
.
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
243

Example
VP
VP-C
PP
NP
NP
DT
NNS
VBD
VBN
IN
DT
NN
.
the
gunmen
were
killed
by
the
police
.
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
244

Example
S
VP
VP-C
PP
NP
NP
DT
NNS
VBD
VBN
IN
DT
NN
.
the
gunmen
were
killed
by
the
police
.
枪 手 被 警 方 击 毙 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
245

规 则 的 二 叉 化 ( Binarization )
•
现 有 规 则 不 是 二 叉 的 : 规 则 右 部 可 以 有 多
个 结 点 ;
•
多 叉 的 规 则 导 致 解 码 器 编 程 比 较 复 杂 ;
•
解 决 办 法 : 对 规 则 进 行 二 叉 化 。 通 过 增 加
非 终 结 符 将 所 有 规 则 变 成 二 叉 的 规 则 。
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
246

规 则 的 二 叉 化 ( Binarization )
•
不 是 所 有 规 则 都 可 以 二 叉 化
•
有 多 大 比 例 的 规 则 可 以 二 叉 化 ?
–
根 据 张 浩 的 论 文 , 在 一 个 汉 英 双 语 语 料 库 中 提
取 的 50,879,242 条 规 则 中 , 99.7% 的 规 则 是 可
以 二 叉 化 的 , 而 且 剩 下 的 0.3% 的 规 则 , 根 据 人
类 专 家 的 判 断 , 绝 大 部 分 都 是 对 齐 错 误 导 致 的
•
规 则 二 叉 化 有 什 么 作 用 ?
–
对 翻 译 质 量 没 有 损 失
–
简 化 解 码 器 的 编 程 复 杂 度
–
允 许 更 有 效 的 剪 枝
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
247

线 性 的 二 叉 化 算 法
•
一 条 规 则 通 常 有 很 多 种 二 叉 化 的 方 法
•
张 浩 、 黄 亮 等 人 提 出 了 一 种 有 效 的 二 叉 化
算 法
–
一 种 移 进 - 规 约 算 法
–
只 需 扫 描 一 遍 , 在 线 性 时 间 内 找 到 一 种 规 则 二
叉 化 等 价 形 式
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
248

Galley 的 实 验 : 不 同 规 则 集
Cm : 只 抽 取 最 小 规 则
C3 : 抽 取 最 小 规 则 和 组 合 规 则 , 规 则 最 多 包 含 三 个 内 部 结 点
C4 : 抽 取 最 小 规 则 和 组 合 规 则 , 规 则 最 多 包 含 四 个 内 部 结 点
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
249

Galley 所 采 用 的 特 征
•
实 验 系 统 的 解 码 器 搜 索 过 程 中 仅 采 用 了 一
个 经 过 EM 训 练 的 、 Root 归 一 化 的 基 于 句
法 的 翻 译 模 型 ( SBTM ) 特 征 , 甚 至 没 有
采 用 语 言 模 型
•
Och 的 基 于 对 齐 模 板 的 系 统 AlTemp 作 为 对
比 系 统 , 该 系 统 采 用 了 两 个 基 于 短 语 ( PB
TM ) 的 翻 译 模 型 特 征 和 12 个 其 他 特 征
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
250

Marcu 的 实 验 : SPMT Models
•
SPMT Model 1 最 小 规 则
•
SPMT Model 1 Composed 组 合 规 则
•
SPMT Model 2 最 小 规 则 + 兼 容 规 则
•
SPMT Model 2 Composed 组 合 规 则 + 兼 容 规 则
抽 取 的 时 候 , 限 制 源 语 言 端 短 语 的 长 度 不 超 过 四 个 词
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
251

组 合 多 个 SPMT 模 型 的 输 出 结 果
●
●
●
每 一 个 SPMT 模 型 对 于 开 发 集 中 的 所 有 句 子 都 生
成 一 个 nbest 列 表 , 并 给 出 每 一 个 候 选 译 文 的 所 有
特 征 值
将 同 一 个 句 子 的 所 有 候 选 译 文 合 并 , 根 据 其 特 征
值 重 新 进 行 最 小 错 误 率 训 练 , 得 到 一 组 新 的 特 征
参 数
用 这 组 特 征 参 数 , 对 于 测 试 集 上 生 成 的 nbest 输 出
进 行 重 新 评 分 ( rerank )
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
252

Marcu 采 用 的 特 征
• proot(r i
) : 对 root 归 一 化 的 概 率
• pcfg(r i
) : 类 cfg 概 率
• is_lexicalized(r i
) : 是 否 词 汇 化 规 则
• is_composed(r i
) : 是 否 组 合 规 则
• is_lowcount(r i
) : 是 否 出 现 三 次 以 下
• lex_pef(r i
) : 短 语 翻 译 概 率
• lex_pfe(r i
) : 反 向 短 语 翻 译 概 率
• m1(r i
) : IBM model 1
• m1inv(r i
) : 反 向 IBM Model 1
•
lm(e) : 语 言 模 型
•
wp(e) : 单 词 数 惩 罚
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
253

实 验 结 果 : Galley Vs. Och
Och 的 对 齐 模 板 模 型
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
254

实 验 结 果 : Marcu Vs. Och
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
255

实 验 结 果 : Marcu Vs. Och
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
256

Analysis
•
Galley
–
Good results with very poor feature functions
–
Very promising
–
It’s reasonable to find that C4 > C3 > Cm due to their difference
in expressive power
•
Marcu
–
Outperform Och’s !
–
The results are really confusing. I suppose that:
• m2c > m2 > m1c > m1
–
Marcu suspect the decoder still makes many search errors
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
257

内 容 提 要
•
概 述
•
同 步 语 法 概 念
•
反 向 转 录 语 法 和 括 号 转 录 语 法
•
基 于 最 大 熵 括 号 转 录 语 法 的 翻 译 模 型
•
同 步 上 下 文 无 关 语 法 和 同 步 树 替 换 语 法
•
层 次 短 语 模 型
•
树 到 串 翻 译 模 型
•
串 到 树 翻 译 模 型
•
总 结
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
258

总 结
•
同 步 语 法
•
形 式 化 基 于 句 法 的 翻 译 模 型
–
最 大 熵 括 号 转 录 语 法 模 型
–
层 次 化 短 语 模 型
•
语 言 学 基 于 句 法 的 翻 译 模 型
–
树 到 串 对 齐 模 板 模 型
–
ISI 的 串 到 树 模 型
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
259

Views on
String-to-Tree Vs. Tree-to-String
•
Galley
–
The target language (i.e. English) has syntactic resources (parsers and
treebanks) that are considerably more available than for the source language
–
There is less benefit in modeling the syntax of the source language, since the
input sentence is fixed during decoding and is generally already grammatical
•
Liu
–
Source analysis may be important
–
Ill-formed source trees make the Tree-to-String decoder difficult to seek the
“true” translation. We can never expect good syntactically-motivated reordering
under ill-formed source tree structures. In contrast, the input of String-to-Tree
decoding is source string. The decoder may build a reasonable target tree with the
help of language model even though the rules are learned from ill-formed target
trees in training data.
–
Tree-to-String decoding is useful for translating resource-rich languages (e.g.
English) into resource-poor languages (e.g. Inuktitut)
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
260

ISI Vs. ICT
ISI
ICT
model string-to-tree tree-to-string
phrasal compatibility full partial
features 11 7
extraction algorithm top-down bottom-up
unaligned words attachment multiple single
decoding algorithm bottom-up CKY bottom-up beam search
rule binarization yes no
nbest derivation generation yes no
nbest list generation yes no
treat BPs as special rules no yes
improve fluency using BPs no yes
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
261

Comparison
Chiang Galley Marcu Liu
model formal syntax string-to-tree string-to-tree tree-to-string
tree
annotations
syntacticallymotivated
phrasal
compatibility
enable
discontinuous
source
phrases
feature
functions
single-level multi-level multi-level multi-level
no yes yes yes
yes no yes no
yes yes no yes
8 1 11 7
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
262

讨 论
机 器 翻 译 原 理 与 方 法 (05) 基 于 句 法 的 机 器 翻 译 方 法
263