December 11-16 2016 Osaka Japan

of functional words and errors of part of speech (POS) and word order which seem due to errors in preordering.
This suggests that improvement of pre-ordering might be more effective to better translation
quality than increasing parallel corpora for EJ and CJ translation, which seems compatible with a future
work derived from an analysis of crowdsourcing evaluation, which shows a poor correlation between
automatic and human evaluations in JPC-EJ, and JPO adequacy evaluation.
Error Type EJ CJ KJ
Insertion 0 0 6
Deletion 4 9 1
OOV 6 9 2
Mistranslation(content word) 44 41 30
Mistranslation(functional word) 21 51 0
Pre-ordering 33 45 0
Other 6 7 2
Total 114 162 41
Table 2: Errors of patent subtask
5.2 Error Analysis of Scientific Paper Subtask
We analysed errors of translations in EJ and CJ scientific paper subtask from a viewpoint of domain
adaptation. As described in section 3, what we used to train SMTs for this subtask are not ASPEC
corpora but our patent corpora. Therefore, some of the mistranslations must be recognized as domainspecific
errors. That is, words and expressions which appear frequently in scientific papers but seldom
in patent documents must have tendencies to be mistranslated. Similarly, what appear frequently in
patents but seldom in papers and what appear frequently in both domains but are often translated differently
might also be mistranslated. We call these types of error as “type A” and “type B” error respectively.
Table 3 shows their examples. In example 1, word “paper(academic article)” is mistranslated
as “ 紙 (physical paper),” which can be categorized as a type A error. Word “discusses” is mistranslated
as “ 開 示 されている(disclose),” which can be categorized as a type B error. Example 2 shows another
type B error, where word “ 我 们 (we)” is mistranslated as “ 本 発 明 者 ら(the inventors).”
Example 1
Source
Reference
MT
This paper discusses the mechanism of the heat return reaction.
熱 戻 り 反 応 の 機 構 を 議 論 した
この 紙 は, 熱 戻 り 反 応 の 機 構 が 開 示 されている。
Example 2
Source
Reference
MT
由 此 , 伴 随 中 国 乡 镇 向 城 市 化 发 展 而 增 加 的 环 境 负 荷 , 我 们 从 大 气 污 染 角 度
着 手 并 利 用 环 境 库 兹 涅 茨 曲 线 进 行 环 境 分 析 , 再 将 与 他 发 达 国 家 的 城 市 环
境 相 比 较 , 探 讨 了 降 低 环 境 负 荷 的 可 能 性 。
このような 状 況 から, 中 国 の 都 市 化 に 伴 う 環 境 負 荷 の 増 大 について 大 気 汚 染 に
着 目 して 環 境 クズネック 曲 線 を 用 いて 分 析 し, 先 進 諸 国 の 都 市 の 動 向 と 比 較 し
て,その 環 境 負 荷 低 減 策 の 可 能 性 について 考 察 した。
これにより, 中 国 タウン 都 市 化 発 展 に 増 加 した 環 境 負 荷 を 伴 って, 本 発 明 者 ら
は, 大 気 汚 染 の 観 点 から 着 手 し, 利 用 環 境 库 兹 涅 茨 曲 線 環 境 分 析 を 行 い,さ
らに, 彼 と 先 進 国 の 都 市 環 境 と 比 較 して, 環 境 負 荷 を 低 減 する 可 能 性 を 検 討 し
た。
136