ラベルに基づく文書クラスタリング手法の提案と評価 Evaluation of ...

4. 実 験
4.1. 実 験 の 概 要
本曓 稿 では 約 33 万 件 の 論 文 抄 録 である NTCIR1 に 対 し
て 単 連 結 法沵 と 提 案 手 法沵 によるクラスタシリンルエを 行 い,
両 手 法沵 において 作 成 されたクラスタシに 対 して, 同 じク
ラスタシ 内 の 2 つの 文 書暯 間 の 類 似 度 の 重 み 付 き 期曋 待 値 と
いう 評 価 尺 度 の 下 で 比 較 ・ 評 価 を 行 った.
単 連 結 法沵 は, 与 えられた N 件 の 文 書暯 に 対 して 全 ての
文 書暯 間 の 類 似 度 を 計 算 するため, 計 算 量 は O (N 2 )に 比
例 する.そのため, 実 際 には 単 連 結 法沵 の 手 順 通 りに 全
ての 文 書暯 間 の 類 似 度 は 計 算 せず, 山 本曓 らの DP ブッセチス
ンルエによる 類 似 度 算 出 プハロエラム[2]を 使 用 し, 各 文 書暯
に 対 する 類 似 文 書暯 上 位 30 件 とその 類 似 度 のリスダを
用 意 した.そして 文 書暯 1と 文 書暯 2, 文 書暯 2 と 文 書暯 3 の
類 似 度 がある 一 定 の 値 よりも 高 ければ, 文 書暯 1 と 文 書暯
3 が 類 似 している 可 能 性 が 高 いという 仮 定 の 下 ,リス
ダ 1 に 示 す 手 順 によりクラスタシリンルエを 行 った.
ラベルに 基 づくクラスタシリンルエでは,ラベルの 数 =
クラスタシの 数 となることに 加 え,ラベルとして 採 用 す
るキゥーワョーチがクラスタシリンルエの 結 果 を 大 きく 左 右 す
る. 実 験 では, 小 規 模 なクラスタシができることを 期曋 待
して, 抽 出 されたキゥーワョーチ 群 の 中 から NTCIR1 にお
ける 出 現 回 数 が 10~20 回 のキゥーワョーチをラベルの 候
補 とし,また 大 規 模 なクラスタシができることを 期曋 待 し
て 出 現 回 数 が 100 から 500 回 のキゥーワョーチもラベルの
候 補 として, 出 現 回 数 が 10~20 回 のキゥーワョーチと
100~500 回 のキゥーワョーチを 組 合 せてラベルを 構 成 し,
リスダ 2 に 示 す 手 順 によりクラスタシリンルエを 行 った.
リスダ 1 実 験 での 単 連 結 法沵 の 手 順
1. 山 本曓 らの DP ブッセチスンルエプハロエラムを 用 いて,
NTCIR1 の 各 文 書暯 d i に 対 する 類 似 文 書暯 上 位 30 件 と
その 類 似 度 のリスダを 作 成 し,この 30 件 を 文 書暯
d i に 対 するクラスタシ C i とする
2. クラスタシ 数 が NTCIR1 の 文 書暯 数 の 1/10 程 度 にな
るように 類 似 度 の 閾 値 を 63 に 設 定
3. 手 順 1 で 作 成 した 各 クラスタシ C i から, 設 定 した 閾
値 以 下 の 類 似 度 の 文 書暯 を 除 外 する
4. もし, 文 書暯 d 1 に 対 するクラスタシ C 1 に 文 書暯 d 2 が 含
まれていれば, 文 書暯 d 2 に 対 するクラスタシ C 2 と C 1
を 併 合 して 新 たに C 1 とする
5. 手 順 4 を 全 てのクラスタシに 対 して 行 う
リスダ 2 実 験 での 提 案 手 法沵 の 手 順
1. 武 田 らのキゥーワョーチ 抽 出 プハロエラムを 使 用 して
NTCIR1 からキゥーワョーチ 群 を 抽 出
2. NTCIR1 における 出 現 回 数 が 10~20 回 のキゥーワョー
チ 191 個 と 出 現 回 数 が 100~500 回 のキゥーワョーチ
71 個 をラベルに 使 用 するキゥーワョーチの 候 補 とす
る
3. 出 現 回 数 が 10~20 回 のキゥーワョーチ 191 個 と, 出
現 回 数 が 100~500 個 のキゥーワョーチ 71 個 を 組 み 合
わわせて 191×71=13,561 個 のラベルを 用 意
4. 手 順 3 で 用 意 した 全 てのラベルに 対 して,ラベル
のキゥーワョーチを 共 に 含 む 文 書暯 をまとめてクラスタシ
を 作 成
4.2. 実 験 結 果
10 5
10 4
31608
12737
単 連 結 法沵
提 案 手 法沵
両 手 法沵 により 作 成 されたクラスタシの 数 を 規 模 別 に 示
したエラフネを 図 1 に 示 す. 単 連 結 法沵 では,クラスタシの
数 が NTCIR1 の 文 書暯 数 の 1/10 程 度 になるように 類 似
度 の 閾 値 63 におけるクラスタシを 取 得 した. 両 手 法沵 に
おいて 規 模 が 0~10 のクラスタシが 非 常 に 多 くなった.
提 案 手 法沵 では 規 模 が 0~10 のクラスタシが 12,737 個 得 ら
れたが,そのうち 10,115 個 が 規 模 0 のクラスタシであ
り,ほとんどのラベルでクラスタシが 作 成 されない 結 果
となった.しかし, 規 模 が 20~40 のクラスタシに 関 して
は 両 手 法沵 においてほぼ 同 じ 数 のクラスタシを 得 ることが
できた.そのため, 評 価 対 象 は 規 模 が 20~40 のクラス
タシに 限 定 し,それ 以 外 の 規 模 のクラスタシは 両 手 法沵 でク
ラスタシ 数 に 大 きな 差 があるため 比 較 には 不 適 切 である
と 考 え 評 価 の 対 象 外 とした.
クラスタシ 数
E =
10 3
872
316
144
136
66
80
10 2
10 1
10 0
0~10 10~20 20~30 30~40 40~
クラスタシの 規 模
L
∑
k=
1
図 1 作 成 されたクラスタシ
285
31
⎛
⎞
⎜
L
n ⎜
1 ∑ ( ) ∑
⎜ ∈ ∈
⎟ ⎟⎟ k
similarity di,
d
j
n
(2)
2 k
nk
di Ck
, d j Ck
k=
1
⎝
rank ( di
, d j ) ≤ 30
⎠