電子情報通信学会ワードテンプレート (タイトル) - 情報処理学会 ...

図 9 と 図 10 に 各 step の 説 明 を 示 す . な お , 文 字
列 S が 文 字 列 Z の 部 分 文 字 列 であるということは,S
が Z に 含 まれ る 文 字 列 で あ る こ と を 意 味 す る .
step1. フ ァ イ ル 名 の 中 に は , 制 御 文 字 (ASCII コードで 1~
31)や 特 殊 文 字 な ど 無 効 な 文 字 を 含 む も の が 僅 か な が ら 存
在 す る .そ れ ら 無 効 な 文 字 が 存 在 し た 場 合 , 空 白 文 字 へ 変
更 す る .
step2. 大 文 字 小 文 字 や 全 角 半 角 の 異 な る 単 語 同 士 は 通 常 同
じ 意 味 を 表 す .そ の た め , 英 字 や 記 号 の 大 文 字 小 文 字 ,カ
ナ 文 字 や 空 白 文 字 の 全 角 半 角 の 形 式 を 統 一 す る .
step3. 重 複 フ ァ イ ル 名 を カ ウ ン ト し て お く . 同 じ フ ァ イ ル
名 を 繰 り 返 し 読 み 込 ま な く て も よ く な り , 後 の 処 理 を 大 幅
に 高 速 化 で き る .
step4. 実 際 に 単 語 の 抽 出 を 行 う プ ロ セ ス へ と 移 行 す る . 図
10 に 記 す stepA~ stepE を 行 う こ と で , 単 語 を 機 械 的 に 抽
出 す る こ と が で き る .
図 9 前 処 理 ス テ ッ プ
stepA. 収 集 し た フ ァ イ ル 名 の 文 字 列 か ら 形 成 さ れ る 部 分 文
字 列 の 全 て の パ タ ー ン を 作 成 す る . 作 成 さ れ た 部 分 文 字 列
群 が そ れ ぞ れ 単 語 候 補 と な る .
stepB. 作 成 さ れ た 部 分 文 字 列 全 て に 対 し て , 全 て の フ ァ イ
ル 名 か ら 出 現 回 数 を カ ウ ン ト し , 全 て の 部 分 文 字 列 か ら 構
成 さ れ る prefix-tree を 作 成 す る . 次 に 作 成 さ れ た 部 分 文 字
列 全 て に 対 し て stepC 以 降 を 行 う . こ の 際 に 単 語 候 補 と
stepC.
な っ て い る 部 分 文 字 列 を S と す る .
S が 単 語 の 候 補 と な り 得 る か ど う か を , S の 出 現 回
数 t に 応 じ て α を 閾 値 と し て 判 断 す る .
stepD. prefix-tree の 中 か ら ,S に 任 意 の 1 文 字 を 足 し た 場 合
存 在 す る リ ー フ が あ る か ど う か を 探 す . 存 在 し な け れ ば
S を 単 語 で あ る と 判 断 し , 存 在 す る な ら ば stepE へ 進 む
stepE. prefix-tree から S に 任 意 の 1 文 字 を 足 し た も の の う
ち , 出 現 回 数 が 最 大 も の を 探 し そ の 出 現 回 数 を u と す る .
次 に t に 対 す る u の 割 合 を 計 算 し ,そ の 割 合 が 閾 値 β 以 下
な ら ば S を 単 語 と 判 断 し , β 以 上 な ら ば 単 語 で な い と 判
断 す る .
図 10 単 語 抽 出 ス テ ッ プ
な お , 本 実 験 で は 4000 万 の フ ァ イル 名 を 対 象 に 実
験 を 行 った. フ ァ イ ル 名 の 重 複 を 取 り 除 い た 結 果 ユ
ニークなファイル 名 は 300 万 程 で あり , 最 も 多 いもの
では 1 つの フ ァ イ ル 名 で 10 万 もの 重 複 が 見 ら れた .
実 際 の 実 験 で は α =10000,β =0.3 に 設 定 す る こ と に
より,5164 個 の 単 語 と 見 な さ れ る 語 を 抽 出 し た .
4.2.4. 関 連 する 単 語 のグループ 化
4.2.3 ま で のプ ロ セ ス により,Winny 上 での 単 語 を 抽
出 す る こ と が できた. 単 語 を 定 義 す る こ と に よ り ,
Winny のファイル 名 から 単 語 同 士 の 共 起 率 を 求 めるこ
と が で きる . 図 11 で ク ラ ス タ リ ング の 結 果 を 得 ら れ
る ま で のス テップを 説 明 する.
step1. 4.2.3 で 抽 出 し た 任 意 の 2 単 語 が , 収 集 さ れ た フ ァ イ
ル 名 上 で 共 起 す る 回 数 を カ ウ ン ト す る .こ れ を 全 て の 単 語
の 組 み 合 わ せ に 対 し て 行 う .
step2. 単 語 の 共 起 回 数 で は , 単 語 自 体 の 出 現 頻 度 が 大 き く
異 な る 単 語 同 士 で は , 同 様 の 使 わ れ 方 を し て い て も , 距 離
の 差 が 開 い て し ま う .そ こ で , 共 起 回 数 ベ ク ト ル を 正 規 化
す る こ と で ,マ イ ナ ー な 言 い 回 し の 単 語 で も 同 様 な 使 わ れ
方 を し て い る 他 の 単 語 と 距 離 を 近 く す る こ と が で き る .
step3. step2 で 正 規 化 さ れ た 共 起 率 ベ ク ト ル を 用 い て 階 層 型
ク ラ ス タ リ ン グ を 実 行 す る .
step4. ク ラ ス タ 間 距 離 が γ 以 内 同 士 の 類 似 度 が 高 い 単 語 同
士 を 同 一 ク ラ ス タ と し て 結 合 す る .
図 11 ク ラ ス タ リ ン グ ス テ ッ プ
な お,step3,step4 で 用 いるクラスタ 間 の 距 離 は(4.3)
式 の Ward 法 を 用 いて 計 算 している.
4.2.5. データの 視 覚 化
階 層 型 クラスタリングによって 得 られた 階 層 型 構
造 を 持 った デ ー タ を , voronoi-treemaps の 考 え 方 を
用 いて 出 力 する. 本 稿 では, 単 語 同 士 の 距 離 が 近 く
同 一 のクラスタに 属 するとみなされた 単 語 同 士 は 同
一 色 で 表 示 するように 考 案 し て い る.
あるクラスタC を 示 す 色 は C を 構 成 する 単 語
s(s ∈ C )の RGB 値 の 平 均 値 によって 定 義 される.C
を 構 成 するsの 色 は,Winny ネットワーク 上 でのsの
出 現 頻 度 αと,sを ク エ リと し て Yahoo! Japan で 検 索
したときのヒット 件 数 βの 比 率 γ(= α/β)によって 決 定
さ れ る . 本 稿 で は , γの 値 が 大 き い ,つ ま り Web 上
で の ヒ ット 件 数 βに 対 し,Winny 上 での 出 現 回 数 αの
比 率 が 大 き い 値 を よ り Winny に 特 徴 的 な 語 と し て 考
え, 赤 色 に 近 くなるようにS の 色 が 定 義 される. 逆
に γの 値 が 小 さ い ,つ ま り Web 上 で の ヒ ッ ト 件 数 βに
対 し,Winny 上 での 出 現 回 数 αの 比 率 が 小 さ い 値 を よ
り 一 般 的 に 用 いられる 語 として 青 色 に 近 くなるよう
に sの 色 が 定 義 し さ れ る . そ し て , あ ま り ど ち ら に
偏 っ て い る と も 言 え な い 単 語 は sの 色 が 緑 色 に 近 く
なるように 以 下 に 示 される 式 によってそれぞれ 定 義
される.
な お , 式 中 で 用 い ら れ る 定 数 M は 全 ての 単 語 の 平 均
出 現 回 数 で あ る .
R = min(255,128 × M × γ) (5.1)
B = min(255,128 × M × 1 γ ) (5.2)
G = min(0,128 − abs R − B ) (5.3)
mi n a, b は aと bの 2 つで 最 小 の 値 を 返 す 関 数 であり,
max a, b は aと bの 2 つ で 最 大 の 値 を 返 す 関 数 であ る .
また,abs(x)は xの 絶 対 値 を 返 す 関 数 で あ る.
4.3. 本 手 法 が 適 用 される 範 囲
本 節 で 説 明 し た 各 プ ロ セ ス を 経 る こ と に よ っ て 最
終 的 に コン テ ン ツ の 分 布 を 示 し た 平 面 図 を 得 る こ と が