Twitter によるテレビ番組重要シーン検出及びラベル付与手法 Detection ...

2. 関 連 研 究これまでに, 映 像 の 内 容 理 解 やハイライト 抽 出 の 研究 は 盛 んに 行 われている.A Hanjalic の 研 究 [2]では,スポーツビデオのハイライト 抽 出 が 行 われている.この 手 法 では, 画 像 の 特 徴 抽 出 を 行 う 必 要 があるため,計 算 負 荷 が 高 く, 処 理 時 間 が 長 いという 課 題 がある.宮 内 らの 研 究 [4]では, 計 算 負 荷 を 削 減 するため,テキスト・ 音 声 ・ 画 像 情 報 を 計 算 負 荷 の 少 ないストリームから 順 に 処 理 することによるハイライト 検 出 法 とショットインデクシング 法 を 提 案 している. 上 記 のような 映像 解 析 によるハイライト 検 出 は,スポーツ 番 組 のある特 定 のジャンルに 特 化 した 特 徴 を 利 用 するため, 適 用可 能 な 番 組 が 限 られるという 課 題 がある.一 方 、 最 近 では,Twitter とテレビ 放 送 を 連 動 させた研 究 が 盛 んに 行 われている.David A.Shamma らの 研 究[1]が 代 表 的 である.この 研 究 では,テレビ 放 送 された大 統 領 選 のディベートを,Twitter の 投 稿 数 を 利 用 して番 組 を 話 題 単 位 に 分 割 する 手 法 を 提 案 している.3. 提 案 手 法本 稿 では, 放 送 中 のテレビ 番 組 に 対 する Tweet を 収集 , 解 析 することで,テレビ 番 組 における 重 要 シーンを 検 出 し,そのシーンの 内 容 を 表 すラベルを 付 与 する手 法 を 提 案 する.本 稿 における 重 要 シーンとは,テレビ 番 組 視 聴 者 が注 目 したシーン,つまり, 周 辺 シーンよりツイート 投稿 数 が 突 出 して 多 いシーンと 定 義 する.これにより,視 聴 者 視 点 での 見 どころシーンを 検 出 することが 可 能となる.重 要 シーン 検 出 では, 対 象 とするテレビ 番 組 のキーワードを 含 む Tweet を 収 集 し, 一 定 時 間 毎 におけるTweet 数 の 時 系 列 変 化 を 調 べることで,テレビ 番 組 の重 要 シーンを 検 出 する.ラベル 付 与 では,まず、 検 出した 重 要 シーンの Tweet におけるキーワードから 人 物を 抽 出 することで 主 要 人 物 を 推 定 する.さらに, 主 要人 物 名 を 含 む Tweet において, 主 要 人 物 と 多 く 共 起 する 語 を 取 り 出 すことでイベント 内 容 を 推 定 する.Twitter は,ユーザがその 時 に 感 じたリアルなつぶやきを 投 稿 するため,テレビ 番 組 中 の 出 来 事 と Tweet 投稿 がほぼ 同 時 刻 になることが 多 い.つまり, 放 送 中 のテレビ 番 組 の 内 容 を 解 析 するために Twitter は 有 用 な情 報 と 考 えられる.たとえば, 番 組 の 中 で 印 象 的 なイベントが 発 生 した 場 合 , 多 くのユーザが Tweet を 行 うと 推 測 される. 投 稿 件 数 の 変 動 を 調 べることで 重 要 シーンが 検 出 できると 考 えられる.さらに, 投 稿 されたTweet から 重 要 なキーワードを 抽 出 することで, 番 組内 容 が 推 測 できると 考 えられる. この 手 法 は, 特 徴 抽出 が 困 難 な 画 像 処 理 [2]を 必 要 としないため,[2]などのTweet 数200180160140120100806040200-10Tweet 数μ+σ盛 り 上 がり 点0102030405060708090100110120130140150160170180190200210220230240250260270時 間図 1.ニュートン 法 と 平 滑 化 による Tweet 盛 り 上 がり 検 出従 来 手 法 と 比 べて 効 率 的 に 重 要 シーンが 検 出 できるという 利 点 がある. 以 下 に 重 要 シーン 検 出 及 びラベル 付与 手 順 の 詳 細 を 示 す.3.1. 重 要 シーン 検 出重 要 シーン 検 出 では, 対 象 番 組 の 放 送 中 に 投 稿 された Tweet を 収 集 し, 一 定 時 間 単 位 の Tweet 数 をカウントする.Tweet 数 が 急 増 した 時 間 帯 を 重 要 シーンとして 検 出 する.Tweet の 収 集 には, 対 象 となるテレビ 番 組 のキーワードを 利 用 する. 番 組 で 利 用 されるハッシュタグをキーワードとして 用 いることで, 同 一 番 組 に 関 するTweet を 効 率 的 に 収 集 できる.重 要 シーンの 検 出 は, 先 行 技 術 である[1]を 利 用 することで,Tweet の 盛 り 上 がりを 検 出 する. 具 体 的 には,一 定 時 間 ごとに 投 稿 された Tweet 数 をカウントし,Tweet が 急 増 している 時 間 帯 をピーク 点 として 検 出 する.ピーク 点 検 出 にはニュートン 法 [3]を 用 い, 極 大 値のみを 利 用 し,Tweet が 急 増 しているシーンを 検 出 する.さらに,ピーク 検 出 されたシーンの 中 でもより 重要 なシーンを 抽 出 するため, 前 後 の 数 区 間 における 平均 Tweet 数 μと 標 準 偏 差 σを 求 める.μ+σ 値 以 上 のTweet 数 をもつピーク 点 を 重 要 シーンとして 検 出 する.図 1 に Tweet の 盛 り 上 がり 検 出 の 一 例 を 示 す. 折 れ線 は Tweet 数 , 破 線 はμ+σを 表 している. 破 線 より 上に 存 在 するピーク 点 (▲で 示 されている)が, 検 出 された 重 要 シーンに 対 応 する.3.2. ラベル 付 与次 に,3.1 節 で 検 出 した 重 要 シーンにおける 主 要 人物 とイベント 内 容 の 2 つのラベルを 付 与 する. 提 案 方式 では、まず, 重 要 シーンで 発 生 した Tweet の 中 での出 現 頻 度 が 高 い 人 名 を 取 り 出 すことで, 主 要 人 物 を 推定 する. 次 に, 推 定 した 主 要 人 物 と 同 一 Tweet 内 で 共起 する 語 の 出 現 回 数 が 多 い 語 を 抽 出 し,イベント 内 容とする.