Twitter によるテレビ番組重要シーン検出及びラベル付与手法 Detection ...

DEIM Forum 2011 F5-6Twitter によるテレビ 番 組 重 要 シーン 検 出 及 びラベル 付 与 手 法†中 澤 昌 美†帆 足 啓 一 郎†小 野 智 弘†KDDI 研 究 所 〒356-8502 埼 玉 県 ふじみ 野 市 大 原 2-1-15E-mail: †{ms-nakazawa, hoashi, ono}@kddilabs.jpあらまし 録 画 したテレビ 番 組 を 効 率 よく 楽 しむためには, 対 象 動 画 の 重 要 シーンを 検 出 し, 各 シーンの 内 容 を表 すラベルを 付 与 する 技 術 が 有 効 である. 本 研 究 では,テレビ 番 組 に 関 連 する Tweet 数 の 変 動 から 重 要 シーンを 自動 的 に 検 出 し,Tweet 内 容 から 各 シーンでの 主 要 人 物 とイベント 内 容 を 推 定 して,その 結 果 をシーンを 表 すラベルとして 付 与 する 手 法 を 提 案 する. 提 案 手 法 により, 映 像 コンテンツ 解 析 による 手 法 に 比 べ, 効 率 的 かつ 高 精 度 なラベルが 付 与 できることが 期 待 される.プロ 野 球 中 継 を 対 象 とした 実 験 の 結 果 , 試 合 の 重 要 シーンの 検 出 及 び 各 シーンの 主 要 人 物 の 推 定 がいずれも 高 精 度 で 実 現 できることが 実 証 された.キーワード Twitter,TV 番 組 ,ピーク 検 出 ,ラベル 付 けDetection and Labeling of Significant Scenes from TV programbased on Twitter AnalysisMasami NAKAZAWA † Keiichiro HOASHI † and Chihiro ONO ††KDDI R&D Laboratories Inc. 2-1-15 Ohara, Fujimino-shi, Saitama, 356-8502 JapanE-mail: †{ms-nakazawa, hoashi, ono}@kddilabs.jpAbstract The analysis of TV program content, and the extraction of important scenes/events within the program isessential to enjoy archives of recorded programs. In this research, we propose a method which can automatically detectsignificant scenes from TV programs, and estimate labels which express the content of the scene based on analysis of Twitterdata. Our proposal is expected to be superior to conventional content-based video analysis techniques, in terms of bothaccuracy and efficiency. Experimental results conducted on TV broadcast baseball programs have indicated that our proposalcan accurately detect major events in a baseball game, and also apply labels which describe the event.Keyword Twitter,TV program,Peak Detection,Scene Annotation1. はじめに現 在 ,テレビの 多 チャンネル 化 やデジタル 化 が 進 み,テレビ 番 組 が 増 加 している. 視 聴 可 能 な 番 組 は 増 えたが, 見 たい 番 組 が 数 多 くあっても,それら 全 てを 視 聴することは 困 難 である.レコーダーで 見 たい 番 組 を 録画 することも 可 能 だが, 視 聴 する 時 間 がなく, 未 視 聴番 組 が 溜 まっていく 場 合 も ある.こうした 問 題 を 解 決し, 効 率 的 にテレビ 番 組 を 楽 しむための 技 術 として,重 要 なシーンを 自 動 抽 出 し、シーン 検 索 などに 活 用 する 技 術 のニーズが 高 まっている.一 方 ,Twitter の 普 及 により,テレビ 番 組 を 視 聴 しながら Tweet するユーザが 増 加 している. 視 聴 中 の 番 組に 関 連 した Tweet を 送 信 し, 他 のユーザとその 情 報 を共 有 することにより,ネット 上 の 他 のユーザと 一 緒 にテレビ 番 組 を 視 聴 している 感 覚 になるなど,ソーシャルメディア 時 代 のテレビの 楽 しみ 方 として 注 目 されている. 特 に, 多 数 の 視 聴 者 が 投 稿 する 注 目 シーンにおいて 投 稿 されたツイートを 投 稿 ・ 閲 覧 しながらテレビを 視 聴 することは, 繋 がりを 共 感 体 験 できるソーシャルメディア 視 聴 の 醍 醐 味 の 一 つとなっている.しかし,ソーシャルメディアを 利 用 しない 視 聴 者 間 では,このような 繋 がり・ 共 有 体 験 は 浸 透 していない.そこで,ソーシャルメディア 非 利 用 者 にも, 繋 がり・ 共 感 が 体験 できる 環 境 が 望 まれている.本 研 究 では, 上 記 の 現 象 に 着 目 し,テレビ 番 組 放 送に 関 連 した Tweet を 解 析 することにより,テレビ 番 組の 重 要 シーンを 自 動 的 に 検 出 し,かつ,そのシーンの内 容 を 示 すラベルを 付 与 する 方 式 を 提 案 する.提 案 手 法 により, 重 要 シーンのみを 視 聴 することで,テレビ 番 組 視 聴 が 効 率 化 できたり, 付 与 したラベルの情 報 を 元 に 高 精 度 なシーンの 検 索 が 可 能 になったりするなど,ソーシャルメディアを 利 用 しないユーザでも,新 たなテレビ 番 組 の 楽 しみ 方 が 実 現 できる.

2. 関 連 研 究これまでに, 映 像 の 内 容 理 解 やハイライト 抽 出 の 研究 は 盛 んに 行 われている.A Hanjalic の 研 究 [2]では,スポーツビデオのハイライト 抽 出 が 行 われている.この 手 法 では, 画 像 の 特 徴 抽 出 を 行 う 必 要 があるため,計 算 負 荷 が 高 く, 処 理 時 間 が 長 いという 課 題 がある.宮 内 らの 研 究 [4]では, 計 算 負 荷 を 削 減 するため,テキスト・ 音 声 ・ 画 像 情 報 を 計 算 負 荷 の 少 ないストリームから 順 に 処 理 することによるハイライト 検 出 法 とショットインデクシング 法 を 提 案 している. 上 記 のような 映像 解 析 によるハイライト 検 出 は,スポーツ 番 組 のある特 定 のジャンルに 特 化 した 特 徴 を 利 用 するため, 適 用可 能 な 番 組 が 限 られるという 課 題 がある.一 方 、 最 近 では,Twitter とテレビ 放 送 を 連 動 させた研 究 が 盛 んに 行 われている.David A.Shamma らの 研 究[1]が 代 表 的 である.この 研 究 では,テレビ 放 送 された大 統 領 選 のディベートを,Twitter の 投 稿 数 を 利 用 して番 組 を 話 題 単 位 に 分 割 する 手 法 を 提 案 している.3. 提 案 手 法本 稿 では, 放 送 中 のテレビ 番 組 に 対 する Tweet を 収集 , 解 析 することで,テレビ 番 組 における 重 要 シーンを 検 出 し,そのシーンの 内 容 を 表 すラベルを 付 与 する手 法 を 提 案 する.本 稿 における 重 要 シーンとは,テレビ 番 組 視 聴 者 が注 目 したシーン,つまり, 周 辺 シーンよりツイート 投稿 数 が 突 出 して 多 いシーンと 定 義 する.これにより,視 聴 者 視 点 での 見 どころシーンを 検 出 することが 可 能となる.重 要 シーン 検 出 では, 対 象 とするテレビ 番 組 のキーワードを 含 む Tweet を 収 集 し, 一 定 時 間 毎 におけるTweet 数 の 時 系 列 変 化 を 調 べることで,テレビ 番 組 の重 要 シーンを 検 出 する.ラベル 付 与 では,まず、 検 出した 重 要 シーンの Tweet におけるキーワードから 人 物を 抽 出 することで 主 要 人 物 を 推 定 する.さらに, 主 要人 物 名 を 含 む Tweet において, 主 要 人 物 と 多 く 共 起 する 語 を 取 り 出 すことでイベント 内 容 を 推 定 する.Twitter は,ユーザがその 時 に 感 じたリアルなつぶやきを 投 稿 するため,テレビ 番 組 中 の 出 来 事 と Tweet 投稿 がほぼ 同 時 刻 になることが 多 い.つまり, 放 送 中 のテレビ 番 組 の 内 容 を 解 析 するために Twitter は 有 用 な情 報 と 考 えられる.たとえば, 番 組 の 中 で 印 象 的 なイベントが 発 生 した 場 合 , 多 くのユーザが Tweet を 行 うと 推 測 される. 投 稿 件 数 の 変 動 を 調 べることで 重 要 シーンが 検 出 できると 考 えられる.さらに, 投 稿 されたTweet から 重 要 なキーワードを 抽 出 することで, 番 組内 容 が 推 測 できると 考 えられる. この 手 法 は, 特 徴 抽出 が 困 難 な 画 像 処 理 [2]を 必 要 としないため,[2]などのTweet 数200180160140120100806040200-10Tweet 数μ+σ盛 り 上 がり 点0102030405060708090100110120130140150160170180190200210220230240250260270時 間図 1.ニュートン 法 と 平 滑 化 による Tweet 盛 り 上 がり 検 出従 来 手 法 と 比 べて 効 率 的 に 重 要 シーンが 検 出 できるという 利 点 がある. 以 下 に 重 要 シーン 検 出 及 びラベル 付与 手 順 の 詳 細 を 示 す.3.1. 重 要 シーン 検 出重 要 シーン 検 出 では, 対 象 番 組 の 放 送 中 に 投 稿 された Tweet を 収 集 し, 一 定 時 間 単 位 の Tweet 数 をカウントする.Tweet 数 が 急 増 した 時 間 帯 を 重 要 シーンとして 検 出 する.Tweet の 収 集 には, 対 象 となるテレビ 番 組 のキーワードを 利 用 する. 番 組 で 利 用 されるハッシュタグをキーワードとして 用 いることで, 同 一 番 組 に 関 するTweet を 効 率 的 に 収 集 できる.重 要 シーンの 検 出 は, 先 行 技 術 である[1]を 利 用 することで,Tweet の 盛 り 上 がりを 検 出 する. 具 体 的 には,一 定 時 間 ごとに 投 稿 された Tweet 数 をカウントし,Tweet が 急 増 している 時 間 帯 をピーク 点 として 検 出 する.ピーク 点 検 出 にはニュートン 法 [3]を 用 い, 極 大 値のみを 利 用 し,Tweet が 急 増 しているシーンを 検 出 する.さらに,ピーク 検 出 されたシーンの 中 でもより 重要 なシーンを 抽 出 するため, 前 後 の 数 区 間 における 平均 Tweet 数 μと 標 準 偏 差 σを 求 める.μ+σ 値 以 上 のTweet 数 をもつピーク 点 を 重 要 シーンとして 検 出 する.図 1 に Tweet の 盛 り 上 がり 検 出 の 一 例 を 示 す. 折 れ線 は Tweet 数 , 破 線 はμ+σを 表 している. 破 線 より 上に 存 在 するピーク 点 (▲で 示 されている)が, 検 出 された 重 要 シーンに 対 応 する.3.2. ラベル 付 与次 に,3.1 節 で 検 出 した 重 要 シーンにおける 主 要 人物 とイベント 内 容 の 2 つのラベルを 付 与 する. 提 案 方式 では、まず, 重 要 シーンで 発 生 した Tweet の 中 での出 現 頻 度 が 高 い 人 名 を 取 り 出 すことで, 主 要 人 物 を 推定 する. 次 に, 推 定 した 主 要 人 物 と 同 一 Tweet 内 で 共起 する 語 の 出 現 回 数 が 多 い 語 を 抽 出 し,イベント 内 容とする.

キーワードから人 名 を 抽 出 し、重 要 シーンにおける主 要 人 物 とするキーワードとTF-IDF 値主 要 人 物キーワード TF-IDF 値正 規 化主 要 人 物井 口 1955.0TF-IDF 値いぐち 351.2井 口 5.5ツーラン 202.1昌 1.5ホームラン 184.2キタ 0.2昌 149.3唐 川 -0.0キタ 105.9HR 91.7トップ1 方 式 閾 値 決 定 方 式2ラン 67.8唐 川 59.7井 口井 口昌図 2. 主 要 人 物 推 定 の 一 例本 提 案 でのラベル 付 与 における 特 長 は, 各 重 要 シーンにおける 主 要 人 物 を 推 定 した 後 ,イベント 内 容 推 定を 行 うことである.Tweet のキーワード 検 出 を 行 っただけでは, 人 物 名 やイベント 名 , 数 値 等 が 混 在 し,ラベル 付 与 が 困 難 である. 提 案 手 法 では, 重 要 シーンを象 徴 する「 人 物 名 」に 着 目 することにより, 重 要 シーンのラベルを 精 度 良 く 付 与 することができる.以 下 に,ラベル 付 与 に 必 要 となる 主 要 人 物 推 定 とイベント 内 容 推 定 の 詳 細 を 示 す.3.2.1. 主 要 人 物 推 定重 要 シーンでの Tweet から,キーワードを 抽 出 し,その 中 から 高 頻 度 で 発 生 する 人 物 名 を 抽 出 することで主 要 人 物 を 推 定 する.ここでは, 主 要 人 物 を 各 シーンで 1 人 推 定 する 手 法 と, 閾 値 をもとに 複 数 の 主 要 人 物を 推 定 する 手 法 の 2 種 類 の 手 順 を 提 案 する.まず, 検 出 した 重 要 シーンの Tweet からキーワード検 出 を 行 い, 各 キーワードの TF-IDF 値 を 算 出 する.TF は 各 重 要 シーンでの Tweet 数 であり,DF は 毎 日 新聞 コーパスに 基 づいて 算 出 する.検 出 したキーワードから, 形 態 素 解 析 ツール MeCabにより, 人 名 と 判 定 された 語 を 抽 出 し, 各 人 名 のTF-IDF 値 を, 解 析 対 象 Tweet 内 の 平 均 頻 度 および 標 準偏 差 を 元 に 正 規 化 する.この 正 規 化 した 値 ( 正 規 化 値 )が 最 も 高 い 人 物 を 重 要 シーンにおける 主 要 人 物 と 推 定する 方 式 を「トップ 1 方 式 」とする. 一 方 , 正 規 化 値に 対 し, 主 要 人 物 推 定 基 準 値 N を 設 定 し,N 以 上 の 正規 化 値 をもつ 人 名 を 各 重 要 シーンにおける 主 要 人 物 と推 定 する 方 式 を「 閾 値 方 式 」とする. 閾 値 方 式 により,複 数 の 主 要 人 物 が 発 生 する 重 要 シーンについても,もれなく 主 要 人 物 を 推 測 することができる. 図 2 に 主 要人 物 推 定 の 一 例 を 示 す.ここではまず, 検 出 した 重 要シーンの Tweet から 重 要 なキーワードを 検 出 し,その中 から, 形 態 素 解 析 の 結 果 人 名 と 判 定 された「 井 口 」,Tweet 例 ( 主 要 人 物 「 井 口 」のシーン)やっぱり 井 口 さん 最 高 や! さすがベテラン 追 い 詰 められた 一 球 を 逃 さないなー!井 口 ♪2ラン!!やったね♪井 口 がツーラン!!うほぉぉおお井 口 ホームラン!!! やった!!! 3-0 だ!!!出 た! 井 口 様 の 神 打 !ろってまりーんずーからかーはもうこの3 点 で 十 分 だないぐっさぁーーーんo(^▽^)o井 口 さん 得 意 の、ライトに 引 っ 張 るホームラン!!(⌒▽⌒)井 口 男 前 過 ぎるよー!!井 口 いぃぃぃぃ!!やったやった3ー0!井 口 さまーヽ(´∀`)ノ主 要 人 物 共 起 語 ( 頻 度 )ホームラン(17)井 口 ツーラン(16)HR(9)図 3.イベント 内 容 推 定 の 一 例イベント「 昌 」,「キタ」,「 唐 川 」を 主 要 人 物 候 補 とする.トップ1 方 式 では, 主 要 人 物 の 候 補 の 中 から, 正 規 化 したTF-IDF 値 が 最 大 の 人 物 である「 井 口 」を 重 要 シーンにおける 主 要 人 物 と 決 定 する.また, 閾 値 決 定 方 式 では,主 要 人 物 の 候 補 の 中 から, 例 えば 1.5 以 上 の 正 規 化TF-IDF 値 をもつ「 井 口 」,「 昌 」を 重 要 シーンにおける主 要 人 物 と 決 定 する.3.2.2. イベント 内 容 推 定次 に, 重 要 シーンのイベント 内 容 を 推 測 するため,主 要 人 物 名 を 含 む Tweet の 形 態 素 解 析 を 行 い, 主 要 人物 と 共 起 する 語 を 抽 出 し, 共 起 頻 度 の 高 い 名 詞 を 推 定イベントラベルとして 付 与 する.3.2.1 節 で 推 定 した 主 要 人 物 名 を 含 む 重 要 シーンのTweet に 対 し,MeCab を 用 いた 形 態 素 解 析 を 行 い, 同一 Tweet 内 で 主 要 人 物 と 共 起 する 名 詞 を 取 り 出 し, 出現 回 数 をカウントする.そして, 各 主 要 人 物 に 対 し,出 現 頻 度 上 位 3 語 を 推 定 イベントラベルとして 重 要 シーンに 付 与 する. 図 3 にイベント 推 定 の 一 例 を 示 す.ここでは, 重 要 シーンにおける 主 要 人 物 が「 井 口 」の場 合 の 例 を 紹 介 する. 重 要 シーンの Tweet から,「 井 口 」という 語 を 含 む Tweet を 抽 出 し,「 井 口 」と 共 起 する「 最高 」,「ベテラン」,「ツーラン」,「ホームラン」,「ライト」 等 の 名 詞 の 出 現 回 数 をカウントする.このシーンでは, 井 口 と 共 起 する 語 は 出 現 回 数 上 位 から,「ホームラン」,「ツーラン」,「 HR」となったため,この 3 語 が該 当 シーンの 内 容 を 表 す 推 定 イベントラベルとなる.4. 評 価 実 験提 案 手 法 の 有 効 性 を 実 証 するため, 本 研 究 では,ハッシュタグを 用 いた Tweet 数 が 多 くデータが 豊 富であることや, 各 シーンで 発 生 するイベントの 定 義 が明 確 であることなどから,プロ 野 球 中 継 を 解 析 対 象 と

して 選 択 し, 評 価 を 行 うこととする. 具 体 的 には,プロ 野 球 の 試 合 中 に 投 稿 された 関 連 Tweet を 提 案 手 法で 解 析 し, 試 合 中 の 重 要 シーン 検 出 及 びラベル 付 与 の精 度 を 評 価 する.4.1. 実 験 データ実 験 は,2010 年 のプロ 野 球 セ・パ 両 リーグのクライマックス・シリーズ(CS)と 日 本 シリーズ, 全 21 試 合 に対 して 行 う.Twitter API を 利 用 し, 試 合 開 始 20 分 前から 試 合 終 了 30 分 までの Tweet を, 対 戦 中 の 2 チームのハッシュタグをキーワードとして 収 集 した. 従 って,1 試 合 につき 2 個 の Tweet データセット( 合 計 42 個 )が 収 集 されることとなる. 実 験 に 用 いたハッシュタグを 表 1 に, 収 集 した Tweet の 統 計 データを 表 2 に 示 す.また, 本 実 験 を 評 価 するための 正 解 データとして,人 手 によるラベリングデータを 作 成 する.まず, 収 集した 全 ての Tweet データセットに 対 し,3.1 節 で 提 案 した 方 式 に 基 づいて 重 要 シーンを 抽 出 する. 次 に, 各 重要 シーンで 発 生 する Tweet の 内 容 を 閲 覧 し, 各 シーンにおける 主 要 人 物 ,およびイベントラベルを 人 手 で 付与 する.なお,イベントラベルは, 野 球 の 試 合 で 発 生するイベントを 中 心 に 付 与 することとし, 各 シーンに付 与 するラベルには, 個 数 の 制 限 は 設 定 していない.実 際 に 付 与 されたイベントラベルの 例 を 表 3 に 示 す.表 1. 各 球 団 のハッシュタグセ・リーグ阪 神 :#tigers, #hanshin, #hanshintigers巨 人 :#kyojin, #giants, #yomiurigiants中 日 :#dragons, #chunichi, #dra2010パ・リーグ西 武 :#seibulionsソフトバンク:#fsbh, #sbh2010ロッテ:#chibalotte表 2. 収 集 した Tweet データ総 Tweet 数 4413441 試 合 平 均 Tweet 数 10508.2標 準 偏 差 6521.61 試 合 あたりの 最 大 Tweet 数 293741 試 合 あたりの 最 小 Tweet 数 2868表 3.ラベリングされたイベントタイムリー,ヒット, 三 振 , 三 者 凡 退 ,ゴロ, 応 援 ,ダブルプレー,ソロ HR,フライ, 四 球 , 試 合 終 了 ,2BH, 投 手 交 代 , 犠 牲 フライ, 試 合 開 始 ,2ラン,エラー, 代 打 ,バント, 併 殺 打 , 死 球 , 牽 制 死 , 盗 塁 ,完 封 , 敬 遠 ,パフォーマンス 失 敗 ,ヤジ,3BH,打 線 停 滞 ,3ラン, 誤 審 , 始 球 式 , 食 事 ,ライナー4.2. 評 価 結 果以 下 , 提 案 手 法 である 重 要 シーン 検 出 , 主 要 人 物 推定 ,イベント 内 容 推 定 の 3 つのステップによる 検 出 及び 推 定 の 精 度 を 評 価 した 結 果 について 説 明 する.4.2.1. 重 要 シーン 検 出まず, 重 要 シーン 検 出 方 式 について, 検 出 された 重要 シーンが, 実 際 のプロ 野 球 中 継 番 組 内 のイベントと対 応 するかの 評 価 を,4.1 節 で 述 べたラベリングデータとの 比 較 によって 行 う.提 案 手 法 を 用 いた 重 要 シーン 検 出 により, 表 1 に 示した Tweet データセットから 合 計 689 件 の 重 要 シーンが 検 出 された.これらの 重 要 シーンについて 人 手 でラベリングを 行 った 結 果 ,654 件 (94.9%)のシーンに 対 しイベントラベルを 付 与 することができた( 図 4).このうち, 野 球 の 試 合 で 発 生 したイベント(ホームランなど)が 624 件 (90.6%)を 占 めていた.ま た , 野 球 の 試 合 とは直 接 関 係 のないイベント(マスコットのパフォーマンスなど)も 30 件 含 まれていた.以 上 の 結 果 から, 提 案 手 法 により 検 出 した 重 要 シーンのほとんどが 実 際 のプロ 野 球 中 継 番 組 内 のイベントと 関 連 づけられることが 明 らかであり, 提 案 手 法 による 重 要 シーン 検 出 が 有 効 であることが 実 証 された.図 4. 重 要 シーン 検 出 データ4.2.2. 主 要 人 物 推 定4.1 節 で 収 集 したデータを 用 い,4.2.1 節 で 示 した 重 要シーンにおける 主 要 人 物 を,3.2.1 節 で 提 案 した 2 つの方 式 ( Top1 方 式 , 閾 値 決 定 方 式 )でそれぞれ 推 定 した結 果 を 評 価 する.ここでは, 検 出 された 全 重 要 シーン 689 件 のうち,主 要 人 物 を 特 定 することができた 657 件 に 対 する 推 定結 果 について 評 価 する( 図 5).ラベリングデータ 内 の 重要 シーンの 中 で 主 要 人 物 が 複 数 名 存 在 する 場 合 , 推 定された 主 要 人 物 がラベリングされた 人 物 のいずれかに該 当 すれば 正 解 とみなす.また, 推 定 された 主 要 人 物が 複 数 名 存 在 する 場 合 , 推 定 主 要 人 物 のいずれかがラベリング 結 果 と 一 致 すれば 正 解 とみなす. 閾 値 決 定 方式 では, 主 要 人 物 推 定 基 準 値 N を 1.5 に 設 定 し,3.2.1節 の 手 順 を 用 いて 推 定 を 行 った.各 方 式 による 主 要 人 物 推 測 結 果 の 正 解 率 を 表 4 に 示す . 表 4 の 結 果 から,Top1 方 式 および 閾 値 決 定 方 式 のいずれにおいても,70% 以 上 の 高 い 正 解 率 が 達 成 され

表 5. 同 義 語 変 換 表図 5. 主 要 人 物 推 定表 4. 2 つの 方 式 による 主 要 人 物 推 定 結 果Top1 閾 値 決 定正 解 数 511 (77.8%) 549 (83.6%)不 正 解 数 146 (22.2%) 108 (16.4%)図 6.イベント 内 容 推 定変 換 語表 記 ゆれ 表 現三 振連 続 三 振 , 空 振 り 三 振 , 三 球 三 振 , 奪 三 振 , 奪 三 振 ショー,見 逃 し 三 振 ,( 人 名 ) 三 振 ,ナイス 三 振 , 連 続 見 逃 し 三 振タイムリー 同 点 タイムリー,レフト 前 タイムリー, 逆 転 タイムリー, 先 制 タイムリー,タイムリーヒット,タイムリーツーベース,タイムリー 二 塁 打ゴロセカンドゴロ,サードゴロ,ショートゴロ,ピッチャーゴロ, 内 野 ゴロダブルプレー 併 殺 ,ゲッツー,ゲッツ,ショートゴロゲッツーフライ レフトフライ,ライトフライ,フライキャッチ,センターフライ,ポップフライ,ショートフライ四 球 ファーボール,フォアボール, 押 し 出 し 四 球 ,死 球デッドボールバント ナイスバント, 送 りバント, 送 りバント 成 功 ,スリーバント,バント 失 敗 ,スリーバント 失 敗ソロHR ソロホームラン,ソロ 被 弾2ラン 2ランホームラン3ラン スリーラン, 先 制 スリーラン代 打 代 打 ( 人 名 )投 手 交 代 ピッチャー 交 代 ,( 人 名 ) 交 代エラー( 人 名 )エラー,ミス,セカンドエラー,サインミス盗 塁盗 塁 成 功敬 遠敬 遠 気 味2BH ツーベース,2ベース,3BH スリーベース,3ベースライナー ライトライナー,センターライナー,セカンドライナー,サードライナーていることがわかる.不 正 解 になった 推 測 結 果 について 調 べると, 本 来 正解 であるが 不 正 解 と 判 定 された 名 前 (ニックネームなど)や, 非 人 名 が 人 名 として 抽 出 されるケースが 多 くあった.これらを 正 確 に 判 断 する 一 つの 手 法 として,ニックネームを 含 む 人 名 辞 書 の 作 成 が 挙 げられる. 辞 書を 用 いることで, 柔 軟 な 名 前 の 変 換 が 可 能 となり, 非人 名 語 の 誤 検 出 を 減 らすことができると 考 えられる.4.2.3. イベント 内 容 推 定最 後 に,イベント 内 容 推 定 方 式 の 精 度 を 評 価 する.ここでは, 閾 値 決 定 方 式 で 推 定 された 主 要 人 物 推 測 結果 に 基 づいて 推 定 されたイベント 内 容 に 対 する 評 価 を行 う. 1 主 要 人 物 につき 3 つの 推 定 イベントラベルを検 出 し,1 つ 以 上 の 推 定 イベントラベルがラベリング結 果 と 同 一 であれば 正 解 とした.主 要 人 物 がラベリングされている 重 要 シーン 657 件から, 主 要 人 物 は 888 名 検 出 された.これらの 主 要 人物 から 推 測 されたイベント 内 容 のうち,224 件 (25.2%)の 推 定 イベントラベルがラベリング 結 果 と 完 全 に 一 致した.しかし, 本 研 究 の 目 的 は, 各 重 要 シーンに 対 し野 球 イベント 内 容 ラベルを 付 与 することである.このため, 各 主 要 人 物 に 対 するイベントラベルではなく,各 重 要 シーンに 対 するイベントラベルの 精 度 を 評 価 する. 同 一 シーン 内 に 複 数 の 主 要 人 物 が 存 在 する 場 合 も1 シーンとカウントすると, 重 要 シーンは 全 部 で 638シーン 存 在 する.この 内 ,202 シーン(31.7%)の 推 定 イベントラベルがラベリング 結 果 と 一 致 した.正 解 率 が 低 い 主 な 理 由 としては,Tweet 内 での 表 記ゆれがあげられる. 投 稿 された Tweet では, 言 葉 を 省略 することが 多 く, 同 じイベントを 異 なる 言 葉 で 表 現しているものが 多 数 存 在 する. 例 えば,「 HR」と 「ホームラン」,「 三 者 凡 退 」を 略 した「 三 凡 」などが 該 当する. イベント 内 容 がラベリング 結 果 と 完 全 に 一 致 しなくても, 同 じイベント 内 容 を 表 す 語 は 同 一 イベントとみなす 必 要 がある.そこで, 表 記 ゆれを 考 慮 した 評 価 を 行 う. 投 稿 された Tweet から 野 球 用 語 に 関 する 同 義 語 変 換 表 を 作 成 し,推 定 したイベント 内 容 を 統 一 したラベルを 用 いて, 同様 の 方 法 で 評 価 する. 作 成 した 同 義 語 変 換 表 を 表 5 に示 す.ゆらぎ 修 正 を 行 ったデータは 全 154 シーンあり,そのうち 79 シーンが 新 たに 正 解 と 判 断 された.その 結果 ,638 シーンのうち 281 シーン(44.0%)の 修 正 推 定 イベントラベルがラベリング 結 果 と 一 致 した( 図 6).野 球 イベントの 中 でも 最 も 重 要 なイベントの 1 つであるホームランラベルの 付 与 がどの 程 度 できたかを 調べたところ, 評 価 対 象 試 合 中 に 計 23 本 のホームランがあった.この 内 ,22 本 (95.7%)のホームランがイベントラベルとして 付 与 できた. 以 上 の 結 果 から, 重 要 なイベントに 対 する 再 現 率 は 十 分 に 高 いといえる.4.2.4. 実 験 の 考 察本 稿 では 重 要 シーンの 定 義 を, 視 聴 者 が 注 目 しているシーンと 設 定 した.このため,Tweet の 投 稿 数 変 動のみで 重 要 シーンの 検 出 を 行 ったが,プロ 野 球 番 組 を対 象 にした 評 価 実 験 では 高 精 度 な 結 果 が 得 られた.また,サッカーアジアカップに 対 する 追 加 の 実 験 を 行 っ

たところ, 提 案 手 法 により 検 出 した 重 要 シーンには,「キックオフ」,「ゴール」,「イエロー」,「 前 半 終 了 」などのラベルが 付 与 された.このことから, 提 案 手 法は,サッカー 中 継 にも 適 用 可 能 であることが 示 された.サッカー 番 組 に 対 する 主 要 人 物 推 定 で ,キックオフシーンの 主 要 人 物 が 選 手 ではない「 松 木 ( 解 説 者 )」となった.Twitter 上 で 松 木 に 対 する 意 見 が 数 多 く 述 べられているため, 解 説 者 にもかかわらず 主 要 人 物 として抽 出 された.このように, 視 聴 者 間 で 話 題 になるシーンやラベルが 抽 出 できるのが, 視 聴 者 視 点 にたった 本提 案 手 法 の 特 徴 であり,その 目 的 が 果 たされているといえる.ゆらぎ 修 正 前 ・ 修 正 後 ともラベリング 結 果 と 一 致 しなかった 推 定 イベントラベルの 内 容 を 調 べる. 不 正 解になった 推 定 イベントラベルは, 野 球 イベント 以 外 のラベル 名 が 付 与 されている. 具 体 的 には,「よしよし」,「キタ」,「 残 念 」 等 の 感 想 を 表 現 したラベルや「ナイスプレー」,「ナイスピッチング」といったプレーに 対する 賞 賛 を 表 すラベル,「 満 塁 」,「ノースリー」,「 同 点 」等 の 状 況 を 表 すラベルがあった.このようなラベルは,シーンに 付 与 する 野 球 イベントラベルとしては 相 応 しいとはいえないが, 付 加 情 報 として 利 用 することができる. 例 えば, 感 想 を 表 すラベルからポジティブ・ネガティブ 判 定 を 行 うことができ, 賞 賛 を 表 すラベルからファインプレー 等 の 貴 重 なシーンが 存 在 することが分 かる. 状 況 を 表 すラベルの 中 でも, 塁 上 のラベルはピンチやチャンスの 状 況 判 断 に 利 用 でき, 得 点 のラベルは 得 点 変 化 や 試 合 の 流 れを 表 すことができる.感 情 ラベルを 利 用 すると, 対 象 チームのポジティブ/ネガティブなシーンのみを 見 る/ 見 ないといった 視 聴方 法 が 可 能 になる. 例 えば, 賞 賛 を 表 すラベルは,ファインプレー 検 索 に 利 用 できる. 塁 上 ラベルは,ピンチやチャンス 等 のターニングポイントの 視 聴 に 利 用 でき, 得 点 ラベルは 大 まかな 試 合 の 流 れをつかむヒントとして 利 用 できる.このように, 野 球 イベントとして相 応 しいとはいえないイベント 内 容 ラベルについても,アプリケーション 化 する 際 に 有 効 であるといえる.本 提 案 手 法 を 利 用 すると, 図 7 のようなグラフが 作成 できる.グラフを 見 ながら 録 画 した 番 組 を 視 聴 することで, 多 くの 人 が 盛 り 上 がったシーンが 一 目 でわかり,キーワードを 見 ることで 盛 り 上 がった 内 容 を 知 ることが 可 能 となる.Twitter を 利 用 していないユーザが,この 解 析 結 果 グラフを 見 ながらテレビ 視 聴 することで,Twitter 上 での 盛 り 上 がった 番 組 の 見 どころシーンを共 感 するといった 体 験 ができる.図 7.( 上 )プロ 野 球 の 例 ,( 下 )サッカーの 例5. おわりに本 稿 では,テレビ 番 組 に 対 する Tweet を 解 析 することで, 重 要 シーンを 自 動 的 に 検 出 し,そのシーンにおける 主 要 人 物 を 推 定 し,その 人 物 をもとにイベント 内容 を 推 定 する 手 法 を 提 案 した.プロ 野 球 番 組 を 対 象 に提 案 手 法 を 評 価 した 結 果 , 試 合 中 の 重 要 シーンを 高 精度 で 検 出 できることが 示 された.また, 検 出 された 重要 シーンに 対 する 主 要 人 物 ラベルを 高 精 度 な 付 与 が 可能 であることが 実 証 できた. 主 要 人 物 をもとにしたイベント 内 容 推 定 では 一 定 の 有 効 性 が 示 せた.今 後 は, 他 のスポーツ 番 組 や 他 ジャンルの 番 組 にも適 用 し, 提 案 手 法 の 有 効 性 を 調 査 する.また, 提 案 手法 をもとに, 重 要 シーンジャンプ 機 能 を 含 むアプリケーションの 開 発 を 進 める.参 考 文 献[1] D A Shamma, L Kennedy, E F Churchill “Tweet thedebates”, Proc WSM'09, 2009.[2] A Hanjalic, “Adaptive Extraction of HighlightsFrom a Sport Video Based on Excitement ModelingMultimedia”, IEEE Transactions on, 2005[3] Newton’s method.http://en.wikipedia.org/wiki/Newton%27s_methodAccessed January 7, 2011.[4] 宮 内 進 吾 , 馬 場 口 登 , 北 橋 忠 宏 ,“テキスト・ 音声 ・ 画 像 の 協 調 的 処 理 による 放 送 型 スポーツ 映 像の 意 味 内 容 獲 得 のためのストーリー 分 割 法 ”, 電子 情 報 通 信 学 会 論 文 誌 . D-II, 情 報 ・システム, II-パターン 処 理 J85-D-II(11), 1692-1700, 2002