12. 発話音声から算出する脳活性度指数の信頼性 - ENRI
12. 発話音声から算出する脳活性度指数の信頼性 - ENRI
12. 発話音声から算出する脳活性度指数の信頼性 - ENRI
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画<br />
電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )<br />
<strong>12.</strong> 発 話 音 声 から 算 出 する 脳 脳 活 性 活 度 性 指 度 数 指 の 数 信 の 頼 信 性 頼 性<br />
機 上 等 技 術 領 域 * 塩 見 格 一<br />
1. はじめに<br />
1998 年 に 発 話 音 声 の“ゆらぎ”の 状 態 が 発 話 者<br />
の 心 身 状 態 に 依 存 し 変 化 することを 発 見 して 以 来 ,<br />
当 所 では 予 防 安 全 装 置 の 実 現 を 目 指 して 発 話 音 声<br />
分 析 装 置 の 研 究 開 発 を 進 めてきた。 [1] その 成 果 と<br />
して 2008 年 には, 共 同 研 究 先 により, 発 話 音 声 分<br />
析 装 置 は「CENTE」と 言 う 名 称 の 実 験 計 測 用 装 置 と<br />
して 製 品 化 された( 図 1 参 照 )。<br />
CENTE の 製 品 化 により, 比 較 的 に 容 易 に 発 話 音 声<br />
収 録 実 験 を 実 施 できる 様 になり, 当 所 以 外 の 利 用 者<br />
による 実 験 も 含 めて,より 多 くの 音 声 データが 集 ま<br />
る 状 況 に 至 っている。その 結 果 , 実 験 環 境 等 に 依 存<br />
し , CENTE の 算 出 す る 診 断 値 ( CEM: Cerebral<br />
Exponent Macro 値 )に 差 異 とも 考 えられる 傾 向 が<br />
発 生 する 事 が 明 らかとなった。<br />
人 間 を 計 測 する 実 験 においては,どの 様 な 計 測 で<br />
あっても, 得 られた 計 測 値 に 高 い 信 頼 性 を 実 現 する<br />
ことは 常 に 困 難 であって,その 値 や 値 の 変 化 の 解 釈<br />
には 高 い 経 験 値 が 求 められる。その 様 な 状 況 におい<br />
て, 過 去 に 蓄 積 データを 有 さない CENTE においては,<br />
その 診 断 値 の 信 頼 性 ・ 信 頼 度 を 示 すことは, 我 々 開<br />
発 者 の 責 務 と 考 えられる。 本 稿 においては, 現 状 ま<br />
での 実 験 等 により 明 らかになっている CEM 値 の 信<br />
頼 性 について 述 べる。<br />
図 1 CENTE の 概 観<br />
基 本 的 な 操 作 は 全 て CENTE に 実 装 されているタッ<br />
チパネルにより 可 能 で,キーボードとマウスは 作 業<br />
精 度 評 価 作 業 の 実 施 等 に 使 用 する。<br />
2. CENTE 診 断 値 / CEM 値<br />
CENTE は 図 2に 示 す 機 能 構 成 で 実 現 されており,<br />
入 力 音 声 の 処 理 経 路 として 赤 色 の 矢 印 で 結 ばれる<br />
構 成 要 素 が 診 断 値 としての CEM 値 の 算 出 における<br />
誤 差 を 生 じさせる。マイクロフォンと AD 変 換 器 は<br />
ハードウェアの 個 体 差 としての 誤 差 を 生 じさせ,デ<br />
ジタル・フィルターと SiCECA(Shiomi’s Cerebral<br />
図 2<br />
CENTE の 機 能 構 成<br />
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 1− 平 成 21 年 6 月<br />
− 55 −
電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )<br />
作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画<br />
Exponent Calculation Algorithm) 信 号 処 理 部 はパ<br />
ラメータの 設 定 や,CPU の 演 算 処 理 精 度 に 起 因 する<br />
誤 差 を 生 じさせる。<br />
2.1. マイクロフォンの 個 体 差<br />
上 記 においては,マイクロフォンの 個 体 差 に 起 因<br />
する 誤 差 が 最 も 深 刻 なものであり, 周 波 数 特 性 が 極<br />
めて 良 く 似 ている 場 合 であっても, 同 一 の 音 声 を 同<br />
時 録 音 した 場 合 に 算 出 される CEM 値 が 十 数 パーセ<br />
ント 以 上 も 異 なる 場 合 も 珍 しくはない。 厳 密 には2<br />
つのマイクロフォンを 全 く 同 じ 位 置 に 設 置 するこ<br />
とができないので,エコーの 僅 かな 位 相 差 等 が 影 響<br />
を 及 ぼしているのかも 知 れないが, 多 少 設 置 位 置 が<br />
異 なっていても 比 較 的 に 良 く 似 た CEM 値 が 算 出 さ<br />
れるマイクロフォンの 組 合 せもあり,マイクロフォ<br />
ンのどの 性 能 仕 様 項 目 が CEM 値 に 強 い 影 響 を 及 ぼ<br />
しているのか, 現 時 点 においては, 未 だ 明 らかでは<br />
ない。<br />
現 状 の 技 術 水 準 においては, 位 相 特 性 を 揃 えたマ<br />
イクロフォンを 入 手 することは 容 易 ではいが, 米 国<br />
のマイクロフォン 製 造 業 者 において, 電 気 のスパー<br />
クを 音 源 としてインパルス 特 性 を 揃 えたマイクロ<br />
フォンを 用 意 してもらっており, 平 成 22 年 度 には,<br />
これらのマイクロフォンによる CEM 値 の 計 測 と 比<br />
較 に 関 する 実 験 を 実 施 したいと 考 えている。<br />
マイクロフォンの 位 相 特 性 を 調 整 することで CEM<br />
値 の 信 頼 性 の 向 上 が 図 れることが 明 らかになれば,<br />
そのためのデジタル・フィルターの 実 現 手 法 や,こ<br />
れに 合 わせたマイクロフォンの 校 正 環 境 の 実 現 が<br />
可 能 となるかも 知 れない。<br />
2.2. 入 力 音 声 の 問 題<br />
発 話 音 声 による CEM 算 出 実 験 において,スピーカ<br />
による 再 生 音 声 を 利 用 した 場 合 ,スピーカとマイク<br />
ロフォンの 設 置 条 件 を 固 定 し, 同 じスピーカと 同 じ<br />
マイクロフォンで, 同 じプロセッサとアンプを 使 用<br />
して, 全 く 同 じ 音 声 データから 音 声 を 再 生 した 場 合<br />
に, 同 じデータレコーダにより 音 声 を 収 録 した 場 合<br />
であっても, 収 録 された 音 声 から 算 出 される CEM 値<br />
が 同 じ 値 になる 訳 ではなく, 標 準 偏 差 として 数 パー<br />
セント(〜7%) 程 度 のバラツキが 観 測 される。 室 温<br />
や 湿 度 の 差 異 による 影 響 であるのか, 或 は 否 か, 現<br />
時 点 では, 未 だ 確 認 できていない。<br />
今 日 までの CEM 値 算 出 実 験 では, 上 述 の 様 に, 再<br />
生 音 声 によっても 再 現 性 の 高 い CEM 値 の 算 出 が 可<br />
能 である 訳 ではなかったため,また 再 生 音 において<br />
生 の 人 間 の 発 話 音 声 に 対 して 何 等 かの 欠 落 が 発 生<br />
していることを 畏 れたため, 常 に 生 の 人 間 の 発 話 音<br />
声 を 利 用 してきた。 具 体 的 には,マルチトラック・<br />
レコーダ(Sound Device 788T, 等 々)に 複 数 (8<br />
〜32)のマイクロフォンを 接 続 し,これに 直 接 に 人<br />
間 が 発 話 した 音 声 を 入 力 することで 行 って 来 た。<br />
人 間 の 発 話 は 毎 回 異 なり, 算 出 される CEM 値 も 毎<br />
回 異 なるため,マイクロフォンの 校 正 は, 十 秒 程 度<br />
で 音 読 できる 内 容 を 記 述 した 朗 読 カードを 利 用 し<br />
て, 数 千 回 から1 万 回 程 度 の 発 話 を 収 録 し, 個 々の<br />
マイクロフォンの 平 均 的 な CEM 値 と,その 標 準 偏 差<br />
を 求 めて,これらを 相 互 に 比 較 することで 行 って 来<br />
た。 現 状 までの 収 録 データの 分 析 からは,1 千 回 の<br />
収 録 音 声 から 算 出 される 平 均 的 な CEM 値 の 高 い 物<br />
から 順 番 にマイクロフォンを 並 べた 場 合 の 順 番 と,<br />
2 千 回 ,3 千 回 ,・・・・1 万 回 の 収 録 音 声 から 算<br />
出 される 平 均 的 な CEM 値 な 高 い 順 番 に 並 べた 順 番<br />
に,8 本 のマイクロフォンを 比 較 した 場 合 であって<br />
も,32 本 のマイクロフォンを 比 較 した 場 合 であっ<br />
ても, 明 確 な 差 異 は 観 測 されていない。 殆 ど 全 ての<br />
マイクロフォンにおいて,CEM 値 の 標 準 偏 差 は,CEM<br />
値 の 平 均 値 の 6〜8% 程 度 であった。<br />
上 記 の 実 験 結 果 から, 生 の 音 声 データによりマイ<br />
クロフォンの 校 正 を 行 った 場 合 の CEM 値 の 標 準 偏<br />
差 と, 先 の 再 生 音 声 から 算 出 した CEM 値 の 標 準 偏 差<br />
(7% 程 度 )が, 値 としては 良 く 似 ていることが 分<br />
かる。 必 ずしも,これらの 誤 差 が 全 く 同 じ 原 因 によ<br />
り 発 生 しているとは 言 えないかも 知 れないが, 決 定<br />
的 な 誤 差 の 低 減 策 が 存 在 しない 現 状 において, 生 の<br />
音 声 によらなくとも, 再 生 音 声 により 生 の 音 声 と 同<br />
等 なマイクロフォンの 校 正 が 可 能 であれば, 将 来 的<br />
には, 再 生 音 声 によりマイクロフォンの 校 正 を 容 易<br />
に, 出 来 るだけ 少 ない 再 生 音 声 により, 実 施 できる<br />
様 に 校 正 環 境 を 整 備 したい,と 考 えている。<br />
2.3. 入 力 音 声 の 信 号 雑 音 比 やエコー 等<br />
上 記 以 外 にも,CENTE の 設 置 環 境 等 に 起 因 する 誤<br />
差 も 存 在 し, 周 辺 雑 音 が 大 きく 信 号 雑 音 比 が 悪 い 場<br />
合 や, 設 置 環 境 がライブでありエコー・レベルが 高<br />
い 場 合 にも,CEM 値 の 信 頼 性 は 低 下 する。 例 えば,<br />
図 1においては,マイクロフォンや CENTE 本 体 の 背<br />
面 にはフェルト 製 の 吸 音 パネルを 設 置 しているが,<br />
テーブル 面 からの 反 射 の 影 響 は 残 っており,マイク<br />
ロフォンの 設 置 位 置 がテーブル 面 に 近 い(〜10cm)<br />
場 合 には, 算 出 される CEM 値 が 数 パーセント 以 上 も<br />
低 くなることもある。また 例 えば, 周 辺 雑 音 が 大 き<br />
い 場 合 には, 算 出 される CEM 値 は 比 較 的 に 高 い 値 に<br />
なることが 確 認 される。<br />
発 話 音 声 を 直 接 に 入 力 する 代 わりに 録 音 音 声 を<br />
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 2− 平 成 21 年 6 月<br />
− 56 −
作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画<br />
電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )<br />
処 理 する 場 合 には, 非 圧 縮 音 声 に 対 して mp2/mp3 圧<br />
縮 した 様 な 音 声 では, 信 号 雑 音 比 が 比 較 的 に 良 好 な<br />
場 合 であっても, 算 出 される CEM 値 は 数 パーセント<br />
(〜4%) 程 度 小 さな 値 となる。<br />
2.4. 信 号 処 理 ソフトウェアの 問 題<br />
SiCECA による 信 号 処 理 プロセスは 図 3に 示 す 様<br />
に,“CEm Calc.”と 呼 ぶ 前 半 部 分 と“CEM Calc.”<br />
と 呼 ぶ 後 半 部 分 から 構 成 されている。<br />
“CEm Calc.”は, 変 形 した 佐 野 ・ 澤 田 のアルゴ<br />
リズム(SiCECA アルゴリズムによる 前 半 処 理 )を<br />
全 ての 音 声 信 号 サンプルに 時 間 局 所 的 に 適 用 し, 各<br />
音 声 信 号 サンプルに 対 して CEm(CE micro)を 算 出<br />
する 部 分 であり,その 処 理 においては 主 要 なものだ<br />
けでも8つのパラメータ( 埋 込 み 次 元 , 埋 込 み 遅 延<br />
時 間 , 発 展 時 間 ,・・)を 設 定 しなければならない。<br />
“CEM Calc.”は, 多 数 の CEm 値 に 対 する 統 計 的 な<br />
処 理 (SiCECA アルゴリズムによる 後 半 処 理 )プロ<br />
セスであり, 非 線 形 の 最 小 二 乗 法 を 含 み,その 処 理<br />
においては, 収 束 計 算 の 開 始 近 似 値 の 設 定 等 に 関 し<br />
て, 主 要 なものだけでも4つのパラメータ(SiCECAε,S/N<br />
閾 値 ,・・)を 設 定 しなければならない。<br />
以 上 のパラメータは,CEM 値 の 信 頼 性 や 感 度 に 対<br />
して, 個 々が 独 立 な 訳 ではなく, 寧 ろ 相 互 に 複 雑 に<br />
関 連 しており, 現 時 点 の CEM 値 に 対 する 我 々の 理 解<br />
においては, 最 適 な 組 合 せを 見 つけること 等 は 殆 ど<br />
不 可 能 である。どの 様 なパラメータの 組 合 せを 採 用<br />
しても, 形 式 的 に CEM 値 を 算 出 することは 可 能 で,<br />
算 出 される CEM 値 だけからは,パラメータの 最 適 化<br />
を 行 うことはできない。<br />
我 々は, 確 実 に 人 間 が 疲 労 している 状 況 を 生 成 し<br />
て,その 環 境 における 被 験 者 音 声 の 収 録 を 目 的 とし<br />
て 発 話 音 声 により 疲 労 評 価 実 験 を 実 施 した。 [2.3.4]<br />
上 記 疲 労 評 価 実 験 においては, 人 間 の 覚 醒 度 に 強<br />
い 相 関 関 係 を 示 すと 考 えられている 臨 界 フリッカ<br />
周 波 数 (CFF 値 )を 橋 本 式 フリッカ・テスターによ<br />
り 計 測 し,SiCECA アルゴリズムにおいて 幾 つかの<br />
パラメータの 組 合 せにより CEM 値 を 算 出 し,CFF 値<br />
の 変 化 と CEM 値 の 変 化 の 相 関 が 高 くなる 様 にパラ<br />
メータの 調 整 を 行 った。もっとも,CFF 値 の 信 頼 性<br />
も 限 定 的 であるため,データ 数 40〜50 の CFF 値 と<br />
CEM 値 の 変 化 において 0.6 程 度 の 相 互 相 関 値 が 得 ら<br />
れる 様 な,SiCECA 信 号 処 理 におけるパラメータの<br />
組 合 せを 探 した。<br />
上 記 パラメータの 探 索 作 業 において 発 見 した 最<br />
も 重 要 なことは,パラメータの 連 続 的 な 変 化 が,CFF<br />
値 と CEM 値 の 変 化 の 相 互 相 関 係 数 の 連 続 的 な 変 化<br />
を 与 えないと 言 うことであり, 我 々に 取 っては, 発<br />
話 音 声 のカオス 性 を 表 象 する 現 象 であった。<br />
1998 年 当 時 , 我 々は 実 に 幸 運 にも, 偶 然 に, 発<br />
話 者 の 心 身 状 態 に 比 較 的 に 強 く 相 関 する( 上 記 の 相<br />
互 相 関 係 数 値 として 0.5 程 度 の) 診 断 値 を 与 えるパ<br />
ラメータの 組 合 せから 研 究 開 発 を 始 めることがで<br />
きていた 訳 であった。 埋 込 み 遅 延 時 間 (0.02〜<br />
208.33 ms)と 発 展 時 間 (0.02〜208.33 ms)の2 次<br />
元 空 間 ( 埋 込 み 次 元 は 4,その 他 のパラメータにつ<br />
いては 共 同 研 究 先 との 契 約 により 非 開 示 とする。)<br />
図 3<br />
SiCECA 信 号 処 理<br />
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 3− 平 成 21 年 6 月<br />
− 57 −
電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )<br />
作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画<br />
CEM 値 の 差 異 を 低 減 解 消 することが 可 能 であれば,<br />
実 用 的 には 好 ましい 一 歩 の 前 進 となる。しかしなが<br />
ら, 現 実 問 題 として 診 断 感 度 の 評 価 は 容 易 ではなく,<br />
我 々は, 差 異 の 解 消 を 目 的 としたパラメータの 調 整<br />
が, 本 来 第 一 に 求 めるべき 診 断 感 度 の 低 下 に 終 わら<br />
ないように 注 意 しなければならない。<br />
このことは, 性 差 等 に 係 る 対 応 においても 同 様 で<br />
ある。<br />
4. おわりに<br />
筆 者 は, 例 えば, 一 個 人 に 限 定 し,そのデータを<br />
予 め 蓄 積 し,これに 合 わせてパラメータを 調 整 し,<br />
その 特 定 される 個 人 の 覚 醒 度 等 心 身 状 態 を 評 価 す<br />
る 発 話 音 声 分 析 装 置 を 実 現 することは, 現 状 の 技 術<br />
の 延 長 上 において 十 分 に 可 能 であると 考 えている。<br />
図 4 CFF 値 と CEM 値 の 相 互 相 関 係 数 ( 部 分 )<br />
この 等 高 線 図 において 横 軸 は 埋 込 み 遅 延 時 間 であり,<br />
縦 軸 は 発 展 遅 延 時 である。この 等 高 線 図 は, 一 人 の 被 験<br />
者 データより, 上 記 パラメータに 加 えて 埋 込 み 遅 延 次<br />
元 ,SiCECA-ε, 等 々のパラメータを 設 定 し 作 成 した。<br />
色 の 濃 い 部 分 が,CFF 値 の 変 化 と CEM 値 の 変 化 の 相 互<br />
相 関 係 数 値 が 0.4 以 上 の 部 分 である。<br />
において, 見 た 目 で 凡 そ 8〜9 割 の 部 分 において 相<br />
互 相 関 係 数 値 は 0.4 以 下 であり, 特 に 疲 労 の 検 出 を<br />
目 的 として 発 話 音 声 を 収 録 していた 訳 ではなかっ<br />
た 状 況 においては, 本 当 に 幸 運 であった。<br />
3. その 他 の CEM 値 誤 差 要 因<br />
現 時 点 において, 上 記 に 加 えて 更 に, 単 純 な 音 韻<br />
の 発 話 においては, 母 音 の 違 いにより 算 出 される<br />
CEM 値 は 異 なり, 子 音 を 伴 う 場 合 には, 子 音 の 差 異<br />
も CEM 値 の 差 異 の 原 因 となることが 確 認 されてい<br />
る。また, 朗 読 音 声 から 算 出 される CEM 値 は, 朗 読<br />
内 容 による 差 異 を 含 む 可 能 性 があり, 想 起 ・ 換 呼 音<br />
声 から 算 出 される CEM 値 は,その 想 起 や 換 呼 に 係 る<br />
作 業 の 負 荷 状 態 に 依 存 する。<br />
CEM 値 には, 性 差 が 存 在 することもほぼ 明 らかで<br />
あり, 年 齢 による 差 異 の 存 在 の 可 能 性 も 無 視 はでき<br />
ない。<br />
母 音 や 子 音 の 差 異 ,また 朗 読 カードにおける 音 韻<br />
構 成 の 差 異 については,SiCECA 信 号 処 理 パラメー<br />
タの 設 定 に 依 存 して,それらの 差 異 の 大 きさや CEM<br />
値 の 大 小 関 係 が 変 化 すると 思 われる 状 況 が 確 認 さ<br />
れている。CEM 値 の 算 出 は, 発 話 者 の 覚 醒 度 等 の 心<br />
身 状 態 の 定 量 化 にある 訳 で,その 求 める 機 能 に 対 す<br />
る 診 断 感 度 を 維 持 しながら, 音 韻 構 成 等 に 起 因 する<br />
しかしながら, 筆 者 が 実 現 を 望 む 発 話 音 声 分 析 装<br />
置 は,より 平 均 的 な 人 間 像 に 対 して 適 用 可 能 な 心 身<br />
状 態 評 価 装 置 である。 発 話 音 声 分 析 装 置 は, 平 均 的<br />
な 人 間 像 を 想 定 した 旧 来 の 予 防 安 全 装 置 へのアン<br />
チテーゼを 目 指 した 物 ではあるが, 完 全 に 個 人 情 報<br />
に 依 存 する 装 置 では 世 に 役 立 つ 物 では 有 り 得 ない。<br />
発 話 音 声 分 析 装 置 における 平 均 的 な 人 間 像 は, 時 間<br />
や 環 境 に 対 して 常 に 変 化 する,その 動 物 的 ・ 人 間 的<br />
なダイナミズムを 平 均 的 に 有 することを 指 しての<br />
平 均 的 な 人 間 像 である。 想 定 すべき 平 均 的 な 人 間 像<br />
は,その 人 間 の 置 かれた 環 境 等 ,その 状 況 から 切 り<br />
離 されたものでは 有 り 得 ない。<br />
発 話 音 声 分 析 装 置 の 信 頼 性 の 向 上 においては, 未<br />
だ 明 らかにしなければならない 点 が,ハードウェア,<br />
ソフトウェア,またその 利 用 者 として 想 定 する 人 間<br />
の 特 性 等 において, 無 数 に 残 されていると 思 われる。<br />
これからも 一 つ 一 つの 成 果 が 積 み 上 がる 様 に 研<br />
究 開 発 を 続 けて 行 きたいと 考 えている。<br />
文 献<br />
[1] 塩 見 “ 発 話 分 析 から 考 える 脳 機 能 モデル” 感 性<br />
工 学 研 究 論 文 集 ,Vol.4,No.1, Feb.2004.<br />
[2] 塩 見 , 他 : 発 話 音 声 による 疲 労 状 態 評 価 検 証 実<br />
験 の 手 法 と 結 果 , 日 本 人 間 工 学 会 第 35 回 関 東 支<br />
部 大 会 , Oct.2005.<br />
[3] 塩 見 , 他 : 発 話 音 声 によるトラック 運 転 手 の 心<br />
身 状 態 評 価 手 法 と 結 果 , 日 本 人 間 工 学 会 第 36 回<br />
関 東 支 部 大 会 , Dec.2005.<br />
[4] 塩 見 , 他 : 二 種 類 の 作 業 中 発 話 音 声 のカオス 性<br />
の 変 化 , 日 本 人 間 工 学 会 第 49 回 大 会 , Jun.2008.<br />
[5] http://www.siceca.org<br />
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 4− 平 成 21 年 6 月<br />
− 58 −