12. 発話音声から算出する脳活性度指数の信頼性 - ENRI

作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画
電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )
12. 発 話 音 声 から 算 出 する 脳 脳 活 性 活 度 性 指 度 数 指 の 数 信 の 頼 信 性 頼 性
機 上 等 技 術 領 域 * 塩 見 格 一
1. はじめに
1998 年 に 発 話 音 声 の“ゆらぎ”の 状 態 が 発 話 者
の 心 身 状 態 に 依 存 し 変 化 することを 発 見 して 以 来 ,
当 所 では 予 防 安 全 装 置 の 実 現 を 目 指 して 発 話 音 声
分 析 装 置 の 研 究 開 発 を 進 めてきた。 [1] その 成 果 と
して 2008 年 には, 共 同 研 究 先 により, 発 話 音 声 分
析 装 置 は「CENTE」と 言 う 名 称 の 実 験 計 測 用 装 置 と
して 製 品 化 された( 図 1 参 照 )。
CENTE の 製 品 化 により, 比 較 的 に 容 易 に 発 話 音 声
収 録 実 験 を 実 施 できる 様 になり, 当 所 以 外 の 利 用 者
による 実 験 も 含 めて,より 多 くの 音 声 データが 集 ま
る 状 況 に 至 っている。その 結 果 , 実 験 環 境 等 に 依 存
し , CENTE の 算 出 す る 診 断 値 ( CEM: Cerebral
Exponent Macro 値 )に 差 異 とも 考 えられる 傾 向 が
発 生 する 事 が 明 らかとなった。
人 間 を 計 測 する 実 験 においては,どの 様 な 計 測 で
あっても, 得 られた 計 測 値 に 高 い 信 頼 性 を 実 現 する
ことは 常 に 困 難 であって,その 値 や 値 の 変 化 の 解 釈
には 高 い 経 験 値 が 求 められる。その 様 な 状 況 におい
て, 過 去 に 蓄 積 データを 有 さない CENTE においては,
その 診 断 値 の 信 頼 性 ・ 信 頼 度 を 示 すことは, 我 々 開
発 者 の 責 務 と 考 えられる。 本 稿 においては, 現 状 ま
での 実 験 等 により 明 らかになっている CEM 値 の 信
頼 性 について 述 べる。
図 1 CENTE の 概 観
基 本 的 な 操 作 は 全 て CENTE に 実 装 されているタッ
チパネルにより 可 能 で,キーボードとマウスは 作 業
精 度 評 価 作 業 の 実 施 等 に 使 用 する。
2. CENTE 診 断 値 / CEM 値
CENTE は 図 2に 示 す 機 能 構 成 で 実 現 されており,
入 力 音 声 の 処 理 経 路 として 赤 色 の 矢 印 で 結 ばれる
構 成 要 素 が 診 断 値 としての CEM 値 の 算 出 における
誤 差 を 生 じさせる。マイクロフォンと AD 変 換 器 は
ハードウェアの 個 体 差 としての 誤 差 を 生 じさせ,デ
ジタル・フィルターと SiCECA(Shiomi’s Cerebral
図 2
CENTE の 機 能 構 成
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 1− 平 成 21 年 6 月
− 55 −

電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )
作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画
Exponent Calculation Algorithm) 信 号 処 理 部 はパ
ラメータの 設 定 や,CPU の 演 算 処 理 精 度 に 起 因 する
誤 差 を 生 じさせる。
2.1. マイクロフォンの 個 体 差
上 記 においては,マイクロフォンの 個 体 差 に 起 因
する 誤 差 が 最 も 深 刻 なものであり, 周 波 数 特 性 が 極
めて 良 く 似 ている 場 合 であっても, 同 一 の 音 声 を 同
時 録 音 した 場 合 に 算 出 される CEM 値 が 十 数 パーセ
ント 以 上 も 異 なる 場 合 も 珍 しくはない。 厳 密 には2
つのマイクロフォンを 全 く 同 じ 位 置 に 設 置 するこ
とができないので,エコーの 僅 かな 位 相 差 等 が 影 響
を 及 ぼしているのかも 知 れないが, 多 少 設 置 位 置 が
異 なっていても 比 較 的 に 良 く 似 た CEM 値 が 算 出 さ
れるマイクロフォンの 組 合 せもあり,マイクロフォ
ンのどの 性 能 仕 様 項 目 が CEM 値 に 強 い 影 響 を 及 ぼ
しているのか, 現 時 点 においては, 未 だ 明 らかでは
ない。
現 状 の 技 術 水 準 においては, 位 相 特 性 を 揃 えたマ
イクロフォンを 入 手 することは 容 易 ではいが, 米 国
のマイクロフォン 製 造 業 者 において, 電 気 のスパー
クを 音 源 としてインパルス 特 性 を 揃 えたマイクロ
フォンを 用 意 してもらっており, 平 成 22 年 度 には,
これらのマイクロフォンによる CEM 値 の 計 測 と 比
較 に 関 する 実 験 を 実 施 したいと 考 えている。
マイクロフォンの 位 相 特 性 を 調 整 することで CEM
値 の 信 頼 性 の 向 上 が 図 れることが 明 らかになれば,
そのためのデジタル・フィルターの 実 現 手 法 や,こ
れに 合 わせたマイクロフォンの 校 正 環 境 の 実 現 が
可 能 となるかも 知 れない。
2.2. 入 力 音 声 の 問 題
発 話 音 声 による CEM 算 出 実 験 において,スピーカ
による 再 生 音 声 を 利 用 した 場 合 ,スピーカとマイク
ロフォンの 設 置 条 件 を 固 定 し, 同 じスピーカと 同 じ
マイクロフォンで, 同 じプロセッサとアンプを 使 用
して, 全 く 同 じ 音 声 データから 音 声 を 再 生 した 場 合
に, 同 じデータレコーダにより 音 声 を 収 録 した 場 合
であっても, 収 録 された 音 声 から 算 出 される CEM 値
が 同 じ 値 になる 訳 ではなく, 標 準 偏 差 として 数 パー
セント(〜7%) 程 度 のバラツキが 観 測 される。 室 温
や 湿 度 の 差 異 による 影 響 であるのか, 或 は 否 か, 現
時 点 では, 未 だ 確 認 できていない。
今 日 までの CEM 値 算 出 実 験 では, 上 述 の 様 に, 再
生 音 声 によっても 再 現 性 の 高 い CEM 値 の 算 出 が 可
能 である 訳 ではなかったため,また 再 生 音 において
生 の 人 間 の 発 話 音 声 に 対 して 何 等 かの 欠 落 が 発 生
していることを 畏 れたため, 常 に 生 の 人 間 の 発 話 音
声 を 利 用 してきた。 具 体 的 には,マルチトラック・
レコーダ(Sound Device 788T, 等 々)に 複 数 (8
〜32)のマイクロフォンを 接 続 し,これに 直 接 に 人
間 が 発 話 した 音 声 を 入 力 することで 行 って 来 た。
人 間 の 発 話 は 毎 回 異 なり, 算 出 される CEM 値 も 毎
回 異 なるため,マイクロフォンの 校 正 は, 十 秒 程 度
で 音 読 できる 内 容 を 記 述 した 朗 読 カードを 利 用 し
て, 数 千 回 から1 万 回 程 度 の 発 話 を 収 録 し, 個 々の
マイクロフォンの 平 均 的 な CEM 値 と,その 標 準 偏 差
を 求 めて,これらを 相 互 に 比 較 することで 行 って 来
た。 現 状 までの 収 録 データの 分 析 からは,1 千 回 の
収 録 音 声 から 算 出 される 平 均 的 な CEM 値 の 高 い 物
から 順 番 にマイクロフォンを 並 べた 場 合 の 順 番 と,
2 千 回 ,3 千 回 ,・・・・1 万 回 の 収 録 音 声 から 算
出 される 平 均 的 な CEM 値 な 高 い 順 番 に 並 べた 順 番
に,8 本 のマイクロフォンを 比 較 した 場 合 であって
も,32 本 のマイクロフォンを 比 較 した 場 合 であっ
ても, 明 確 な 差 異 は 観 測 されていない。 殆 ど 全 ての
マイクロフォンにおいて,CEM 値 の 標 準 偏 差 は,CEM
値 の 平 均 値 の 6〜8% 程 度 であった。
上 記 の 実 験 結 果 から, 生 の 音 声 データによりマイ
クロフォンの 校 正 を 行 った 場 合 の CEM 値 の 標 準 偏
差 と, 先 の 再 生 音 声 から 算 出 した CEM 値 の 標 準 偏 差
(7% 程 度 )が, 値 としては 良 く 似 ていることが 分
かる。 必 ずしも,これらの 誤 差 が 全 く 同 じ 原 因 によ
り 発 生 しているとは 言 えないかも 知 れないが, 決 定
的 な 誤 差 の 低 減 策 が 存 在 しない 現 状 において, 生 の
音 声 によらなくとも, 再 生 音 声 により 生 の 音 声 と 同
等 なマイクロフォンの 校 正 が 可 能 であれば, 将 来 的
には, 再 生 音 声 によりマイクロフォンの 校 正 を 容 易
に, 出 来 るだけ 少 ない 再 生 音 声 により, 実 施 できる
様 に 校 正 環 境 を 整 備 したい,と 考 えている。
2.3. 入 力 音 声 の 信 号 雑 音 比 やエコー 等
上 記 以 外 にも,CENTE の 設 置 環 境 等 に 起 因 する 誤
差 も 存 在 し, 周 辺 雑 音 が 大 きく 信 号 雑 音 比 が 悪 い 場
合 や, 設 置 環 境 がライブでありエコー・レベルが 高
い 場 合 にも,CEM 値 の 信 頼 性 は 低 下 する。 例 えば,
図 1においては,マイクロフォンや CENTE 本 体 の 背
面 にはフェルト 製 の 吸 音 パネルを 設 置 しているが,
テーブル 面 からの 反 射 の 影 響 は 残 っており,マイク
ロフォンの 設 置 位 置 がテーブル 面 に 近 い(〜10cm)
場 合 には, 算 出 される CEM 値 が 数 パーセント 以 上 も
低 くなることもある。また 例 えば, 周 辺 雑 音 が 大 き
い 場 合 には, 算 出 される CEM 値 は 比 較 的 に 高 い 値 に
なることが 確 認 される。
発 話 音 声 を 直 接 に 入 力 する 代 わりに 録 音 音 声 を
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 2− 平 成 21 年 6 月
− 56 −

作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画
電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )
処 理 する 場 合 には, 非 圧 縮 音 声 に 対 して mp2/mp3 圧
縮 した 様 な 音 声 では, 信 号 雑 音 比 が 比 較 的 に 良 好 な
場 合 であっても, 算 出 される CEM 値 は 数 パーセント
(〜4%) 程 度 小 さな 値 となる。
2.4. 信 号 処 理 ソフトウェアの 問 題
SiCECA による 信 号 処 理 プロセスは 図 3に 示 す 様
に,“CEm Calc.”と 呼 ぶ 前 半 部 分 と“CEM Calc.”
と 呼 ぶ 後 半 部 分 から 構 成 されている。
“CEm Calc.”は, 変 形 した 佐 野 ・ 澤 田 のアルゴ
リズム(SiCECA アルゴリズムによる 前 半 処 理 )を
全 ての 音 声 信 号 サンプルに 時 間 局 所 的 に 適 用 し, 各
音 声 信 号 サンプルに 対 して CEm(CE micro)を 算 出
する 部 分 であり,その 処 理 においては 主 要 なものだ
けでも8つのパラメータ( 埋 込 み 次 元 , 埋 込 み 遅 延
時 間 , 発 展 時 間 ,・・)を 設 定 しなければならない。
“CEM Calc.”は, 多 数 の CEm 値 に 対 する 統 計 的 な
処 理 (SiCECA アルゴリズムによる 後 半 処 理 )プロ
セスであり, 非 線 形 の 最 小 二 乗 法 を 含 み,その 処 理
においては, 収 束 計 算 の 開 始 近 似 値 の 設 定 等 に 関 し
て, 主 要 なものだけでも4つのパラメータ(SiCECAε,S/N
閾 値 ,・・)を 設 定 しなければならない。
以 上 のパラメータは,CEM 値 の 信 頼 性 や 感 度 に 対
して, 個 々が 独 立 な 訳 ではなく, 寧 ろ 相 互 に 複 雑 に
関 連 しており, 現 時 点 の CEM 値 に 対 する 我 々の 理 解
においては, 最 適 な 組 合 せを 見 つけること 等 は 殆 ど
不 可 能 である。どの 様 なパラメータの 組 合 せを 採 用
しても, 形 式 的 に CEM 値 を 算 出 することは 可 能 で,
算 出 される CEM 値 だけからは,パラメータの 最 適 化
を 行 うことはできない。
我 々は, 確 実 に 人 間 が 疲 労 している 状 況 を 生 成 し
て,その 環 境 における 被 験 者 音 声 の 収 録 を 目 的 とし
て 発 話 音 声 により 疲 労 評 価 実 験 を 実 施 した。 [2.3.4]
上 記 疲 労 評 価 実 験 においては, 人 間 の 覚 醒 度 に 強
い 相 関 関 係 を 示 すと 考 えられている 臨 界 フリッカ
周 波 数 (CFF 値 )を 橋 本 式 フリッカ・テスターによ
り 計 測 し,SiCECA アルゴリズムにおいて 幾 つかの
パラメータの 組 合 せにより CEM 値 を 算 出 し,CFF 値
の 変 化 と CEM 値 の 変 化 の 相 関 が 高 くなる 様 にパラ
メータの 調 整 を 行 った。もっとも,CFF 値 の 信 頼 性
も 限 定 的 であるため,データ 数 40〜50 の CFF 値 と
CEM 値 の 変 化 において 0.6 程 度 の 相 互 相 関 値 が 得 ら
れる 様 な,SiCECA 信 号 処 理 におけるパラメータの
組 合 せを 探 した。
上 記 パラメータの 探 索 作 業 において 発 見 した 最
も 重 要 なことは,パラメータの 連 続 的 な 変 化 が,CFF
値 と CEM 値 の 変 化 の 相 互 相 関 係 数 の 連 続 的 な 変 化
を 与 えないと 言 うことであり, 我 々に 取 っては, 発
話 音 声 のカオス 性 を 表 象 する 現 象 であった。
1998 年 当 時 , 我 々は 実 に 幸 運 にも, 偶 然 に, 発
話 者 の 心 身 状 態 に 比 較 的 に 強 く 相 関 する( 上 記 の 相
互 相 関 係 数 値 として 0.5 程 度 の) 診 断 値 を 与 えるパ
ラメータの 組 合 せから 研 究 開 発 を 始 めることがで
きていた 訳 であった。 埋 込 み 遅 延 時 間 (0.02〜
208.33 ms)と 発 展 時 間 (0.02〜208.33 ms)の2 次
元 空 間 ( 埋 込 み 次 元 は 4,その 他 のパラメータにつ
いては 共 同 研 究 先 との 契 約 により 非 開 示 とする。)
図 3
SiCECA 信 号 処 理
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 3− 平 成 21 年 6 月
− 57 −

電 子 航 法 研 究 所 研 究 発 表 会 ( 第 10 回 平 成 22 年 6 月 )
作 業 信 頼 性 評 価 技 術 と 有 効 性 検 証 実 験 計 画
CEM 値 の 差 異 を 低 減 解 消 することが 可 能 であれば,
実 用 的 には 好 ましい 一 歩 の 前 進 となる。しかしなが
ら, 現 実 問 題 として 診 断 感 度 の 評 価 は 容 易 ではなく,
我 々は, 差 異 の 解 消 を 目 的 としたパラメータの 調 整
が, 本 来 第 一 に 求 めるべき 診 断 感 度 の 低 下 に 終 わら
ないように 注 意 しなければならない。
このことは, 性 差 等 に 係 る 対 応 においても 同 様 で
ある。
4. おわりに
筆 者 は, 例 えば, 一 個 人 に 限 定 し,そのデータを
予 め 蓄 積 し,これに 合 わせてパラメータを 調 整 し,
その 特 定 される 個 人 の 覚 醒 度 等 心 身 状 態 を 評 価 す
る 発 話 音 声 分 析 装 置 を 実 現 することは, 現 状 の 技 術
の 延 長 上 において 十 分 に 可 能 であると 考 えている。
図 4 CFF 値 と CEM 値 の 相 互 相 関 係 数 ( 部 分 )
この 等 高 線 図 において 横 軸 は 埋 込 み 遅 延 時 間 であり,
縦 軸 は 発 展 遅 延 時 である。この 等 高 線 図 は, 一 人 の 被 験
者 データより, 上 記 パラメータに 加 えて 埋 込 み 遅 延 次
元 ,SiCECA-ε, 等 々のパラメータを 設 定 し 作 成 した。
色 の 濃 い 部 分 が,CFF 値 の 変 化 と CEM 値 の 変 化 の 相 互
相 関 係 数 値 が 0.4 以 上 の 部 分 である。
において, 見 た 目 で 凡 そ 8〜9 割 の 部 分 において 相
互 相 関 係 数 値 は 0.4 以 下 であり, 特 に 疲 労 の 検 出 を
目 的 として 発 話 音 声 を 収 録 していた 訳 ではなかっ
た 状 況 においては, 本 当 に 幸 運 であった。
3. その 他 の CEM 値 誤 差 要 因
現 時 点 において, 上 記 に 加 えて 更 に, 単 純 な 音 韻
の 発 話 においては, 母 音 の 違 いにより 算 出 される
CEM 値 は 異 なり, 子 音 を 伴 う 場 合 には, 子 音 の 差 異
も CEM 値 の 差 異 の 原 因 となることが 確 認 されてい
る。また, 朗 読 音 声 から 算 出 される CEM 値 は, 朗 読
内 容 による 差 異 を 含 む 可 能 性 があり, 想 起 ・ 換 呼 音
声 から 算 出 される CEM 値 は,その 想 起 や 換 呼 に 係 る
作 業 の 負 荷 状 態 に 依 存 する。
CEM 値 には, 性 差 が 存 在 することもほぼ 明 らかで
あり, 年 齢 による 差 異 の 存 在 の 可 能 性 も 無 視 はでき
ない。
母 音 や 子 音 の 差 異 ,また 朗 読 カードにおける 音 韻
構 成 の 差 異 については,SiCECA 信 号 処 理 パラメー
タの 設 定 に 依 存 して,それらの 差 異 の 大 きさや CEM
値 の 大 小 関 係 が 変 化 すると 思 われる 状 況 が 確 認 さ
れている。CEM 値 の 算 出 は, 発 話 者 の 覚 醒 度 等 の 心
身 状 態 の 定 量 化 にある 訳 で,その 求 める 機 能 に 対 す
る 診 断 感 度 を 維 持 しながら, 音 韻 構 成 等 に 起 因 する
しかしながら, 筆 者 が 実 現 を 望 む 発 話 音 声 分 析 装
置 は,より 平 均 的 な 人 間 像 に 対 して 適 用 可 能 な 心 身
状 態 評 価 装 置 である。 発 話 音 声 分 析 装 置 は, 平 均 的
な 人 間 像 を 想 定 した 旧 来 の 予 防 安 全 装 置 へのアン
チテーゼを 目 指 した 物 ではあるが, 完 全 に 個 人 情 報
に 依 存 する 装 置 では 世 に 役 立 つ 物 では 有 り 得 ない。
発 話 音 声 分 析 装 置 における 平 均 的 な 人 間 像 は, 時 間
や 環 境 に 対 して 常 に 変 化 する,その 動 物 的 ・ 人 間 的
なダイナミズムを 平 均 的 に 有 することを 指 しての
平 均 的 な 人 間 像 である。 想 定 すべき 平 均 的 な 人 間 像
は,その 人 間 の 置 かれた 環 境 等 ,その 状 況 から 切 り
離 されたものでは 有 り 得 ない。
発 話 音 声 分 析 装 置 の 信 頼 性 の 向 上 においては, 未
だ 明 らかにしなければならない 点 が,ハードウェア,
ソフトウェア,またその 利 用 者 として 想 定 する 人 間
の 特 性 等 において, 無 数 に 残 されていると 思 われる。
これからも 一 つ 一 つの 成 果 が 積 み 上 がる 様 に 研
究 開 発 を 続 けて 行 きたいと 考 えている。
文 献
[1] 塩 見 “ 発 話 分 析 から 考 える 脳 機 能 モデル” 感 性
工 学 研 究 論 文 集 ,Vol.4,No.1, Feb.2004.
[2] 塩 見 , 他 : 発 話 音 声 による 疲 労 状 態 評 価 検 証 実
験 の 手 法 と 結 果 , 日 本 人 間 工 学 会 第 35 回 関 東 支
部 大 会 , Oct.2005.
[3] 塩 見 , 他 : 発 話 音 声 によるトラック 運 転 手 の 心
身 状 態 評 価 手 法 と 結 果 , 日 本 人 間 工 学 会 第 36 回
関 東 支 部 大 会 , Dec.2005.
[4] 塩 見 , 他 : 二 種 類 の 作 業 中 発 話 音 声 のカオス 性
の 変 化 , 日 本 人 間 工 学 会 第 49 回 大 会 , Jun.2008.
[5] http://www.siceca.org
第 9 回 電 子 航 法 研 究 所 研 究 発 表 会 − 4− 平 成 21 年 6 月
− 58 −