Approximation of Hessian Matrix for Second-order SPSA Algorithm ...

Approximation of Hessian Matrix for
Second-order SPSA Algorithm Addressed
Toward Parameter Optimization
in Non-linear Systems
(2 次 型 同 時 摂 動 確 率 近 似 アルゴリズムのヘッセ 行 列 推 定 とその 非 線 形 システム
におけるパラメータ 最 適 化 への 応 用 )
Jorge Ivan Medina Martinez
—Abstract in Japanese —
システム 同 定 問 題 とは、システムの 構 造 が 既 知 の 場 合 、 雑 音 を 有 する 観 測 データから、 未 知 パ
ラメータを 推 定 する 問 題 になる。 特 に 最 近 、 非 線 形 モデルが、 状 態 推 定 、 制 御 、シミュレーショ
ンに 多 用 されており、 非 線 形 モデル 予 測 制 御 の 成 功 に 動 機 づけられ、 第 一 モデル 原 理 やニューラ
ルネットに 基 づくモデルの 精 緻 化 が 盛 んに 議 論 されている。このような 非 線 形 で 複 雑 なシステム
の 同 定 問 題 は、 多 くの 未 知 パラメータに 関 してある 種 の 誤 差 関 数 を 最 適 化 する 問 題 に 帰 着 され、
そのための 効 率 的 な 最 適 化 手 法 が 求 められている。
これに 対 して 多 くのアルゴリズムが 提 案 されているが、これらを、 非 線 形 状 態 空 間 モデルのよ
うな 数 多 くのパラメータを 有 する 複 雑 なシステムに 適 用 する 場 合 、 膨 大 な 計 算 コストがかかると
いう 問 題 があった。 本 論 文 では、 複 雑 なシステムのパラメータ 推 定 において、アルゴリズムが 十
分 な 安 定 性 を 有 していない 点 、および 計 算 過 程 が 複 雑 で 計 算 コストがかかる 点 に 注 目 して、 新 し
い 推 定 アルゴリズムを 提 案 する。まず、 計 算 の 複 雑 度 やコストにおいて 有 利 で、 実 装 が 容 易 で、
しかも 安 定 した 収 束 性 を 有 する、 同 時 摂 動 確 率 近 似 (Simultaneous Perturbation Stochastic
Approximation Algorithm: SPSA) アルゴリズムに 注 目 する。しかしながら、これを 複 雑 なシ
ステムに 適 用 する 場 合 には、いくつかの 問 題 に 遭 遇 する。そのために、 安 定 な 収 束 性 を 有 し、 計
算 コストの 面 でも 有 利 なSPSAアルゴリズムを 改 良 した 新 しい 手 法 を 開 発 する。すなわち、 誤 差 関
数 ヘシアンから 1st-Order SPSA(1-SPSA) 法 と 2nd-Order SPSA (2-SPSA) 法 との 比 較 に 基 づいて、
SPSAアルゴリズムの 改 良 を 行 う。
i