教育訓練評鑑之後設評鑑

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 2 頁 , 共 26 頁業 紛 紛 將 人 力 與 資 金 投 入 訓 練 活 動 , 所 以 訓 練 的 實 施 與 設 計 是 否 真 正 具 有 預期 之 成 效 , 勢 必 成 為 一 項 重 要 的 課 題 。Phillips ( 簡 建 忠 ,1994) 認 為 訓 練 的評 鑑 功 能 在 於 判 斷 訓 練 是 否 達 成 預 期 目 標 、 檢 視 訓 練 的 成 本 效 益 、 程 序 、 優缺 點 與 適 用 性 、 瞭 解 受 訓 者 受 益 情 形 、 建 立 員 工 與 訓 練 資 料 庫 、 協 助 將 來 決策 制 定 等 。 透 過 教 育 訓 練 評 鑑 , 期 望 提 供 企 業 訓 練 的 成 本 效 益 分 析 之 相 關 資訊 、 瞭 解 受 訓 者 學 習 與 學 習 遷 移 的 情 況 , 並 將 訓 練 成 果 回 饋 給 訓 練 活 動 的 設計 者 、 管 理 者 、 參 與 者 , 提 供 訓 練 改 善 的 相 關 資 訊 。100908070605040302010020.255.289.8礦 業 及 土 石 採 取 業製 造 業水 電 燃 氣 業營 造 業33.9 33.950.535.5批 發 及 零 售 業住 宿 及 餐 飲 業運 輸 、 倉 儲 及 通 信 業金 融 、 保 險 業不 動 產 及 租 賃 業專 業 、 科 學 及 技 術 服 務 業9339.152.868.7醫 療 保 健 服 務 業文 化 、 運 動 及 休 閒 服 務 業其 他 服 務 業48.744.7資 料 來 源 : 行 政 院 勞 委 會 (2004)圖 2 各 產 業 辦 理 教 育 訓 練 比 例2

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 4 頁 , 共 26 頁貳 、 教 育 訓 練 評 鑑 現 況企 業 投 注 於 訓 練 活 動 的 發 展 , 可 以 從 組 織 發 展 出 龐 大 且 複 雜 的 訓 練 活 動 、聘 請 更 多 的 訓 練 專 家 、 支 持 更 多 的 教 育 訓 練 活 動 等 事 件 中 得 到 印 證 。 然 而 ,儘 管 有 更 多 的 組 織 投 入 訓 練 活 動 , 但 卻 常 忽 略 訓 練 活 動 成 效 之 評 鑑 ( 林 麗 惠 ,1997)。經 濟 部 中 小 企 業 處 為 了 配 合 企 業 人 才 培 訓 各 項 工 作 計 劃 推 動 , 自 1996 年起 就 開 始 進 行 績 效 評 鑑 工 作 , 提 出 各 項 缺 失 檢 討 與 改 善 建 議 , 實 際 上 卻 因 受到 其 他 外 在 因 素 影 響 , 歷 年 企 業 人 才 培 訓 各 項 計 畫 績 效 評 鑑 所 得 結 果 與 建議 , 並 未 完 全 於 次 一 年 度 企 業 人 才 培 訓 業 務 推 動 上 真 正 反 映 出 來 , 探 究 其 主要 原 因 在 於 現 有 企 業 人 才 培 訓 績 效 評 鑑 工 作 未 能 對 各 項 工 作 計 畫 之 執 行 在 實質 上 產 生 引 導 作 用 ( 經 濟 部 , 提 升 中 小 企 業 人 才 培 訓 成 效 五 年 計 畫 )。根 據 美 國 訓 練 發 展 學 會 (American Society for Training andDevelopment,ASTD) 於 1998 年 五 月 所 發 佈 的 全 國 人 力 資 源 報 告 中 指 出 , 大 約有 90% 的 美 國 企 業 組 織 評 鑑 部 份 訓 練 課 程 , 其 中 有 67% 的 企 業 採 用Kirkpatrick 的 四 個 層 次 之 訓 練 評 鑑 模 式 ( 蔡 錫 濤 ,2000)。 觀 看 國 內 教 育 訓練 情 況 , 最 經 常 為 企 業 和 專 業 人 員 所 採 用 的 評 鑑 模 式 , 同 樣 為 Kirkpatrick訓 練 評 鑑 模 式 ( 李 隆 盛 ,2000), 分 別 為 反 應 、 學 習 、 行 為 以 及 成 果 四 個 層 次 。4

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 5 頁 , 共 26 頁在 教 育 訓 練 評 鑑 實 務 上 , 胡 雯 雯 (2002) 對 台 灣 企 業 目 前 訓 練 評 估 實 施 概況 調 查 獲 得 以 下 資 訊 :1. 多 數 的 企 業 會 在 訓 練 之 後 立 即 進 行 訓 練 評 鑑 , 而 在 訓 練 若 干 個 月 後 ,進 行 評 估 以 進 行 訓 練 移 轉 成 效 評 鑑 的 頻 率 較 低 。2. 在 評 鑑 層 次 的 調 查 中 ,82.3% 的 企 業 進 行 反 應 層 次 的 評 鑑 ,78.6% 的 企業 進 行 學 習 層 次 的 評 鑑 ,66.0% 的 企 業 會 進 行 行 為 層 次 的 評 鑑 , 約 有54.7% 的 企 業 進 行 成 果 層 次 的 評 鑑 。蔡 櫻 枝 (2002) 整 理 企 業 對 教 育 訓 練 評 鑑 的 看 法 :1. 好 的 訓 練 設 計 比 訓 練 評 鑑 更 重 要有 企 業 認 為 教 育 訓 練 評 鑑 並 不 是 最 重 要 的 事 情 , 不 需 要 花 太 多的 心 力 來 從 事 評 鑑 工 作 。2. 缺 乏 主 管 的 配 合 與 認 同大 部 分 的 企 業 認 為 在 執 行 評 鑑 的 時 候 , 最 困 難 的 地 方 就 是 得 到 主管 的 配 合 與 認 同 , 當 主 管 不 認 同 評 鑑 的 重 要 性 就 不 會 認 真 配 合 執 行評 鑑 工 作 , 而 且 主 管 的 工 作 繁 忙 , 沒 有 太 多 的 時 間 能 空 出 來 做 評 鑑 ,造 成 主 管 不 願 配 合 。5

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 6 頁 , 共 26 頁3. 忽 略 訓 練 評 鑑 的 結 果 回 饋企 業 做 了 教 育 訓 練 但 是 卻 沒 有 將 其 納 入 績 效 考 核 當 中 , 訓 練 成效 並 不 會 回 饋 到 績 效 考 核 之 中 , 無 法 提 出 教 育 訓 練 對 企 業 帶 來 貢 獻的 有 效 證 明 。狄 家 葳 (1999) 對 國 內 跨 國 企 業 負 責 訓 練 的 主 管 進 行 深 入 訪 談 , 探 討 其在 訓 練 成 效 評 估 的 現 況 , 研 究 發 現 為 :1. 企 業 與 高 階 主 管 並 未 重 視 訓 練 成 效 。2. 訓 練 主 管 對 訓 練 成 效 評 估 觀 念 較 侷 限 在 訓 練 產 出 的 評 估 。3. 企 業 界 在 訓 練 產 出 評 估 較 落 實 於 學 員 課 後 反 應 的 評 估 。4. 主 管 對 產 出 評 估 投 入 意 願 不 高 。5. 訓 練 規 劃 時 未 訂 定 訓 練 產 出 之 評 估 指 標 。根 據 余 源 情 (2003) 以 2001 年 天 下 雜 誌 所 列 服 務 業 五 百 大 及 其 他 五 百 家共 一 千 家 為 研 究 對 象 調 查 。 結 果 歸 納 如 下 :1. 在 評 鑑 的 層 次 方 面 , 大 多 數 的 企 業 實 施 反 應 評 鑑 , 在 訓 練 結 束 後 實施 問 卷 調 查 , 瞭 解 受 訓 者 的 滿 意 度 , 做 為 日 後 改 進 的 參 考 ; 學 習 評鑑 方 面 , 在 受 訓 者 願 意 配 合 的 狀 況 下 , 企 業 實 施 的 比 率 也 高 達 八 成 ;而 一 般 企 業 專 業 訓 練 人 員 有 能 力 進 行 行 為 評 鑑 的 仍 屬 少 數 , 所 以 在整 體 效 益 的 成 果 評 鑑 實 施 上 也 就 更 是 少 數 了 。6

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 7 頁 , 共 26 頁2. 在 評 鑑 人 員 能 力 方 面 , 樣 本 企 業 中 , 訓 練 專 業 人 才 具 備 評 鑑 反 應 能力 者 高 達 100%, 具 評 鑑 學 習 能 力 者 達 86.8%, 在 進 行 行 為 、 成 果 層次 的 評 鑑 能 力 上 顯 得 較 為 不 足 , 分 別 只 有 39.1% 以 及 18.5%。 可 見 多數 之 訓 練 專 業 人 才 僅 具 備 評 鑑 反 應 與 學 習 的 能 力 。3. 在 訓 練 評 鑑 支 持 度 上 , 訓 練 單 位 主 管 態 度 是 服 務 業 訓 練 評 鑑 實 施 最重 要 的 影 響 因 素 , 因 此 改 善 訓 練 單 位 主 管 態 度 將 使 教 育 訓 練 評 鑑 事半 功 倍 。綜 合 以 上 研 究 , 顯 示 出 目 前 企 業 間 之 教 育 訓 練 評 鑑 並 不 完 善 , 觀 看 服 務業 的 教 育 訓 練 評 鑑 , 其 訓 練 評 鑑 多 數 只 限 於 評 鑑 感 受 與 學 習 層 次 , 在 行 為 、成 效 層 次 的 評 鑑 明 顯 不 足 , 而 此 二 個 層 次 是 教 育 訓 練 對 企 業 有 所 貢 獻 之 主 要證 明 ; 再 加 上 訓 練 評 鑑 人 員 的 專 業 知 能 普 遍 不 足 , 在 訓 練 評 鑑 的 實 施 上 更 顯出 其 在 設 計 規 劃 上 考 慮 不 夠 完 善 , 由 此 可 見 服 務 業 在 實 施 教 育 訓 練 評 鑑 時 ,仍 存 在 許 多 改 善 的 空 間 。目 前 , 有 關 企 業 教 育 訓 練 評 鑑 的 報 告 仍 然 很 少 , 教 育 訓 練 規 劃 人 員 在 進行 方 案 設 計 時 缺 乏 實 務 性 的 資 訊 與 建 議 。 李 隆 盛 等 (1994) 認 為 訓 練 方 案 成 效的 評 鑑 並 不 侷 限 於 產 出 面 向 , 應 從 背 景 、 投 入 與 歷 程 等 層 面 檢 視 方 案 的 目 標 、資 源 的 使 用 、 方 案 實 施 過 程 。 評 鑑 的 對 象 則 包 括 機 構 人 員 、 受 訓 人 員 、 結 訓人 員 與 雇 主 等 , 蒐 集 其 對 訓 練 方 案 的 看 法 與 滿 意 情 形 。 因 此 , 未 來 若 要 企 業7

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 8 頁 , 共 26 頁訓 練 計 畫 達 到 預 期 目 標 , 除 了 定 期 對 於 所 辦 理 的 各 項 計 畫 進 行 考 核 之 外 , 落實 訓 練 評 鑑 工 作 乃 是 其 最 重 要 的 關 鍵 。教 育 訓 練 評 鑑 的 結 果 反 映 出 訓 練 單 位 的 績 效 , 規 劃 設 計 一 個 具 效 用 性 、可 行 性 、 適 切 性 、 精 準 性 的 評 鑑 方 案 , 有 助 於 彰 顯 訓 練 單 位 實 施 訓 練 方 案 的績 效 。 為 了 改 善 教 育 訓 練 評 鑑 , 並 加 強 企 業 組 織 對 訓 練 評 鑑 的 信 任 ,「 教 育 訓練 評 鑑 的 評 鑑 」 便 成 為 本 研 究 的 焦 點 。 教 育 訓 練 評 鑑 不 免 存 在 疏 失 , 為 了 修正 缺 失 , 給 予 決 策 者 正 確 的 訊 息 , 後 設 評 鑑 的 實 行 是 必 要 的 ( 陳 沁 怡 ,2003) 。參 、 後 設 評 鑑 完 善 教 育 訓 練 評 鑑實 施 後 設 評 鑑 , 可 確 保 評 鑑 結 果 本 身 的 品 質 , 更 可 做 為 評 鑑 計 畫 改 善 的 依據 。 以 下 將 對 後 設 評 鑑 之 定 義 、 目 的 、 焦 點 進 行 探 討 。一 、 後 設 評 鑑 之 定 義( 一 ) 評 鑑 的 評 鑑1940 年 Orata 提 出 「 評 鑑 的 評 鑑 」 的 概 念 , 而 後 1969 年 Scriven 正 式 提 出「 後 設 評 鑑 」 一 詞 , 他 認 為 後 設 評 鑑 就 是 第 二 層 次 的 評 鑑 (second-orderevaluation), 並 將 後 設 評 鑑 定 義 為 「 對 評 鑑 、 評 鑑 系 統 或 評 鑑 機 制 的 評 鑑 」,亦 即 評 鑑 的 評 鑑 。8

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 9 頁 , 共 26 頁Stufflebeam 採 用 Scriven 的 定 義 , 認 為 後 設 評 鑑 即 是 評 鑑 的 評 鑑 , 並 進一 步 將 後 設 評 鑑 定 義 為 針 對 一 項 評 鑑 的 技 術 之 適 當 性 、 利 用 性 、 倫 理 性 和 實用 性 , 進 行 描 述 、 獲 取 和 使 用 敘 述 性 和 判 斷 性 資 訊 的 過 程 , 藉 以 指 出 該 項 評鑑 的 技 術 及 其 報 告 的 優 缺 點 。Simkins、Wilkinson 與 McAnley 強 調 後 設 評 鑑 就 是 將 評 鑑 活 動 置 於 被 評 鑑的 一 個 過 程 , 透 過 系 統 化 及 規 格 化 的 過 程 評 估 一 項 評 鑑 活 動 是 否 值 得 ? 結 果 的意 義 與 效 用 為 何 ?( 二 ) 將 原 來 評 鑑 者 置 於 受 評 者 的 位 置Scriven 認 為 , 典 型 後 設 評 鑑 的 進 行 , 是 由 另 一 個 評 鑑 者 去 評 鑑 一 項 已計 畫 好 或 已 完 成 的 評 鑑 , 因 此 , 對 於 評 鑑 者 來 說 , 後 設 評 鑑 是 將 原 來 評 鑑 者置 於 受 評 者 的 位 置 , 對 該 評 鑑 者 及 其 活 動 表 現 進 行 價 值 判 斷 。 因 此 , 後 設 評鑑 是 將 原 來 的 評 鑑 置 於 受 評 者 的 位 置 , 對 該 評 鑑 及 其 活 動 進 行 價 值 判 斷 ( 游家 政 ,1994; 蘇 錦 麗 等 ,2001)。( 三 ) 次 級 評 鑑Cook 則 以 「 次 級 評 鑑 」(secondary evaluation) 一 詞 來 代 替 「 後 設 評鑑 」。 其 意 義 有 二 : 一 則 試 圖 經 由 檢 視 研 究 資 料 、 結 果 解 釋 及 其 應 用 的 方 式 ,以 重 新 評 估 特 定 評 鑑 研 究 與 政 策 的 相 關 性 ; 二 則 試 圖 利 用 得 自 基 礎 研 究 或 評鑑 的 現 有 資 料 , 評 估 對 當 前 重 大 措 施 或 未 來 政 策 變 通 方 案 的 主 要 假 定 , 其 實9

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 10 頁 , 共 26 頁證 性 的 支 持 程 度 。Cook & Gruder 則 將 後 設 評 鑑 限 定 在 對 總 結 性 評 鑑 技 術 與 品 質 進 行 評 鑑 ,焦 點 集 中 於 經 驗 性 的 總 結 性 評 鑑 , 故 將 後 設 評 鑑 分 類 為 三 種 不 同 的 形 式 : 次級 資 料 分 析 、 依 據 參 考 標 準 將 評 鑑 訂 出 等 第 、 對 研 究 加 以 研 究 。而 Straw & Cook 則 承 續 其 觀 點 , 認 為 後 設 評 鑑 係 泛 指 對 一 項 或 一 組 評 鑑的 技 術 品 質 及 其 結 果 進 行 評 鑑 的 各 項 活 動 。二 、 後 設 評 鑑 的 目 的藉 由 後 設 評 鑑 的 進 行 , 反 映 出 一 個 評 鑑 計 畫 是 否 確 實 具 有 價 值 、 其 是 否真 能 反 應 原 先 評 鑑 的 目 的 , 以 及 評 鑑 實 施 的 過 程 是 否 有 任 何 可 以 改 進 的 地方 。 以 下 整 理 各 學 者 對 後 設 評 鑑 目 的 之 看 法 :( 一 ) 原 級 資 料 的 再 分 析 並 評 估 整 體 評 鑑 計 畫 價 值後 設 評 鑑 的 角 色 包 含 形 成 性 評 鑑 及 總 結 性 評 鑑 , 形 成 性 後 設 評 鑑 主 要 在評 鑑 計 畫 執 行 的 過 程 中 來 進 行 , 其 功 能 在 指 引 評 鑑 的 計 劃 與 執 行 ; 總 結 性 後設 評 鑑 主 要 在 評 鑑 計 畫 完 成 後 進 行 , 其 功 能 在 評 估 整 體 評 鑑 計 畫 的 價 值 所 在( 蘇 錦 麗 等 ,2001)。Stufflebeam 認 為 後 設 評 鑑 的 任 務 有 二 : 一 在 為 「 做 決 策 」 服 務 ; 二 在 為「 績 效 責 任 」 服 務 。 首 先 , 就 做 決 策 服 務 而 言 , 指 的 是 「 形 成 性 的 後 設 評 鑑 」,10

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 11 頁 , 共 26 頁在 評 鑑 進 行 之 前 或 實 施 中 , 對 評 鑑 的 設 計 與 實 施 提 供 適 時 的 建 議 , 藉 以 確 保評 鑑 結 果 的 品 質 。 其 次 , 就 為 績 效 責 任 服 務 而 言 , 係 指 總 結 性 的 後 設 評 鑑 ,亦 即 對 已 完 成 的 評 鑑 工 作 , 提 出 優 缺 點 的 判 斷 , 藉 以 確 認 評 鑑 者 的 績 效 與 評鑑 結 果 的 可 靠 性 。Cook 指 出 後 設 評 鑑 之 目 的 , 概 念 比 較 偏 重 於 對 原 級 資 料 的 再 分 析 , 提 出使 用 次 級 評 鑑 的 主 要 理 由 與 目 的 在 於 :1. 減 低 評 鑑 結 果 的 不 確 定 性 。2. 獲 得 不 同 的 觀 點 及 具 備 獨 立 評 鑑 的 能 力 。3. 突 破 學 術 本 位 的 限 制 , 建 立 跨 領 域 整 合 的 研 究 。4. 提 供 多 層 面 的 訓 練 功 能 。5. 整 體 地 評 估 各 種 原 級 評 鑑 的 效 果 。6. 知 識 的 累 積 與 多 元 資 料 的 應 用 。7. 對 傳 統 知 識 的 質 疑 。8. 增 進 專 業 的 能 力 。( 二 ) 了 解 評 鑑 工 作 的 理 論 與 實 務 並 確 認 評 鑑 過 程 中 可 能 產 生 之 偏 差關 於 後 設 評 鑑 的 目 的 與 任 務 ,Smith 認 為 可 分 為 以 下 六 點 :1. 評 估 評 鑑 工 作 的 品 質 、 影 響 或 利 用 。2. 探 討 評 鑑 的 品 質 。11

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 12 頁 , 共 26 頁3. 預 防 可 能 發 生 的 評 鑑 誤 用 。4. 提 供 評 鑑 的 績 效 以 證 明 評 鑑 的 成 效 。5. 說 明 和 控 制 評 鑑 實 施 的 偏 差 。6. 評 估 新 評 鑑 取 向 的 實 效 性 。Straw 和 Cook 認 為 後 設 評 鑑 的 目 的 在 於 確 認 評 鑑 過 程 中 任 何 可 能 型 態 的偏 差 , 採 用 不 同 的 方 式 或 是 統 計 方 法 去 評 估 評 鑑 的 重 要 性 外 , 提 出 後 設 評 鑑的 兩 個 主 要 的 目 的 :1. 了 解 評 鑑 的 組 織 、 管 理 的 結 構 與 對 評 價 資 訊 產 生 的 影 響 。2. 以 一 或 多 個 不 同 的 研 究 或 評 鑑 , 獲 得 對 原 級 評 鑑 更 廣 闊 的 視 野 。整 體 而 言 , 評 鑑 主 要 目 的 在 於 判 斷 一 項 評 鑑 活 動 的 價 值 , 對 該 項 評 鑑 的表 現 進 行 價 值 判 斷 , 歸 納 評 鑑 方 案 之 優 缺 點 , 以 瞭 解 與 改 善 評 鑑 本 身 的 實 施 。而 後 設 評 鑑 其 發 揮 的 功 能 有 三 ( 游 家 政 ,1994):1. 形 成 性 評 鑑 : 協 助 改 進 評 鑑 的 實 施 或 確 保 評 鑑 的 正 確 進 行 , 且 能 提 高評 鑑 的 可 行 性 。2. 總 結 性 評 鑑 , 可 以 判 斷 已 完 成 的 評 鑑 活 動 的 優 缺 點 , 確 認 評 鑑 的 品 質 、影 響 及 利 用 。3. 突 破 學 術 本 位 的 限 制 , 建 立 資 料 多 元 使 用 與 科 技 整 合 的 研 究 途 逕 , 以及 發 現 評 鑑 的 新 觀 點 與 知 識 。12

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 13 頁 , 共 26 頁三 、 後 設 評 鑑 的 焦 點Stufflebeam 認 為 後 設 評 鑑 也 是 一 種 評 鑑 的 形 式 , 其 概 念 必 須 和 評 鑑 概 念相 互 契 合 。 而 一 般 評 鑑 計 畫 的 焦 點 包 括 了 方 案 的 目 標 、 設 計 、 實 施 和 結 果 。因 此 , 後 設 評 鑑 的 焦 點 應 放 在 : 評 鑑 目 標 的 重 要 性 、 評 鑑 設 計 的 合 適 性 、 評鑑 實 施 的 妥 當 性 、 以 及 評 鑑 結 果 的 品 質 與 重 要 性 等 。Brinkerhoff 等 人 則 認 為 , 後 設 評 鑑 的 範 圍 應 包 含 : 決 策 評 鑑 、 設 計 評 鑑 、蒐 集 資 訊 、 分 析 資 訊 、 報 導 資 訊 、 管 理 評 鑑 等 六 項 , 而 依 進 行 評 鑑 的 時 機 又可 分 為 : 評 鑑 計 畫 的 評 鑑 、 評 鑑 過 程 的 評 鑑 、 評 鑑 完 成 後 的 評 鑑 。 因 此 , 由上 述 三 個 不 同 的 評 鑑 階 段 , 並 配 合 六 項 評 鑑 的 範 圍 , 將 可 擬 定 出 後 設 評 鑑 的焦 點 工 作 。 其 中 後 設 評 鑑 的 內 容 應 注 意 下 列 特 點 :1. 任 何 評 鑑 工 作 都 可 以 受 到 評 鑑 。2. 後 設 評 鑑 進 行 的 步 驟 或 方 法 與 一 般 評 鑑 中 的 步 驟 或 方 法 一 般 。3. 後 設 評 鑑 進 行 的 過 程 中 , 通 常 會 以 JCSEE(Joint Committee onStandards for Educational Evaluation) 所 發 展 出 的 「 教 育 方 案 、計 劃 與 教 材 評 鑑 」 之 標 準 , 做 為 評 鑑 的 基 礎 。游 家 政 (1994) 則 認 為 後 設 評 鑑 的 評 鑑 焦 點 , 應 針 對 原 來 的 評 鑑 目 的 與問 題 、 評 鑑 方 法 與 工 具 、 資 料 蒐 集 和 分 析 、 評 鑑 結 果 及 其 利 用 等 來 進 行 評 鑑 。13

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 14 頁 , 共 26 頁評 鑑 活 動 的 實 施 包 含 了 事 前 的 規 劃 、 目 標 的 確 立 、 資 料 的 蒐 集 、 評 鑑 的運 作 、 結 果 的 呈 現 及 事 後 的 檢 討 等 複 雜 的 價 值 判 斷 過 程 。 究 竟 評 鑑 的 焦 點 為何 ? 這 是 許 多 研 究 後 設 評 鑑 的 專 家 學 者 與 支 持 者 所 共 同 關 心 的 話 題 。 我 們 可以 從 後 設 評 鑑 意 義 與 目 的 中 找 出 其 焦 點 , 針 對 不 同 評 鑑 方 案 而 設 計 與 選 擇 。肆 、Motorola 訓 練 評 鑑 的 後 設 評 鑑Basarab 對 Motorola 採 用 的 訓 練 評 鑑 方 案 進 行 評 鑑 , 首 先 依 照 該 訓 練 評鑑 方 案 , 確 認 並 訪 談 評 鑑 的 利 害 關 係 人 , 以 確 定 評 鑑 目 的 、 資 料 蒐 集 的 範 圍與 限 制 等 , 擬 定 後 設 評 鑑 計 畫 。接 著 針 對 訓 練 評 鑑 計 劃 之 實 務 現 況 分 析 ,Motorola 的 評 鑑 流 程 如 圖 3 所示 , 由 於 該 訓 練 計 畫 具 有 規 劃 、 發 展 、 獲 得 、 分 析 、 報 告 等 , 因 此 表 1 為 Basarab根 據 JCSEE 中 對 方 案 的 效 用 性 、 可 行 性 、 適 切 性 、 精 確 性 的 評 鑑 標 準 , 分 別定 義 出 五 階 段 中 的 評 鑑 範 圍 與 內 容 , 收 集 相 關 的 評 估 資 料 , 來 源 包 括 人 員 、文 件 、 績 效 資 料 等 , 進 行 訓 練 計 畫 的 後 設 評 鑑 。14

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 15 頁 , 共 26 頁規 劃• 獲 得 認 同報 告• 評 鑑 報 告發 展• 資 料 蒐 集 工 具• 資 料 分 析 模 式分 析• 回 答 評 估 問 題獲 得• 資 料 蒐 集• 分 析 模 式圖 3 Motorola 評 鑑 流 程 圖資 料 來 源 : 陳 素 貞 (1999)最 後 根 據 方 案 評 鑑 標 準 , 以 「 對 」、「 錯 」、「 不 適 用 」 三 種 選 項 對 五 階 段中 列 出 的 範 圍 與 內 容 加 以 討 論 , 提 出 對 訓 練 計 畫 的 後 設 評 鑑 報 告 。15

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 16 頁 , 共 26 頁表 1 後 設 評 鑑 的 範 圍 與 內 容階 段範 圍 與 內 容• 定 義 任 何 受 評 鑑 結 果 影• 確 定 評 鑑 計 劃 的 成 本 效 益響 的 對 象• 人 員 的 角 色 與 責 任• 界 定 資 料 蒐 集 範 圍 及 方• 確 定 評 鑑 過 程 與 結 果 的 公 正法客 觀規 劃• 解 釋 發 現 並 做 清 楚 的 描• 評 鑑 方 案 清 楚 的 定 義 以 及 描述述 評 鑑 的 目 的 與 程 序• 指 定 評 鑑 的 程 序• 確 定 評 鑑 計 劃 是 否 有 不同 的 團 體 涉 及• 定 義 資 料 蒐 集 與 發 展 所• 資 料 蒐 集 與 分 析 模 式 獲 得 贊提 的 對 象助 者 的 同 意• 定 義 資 料 分 析 模 式 與 範• 確 定 資 料 的 正 確 性 與 適 切 性發 展圍• 分 析 質 與 量 的 資 料• 選 擇 正 確 的 統 計 工 具• 至 少 獲 得 所 界 定 的 最 低資 訊16

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 17 頁 , 共 26 頁• 確 定 評 鑑 者 可 使 評 鑑 結果 獲 得 最 高 的 信 賴 與 接• 評 鑑 資 料 的 蒐 集 顧 及 並 保 護基 本 人 權獲 得受• 資 料 蒐 集 的 方 法 正 確 且 適 切• 資 料 蒐 集 的 範 圍 與 方 法• 資 料 的 蒐 集 使 評 鑑 結 果 沒 有符 合 需 求缺 點• 用 以 解 釋 發 現 的 理 論 基礎 與 程 序 是 價 值 判 斷 更清 楚分 析• 界 定 內 容 分 析 的 對 象• 分 析 質 與 量 的 資 料• 判 斷 的 結 果 是 否 符 合 對象 的 需 求報 告 • 定 義 需 要 報 告 的 對 象• 報 告 內 容 的 清 晰• 評 鑑 報 告 傳 播 給 需 要 使用 的 對 象• 確 定 評 鑑 報 告 是 否 達 成• 評 鑑 報 告 公 開 公 正 並 敘 述 限制• 評 鑑 的 結 果 說 明 大 眾 的 權 利• 對 評 鑑 對 象 的 優 缺 點 作 平 衡報 導預 定 的 影 響伍 、 企 業 內 教 育 訓 練 評 鑑 之 後 設 評 鑑( 資 料 引 自 曾 淑 惠 ,1997)17

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 18 頁 , 共 26 頁後 設 評 鑑 的 目 的 為 對 企 業 的 教 育 訓 練 評 鑑 之 方 案 進 行 評 鑑 , 顯 示 教 育 訓練 具 有 的 價 值 、 評 鑑 實 施 的 過 程 中 , 是 否 有 任 何 可 以 改 進 的 地 方 以 及 其 是 否真 能 反 應 原 先 評 鑑 的 目 的 等 。 依 照 後 設 評 鑑 的 結 果 , 探 討 教 育 訓 練 評 鑑 方 案的 關 鍵 因 素 , 提 供 企 業 評 鑑 方 案 的 優 缺 點 與 成 效 , 以 作 為 未 來 發 展 與 改 進 教育 訓 練 評 鑑 方 案 的 參 考 。教 育 訓 練 評 鑑 方 案 的 評 鑑 , 在 於 檢 視 訓 練 帶 來 的 成 效 是 否 與 訓 練 之 功 能相 符 。 在 評 鑑 模 式 的 選 擇 上 ,Stufflebeam 等 人 認 為 ,CIPP 評 鑑 模 式 包 含 背景 、 投 入 、 歷 程 和 產 出 等 四 種 評 鑑 類 型 , 除 了 可 以 指 導 決 策 , 即 形 成 性 評 鑑 ,亦 可 以 判 斷 績 效 , 即 總 結 性 評 鑑 ( 李 隆 盛 ,1994)。 其 中 , 背 景 的 評 鑑 包 含 尋找 尚 未 符 合 的 需 求 與 機 會 、 以 及 未 解 決 的 問 題 ; 投 入 的 評 鑑 即 企 劃 與 分 析 各種 程 序 的 設 計 ; 過 程 的 評 鑑 主 要 為 監 測 計 畫 的 運 作 ; 而 成 果 的 評 鑑 在 於 辨 識與 評 鑑 計 畫 成 果 ( 余 源 情 ,2003)。 以 Motorola 訓 練 評 鑑 方 案 的 後 設 評 鑑 為例 ,Basarab 雖 將 後 設 評 鑑 方 案 依 照 評 鑑 流 程 分 成 五 個 階 段 , 分 別 為 規 劃 ( 背景 評 鑑 )、 發 展 與 獲 得 ( 投 入 評 鑑 )、 分 析 ( 歷 程 的 評 鑑 )、 報 告 ( 產 出 的 評 鑑 ),卻 仍 與 CIPP 評 鑑 模 式 相 似 。游 家 政 (1994) 認 為 後 設 評 鑑 之 標 準 包 括 判 斷 評 鑑 績 效 、 改 進 評 鑑 技 術 、發 展 評 鑑 架 構 、 追 蹤 評 鑑 過 程 、 確 保 評 鑑 倫 理 、 顯 示 評 鑑 現 況 、 促 進 評 鑑 溝通 與 合 作 , 以 及 提 升 評 鑑 公 信 力 等 , 具 有 指 引 和 判 斷 的 功 用 ; 曾 淑 惠 (2002)認 為 評 鑑 標 準 可 為 衡 量 某 特 定 方 案 或 人 員 間 互 相 承 認 的 標 準 , 以 評 核 方 案 是18

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 19 頁 , 共 26 頁否 達 到 目 標 的 準 則 。 所 以 , 在 評 鑑 標 準 的 選 擇 上 ,Basarab 使 用 的 JCSEE 發展 之 「 教 育 方 案 、 計 畫 與 教 材 評 鑑 標 準 」 最 為 廣 泛 。 此 套 評 鑑 標 準 係 針 對 教育 訓 練 評 鑑 方 案 的 效 用 性 、 可 行 性 、 適 切 性 、 精 準 性 提 出 相 關 之 建 議 與 討 論 。茲 根 據 企 業 教 育 訓 練 評 鑑 之 現 況 、 後 設 評 鑑 理 論 與 實 務 之 探 討 , 將 教 育訓 練 的 後 設 評 鑑 實 施 分 為 以 下 四 大 步 驟 :1. 研 擬 後 設 評 鑑 計 畫依 照 企 業 的 教 育 訓 練 評 鑑 方 案 , 擬 定 整 個 後 設 評 鑑 計 畫 , 內 容 包 括 : 研究 對 象 、 研 究 範 圍 、 評 鑑 標 準 的 選 擇 、 範 圍 及 方 法 等 。2. 教 育 訓 練 評 鑑 方 案 之 實 務 現 況 分 析針 對 企 業 教 育 訓 練 評 鑑 之 實 務 現 況 分 析 , 主 要 範 圍 可 依 照 CIPP 評 鑑 模 式劃 分 為 背 景 (Context)、 投 入 (Input)、 歷 程 (Process)、 產 出 (Product) 四 部份 。 其 中 背 景 評 鑑 部 分 包 含 評 鑑 目 的 、 評 鑑 模 式 、 評 鑑 規 劃 、 經 費 預 算 ; 投入 評 鑑 包 括 評 鑑 表 件 、 評 鑑 方 式 、 評 鑑 人 員 ; 歷 程 評 鑑 的 範 圍 有 溝 通 協 調 、自 評 過 程 、 評 鑑 過 程 ; 在 產 出 評 鑑 方 面 包 含 評 鑑 報 告 、 成 果 運 用 。3. 評 鑑 資 料 蒐 集對 象 為 教 育 訓 練 評 鑑 方 案 , 相 關 資 料 有 以 下 幾 個 來 源 :(1) 訪 談 評 鑑 規 劃 人 員 、 評 鑑 執 行 人 員 、 因 參 與 訓 練 而 接 受 評 鑑 之 人 員 ,受 評 人 員 之 單 位 主 管 。(2) 觀 察 評 鑑 過 程 。(3) 評 鑑 手 冊 與 參 考 表 件 。4. 根 據 方 案 評 鑑 標 準 進 行 評 鑑19

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 20 頁 , 共 26 頁根 據 JCSEE 發 展 之 「 教 育 方 案 、 計 畫 與 教 材 評 鑑 標 準 」, 分 為 四 大 標 準 ,分 別 為 效 用 性 、 可 行 性 、 適 切 性 與 精 確 性 , 目 前 為 後 設 評 鑑 之 重 要 基 礎 , 其內 涵 大 致 如 下 :(1) 效 用 性 標 準 (Utility Standards): 確 定 評 鑑 所 提 供 的 資 訊 符 合 使 用者 預 定 的 需 求 。 例 如 , 是 否 提 供 決 策 者 所 需 要 的 資 料 , 相 關 人 員 、評 鑑 者 的 專 業 技 能 、 評 鑑 資 料 、 評 鑑 報 告 … 等 多 方 面 確 認 。(2) 可 行 性 標 準 (Feasibility Standards): 確 定 評 鑑 實 際 可 行 、 謹 慎 、富 於 策 略 和 符 合 經 濟 效 益 。 即 是 考 慮 企 業 的 組 織 、 文 化 、 成 本 、 效益 … 各 方 面 , 檢 視 訓 練 評 鑑 的 可 行 性 。(3) 適 切 標 準 (Propriety Standards): 確 定 評 鑑 的 執 行 合 法 、 合 乎 倫 理 ,並 且 尊 重 評 鑑 參 與 者 或 受 評 鑑 結 果 影 響 。 例 如 考 量 評 鑑 的 實 行 是 否違 法 ? 違 反 善 良 風 俗 ? 基 本 人 權 ? 損 害 相 關 人 員 的 權 利 ?... 等 。(4) 精 確 性 標 準 (Accuracy Standards) : 確 定 評 鑑 能 展 現 並 傳 達 有 關 受評 方 案 優 點 或 價 值 等 特 徵 。 檢 視 評 鑑 結 果 是 否 針 對 課 程 設 計 、 內 容 、程 序 、 經 費 … 等 提 出 有 參 考 價 值 的 建 議 與 結 論 。陸 、 結 論20

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 22 頁 , 共 26 頁參 考 文 獻江 琬 瑜 (1998)。 訓 練 成 效 評 估 之 研 究 。 國 立 中 央 大 學 人 力 資 源 管 理 研 究 所 碩士 論 文 , 未 出 版 , 桃 園 。余 源 情 (2003)。 服 務 業 訓 練 評 鑑 實 施 層 次 的 影 響 因 素 。 國 立 中 正 大 學 勞 工 研究 所 碩 士 論 文 , 未 出 版 , 嘉 義 。吳 祉 龍 (2001)。 企 業 營 業 人 員 訓 練 活 動 之 規 劃 及 其 成 效 評 估 ~ 以 X 公 司 為 例分 析 。 國 立 中 央 大 學 人 力 資 源 管 理 研 究 所 碩 士 論 文 , 未 出 版 , 桃 園 。李 芳 齡 ( 譯 )(2002)。Dubois, D. D. 著 。 績 效 躍 進 - 才 能 評 鑑 法 的 極 致 運 用 (JobCompetence Assessment)。 台 北 : 商 周 。李 隆 盛 (2000)。 克 伯 屈 評 鑑 模 式 。 人 力 培 訓 專 刊 ,89(2),7-8。李 隆 盛 、 黃 政 傑 等 (1994)。 大 專 畢 業 青 年 第 二 專 長 補 充 訓 練 成 效 之 評 估 。 行政 院 青 年 輔 導 委 員 會 。狄 家 葳 (1999)。 訓 練 成 效 評 估 之 研 究 — 以 台 灣 跨 國 企 業 為 例 。 國 立 台 灣 大 學商 學 研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。林 麗 惠 (1997)。 成 人 參 與 在 職 進 修 訓 練 的 自 評 成 效 及 相 關 因 素 之 研 究 — 以 職訓 局 所 屬 職 業 訓 練 中 心 學 員 為 例 。 國 立 中 正 大 學 成 人 及 繼 續 教 育 研 究 所碩 士 論 文 。 未 出 版 , 嘉 義 。22

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 23 頁 , 共 26 頁林 麗 惠 (2000)。 成 人 學 習 評 量 面 面 觀 。 北 縣 成 教 : 輔 導 季 刊 ,17,4-13。邱 錦 興 (2004)。 臺 北 市 國 民 小 學 校 務 評 鑑 之 後 設 評 鑑 研 究 。 臺 北 市 立 師 範 學院 國 民 教 育 研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。洪 千 惠 (1992)。 企 業 教 育 訓 練 制 度 與 經 營 績 效 之 相 關 研 究 及 評 估 。 私 立 淡 江大 學 管 理 科 學 研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。胡 雯 雯 (2002)。 臺 、 日 、 英 、 德 企 業 教 育 訓 練 制 度 與 組 織 績 效 關 係 之 比 較 研究 。 國 立 中 央 大 學 人 力 資 源 管 理 研 究 所 碩 士 論 文 , 未 出 版 , 桃 園 。許 駿 煒 (2000)。 高 科 技 產 業 員 工 教 育 訓 練 成 效 評 估 之 個 案 研 究 。 國 立 台 北 科技 大 學 技 術 及 職 業 教 育 研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。許 韡 穎 (2002)。 特 殊 教 育 後 設 評 鑑 指 標 之 建 構 研 究 。 國 立 高 雄 師 範 大 學 特 殊教 育 學 系 碩 士 論 文 , 未 出 版 , 高 雄 。陳 水 竹 (1994)。 企 業 訓 練 效 益 評 估 的 規 劃 。 就 業 與 訓 練 ,12(4),3-9。陳 沁 怡 (2003)。 訓 練 與 發 展 。 台 北 : 雙 葉 書 廊 。陳 姿 伃 (1996)。 員 工 教 育 訓 練 成 效 評 估 之 研 究 - 以 本 國 銀 行 業 為 例 。 國 立 中興 大 學 企 業 管 理 研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。陳 素 貞 (1999)。 企 業 訓 練 績 效 評 估 研 究 - 國 內 外 標 竿 企 業 之 比 較 。 國 立 中 央大 學 人 力 資 源 管 理 研 究 所 碩 士 論 文 , 未 出 版 , 桃 園 。23

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 24 頁 , 共 26 頁曾 淑 惠 (2000)。 教 育 方 案 評 鑑 。 台 北 : 師 大 書 苑 。曾 淑 惠 (1997)。 我 國 專 科 學 校 後 設 評 鑑 之 研 究 。 國 立 臺 灣 師 範 大 學 工 業 教 育研 究 所 博 士 論 文 ,, 未 出 版 , 台 北 。游 家 政 (1994)。 國 民 小 學 後 設 評 鑑 標 準 之 研 究 。 國 立 臺 灣 師 範 大 學 教 育 研 究所 博 士 論 文 , 未 出 版 , 台 北 。黃 英 忠 (1993)。 產 業 訓 練 論 。 台 北 : 三 民 。廖 培 瑜 (2001)。 企 業 訓 練 線 上 學 習 成 效 評 量 之 研 究 。 國 立 臺 灣 師 範 大 學 工 業科 技 教 育 研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。蔡 錫 濤 (2000)。 訓 練 評 鑑 的 焦 點 與 模 式 。 人 力 資 源 發 展 月 刊 ,156,1-12。蔡 櫻 枝 (2002)。 某 公 司 訓 練 成 果 評 鑑 工 具 發 展 。 國 立 中 山 大 學 人 力 資 源 與 管理 研 究 所 暑 期 專 案 研 究 ,, 未 出 版 , 高 雄 。戴 幼 農 (1983)。 訓 練 成 效 評 核 。 就 業 與 訓 練 ,12(4),55-59。戴 淑 媛 (2001)。 中 高 齡 者 職 業 訓 練 成 效 評 估 之 研 究 。 國 立 中 山 大 學 公 共 事 務管 理 研 究 所 碩 士 專 班 論 文 , 未 出 版 , 高 雄 。簡 建 忠 (1994)。 訓 練 評 鑑 。 台 北 : 五 南 。蘇 慧 雯 (2003)。 臺 北 市 幼 稚 園 後 設 評 鑑 之 研 究 。 台 北 市 立 師 範 學 院 國 民 教 育研 究 所 碩 士 論 文 , 未 出 版 , 台 北 。24

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 25 頁 , 共 26 頁蘇 錦 麗 、 王 麗 雲 、 郭 昭 佑 、 王 振 世 、 張 德 勝 、 葉 忠 達 等 ( 譯 ) (2005) 。Stufflebeam D.L., Mandaus G.F.,&Kellaghan T. 著 。 評 鑑 模 式 教 育 及人 力 服 務 的 評 鑑 觀 點 。 台 北 : 高 等 教 育 文 化 事 業 有 限 公 司 。E 時 代 人 力 資 源 發 展 趨 勢 與 挑 戰 ( 無 日 期 )。2005 年 8 月 25 日 , 取 自http://www.b-training.org.tw/btraining/Activity/elearning/elearning-2-4.html中 小 企 業 人 才 培 訓 政 策 方 向 之 研 究 - 建 立 中 小 企 業 自 發 性 學 習 型 組 織 ( 無 日期 )。2005 年 10 月 6 日 , 取 自 http://www.mof.gov.tw事 業 單 位 辦 理 員 工 職 業 訓 練 情 形 (2004 年 7 月 )。2005 年 12 月 5 日 , 取 自http://statdb.cla.gov.tw/職 業 分 類 資 訊 查 詢 系 統 ( 新 版 )(2005)。2005 年 7 月 5 日 , 取 自http://www.evta.gov.twBushnell, D.S. (1990). Input, process, output: A model for evaluationtraining. Journal of Training and Development, 42(3), 41-43.Cascio, W.F. (1992). Managing human resources. New York: McGraw-HillLaird, D. (1986). Approach to training and development. MA: AddisonStufflebeam, D. L. (2000). The methodology of metaevaluation asreflected in metaevaluations by the Western Michigan University25

T&D 飛 訊 第 44 期發 行 日 期 :95 年 4 月 10 日第 26 頁 , 共 26 頁Evaluation Center. Journal of Personnel Evaluation in Education,14(1), 95-125.26