﹝文章﹞訓練機構版訓練成效評估之挑戰與建議
訓練機構版訓練成效評估之挑戰與建議
林子傑
TTQS評核委員
社團法人台灣神經語言程式學學會 常務理事
一、前言：
訓練機構辦理教育訓練之最終目的，是擁有良好的訓練績效，未導入TTQS之前，訓練機構多以學員滿意度調查或以筆試、實作測驗或心得撰寫作為訓練成效之評估方式，這些方式多注重於個人學習，然而在訓練後對於組織助益的連結則較少著墨。隨著TTQS的導入，訓練機構逐漸重視訓練評核的行為評估與成效評估的實施，然而訓練機構在取得行為評估與成效評估的資料不如企業機構來的容易，所以訓練機構在L3～L4的呈現相對比較薄弱，故撰文探討訓練機構版訓練成效評估所遭遇的挑戰並提出建議，以供訓練機構參考，期能對訓練機構於訓練成效評估有助益。
二、訓練績效之定義
組織推動任何活動都必須設定明確的目的與目標，同時能夠與組織中長期發展吻合，為提高組織營運之績效，運用教育訓練促進人員學習與成長是重要的一種方法，訓練的投入會成為訓練的產出，訓練成效的良窳，必須對訓練績效進行評核來瞭解，這是企業事業與訓練機構重視的一環，選擇評核之準據是評鑑訓練成效的基本決策。Kalpana及Bhuvaneswari（2011）表示，評核是完成訓練活動後衡量績效之有效性，收集有用的資訊作為未來辦理訓練之改善依據與回饋，評核的目的是確保受訓者獲得適當的訓練品質，品質指的是員工在訓練後可防止產出的產品或服務錯誤發生，評核是偵測及導正錯誤發生。Alvarez,Salas,&Grofano（2004）指出，對於訓練有效性，必須考量到受訓人員的態度、學習認知、學員本身的經驗累積、學習準則與訓練後的干擾等因素，若是有效處理學員反應回饋和學習動機的機制，將有助於提升訓練的有效性。Kearns（2005）表示，訓練必須與組織需求相吻合，因此必須對訓練進行評核，其結果不僅探討訓練之結果，更需要計算其財務效益，且應強調訓練能為組織帶來之財務報酬，即是訓練投資報酬率ROI（Return On Investment），他主張訓練評估要聚焦在訓練後的附加價值產出，訓練要能與組織經營策略緊密連結，亦稱為策略學習。訓練評估模型，許多學者提出不同的觀點，DeSimone、Werner及Harris（1998）依據不同時間的發展，依發展順序作整理，其內容如表2-1。
| 學者（年代） | 模型名稱 | 訓練評核內容 |
| Kirpatrick（1959） | 四層次模型 | 反應（reaction）、學習（learning）、行為（behavior）、結果（result）。 |
| Stufflebeam et al. (1965) | CIPP | 背景（context）、輸入（input）、過程（process）、產出（product）。 |
| Warr et al. (1970) | Brinkerhoff模型 | 設定目標、方案設計、方案實施、立即的結果、結果的應用、衝擊和價值。 |
| Bushnell(1990) | IPO 模型 | 輸入、過程、產出、成果。 |
| Kraiger,Ford & Salas(1993) | 學習層次模型 | 對認知、技能、情感的學習層次，提出不同的評估方法。 |
| Kaufman & Keller(1994) | 五層級評量 | 啟動評估（enabling）、反應評估（reaction）、學習評估（acquisition）、應用評估(application)、組織成果評估（organizationoutput）、社會成效評估（societal outcome）。 |
| Holton(1996) | 評估研究與衡量模型 | 以動機要件、環境要件、能力要件與結果關係評量。 |
| Phillips(1996) | ROI 模型 | 訓練後工作上應用，組織效益，投資報酬率。 |
資料來源：江增常（2013）
眾多學者提出的理論中，最廣為引用者，為Kirpatrick教授的訓練成效評估理論（Kirpatrick,1959）。由於國家訓練品質評核系統對訓練成果的評核要求，主要為Kirpatrick四層次模型為主，而且我國勞動部勞對立發展署所採用推廣到國內各產業的訓練評估模式及方法，也引用Kirpatrick的訓練評估模式，故本研究在訓練評估理論當中，選擇Kirpatrick之訓練評鑑模型提出探討。
三、Kirpatrick訓練成效評鑑模型
威斯康辛大學Kirpatrick教授於1959年提出之訓練評估理論，將訓練成效的評估分為四個層次發展而來，分別是（趙佩如，2010）：
（一）反應層次（reaction level）
由受訓者定義對訓練課程之「愛好」及「感受」，主要是評估受訓者對於訓練方案之反應，包括對課程設計、講師專業及態度、教學方法等的滿意程度，此層次即為本模式之「教育訓練滿意度」。
（二）學習層次（learning level）
定義為「原理、事實、受訓者理解和吸收到的技巧」，即是受訓者是否因為接受訓練而獲得有關的知識、技能，此層次及為本模式之「個人才能增進程度」。
（三）行為層次（behavior level）
定義為「使用在工作上的工作方式及技巧」，即是評估受訓者於訓練後行為改善的程度，目的在量測受訓者將訓練中所學習的內容帶回工作崗位，也就是評估學習轉移對實際工作的影響程度，此層次即為本模式之「實際工作應用成效」。
（四）結果層次（results level）
定義為「教育訓練對組織績效之影響」，即是評估實施教育訓練之後對於組織績效的影響效果，這一方面的成果一般歸類為成本的減少、流動率及曠職減少、抱怨減少、生產品質和量的增加和改善士氣等。
這四個層次是以連續的方式來評估成效，每一個層次皆有其重要性，當評估過程從一個層次推移至下一個層次時，評估的過程就越費時與困難，但同時也增加了評估的價值（Kirpatrick,1959）。
江增常（2013）認為，在該模式中，反應層次（level 1）及學習層次（level 2）能在訓練後立即評鑑，以瞭解受訓者的滿意度與吸收到新知識與技能的程度，至於行為層次（level 3）及結果層次（level 4）則是訓練後1～3個月後的評鑑，以瞭解受訓者是否能將所學習的新知識與新技能應用於工作上並提升績效。訓練遷移時受訓者一種「行為準備」到「行為產出」的整個過程。Kirpatrick四層次評鑑模式及評估工具說明如表3-1。
表3-1 Kirkpatrick 四層次評鑑模式及評估工具
| 層次 | 評鑑工具 | 評鑑目的 |
| 層次一 反應 | 問卷、群體或個人面試、焦點群體。 | 1.受訓者的滿意程度會對學習氣氛造成一定程度的影響。 2.衡量受訓者對參與訓練的心得與感受。 |
| 層次二 學習 | 前後測、模擬、實作、心得報告。 | 1.學會了什麼知識。 2.發展或改善了什麼樣的技術。 3.改變了什麼態度。 |
| 層次三 行為 | 面談、觀察法、行為檢驗表、課後問卷、學員行動計畫、人事考核法、績效衡量。 | 1.學員有意願想改變。 2.學員必須知道應該做些什麼及去做。 3.學員必須在正向的工作氣氛中工作。 4.學員的行為改變，必須被激勵。 |
| 層次四 結果 | 成本-效益分析、計算訓練成本和價值（利用控制組、實驗組）、焦點群體、現場成果測定法、經營綜合評估法。 | 分析訓練成果對組織之改善與貢獻程度，其中包括了產量增加、品質題昇、成本降低、銷售量增加、利潤增加、意外事故降低、員工離職率降低、員工士氣提高或是投資報酬率增加等等。 |
資料來源：江增常（2013）
葛建培（2007）指出，訓練的目的在於看到結果產出，但是有時訓練對結果的影響程度是難以掌握的。然而，訓練人員在設計訓練時，仍應從瞭解組織欲達成的結果著手，再決定何種行為可以達到這些結果，進而分析要有這些行為所需具備的態度、知識及技巧。最後再視現況將訓練的目標設定在結果、行為或是學習的層次。
此外，Kirpatrick（1994）對訓練成效的重要性亦提出三項理由來說明：
1.訓練成效可以證實訓練成果對於組織目標達成之貢獻，並支持訓練部門繼續存在的理由。
2.訓練成效可以作為判定訓練活動是否持續辦理的重要依據。
3.經由訓練成效的評估可以獲得如何改進未來訓練活動之訊息。
綜合上述文獻所述，訓練成效的評估能瞭解教育訓練在規劃、設計與執行過程中，是否有達成組織所期待之目標，受訓者的行為改善是否如預期，受訓者於訓練中所學習的知識、技術與態度是否與課程規劃設計相符，瞭解受訓者對於課程的滿意度可知悉課程規劃是否符合訓練需求。所以訓練成效評估不僅可以評價訓練投入與產出之相關性，亦能表現出訓練單位辦理教育訓練的能力。
四、訓練機構在訓練成效評估實務上的挑戰
訓練機構在訓練成果評估實際操作上，反應評估大多會以滿意度調查表來操作；而學習評估會以筆試、實際操作測驗或撰寫學習心得等方式來操作。L1～L2的操作難度不高，大多訓練機構也都能有表單、流程及制度來執行，在此兩層次的評核是不會有問題的。然而對於L3～L4的訓練成效評估就會遭遇挑戰，行為評估若以撰寫行動計畫的方式來進行，然而其行為模式改變的驗證必須實施課後追蹤，若僅能對授課學員訪談，其信度是受到質疑的，機構有時會想要對學員的主管作訪談，但部份學員參與訓練機構之訓練課程並不願意讓公司主管知悉，故此方案實施結果會受限，對於行為評估就增加了難度。另外，在結果評估的部份亦難以追蹤學員個人工作績效及公司團隊績效之影響。因此，訓練機構在訓練成效評估L3～L4的呈現上就會產生很大的挑戰。
五、訓練機構實施訓練評估之建議
針對訓練機構實施訓練評估所遭遇之挑戰，提供以下建議以供參考：
1.反應評估與學習評估之運用：大多訓練機構能在L1及L2的結果作統計及分析，然而
對於分析結果所產出之改善建議均較少著墨，如機構能針對建議對未來課程規劃之改善能有效運用，並能有持續改善的效果，能增強反應與學習評估之成效。
2.行為評估之建議：行為評估為訓練後學員行為之改變，所以需中長期追蹤評估，首先需建立評估制度，例如評估流程、表單（例如行動計畫、面談表、電訪表），並能提供佐證資料。若課程為技術性訓練，可運用成果發表或考取相關證照等方式來作佐證，另外，也可將指標十三提供學習成果移轉的建議或協助之成果作為佐證，能強化行為評估之驗證。
3.結果評估：結果評估為學員訓後對於個人績效甚至對於組織績效之助益，首先亦需建立評估制度，例如評估流程、表單（例如面談表、電訪表），並能提供佐證資料。如為企業包班的方式，可再訓練接洽階段請企業人力資源部門協助訓後結果評估之執行，並提供佐證資料。
六、結語：
2012年新版TTQS評核指標著重於訓練成效的評估，就是希望訓練單位能提出訓練成效資料，讓高階主管更重視訓練，有助於高階主管對訓練之肯定與支持，所以能有適切地執行訓練評估，是訓練舉辦過程中相當重要的一環。訓練評估需從評估之規範、流程、表單等制度建立開始，並能實際執行，將結果統計分析後，提出建議且能依此作持續改善的動作，如此將能提升訓練評估之效果，也有助訓練改善之成效。
七、參考資料：
1.中文部份
江增常(2013)。訓練品質系統對訓練績效之影響—以訓練遷移與學習動機為中介變項。未出版之博士論文，國立臺北科技大學技術及職業教育研究所，台北市。
葛建培(2007)。訓練品質、組織承諾與組織績效關聯性之研究。未出版之博士論文，國立台灣師範大學工業科技教育學系，台北市。
趙佩如(2010)。我國職業訓練效益評估之研究-以中彰投區產業人才投資方案為例。未出版之碩士論文，亞洲大學資訊工程學系在職專班，台中縣。
2.英文部份
Alvarez,K., Salas,E.,&Garofano,C.M.(2004).An integrated model of training evaluation and effectiveness, Human Resource Development Review,3(4),385-416.
DeSimone, R. L., Werner, J. M., & Harris, D. M.(1998).Human resource development. The Dryden press.
Kalpana, P., & Bhuvaneswari, T.(2011).A contemplation of training descision support system, International Journal on Computer Science and Engineering,3(4),1491-1496.
Kearns, P.(2005). Evaluating the ROI from learning: how to develop
value-based training. London: Chartered Institute of Personnel and Development.
Kirkpatrick,D.L.(1959).Technique for evaluation program, Training and
Development Fournal,13(11).21-26.
Kirkpatrick,D.L.(1994).Evaluating training programs:The four levels. San Francisco. CA:Berrett-Koehler.
近期留言