ĐÁNH GIÁ HI U QU ĐÀO TẠO TẠI DOANH NGHI P BẰNG PHƯ NG PHÁP KIRKPATRICK Đỗ Văn Dũng - Đại học Sư phạm Kỹ thuật TP HCM Nguyễn Thị Thu Trang - Đại học Cơng nghiệp TP HCM Tóm tắt: Hiệu mục tiêu hàng đầu c a cơng tác đánh giá chương trình đào tạo Hệ thống đánh giá hiệu sử dụng rộng rãi hệ thống đánh giá bốn cấp độ c a Kirkpatrick Qua bốn cấp độ đánh giá: Phản ng, Kết học tập, ng dụng Kết quả, hệ thống cung cấp thơng tin có giá trị m c độ hài lịng c a học viên khoá học, lượng kiến th c kỹ họ tiếp thu, khả ng dụng họ học vào cơng việc, ảnh hưởng c a chương trình đào tạo thành công c a tổ ch c Những thông tin giúp cho nhà quản lý tổ ch c hiệu chương trình đào tạo có biện pháp tốt để nâng cao hiệu chất lượng đào tạo Abstract: Effectiveness of training programs has become one of the major objects of evaluation Among models used to evaluate training effectiveness, Kirkpatrick’s four level of evaluation is the best recognized and the most widely utilized The model’s four levels of evaluation: Reaction, Learning, Transfer, and Result provide valuable information on how favourably learners reacted to the training program, what skills and knowledge they learnt from the training course, how they apply what they learnt to their jobs, and what impact the training had on the organisation The information helps training providers organise their training programs more effectively and better improve training effectiveness and quality Đặt vấn đề Hiệu xem yếu tố yếu định thành cơng c a chương trình đào tạo Chính thế, khơng có đáng ngạc nhiên hiệu mục tiêu hàng đầu c a cơng tác đánh giá chương trình đào tạo Việc đánh giá hiệu đào tạo thường tiến hành sau chương trình đào tạo kết thúc Việc đánh giá thực để tìm hiểu xem chương trình đào tạo có hồn thành mục tiêu đề khơng Nó ch yếu xác định kết đào tạo- lượng kiến th c, kỹ học viên tiếp thu từ khoá học, quan hơn, khả m c độ ng dụng c a kỹ kiến th c công việc mà học viên đảm nhận Những thông tin thu từ công tác đánh giá hiệu đào tạo cịn giúp nhà tổ ch c đào tạo tìm mặt cần cải thiện, điều chỉnh c a chương trình Những thơng tin cịn nhà quản lý đào tạo sử dụng lập kế hoạnh hay đưa định phân bố tài cho chương trình đào tạo c a Khi đó, chương trình đào tạo có hiệu cao ưu tiên hàng đầu, chương trình có hiệu thấp phải thay đổi hay h y bỏ Điều đặc biệt cần thiết nguồn kinh phí dành cho đào tạo không dồi Với tầm quan trọng vậy, việc tìm hệ thống đánh giá cách xác hiệu c a chương trình đào tạo ln nhà nghiên c u quản lý đào tạo quan tâm Do vậy, có nhiều hệ thống xây dựng áp dụng Trong số hệ thống này, hệ thống đánh giá bốn cấp độ c a Kirkpatrick xem hệ thống tiếng nhất, công nhận nhiều sử dụng rộng rãi nhất, đặc biệt lĩnh vực đào tạo doanh nghiệp H thống đánh giá bốn cấp độ c a Kirkpatrick Đúng tên gọi hệ thống đánh giá hiệu đào tạo Kirkpatrick xây dựng vào năm 1959 bao gồm bốn cấp độ • • • • Cấp độ 1: Phản ng (Reaction): Học viên có hài lịng với khố học mà họ tham dự khơng? Cấp độ 2: Kết học tập (Learning): Học viên học từ khố học? Cấp độ 3: ng dụng (Transfer) Học viên có ng dụng họ tiếp thu từ khố học vào cơng việc c a học khơng sau khố học họ có nâng cao hiệu cơng việc c a khơng? Cấp độ 4: Kết (Result) Chương trình đào tạo có ảnh hưởng tổ ch c (công ty, nhà máy, sở sản xuất ) Nội dung c a cấp độ trình bày cụ thể Cấp độ một- Ph n ng Đánh giá cấp độ ch yểu tìm hiểu phản ng c a học viên khoá học họ tham dự Thơng qua phiếu thăm dị thường phát vào cuối khoá học, học viên bày tỏ ý kiến c a khía cạnh khác c a khố học, ví dụ nội dung c a chương trình đào tạo, sở vật chất, giáo viên, ảnh hưởng khả ng dụng c a kiến th c kỹ họ tiếp thu từ khố học cơng việc mà họ đảm nhận Trong bốn cấp độ, “Phản ng” cấp độ sử dụng nhiều có lẽ cấp độ dễ thực dễ đánh giá (Farmer, tr.5) Thế bất chấp tính đơn giản c a nó, theo Kirkpatrick, cấp độ không phần quan trọng Trước hết, dựa vào phản hồi c a học viên, nhà quản lý giáo viên xác định khía cạnh c a chương trình đào tạo cần cố phát triển, khía cạnh cần sửa đổi, cải thiện Trong trường hợp này, thông tin học viên cung cấp thông tin có giá trị (Boyle and Crosby, 1997) Ngồi ra, cấp độ cung cấp cho nhà quản lý thông tin định lượng chất lượng c a chương trình đào tạo họ sử dụng thông tin để định tiêu chuẩn cho chương trình Do ý nghĩa tầm quan trọng c a cấp độ Phản ng, Kirkpatrick đề nghị chương trình đào tạo tối thiểu phải thực cấp độ đánh giá Những ý kiến phản hồi c a học viên cần so sánh, đối chiếu với ý kiến đánh giá c a nhà quản lý Sự kết hợp c a hai nguồn thông tin cho kết đánh giá tồn diện hơn, có ý nghĩa Cấp độ 2- Kết qu học tập Cấp độ th hai hệ thống đánh giá liên quan đến kết học tập c a học viên Kết học tập xác định dựa lượng kiến th c, kỹ năng, thái độ mà học viên tiếp thu đuợc từ khoá học Công tác đánh giá c a cấp độ Hai nhằm xác định m c độ mà học viên cải thiện, nâng cao, mở rộng kiến th c kỹ c a họ sau tham dự khố học Cấp độ tiến hành suốt khoá học sử dụng nhiều phương pháp đánh giá khác (Bistriz, 1996) bao gồm bảng câu hỏi thăm dò ý kiến, khảo sát, quan sát, kiểm tra lý thuyết giấy, kiểm tra thực hành, đánh giá theo nhóm, tự đánh giá Thơng thường m c độ thay đổi kiến th c, kỹ năng, thái độ c a học viên nhờ vào đào tạo xác định dựa vào việc so sánh, đối chiếu kết kiểm tra học viên tham gia trước khoá học bắt đầu (pre-test) kỳ thi sau khoá học kết thúc (post-test) Những khác biệt hai kỳ thi rõ học viên tiếp thu từ khoá học Dựa vào điểm số c a học viên, nhà đào tạo xác định cách tương đối xác ảnh hưởng c a việc đào tạo học viên (Kurse, 2003) Một điều cần phải lưu tâm việc đánh giá kết học tập phải dựa vào mục tiêu đề c a chương trình đào tạo Vì vậy, thi, kiểm tra phải theo sát mục tiêu Đánh giá cấp độ Hai khó thực hơn, nhiều công s c thời gian cấp độ Một Đó lý cấp độ phổ biến không thực rộng rãi cấp độ Một Cấp độ Ba: ng dụng Khả m c độ ng dụng c a kiến th c kỹ học viên đạt từ khoá học vào công việc c a họ đối tượng đánh giá ch yếu c a cấp độ Ba: ng dụng Nó tìm đáp án cho câu hỏi liệu kỹ năng, kiến th c kể có giúp ích cho học viên nâng cao hiệu công việc c a khơng, có m c độ Như Bistriz (1996) nhận định chương trình đào tạo trở nên vô nghĩa học viên khơng thể áp dụng họ học công việc hàng ngày c a họ Do cấp độ đánh giá liên quan đến diễn sau học viên hồn thành khố học quay với công việc, việc đánh giá tốt đuợc thực ba hay sáu tháng sau khoá học kết thúc hai lý sau Th nhất, học viên cần có thời gian để ơn lại họ học áp dụng vào thực tiễn Th hai, khó để dự đốn xác thay đổi biểu công tác c a học viên nhờ vào kết đào tạo xảy Kirkpatrick đề nghị cấp độ đánh giá nên thực nhiều lần để xác định cách toàn diện đầy đ ảnh hưởng c a thay đổi Và có thể, nhà đào tạo cần đánh giá biểu công tác c a học viên trước sau tham gia đào tạo Sự so sánh hai kết đánh giá liệu có thay đổi diễn nhờ vào kết đào tạo hay không Những phương pháp đánh giá sử dụng cấp độ bao gồm câu hỏi thăm dò, khảo sát, vấn, quan sát trực tiếp (Farmer, tr.9) Những người tham gia vào công tác đánh giá cấp độ khơng có học viên mà cịn bao gồm nhà quản lý, cấp trực tiếp, người vị trí quan sát thay đổi biểu công tác c a học viên Đánh giá cấp độ tương đối ph c tạp khó thực cần có nhiều thời gian công s c để thu thập liệu khó dự đốn thay đổi biểu công tác c a học viên diễn Hơn nữa, đào tạo, biểu cơng tác cịn bị ảnh hưởng nhiều yếu tố khác Tất điều làm cho nhà đào tạo không bị bắt buộc không thực cấp độ đánh giá Nhưng ph nhận tầm quan trọng c a cấp độ Ba Nhiều nhà đào tạo cho kết c a cấp độ Ba thể xác hiệu đào tạo Nó giúp nhà quản lý có nhìn thấu đáo khả ng dụng c a đào tạo thực tiễn sản xuất, chướng ngại ngăn cản học viên sử dụng kỹ thuật quy trình học vào công việc Cấp độ Bốn: Kết qu Cấp độ Bốn đánh giá hiệu đào tạo thơng qua ảnh hưởng c a với kết kinh doanh Kết kinh doanh bao gồm việc nâng cao chất lượng, nâng cao hiệu sản xuất, giảm chi phí sản xuất, giảm tỷ lệ bỏ việc, nghỉ việc c a nhân viên Cấp độ không tập trung vào ảnh hưởng c a đào tạo cá nhân mà tập trung vào ảnh hưởng chung c a đào tạo toàn tổ ch c bao gồm tất cá nhân có tổ ch c Nhìn chung, quy trình đánh giá cấp độ có nhiều điểm tương đồng với cấp độ Ba, bao gồm việc cần có thời gian để kết đào tạo áp dụng vào công việc, thực việc đánh giá trước sau đào tạo, công tác đánh giá thực nhiều lần, vân vân Điểm khác biệt việc đánh giá cấp độ Bốn đựơc thực cấp độ tổ ch c nói chung Cần có hồ sơ theo dõi biểu công tác c a học viên Các liệu chi phí, suất, thu nhập, thời gian cần để thực công việc cần thu thập trước sau học viên tham dự chương trình đào tạo, sau so sánh hai kết để định lượng kết c a đào tạo (Farmer, tr.10) Đánh giá cấp độ Bốn quan trọng Trong bốn cấp độ, cấp độ cung cấp thơng tin có giá trị nhất, có s c thuyết phục Nó phản ánh mục tiêu cao c a tất chương trình đào tạo- lợi nhuận tổ ch c thu từ kinh phí đầu tư cho đào tạo (Bistriz, 1999) Nhưng đồng thời so với cấp độ đánh giá khác, cấp độ Bốn cấp độ khó thực nhất, nhiều thời gian địi hỏi nhiều kinh phí để thu thập, xếp phân tích liệu Một khó khăn mà nhà đánh giá phải đối mặt khả làm để tách riêng ảnh hưởng c a đào tạo thay đổi xảy tổ ch c khỏi yếu tố có khác thay đổi xảy đào tạo hay khơng đào tạo Khó khăn th hai việc quy đổi kết kinh doanh thành tiền gắn kết trực tiếp với đào tạo Do lý trên, cấp độ Bốn không tổ ch c thực S đồ 1: Bốn cấp độ đánh giá (Nguồn: Bistriz,1999, tr.7) Bốn cấp độ đánh giá trình bày tạo nên mơ hình đánh giá có tính hệ thống tồn diện mà tất thành tố có mối quan hệ chặt chẽ với Mặc dù chúng có khác biệt độ khó, tần số thực hiện, giá trị c a thông tin mà chúng cung cấp (sơ đồ 1), cấp độ cung cấp lượng thông tin riêng sử dụng làm sở cho cấp độ Ví dụ, tiến hành đánh giá cấp độ Ba nhận thấy không xảy thay đổi biểu công tác c a học viên, vội vã kết luận chương trình đào tạo khơng hiệu quả, học viên khơng học từ khố học Nhưng có tiến hành đánh giá cấp độ Một Hai kết cho thấy học viên hài lịng với khố học, họ thật có học thêm kiến th c kỹ mới, nguyên nhân làm cho thay đổi biểu công tác c a học viên khơng xảy yếu tố khác ví dụ mơi trường làm việc khơng thuận lợi, thiếu hỗ trợ từ nhà quản lý (Bistriz, 1999) Chính vậy, cơng tác đánh giá nên tiến hành từ cấp độ Một, sau tuỳ thuộc vào thời gian ngân sách tiến hành cấp độ Hai, Ba, Bốn Việc thực toàn hệ thống đánh giá c a Kirkpatrick cho ta kết qua đánh giá hiệu chương trình đào tạo tồn diện xác Kết luận Mặc dù hệ thống đánh giá hiệu đào tạo c a Kirpatrick đời cách gần 50 năm, hệ thống đánh giá chương trình đào tạo sử dụng nhiều lĩnh vực đào tạo doanh nghiệp Theo nghiên c u tiến hành vào năm 1997, 67% công ty khảo sát Mỹ sử dụng hệ thống để đánh giá hiệu c a chương trình đào tạo họ thực (Stone and Watson, 1999) Nguyên nhân phổ biến c a hệ thống tính đơn giản, linh hoạt, toàn diện hiệu hoạt động cao c a cơng tác đánh giá hiệu đào tạo kỹ kỹ thuật lẫn hiệu đào tạo kỹ khác (giao tiếp, trình bày, giải vấn đề ) (Boyle and Crosby, 1997) Trong thời gian gần có số trích hệ thống từ phía chuyên gia Họ nêu số điểm yếu c a hệ thống Điểm yếu bị phê phán nhiều sử dụng hệ thống c a Kirkpatrick để xác định tỷ lệ chi phí lợi nhuận - khả thu lợi nhuận từ kinh phí đầu tư cho đào tạo (ROI- Return on investment), mối quan tâm hàng đầu thử thách lớn nhà tổ ch c đào tạo Đã có nhiều chuyên gia đưa đề nghị bổ sung, sửa đổi, chí phương án thay cho hệ thống c a Kirkpatrick Ví dụ, Jack Philip (1991) đề nghị thêm vào hệ thống cấp độ th năm việc đánh giá khả thu lợi nhuận từ kinh phí đầu tư cho đào tạo thực cách quy đổi liệu đánh giá c a cấp độ Bốn thành tiền, sau so sánh kết với chi phí bỏ cho chương trình đào tạo Hoặc Elwood Holton (1996) đề nghị hệ thống đánh giá cấp độ Một bị loại bỏ, cấp độ Ba - ng dụng đuợc thay biểu công việc c a cá nhân Một số yếu tố yếu tố phụ ảnh hưởng đến kết học tập đưa vào hệ thống Hệ thống đánh giá có ba cấp độ: Học tập, Biểu công việc c a cá nhân, Kết đào tạo công ty Một số yếu tố ảnh hưởng đến học tập bao gồm phản ng c a người học, động học tập, khả c a người học Khả ng dụng c a hệ thống kể gây nhiều tranh cãi, tính đến thời điểm hệ thống c a Kirkpatrick xem chuẩn mực cho công tác đánh giá hiệu chương trình đào tạo lĩnh vực kinh doanh sản xuất TÀI LI U THAM KH O [1] Bistritz, S.J (1999): Evaluating Sales Training Program [online]: http:// www.strategicaccounts.org/public/education/pdf/ evaluating_siebel.pdf Retrieved 25 July 2004 [2] Boyle, M A / Crosby, R (1997): Academic program evaluation: Lessons from business and industry Journal of Industrial Teacher Education, 34(3), p 81-85 [3] Farmer, D M.: Evaluation of the Effectiveness of Training Programs (based on Don Kirkpatrick's Levels of Evaluation).[online]: http:// www.research.umbc.edu/ ~hodell/602rp7.htm Retrieved 22 July 2004 [4] Kruse, K (2002) : Evaluating e-Learning: Introduction to the Kirkpatrick Model [online]: http:// www.e-learningguru.com/ articles/ art2_8.htm Retrieved 22 July 2004 [5] Phillips, J (1991) : Handbook of Training Evaluation and Measurement Methods Second Edition Houston [6] Stone, J., / Watson, V (1999 ): Measuring Training ROI and Impact [online]: http:// www.carreeredgeonline.com/astec.216.219.224.241/ measuring_training_roi_and_impac htm Retrieved 10 Aug 2004 ... ngăn cản học viên sử dụng kỹ thu? ??t quy trình học vào công việc Cấp độ Bốn: Kết qu Cấp độ Bốn đánh giá hiệu đào tạo thông qua ảnh hưởng c a với kết kinh doanh Kết kinh doanh bao gồm việc nâng cao... nói chung Cần có hồ sơ theo dõi biểu công tác c a học viên Các liệu chi phí, suất, thu nhập, thời gian cần để thực công việc cần thu thập trước sau học viên tham dự chương trình đào tạo, sau so... tiếp thu từ khố học vào công việc c a học không sau khố học họ có nâng cao hiệu cơng việc c a khơng? Cấp độ 4: Kết (Result) Chương trình đào tạo có ảnh hưởng tổ ch c (công ty, nhà máy, sở sản