21
CIPP Đánh giá bối cảnh (Context)
Đánh giá yếu tố đầu vào (Input)
Đánh giá quá trình (Process)
Đánh giá kết quả thực hiện (Product)
Mục tiêu
Nghiên cứu các nhu cầu, các vấn đề, lợi ích, cơ hội cũng nhƣ thách thức trên cơ sở các điều kiện và động lực của ngữ cảnh liên quan đến những điều này
Đánh giá tất cả các nguồn lực đƣợc phân bổ để đáp ứng nhu cầu và đạt đƣợc các mục tiêu. Chƣơng trình đào tạo phải đƣợc thiết kế dựa trên các phƣơng pháp tiếp cận ngƣời học linh hoạt, có kế hoạch và phƣơng pháp cụ thể, tổ chức nhân sự rõ ràng và dự trù ngân sách
Theo dõi, lập hồ sơ, nghiên cứu và báo cáo về việc thực hiện kế hoạch đào tạo, chƣơng trình đào tạo. Thu thập thông tin về sự phản hồi từ ngƣời học sau khi hoàn thành chƣơng trình giáo dục hay ngay trong quá trình thực hiện. Làm đo lƣờng, lập báo cáo, các biểu mẫu đánh giá
Xác định và xem xét tất cả các thành tựu của chƣơng trình đào tạo so với các chi phí đầu vào, so sánh thành tựu đạt đƣợc với các mục tiêu đề ra
Nhiệm vụ
Thiết lập các mục tiêu, các ƣu tiên và đồng thời theo dõi các mục tiêu này có mối quan hệ nhƣ thế nào với nhau để xác định chính xác đâu là nhu cầu đào tạo thực sự và từ đó tìm ra các vấn đề cần phải đƣợc giải quyết để đạt đƣợc những mục tiêu đào tạo đó
Xác định và đánh giá khả năng của hệ thống, chiến lƣợc đầu vào và xây dựng chiến lƣợc để triển khai
Nhận biết hay dự báo đƣợc các ƣu, nhƣợc điểm trong xây dựng quy trình và quá trình thực hiện. Cung cấp thơng tin cho các quyết định đã lên kế hoạch trƣớc và để duy trì hồ sơ về các sự kiện thuộc quy trình và các hoạt động
Tạo ra mối liên hệ giữa thông tin đầu ra với mục tiêu và giới hạn đầu vào. Quyết định đầu tƣ chi phí vào một chƣơng trình đào tạo hay chi phí cho hoạt động đào tạo có thể đƣợc quyết định hay xem xét lại
Các câu hỏi cần đặt ra
Mối quan hệ giữa các mục tiêu đề ra? Các khó khăn thách thức để thực hiện mục tiêu là gì? Tầm quan trọng và mức độ ƣu tiên giữa các mục tiêu?
Ta có gì? Ta Thiếu gì? Cơ sở vật chất, kỹ thuật và con ngƣời? Điểm mạnh và yếu của cơ sở, tổ chức?
Các yếu tố cần cải thiện của chƣơng trình đào tạo?, Mức độ hài lòng của học viên?, Khả năng áp dụng kiến thức sau đào tạo?, Kết quả đào tạo?
Chƣơng trình đã đạt đƣợc các mục tiêu đào tạo khơng? Có giải quyết đƣợc nhu cầu mục tiêu hay vấn đề đƣợc nhắm đến không? Các kết quả không mong muốn của chƣơng trình là gì? Đã có kết quả tích cực song song với kết quả tiêu cực? kết quả có tƣơng xứng với chi phí?
23
Mơ hình CIPP chú trọng việc đánh giá nhu cầu, mục tiêu của chƣơng trình đào tạo từ đó đánh giá bối cảnh, đầu vào và khả năng tổ chức để có thể đáp ứng đƣợc hay có thể đạt đƣợc các mục tiêu tƣơng xứng. Việc đánh giá quá trình và đánh giá sản phẩm tổng thể đƣợc thực hiện nhằm liên tục củng cố và cải thiện để khắc phục các điểm bất hợp lý và khơng hiệu quả của chƣơng trình đào tạo. Mơ hình chủ yếu tập trung vào việc xem xét nhu cầu đào tạo và từ đó thiết lập các mục tiêu đào tạo tiềm năng dựa trên bối cảnh hiện có. Tuy nhiên mơ hình này chƣa định lƣợng và phƣơng pháp đánh giá cịn sơ sài khi chỉ sử dụng phƣơng pháp mơ tả và so sánh các mục tiêu đặt ra với các kết quả đạt đƣợc đơn thuần.
1.3.2. Mơ hình Kirkpatrick
Năm 1975, Donald Kirkpatrick giới thiệu một mơ hình bốn mức độ đánh giá hiệu quả đào tạo và đƣợc ông cập nhật mới nhất vào quyển sách “Evaluating Training Programs” vào năm 1998. Kể từ đó kiến thức về đánh giá đào tạo đã nhân
rộng, truyền bá cũng nhƣ phát triển trên tồn thế giới, nhìn chung hầu nhƣ đều có một nền tảng dựa trên những mức độ đánh giá mà giáo sƣ Kirkpatrick đề ra. Trong quá trình du nhập vào Việt Nam tuy đã đƣợc dịch thành các nghĩa khác nhau, nhƣng đa phần các nhà nghiên cứu sẽ đƣa ra định nghĩa về 4 mức độ nhƣ sau: [5],[24]
Mức độ 1: Sự phản hồi (Reaction) là q trình thu thập thơng tin từ ngƣời học về sự hài lịng của ngƣời học sau khi kết thúc chƣơng trình đào tạo. Mức độ này thƣờng đƣợc đánh giá qua phiếu khảo sát sau mỗi khóa học, học viên đƣợc yêu cầu bày tỏ ý kiến, cảm nhận của mình về chƣơng trình đào tạo, về cấu trúc, nội dung, phƣơng pháp đào tạo, cơ sở vật chất, chất lƣợng giảng viên và sự hữu ích cũng nhƣ khả năng ứng dụng các kiến thức đã học vào công việc,… Trong bốn cấp độ “Sự phản hồi” là cấp độ đƣợc sử dụng nhiều nhất có lẽ do đây là cấp độ dễ thực hiện và dễ đánh giá nhất. Thế nhƣng bất chấp tính đơn giản của cấp độ này, theo KirkPatrick, cấp độ này cũng không kém phần quan trọng. Trƣớc hết, dựa vào những phản hồi của ngƣời học, các nhà quản lý và giáo viên có thể xác định những khía cạnh nào của chƣơng trình đào tạo cần đƣợc củng cố và phát triển, những khía cạnh nào cần thay đổi, cải thiện. Ngoài ra, cấp độ này cũng cung cấp cho nhà đào
tạo những thông tin định lƣợng về chất lƣợng của chƣơng trình đào tạo. Trong đó, họ có thể sử dụng những thông tin này để định ra những tiêu chí cho các chƣơng trình tiếp theo. Hình thức đánh giá đơn giản nhất là thông qua phiếu phát tay cho từng học viên sau mỗi khóa học, ngồi ra nếu là khóa học online hay đào tạo qua máy tính thì ngƣời học có thể trả lời các câu hỏi bằng bảng hỏi trực tuyến và đƣợc thu thập sau đó bởi nhà đào tạo. Các câu hỏi thƣờng xoay quanh các ý chính: Ngƣời học cảm nhận nhƣ thế nào về trải nghiệm học tập? Nó có thú vị khơng? Ngƣời học có thích giảng viên/nhà đào tạo khơng? Chƣơng trình học có phù hợp khơng? Nội dung có dễ hiểu khơng?...
Mức độ 2: Học tập (Learning) là đo kết quả nhận thức, đánh giá xem học viên có học đƣợc những kiến thức, kỹ năng và thái độ nhƣ mục tiêu của chƣơng trình đào tạo đặt ra hay khơng. Nói cách khác, đây là cấp độ đo lƣờng ngƣời học có đạt đƣợc mục tiêu đào tạo hay học viên có thể cải thiện, nâng cao, mở rộng kiến thức và kỹ năng của họ sau khi tham dự khóa học khơng. Cấp độ này có thể tiến hành trong suốt khóa học và sử dụng nhiều phƣơng pháp đánh giá khác nhau bao gồm bảng câu hỏi thăm dò ý kiến, khảo sát, quan sát, kiểm tra lý thuyết trên giấy, kiểm tra thực hành, đánh giá theo nhóm, tự đánh giá... Thơng thƣờng mức độ thay đổi về kiến thức, kỹ năng, thái độ của học viên nhờ vào đào tạo đƣợc xác định dựa vào việc so sánh, đối chiếu kết quả kiểm tra trƣớc khi khóa học bắt đầu (bài kiểm tra đầu vào, Pre-test) và kỳ thi sau khi khóa học kết thúc (Post-test). Sự khác biệt giữa hai bài kiểm tra sẽ chỉ rõ học viên đó tiếp thu đƣợc những gì từ khóa học. Dựa vào điểm số của học viên, nhà đào tạo có thể xác định một cách tƣơng đối chính xác ảnh hƣởng của việc đào tạo đến học viên. Một điều cần phải lƣu tâm đó là việc đánh giá kết quả học tập phải dựa vào mục tiêu chƣơng trình đào tạo đã đƣợc đề ra và các bài thi, bài kiểm tra phải theo sát các mục tiêu này.
Mức độ 3: Hành vi (Behaviour) là đánh giá khả năng và mức độ ứng dụng những kiến thức và kỹ năng mà học viên đạt đƣợc từ khóa học vào cơng việc của họ. Cấp độ này tìm đáp án cho câu hỏi liệu những kỹ năng, kiến thức kể trên có giúp ích cho học viên nâng cao hiệu quả cơng việc của mình khơng, nói cách khác
25
những kiến thức và kỹ năng này có làm cho học viên thay đổi hay hình thành nên một hành vi làm việc nào đó có ích trong cơng việc và nếu có thì ở mức độ nào. Nhà đào tạo cần đánh giá biểu hiện công tác của học viên trƣớc và sau khi tham gia đào tạo. Sự so sánh hai kết quả đánh giá sẽ chỉ ra liệu có thay đổi nào diễn ra nhờ vào kết quả đào tạo hay không. Do cấp độ đánh giá này liên quan đến những gì diễn ra sau khi học viên hồn thành khóa học và quay về với công việc, việc đánh giá này tốt nhất đƣợc thực hiện ba đến sáu tháng sau khi khóa học kết thúc vì thứ nhất học viên cần có thời gian để ơn lại những gì họ đƣợc học và áp dụng nó vào thực tiễn. Thứ hai rất khó để có thể dự đốn chính xác chính xác khi nào thì những thay đổi trong biểu hiện công tác của học viên nhờ vào kết quả đào tạo diễn ra. KirkPatrick đề nghị cấp độ đánh giá này nên đƣợc thực hiện nhiều lần để có thể xác định một cách toàn diện và đầy đủ ảnh hƣởng của những thay đổi trên. Những phƣơng pháp đánh giá có thể sử dụng ở cấp độ này bao gồm câu hỏi thăm dò, khảo sát, phỏng vấn, quan sát trực tiếp. Những ngƣời tham gia vào công tác đánh giá ở cấp độ này khơng chỉ có học viên mà cịn bao gồm các nhà quản lý, cấp trên trực tiếp, hoặc những ngƣời ở vị trí có thể quan sát đƣợc sự thay đổi trong biểu hiện công tác của học viên. Đánh giá ở cấp độ này tƣơng đối phức tạp và khó thực hiện do cần có nhiều thời gian và công sức để thu thập dữ liệu và rất khó dự đốn khi nào những thay đổi trong hành vi làm việc của học viên sẽ diễn ra. Hơn nữa ngoài yếu tố đào tạo, năng suất làm việc của học viên cịn có thể bị ảnh hƣởng do nhiều yếu tố khác liên quan đến bản thân ngƣời học, sự cam kết, động lực, khả năng làm việc, mơi trƣờng văn hóa cơng ty, mức độ hỗ trợ từ cấp trên, sự phù hợp với công việc của học viên… hoặc việc xác định mục tiêu học tập của học viên.
Mức độ 4: Kết quả (Result) là xác định ảnh hƣởng của khóa học lên hoạt
động của tổ chức thông qua việc cải thiện hiệu năng làm việc của từng nhân viên đã tham gia q trình đào tạo. Cấp độ 4 khơng chỉ giới hạn ở lợi tức đầu tƣ đào tạo mà cịn có thể bao gồm những kết quả quan trọng khác đóng góp vào cơ cấu bền vững của một tổ chức. Sự thay đổi về tài chính có thể là lợi tức đầu tƣ dƣơng hoặc lợi nhuận tăng, cũng có thể là sự thay đổi trong các biến số có ảnh hƣởng tin cậy trực
tiếp vào kết quả tài chính tại cùng một thời điểm trong tƣơng lai. Bên cạnh đó, cấp độ này cịn đƣợc sử dụng để đánh giá chi phí so với lợi ích của chƣơng trình đào tạo, tức là tác động của tổ chức trong việc giảm chi phí, cải thiện chất lƣợng cơng việc, tăng năng suất, cải thiện mối quan hệ của con ngƣời, tăng doanh thu, tăng sự cam kết của nhân viên, ít tai nạn, sự hài lịng cao... Thí dụ trong đào tạo nhân viên bán hàng, đo lƣờng sự thay đổi trong lƣợng tiêu thụ, sự thu hút, lƣu giữ khách hàng, sự gia tăng lợi nhuận sau khi chƣơng trình đào tạo đƣợc thực hiện. Trong đào tạo an toàn lao động, đo lƣờng sự giảm bớt các tai nạn sau khi chƣơng trình đào tạo đƣợc thực hiện… Thu thập, tổ chức và phân tích cấp độ bốn có thể khó khăn, tốn thời gian và tốn kém hơn so với ba cấp độ trên, nhƣng kết quả đạt đƣợc rất đáng giá khi có thể xem xét một cách đầy đủ và toàn diện về giá trị của công tác đào tạo đối với tổ chức.
Hình 1.2. Mơ hình đánh giá 4 cấp độ của Kirkpatrick
Nguồn: Kirkpatrick (1975)
Đánh giá mức độ tác động đến kết quả làm việc của tổ chức Đánh giá mức độ áp dụng kết
quả học tập vào công việc Đánh giá kiến thức, kỹ năng
tiếp thu đƣợc sau đào tạo Đánh giá mức độ hài lịng về
27
Nhìn chung, càng lên cấp độ lớn hơn, quá trình đánh giá càng trở nên khó khăn và mất thời gian hơn, mặc dù chúng cho nhiều thơng tin có giá trị hơn và hiệu lực kết quả cao hơn. Các tổ chức, doanh nghiệp hiện nay đã và đang thực hiện đƣợc cấp độ 1 và phần nào đó là mức 2 nhƣng sau đó gặp rất nhiều khó khăn tại cấp độ 3 và 4 vì khơng thể đánh giá đƣợc hoặc không thể thực hiện đƣợc các bƣớc này.
1.3.3. Mơ hình đánh giá OEM của Kaufman
OEM – Organizational Elements Model tạm dịch là “Mơ hình các yếu tố tổ
chức” của giáo sƣ Roger Kaufman là sự cải tiến từ mơ hình bốn cấp độ mà giáo sƣ Kirkpatrick đã lập ra. Trong khi giáo sƣ Kirkpatrick phân chia sự đánh giá theo các mức độ tác động của hoạt động đào tạo lên ngƣời học và sau đó là tổ chức thì mơ hình của Kaufman đánh giá sự tác động và hiệu quả của các nhóm khác nhau trong xuyên suốt hoạt động tổ chức và thực hiện đào tạo bao gồm năm yếu tố đánh giá nhƣ sau:
Bảng 1.2. Bảng so sánh các cấp độ của mơ hình Kaufman và Kirkpatrick
Nguồn: Andrew Downes (2017)
Kaufman Kirk-
patrick Diễn giải
Input
Đầu vào Cấp độ 1
Chất lƣợng, cơ sở vật chất, tài nguyên học tập,…
Đây là những tài liệu đào tạo, tài nguyên kỹ thuật ..vv, có sẵn đƣợc sử dụng để hỗ trợ hoạt động đào tạo và phát triển Process
Quy trình đào tạo
Cấp độ 1
Quy trình đào tạo mang tính hiệu quả và đã đƣợc chấp nhận
Đây là cách thức và phƣơng pháp truyển tải kiến thức trong thực tế mà ngƣời đào tạo sử dụng
Micro
Kết quả đào tạo
Cấp độ 2 và 3
Kết quả nhận đƣợc từ cá nhân ngƣời học
Đây là kết quả cho “khách hàng cấp vi mô” (thông thƣờng là ngƣời học). Ngƣời học có đƣợc việc khơng? Ngƣời học có áp dụng nó vào công việc không?
Macro
Đầu ra Cấp độ 4
Kết quả nhận đƣợc từ tổ chức/doanh nghiệp
Đây là kết quả của "khách hàng cấp vĩ mô", tổ chức, bao gồm việc đánh giá hiệu suất cải tiến và phân tích giữa chi phí và lợi ích
Mega
Hiệu quả n/a
Đóng góp cho xã hội
Đây là đánh giá hiệu quả đào tạo đối với xã hội nhƣ một tổng thể hoặc nhƣ là một khách hàng của doanh nghiệp
Sự phân chia cấp độ 1 về đánh giá sự phản hồi từ ngƣời học của Kirkpatrick thành đánh giá Input – đánh giá đầu vào và Process - đánh giá quy trình đào tạo có lẽ là một trong những ý tƣởng thực tế và hữu ích nhất của Kaufman (Andrew Downes, 2017). Trong một thế giới cho phép truy cập nhanh chóng vào các trang web nhƣ Google, Wikipedia và YouTube thì tính sẵn có và chất lƣợng của các tài nguyên trên intermet ngày càng trở nên quan trọng. Đánh giá hiệu quả của hoạt
29
động đào tạo theo Kaufman trƣớc hết là phải đánh giá về các nguồn tài ngun học liệu có sẵn, vì q trình học tập khơng chỉ gói gọn trong thời gian lên lớp, thời gian tổ chức thực hành mà nó là hoạt động xuyên suốt trong quá trình làm việc của nhân viên. Đó là q trình tự học tập và nghiên cứu mà nhân viên thực hiện hàng ngày, hàng tuần. Do đó, nguồn tài nguyên học tập sẵn có cần phải đƣợc đánh giá một cách chính thống và rõ ràng vì đây cũng chính là đánh giá hoạt động tự học tập của nhân