1.5.4.1. Khái niệm đánh giá chương trình đào tạo
Đánh giá chương trình đào tạo là một hoạt động quan trọng và thường xuyên trong các trường đại học. Ở nhiều nước, đánh giá chương trình là một phần không thể thiếu trong quá trình kiểm định nhà trường và kiểm định chương trình đào tạo. Thí dụ ở Mĩ hay Canada cùng với kiểm định chất lượng nhà trường, hầu hết các chương trình đào tạo đều được kiểm định để đảm bảo rằng nhà trường đã đào tạo nguồn nhân lực có các kiến thức, kĩ năng và phẩm chất đạo đức đáp ứng chuẩn nghề nghiệp do các hiệp hội kiểm định nghề nghiệp đề ra và đáp ứng các yêu cầu của các ngành nghề trong xã hội. Trong quá trình kiểm định chương trình thì các hoạt động và tiến trình đánh giá chương trình đóng vai trò quan trọng cung cấp các bằng chứng cần thiết cho việc kiểm định.
Đánh giá chương trình là sự thu thập cẩn thận các thông tin về một chương trình hoặc một vài khía cạnh của một chương trình để ra các quyết định cần thiết đối với chương trình (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).
Như vậy, đánh giá chương trình là những hoạt động có tính hệ thống, nằm trong một tiến trình; các hoạt động này nhằm kiểm tra toàn bộ các khía
50
cạnh hay một khía cạnh của chương trình: đầu vào của chương trình, các hoạt động thực hiện chương trình, các nhóm khách hàng sử dụng chương trình, các kết quả (các đầu ra) và làm thế nào để sử dụng có hiệu quả các nguồn lực (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).
Một trong những trọng tâm của việc đánh giá chương trình là: a) đánh giá việc nhà trường thực hiện các mục tiêu, làm cách nào để đạt mục tiêu và làm thế nào để biết liệu nhà trường có đạt được mục tiêu hay không? b) Đánh giá hiệu quả của chương trình để áp dụng ở những nơi khác. c) Đưa ra các so sánh hợp lý giữa các chương trình để quyết định xem chương trình nào nên được tiếp tục...khi chưa quyết định giảm ngân sách. d) Cải tiến chương trình và các dịch vụ cung cấp chương trình (Carter Mc Namara, 1998).
1.5.4.2. Những nguyên tắc đánh giá chương trình đào tạo
Để việc đánh giá chương trình được chính xác thì cần tuân thủ một số các nguyên tắc. Các tổ chức kiểm định nghề nghiệp khác nhau quy định nguyên tắc đánh giá chương trình tùy thuộc vào hoàn cảnh, mục đích của tổ chức của họ. Sau đây là một số nguyên tắc do tổ chức kiểm định chương trình đào tạo cán bộ y tế của tỉnh Ontario (Canada) đưa ra mà trong một chừng mực nào đó chúng tôi cho rằng những nguyên tắc này đã thể hiện đầy đủ những nguyên tắc cơ bản của việc đánh giá chương trình (Guiding Principles for Program Evaluation in Ontario Health Units, 1997).
Các nguyên tắc này trả lời cho các câu hỏi: lúc nào thì thực hiện đánh giá chương trình; đánh giá như thế nào, ai đánh giá và tại sao chúng ta phải đánh giá chương trình. Nội dung cụ thể của các nguyên tắc này như sau:
- Đánh giá lúc nào: Kết nối chặt chẽ kế hoạch thực hiện chương trình với việc đánh giá chương trình
Đánh giá phải là một phần của việc quản lí chương trình và xảy ra trong suốt thời gian thực hiện chương trình.
Trong kế hoạch thực hiện chương trình luôn luôn chỉ rõ: lúc nào sẽ đánh giá chương trình và đánh giá như thế nào?
51 - Đánh giá như thế nào:
Mô tả chương trình một cách rõ ràng
Cần mô tả rõ ràng chương trình sẽ được đánh giá: các đầu vào, các hoạt động, các đầu ra và các nhóm khách hàng sử dụng chương trình. Mô hình logic của chương trình cần được sử dụng khi thích hợp.
Những mục tiêu không cụ thể cần được làm rõ trước khi thực hiện các hoạt động đánh giá.
Xác định mục đích rõ ràng dựa trên các nhu cầu ra quyết định. Xác định các câu hỏi đánh giá một cách cụ thể, rõ ràng :
Câu hỏi đánh giá cần rõ ràng và cụ thể.
Câu hỏi đánh giá cần dựa trên nhu cầu trả lời các vấn đề quản lí chương trình.
Câu hỏi đánh giá cần liên quan đến các giai đoạn phát triển của chương trình, tính phức tạp của nó và lí do để đánh giá.
Các câu hỏi đánh giá cần phản ánh một cách trực tiếp các hoạt động của chương trình, các khách hàng chính và các đầu ra của chương trình.
Đạo đức nghề nghiệp
Các thành viên của nhóm đánh giá cần xem xét các ảnh hưởng đạo đức của vấn đề đánh giá chương trình để đảm bảo các quyền được tôn trọng và được bảo vệ của những người tham gia vào quá trình đánh giá chương trình.
Sử dụng một cách hệ thống các phương pháp đánh giá .
Các câu hỏi đánh giá cần quyết định các phương pháp đánh giá.
Việc xem xét các tài liệu và scan các hoạt động đánh giá trong các lĩnh vực khác nhau của chương trình cần được đặt ra ngay từ khi mới bắt đầu.
Không nhất thiết phải sưu tập những thông tin mới nếu các thông tin hiện hữu không trả lời được các câu hỏi đánh giá.
Các phương pháp đánh giá phải giúp tiết kiệm thời gian và nguồn lực. Đánh giá cần cung cấp thông tin cả định tính và định lượng từ các nguồn khác nhau.
52 Báo cáo chính xác và rõ ràng
Báo cáo đánh giá cần mô tả các thông tin về chương trình và hoàn cảnh tồn tại của nó, các nguồn thông tin được sưu tập hay sử dụng, phương pháp xử lí thông tin, những kết quả tìm được và những vấn đề hạn chế. (adsbygoogle = window.adsbygoogle || []).push({});
Các báo cáo đánh giá cần được trình bày rõ ràng, chính xác và hoàn thiện.
Tuyên truyền thông tin một cách rộng rãi và kịp thời.
Việc cung cấp thông tin cho những người liên quan cần kịp thời. Các kết quả đánh giá cần được chia sẻ với các cơ quan có liên quan. - Ai là người đánh giá?
Tiếp cận đa dạng thành phần của nhóm đánh giá
Nhóm đánh giá cần có thành phần đa dạng gồm các thành viên là những người am hiểu về chương trình, những người tham gia chương trình và có kiến thức, kĩ năng đánh giá chương trình.
Cần phân công rõ ràng trách nhiệm cho mọi thành viên ngay từ ban đầu.
Nhóm đánh giá cần tìm kiếm các hỗ trợ kĩ thuật hay đào tạo khi cần thiết.
Các thành viên của nhóm cần tiếp tục nâng cao kĩ năng đánh giá chương trình và các chuyên gia đánh giá của nhóm cần tạo điều kiện hỗ trợ cho các thành viên của nhóm.
Sự tham gia của các lực lượng liên quan
Những người liên quan có thể tham gia trực tiếp vào quá trình đánh giá hoặc được hỏi ý kiến trong quá trình đánh giá.
Quyền lợi, mong đợi, các ưu tiên và sự cam kết của những người liên quan cần được xem xét ngay từ đầu.
Giao tiếp của các thành viên trong nhóm cần chân thực và cởi mở. Đánh giá cần xem xét khía cạnh nhạy cảm của chương trình đối với môi trường văn hóa và xã hội và hoàn cảnh của những người liên quan.
53 - Tại sao phải đánh giá:
Sử dụng các kết quả đánh giá:
Những người quản lí chương trình cần hình thành kế hoạch hành động tương thích với các kết quả đánh giá.
Các kết quả đánh giá cần được sử dụng cho việc ra các quyết định. Nhìn chung đây là những nguyên tắc có tính chỉ dẫn và bao trùm lên toàn bộ các hoạt động đánh giá chương trình.
1.5.4.3. Nội dung, phương pháp đánh giá chương trình đào tạo
Tương đương với các nguyên tắc chỉ dẫn đánh giá trên, Peter F.OLiva (1997), Bộ phận đánh giá và đổi mới chương trình của trường đại học Austin (The University of Texas at Austin - USA) đưa ra chín bước cần thực hiện khi đánh giá chương trình sau đây:
1/ Mô tả chương trình
Mô tả sứ mạng và các mục tiêu của các hoạt động giảng dạy, các đổi mới mà chương trình giảng dạy sẽ được đánh giá hoặc đo lường. Các mô tả này cung cấp tư liệu tham khảo cho việc đưa ra các quyết định đánh giá sau đó. Các mô tả này bao gồm:
a. Tuyên ngôn về nhu cầu: mô tả vấn đề hay cơ hội mà các hoạt động giảng dạy, các đổi mới trong chương trình cần phải tập trung chú ý.
b. Hiệu quả giảng dạy mong muốn: xác định các hoạt động giảng dạy, các đổi mới mà chương trình cần hoàn thành để quá trình giảng dạy có được những thành công mong muốn.
c. Các hoạt động giảng dạy bao gồm các bước tiến hành cụ thể, các giải pháp hoặc các hành động và những kết quả tương ứng.
d. Các nguồn lực sẵn có: bao gồm thời gian, con người và kiến thức, công nghệ, dữ liệu, tiền và các phương tiện khác để thực hiện các hoạt động giảng dạy.
e. Các giai đoạn phát triển chương trình: giúp các nhà đánh giá xác định hoạt động giảng dạy nào là phù hợp và thiết kế việc học tập như thế nào.
54
f. Điều kiện giảng dạy: bao gồm khung cảnh và môi trường giảng dạy (ví dụ: số lượng sinh viên, hoàn cảnh xã hội, điều kiện tài chính, và các mối quan hệ tổ chức) trong đó diễn ra hoạt động giảng dạy.
2/ Xác định nhu cầu của những người liên quan.
Những người liên quan là những cá nhân hay tổ chức chịu ảnh hưởng của các kết quả đánh giá. Những cá nhân và tổ chức này có thể bao gồm cả những cá nhân điều hành hoạt động của chương trình, tham gia và chịu ảnh hưởng của chương trình, và những người sử dụng kết quả đánh giá chương trình. Người tài trợ cho chương trình bao giờ cũng là người liên quan.
Nhu cầu của những người liên quan phản ánh những câu hỏi trọng tâm của họ về hoạt động, việc đổi mới chương trình giảng dạy. Xác định được các nhu cầu của những người liên quan giúp cho các kết quả đánh giá được sử dụng tốt nhất. (adsbygoogle = window.adsbygoogle || []).push({});
3/ Xác định mục đích đánh giá
Đưa ra một mục đích rõ ràng sẽ tránh được việc đưa ra các quyết định nóng vội về cách thực hiện việc đánh giá. Ba mục đích phổ biến cho việc đo lường và đánh giá chương trình giảng dạy là:
a. Đánh giá bản chất: Làm rõ các hoạt động giảng dạy cần được thiết kế như thế nào để mang lại những thay đổi mong muốn.
b. Thay đổi việc thực hành: Nhằm cải thiện chất lượng, hiệu quả và hiệu suất của hoạt động giảng dạy.
c. Đo lường hiệu quả: kiểm tra mối quan hệ giữa hoạt động giảng dạy và kết quả.
4/ Xác định các dự định sử dụng kết quả đánh giá
Các dự định sử dụng kết quả đánh giá là các cách cụ thể để ứng dụng kết quả đánh giá. Các dự định sử dụng kết quả đánh giá nên được lên kế hoạch, ưu tiên và gắn kết với các vấn đề nghiên cứu trọng tâm. Các vấn đề trọng tâm là những khía cạnh cụ thể của hoạt động, các đổi mới sẽ được xem xét trong chương trình giảng dạy.
55 5/ Thiết kế một kế hoạch đánh giá
Một kế hoạch đánh giá là bản mô tả cụ thể quá trình đánh giá sẽ được thực hiện như thế nào bao gồm: mục đích, mục tiêu đánh giá, các nguồn lực sẵn sàng cho việc thực hiện, cần thu thập những thông tin nào, các phương pháp đánh giá nào được sử dụng, mô tả vai trò, trách nhiệm của những người tài trợ và người đánh giá, dự kiến khoảng thời gian hoàn thành nhiệm vụ.
6/ Thu thập dữ liệu
Các nhà đánh giá cố gắng thu thập dữ liệu (thông tin) và chuyển chúng một thành một bức tranh toàn diện về hoạt động giảng dạy, các đổi mới chương trình một cách đáng tin cậy cho những người sử dụng chính. Các khía cạnh sau đây của việc thu thập dữ liệu là hết sức quan trọng:
a. Các chỉ số cụ thể mô tả những khái niệm phổ biến về việc giảng dạy, hoàn cảnh của nó, và các hiệu quả mong đợi thành những đơn vị đo lường cụ thể hoặc các biến số giải thích được. Các chỉ số đo lường cung cấp cơ sở cho việc thu thập các bằng chứng hợp lý và đáng tin cậy cho người sử dụng.
b. Nguồn dữ liệu bao gồm các tài liệu (Các bài soạn, giáo trình, sổ sách hành chính, thời gian họp, mẫu đăng ký, báo cáo nội bộ, sổ sách ghi dữ liệu, các trang Web, ảnh, băng hình, băng âm thanh), con người (sinh viên, người tham gia làm chương trình, các khách hàng, các nhân viên, các nhà quản lý, các nhân viên tài chính, thành viên hội đồng quản trị của trường đại học, những nhà lập pháp, những người phản biện) hoặc các quan sát (các cuộc họp, các sự kiện, các hoạt động của chương trình, hoàn cảnh giảng dạy, hoàn cảnh công việc) tất cả những điều đó sẽ cung cấp thông tin định lượng hoặc định tính về bản chất của vấn đề cho quá trình đánh giá.
c. Phương pháp đánh giá: Luôn luôn liên hệ với đối tượng giảng dạy và phù hợp với nguồn dữ liệu sẵn có. Các phương pháp sử dụng trong đo lường và đánh giá giảng dạy thường là: điều tra thực trạng, phỏng vấn, nghiên
56
cứu nhóm, quan sát, thông tin phản hồi, nghiên cứu sản phẩm, phân tích tài liệu.
d. Chất lượng dữ liệu: liên quan đến sự thích hợp và tính trung thực của thông tin được sử dụng trong đo lường và đánh giá. Các yếu tố ảnh hưởng đến chất lượng dữ liệu gồm các chỉ số được sử dụng, loại dụng cụ thiết kế, quá trình thu thập, năng lực của những người sưu tầm dữ liệu, lựa chọn nguồn dữ liệu...
e. Số lượng dữ liệu: liên quan đến khối lượng thông tin thu thập được cho đo lường và đánh giá. Khối lượng thông tin cần thiết nên được thu thập dựa trên các tiêu chí là: được thiết kế và cần quyết định khi nào thì dừng việc thu thập các dữ liệu. Chỉ nên sưu tầm những dữ liệu cần thiết mà thôi.
f. Sự nhạy cảm đối với đặc điểm văn hóa: cần ý thức rằng những con người và những tổ chức tham gia vào quá trình đánh giá có các truyền thống văn hóa của họ để có cách đặt câu hỏi và thu thập tài liệu phù hợp.
7/ Phân tích dữ liệu
Phân tích dữ liệu liên quan đến việc tổ chức, phân loại, liên hệ, so sánh, trình diễn thông tin. Trong suốt giai đoạn phân tích dữ liệu cần xác định được các loại dữ liệu, tách biệt những phát hiện quan trọng (phân tích) hoặc kết hợp các nguồn thông tin để có thể hiểu một cách khái quát hơn (sự tổng hợp).
8/ Kết luận và kiến nghị
Kết luận có giá trị nhất khi chúng liên hệ với những bằng chứng được thu thập, những nhận xét đối chiếu với chuẩn mà những người liên quan đã đồng ý và thiết lập trước đó. Kết luận phải dựa trên nền tảng của những bằng chứng bao gồm các yếu tố dưới đây:
a. Sự chuẩn hóa: xác định các chỉ số đo lường, thiết lập phép so sánh sử dụng để đánh giá việc giảng dạy.
b. Sự giải thích: là xác định những phát hiện có ý nghĩa và giá trị gì từ những bằng chứng thu thập được. Báo cáo đơn giản các sự kiện liên quan đến
57
sự thể hiện của một hoạt động, sự đổi mới chương trình giảng dạy thì không giống như đưa ra kết luận.
c. Đánh giá là những nhận định liên quan đến bản chất, giá trị hoặc ý nghĩa của hoạt động, của việc đổi mới chương trình giảng dạy và được hình thành bởi sự so sánh giữa những phát hiện và sự đối chiếu các kết quả giảng dạy với một hoặc nhiều chuẩn mực.
d. Kiến nghị là những cân nhắc rút ra từ kết quả đo lường, đánh giá về hiệu quả của các hoạt động, của việc đổi mới chương trình giảng dạy. Việc đề xuất các kiến nghị đòi hỏi có các thông tin liên quan đến hoàn cảnh, điều kiện ... Kiến nghị cũng có thể bao gồm cả những gợi ý về sự thay đổi hay duy trì những hoạt động giảng dạy hiện thời và kế hoạch cho việc đánh giá tiếp theo.
9/ Phổ biến các kết quả (adsbygoogle = window.adsbygoogle || []).push({});