và mối liên hệ với các Chương trình
(Nguồn: Stufflebeam and Coryn (2014, p.318)).
Sử dụng đánh giá bối cảnh để xác định mục tiêu và thiết lập các ưu tiên để thực hiện mục tiêu của chương trình mà tổ chức đang hướng đến, nhu cầu và các vấn đề cần đánh giá. Cơ quan giám sát và các bên liên quan chương trình sử dụng kết quả đánh giá bối cảnh để xem xét liệu các chương trình đã được thực hiện bởi các mục tiêu thích hợp chưa và cũng để đánh giá phản ứng của họ với nhu cầu của chương trình mục tiêu, các vấn đề liên quan đến mục tiêu.
Trong đánh giá đầu vào, đánh giá việc lập kế hoạch thực hiện chương trình bằng cách xác định và đánh giá các phương án khác nhau; sau đó đánh giá các kế hoạch về thủ tục, quy định, biên chế và ngân sách nhằm đảm bảo tính khả thi và hiệu quả, chi phí liên quan đến việc đáp ứng mục tiêu. Người ra quyết định sử dụng các đánh giá đầu vào để xác định và lựa chọn kế hoạch thực hiện, các đề xuất kinh phí, phân bổ nguồn lực, phân công cán bộ, công việc đúng tiến độ, và cuối cùng là giúp nhà tài trợ xem xét để hỗ trợ ngân sách.
Trong đánh giá quá trình, đánh giá và báo cáo về việc thực hiện các kế hoạch chương trình. Đánh giá q trình nhằm cung cấp thơng tin phản hồi trong suốt quá trình thực hiện một chương trình và sau đó báo cáo mức độ mà chương trình đã
được thực hiện. Sử dụng các báo cáo đánh giá quá trình định kỳ để xác định các vấn đề khi thực hiện và điều chỉnh kế hoạch thực hiện để đảm bảo chất lượng và thời gian thực hiện chương trình. Vào cuối chương trình, hoặc sau một chu kỳ chương trình, các nhân viên, người giám sát, và các thành phần khác có thể sử dụng tài liệu hướng dẫn việc đánh giá quá trình để xem xét chương trình được thực hiện như thế nào. Họ cũng có thể sử dụng tài liệu này để đánh giá liệu các kết quả thiếu sót của chương trình là do một chiến lược can thiệp yếu hoặc do thực hiện không đầy đủ các chiến lược.
Trong đánh giá sản phẩm, đánh giá xác định chi phí và kết quả trong ngắn hạn và dài hạn. Đánh giá sản phẩm cung cấp thông tin phản hồi trong thời gian thực hiện của một chương trình trên phạm vi mà các mục tiêu chương trình đang được giải quyết và đạt được. Vào cuối chương trình, đánh giá sản phẩm giúp xác định và đánh giá đầy đủ về những thành tích của chương trình. Nhân viên chương trình sử dụng thơng tin phản hồi đánh giá sản phẩm để duy trì, tập trung vào việc đạt được kết quả và xác định những thiếu hụt của chương trình. Cuối cùng, đánh giá sản phẩm liên quan đến việc đánh giá và báo cáo về những kết quả ngoài ý muốn cũng như dự định của chương trình. Giám sát chương trình, nhà tài trợ, và các thành phần sử dụng kết quả đánh giá sản phẩm cuối cùng để xem xét liệu những thành quả của chương trình có ý nghĩa gì và chi phí bao nhiêu. Sử dụng kết quả đánh giá sản phẩm như các thông tin quan trọng nhất để quyết định xem có nên tiếp tục áp dụng chương trình hay khơng. Câu hỏi quan trọng trong đánh giá sản phẩm là: Chương trình đã đạt được mục tiêu của mình chưa? Giải quyết thành cơng các nhu cầu và các vấn đề mục tiêu chưa? Kết quả ngoài ý nuốn của chương trình là gì? Có kết quả tiêu cực cũng như kết quả tích cực khơng? Chi phí thực hiện chương trình là bao nhiêu?
2.2.2 Các loại đánh giá CIPP
Trong đánh giá theo mơ hình CIPP, có hai hình thức đánh giá: đánh giá hình thành và đánh giá tổng kết. Hai hình thức đánh giá này đều có 4 loại đánh giá: đánh giá bối cảnh, đánh giá đầu vào, đánh giá quá trình, đánh giá sản phẩm. Tuy nhiên,
đánh giá hình thành được sử dụng khi cần xem xét cải tiến một chương trình, cịn đánh giá tổng kết được sử dụng để đánh giá sự thành công hay thất bại của chương trình đó (Tan et al., 2010).
Một đánh giá hình thành được sử dụng khi xem xét việc cải tiến chương trình, cần một khoảng thời gian để đánh giá và so sánh mức độ ảnh hưởng, kết quả của việc cải tiến đối với chương trình (Trong đó, đánh giá bối cảnh được sử dụng để lựa chọn mục tiêu. Đánh giá đầu vào được sử dụng để sửa đổi kế hoạch. Đánh giá quá trình được sử dụng để hướng dẫn việc thực hiện kế hoạch. Đánh giá sản phẩm được sử dụng để cung cấp cho việc kiểm tra đánh giá). Còn đánh giá tổng kết thường được sử dụng vào cuối chương trình (đánh giá hồi cứu), để đánh giá kết quả thực hiện chương trình.
Mơ hình CIPP đã được nhiều nhà nghiên cứu và nhóm nghiên cứu trên thế giới áp dụng để đánh giá hiệu quả trong nhiều lĩnh vực. Một nghiên cứu của Guili Zhang (Đại học East Carolina) xác định được khoảng 200 nghiên cứu liên quan đến đánh giá CIPP, các bài báo, luận án tiến sĩ ở nhiều quốc gia và nhiều lĩnh vực. Zhang nhận thấy mơ hình đã được áp dụng trong 134 luận án tiến sĩ tại 81 trường đại học liên quan đến 39 môn học. Trong mẫu trích dẫn gồm 55 nghiên cứu (trong số các nghiên cứu được cơng bố) sử dụng mơ hình CIPP thuộc các ngành như nông nghiệp, hàng không; kinh doanh; giao dịch; giáo dục từ xa; tiểu học, giáo dục trung học và đại học; chăm sóc sức khỏe; hoạt động từ thiện; tâm lý học; tôn giáo; xã hội học (Stufflebeam and Coryn, 2014).
Như vậy, mơ hình CIPP đã được sử dụng rất phổ biến. Tuy nhiên, tại Việt Nam, trong lĩnh vực quản lý nghiên cứu khoa học thì chưa thấy có nghiên cứu đánh giá dựa trên mơ hình này.
Trong luận văn này, lý thuyết về mơ hình CIPP với phương pháp đánh giá tổng kết sẽ được sử dụng để đánh giá công tác quản lý nghiên cứu khoa học tại thành phố Cần Thơ trong giai đoạn 2011-2015.
2.3 Lược khảo các nghiên cứu liên quan
2.2.1 Các nghiên cứu về đánh giá, nâng cao hiệu quả quản lý nghiên cứu khoa học (nghiên cứu trong nước) học (nghiên cứu trong nước)
Đề tài Nâng cao chất lượng quản lý đề tài/dự án nghiên cứu khoa học tại trường Đại học Y Hà Nội đã nghiên cứu nhu cầu của cán bộ khoa học trường Đại
học Y Hà Nội về hoạt động quản lý đề tài/dự án khoa học công nghệ. Đối tượng nghiên cứu là chủ nhiệm đề tài, thư ký đề tài và các cán bộ nghiên cứu khoa học của trường có trình độ từ tiến sỹ trở lên. Nghiên cứu đã sử dụng phương pháp điều tra khảo sát trên 200 cán bộ khoa học của trường về qui trình quản lý đề tài/dự án khoa học cơng nghệ, về những khó khăn trong thực hiện các đề tài nghiên cứu khoa học cũng như mức độ khó khăn. Nghiên cứu cho thấy nhu cầu của các cán bộ nghiên cứu khoa học của trường có nhu cầu cao đối với bộ phận quản lý khoa học về hỗ trợ tư vấn lập đề cương, xây dựng định hướng nghiên cứu, hướng dẫn quy trình tuyển chọn đề tài, trao quyền tự chủ cho các chủ nhiệm đề tài…Các khó khăn trong thực hiện đề tài chủ yếu tập trung trong khâu thanh quyết tốn kinh phí nghiên cứu khoa học, thủ tục mua sắm vật tư hoá chất phục vụ nghiên cứu phức tạp (Trần Lê Giang, 2010). Tuy nhiên, nghiên cứu này chỉ giới hạn đối tượng nghiên cứu (cán bộ nghiên cứu khoa học và quy trình quản lý nghiên cứu khoa học) trong phạm vi Trường Đại học Y Hà Nội, chưa nghiên cứu nhu cầu của các cán bộ khoa học bên ngoài trường nên chưa có tính đại diện cao về nhu cầu của các nhà khoa học.
Nhằm xây dựng bộ tiêu chí để đánh giá hiệu quả hoạt động khoa học và công nghệ, một nghiên cứu của Viện Khoa học Thuỷ lợi Việt Nam đã khảo sát thực trạng và đánh giá hiệu quả hoạt động KH&CN của các đơn vị nghiên cứu trực thuộc Viện bằng phương pháp phỏng vấn trực tiếp các cán bộ khoa học trong Viện (gồm các nhóm đối tượng: cán bộ quản lý và cán bộ nghiên cứu khoa học). Nghiên cứu đưa ra 30 tiêu chí gồm 7 tiêu chí cơ bản và 23 tiêu chí phụ để đánh giá. Kết quả, nghiên cứu đã chỉ ra được các tiêu chí như: Số bài báo được công bố trong nước; Số tiến bộ kỹ thuật, giải pháp hữu ích được cơng nhận (do Bộ/Tỉnh cơng nhận); Số lượng hợp đồng chuyển giao công nghệ được ký kết… là các tiêu chí được cho là rất cần thiết
trong đánh giá hiệu quả hoạt động khoa học và công nghệ của các đơn vị nghiên cứu thuộc Viện. Các tiêu chí Đổi mới cơng tác quản lý, nghiên cứu; Số lượng mơ hình thí điểm được nhân rộng ít quan trọng hơn trong 30 tiêu chí (Viện Khoa học Thuỷ lợi Việt Nam, 2014). Hạn chế của nghiên cứu là bộ tiêu chí chỉ áp dụng để đánh giá hiệu quả hoạt động đối với các đơn vị sự nghiệp có nghiên cứu khoa học, không áp dụng được để đánh giá hiệu quả hoạt động của cơ quan quản lý nghiên cứu khoa học.
Nhìn chung, các nghiên cứu trên đã khảo sát ý kiến của cán bộ nghiên cứu trong đánh giá, đề xuất tiêu chí đánh giá hiệu quả hoạt1 động khoa học và công nghệ đối với đơn vị sự nghiệp có nghiên cứu khoa học; nhưng chưa nghiên cứu đánh giá hiệu quả hoạt động quản lý nghiên cứu khoa học dựa trên so sánh, đánh giá các quy trình quản lý đang sử dụng cũng như chưa đi vào khảo sát trực tiếp nhu cầu của nhà khoa học đối với chính quy trình quản lý. Trong khi, để nâng cao hiệu quả hoạt động này và đáp ứng tốt nhất nhu cầu của nhà khoa học, thì việc khảo sát nhu cầu của họ là rất cần thiết và có khả năng đáp ứng đúng nguyện vọng để tạo sự kích thích trong nghiên cứu khoa học.
2.2.2 Các nghiên cứu sử dụng mơ hình CIPP (nghiên cứu ngồi nước)
- Nghiên cứu về đánh giá chương trình phịng chống tự tử tại Cao Hùng, Đài Loan
Ho et al. (2011) đã thực hiện nghiên cứu nhằm đánh giá hiệu quả hoạt động của Trung tâm Phòng chống Tự tử (KSPC) của thành phố Cao Hùng, Đài Loan, trong thời gian từ tháng 6 năm 2005 đến tháng 6 năm 2008. Nghiên cứu đã sử dụng mơ hình CIPP để đánh giá chương trình phịng chống tự tử tại Cao Hùng. Bốn mơ hình đánh giá đã được áp dụng để đánh giá các KSPC: đánh giá bối cảnh nền và nguồn gốc của các trung tâm, đánh giá đầu vào các nguồn lực của trung tâm, đánh giá quá trình hoạt động của dự án phòng chống tự tử, và đánh giá sản phẩm của dự án. Việc đánh giá bối cảnh cho biết nhiệm vụ của KSPC là để hạ thấp tỷ lệ tử vong. Việc đánh giá đầu vào đánh giá hiệu quả của nguồn nhân lực và các khoản trợ cấp
thành phố Cao Hùng. Trong việc đánh giá quá trình, các tác giả đã kiểm tra các chiến lược phòng chống tự tử của KSPC, đó là một phiên bản sửa đổi của Chiến lược Quốc gia Phòng chống Tự tử Úc. Trong việc đánh giá sản phẩm, bốn mục tiêu chính được đánh giá: (1) tỷ lệ tự tử tại Cao Hùng, (2) các báo cáo các trường hợp tự tử, (3) dòng khủng hoảng gọi, và (4) điện thoại tư vấn. Từ năm 2005 đến năm 2008, số lượng các buổi tư vấn qua điện thoại (1.432, 2.010, 7.051, 12.517) và dòng khủng hoảng gọi (0, 4.320, 10.339, 14.502) tăng lên. Do sự gia tăng trong báo cáo các trường hợp tự tử (1.328, 2.625, 2.795, và 2.989, tương ứng), trường hợp nào được báo cáo đầy đủ trong quá khứ, nhóm nghiên cứu này đã liên lạc được với những người cần giúp đỡ. Trong cùng thời gian này, tỷ lệ tư vấn trong nữa năm giảm đáng kể đối với những người nhận dịch vụ, và tỷ lệ tự tử (21.4, 20.1, 18.2 và 17.8 trên 100.000 dân, tương ứng) cũng giảm. Chương trình phịng chống tự tử tại Cao Hùng có giá trị thực hiện trên cơ sở liên tục nếu hạn chế tài chính được giải quyết.
- Sử dụng mơ hình CIPP để đánh giá chương trình giảng dạy kỹ thuật
Tseng et al. (2010) đã mơ tả việc sử dụng mơ hình đánh giá bối cảnh, đầu vào, quá trình và sản phẩm (CIPP) để thiết kế và phát triển một ma trận đánh giá cho một chương trình đào tạo kỹ thuật. Nghiên cứu này bàn về lý thuyết CIPP và sự phát triển, sử dụng nó trong ngành giáo dục để đánh giá các chương trình giảng dạy. Ngồi ra, nghiên cứu trình bày việc ứng dụng đánh giá mơ hình CIPP cho các chương trình đào tạo kỹ thuật tại thời điểm hiện tại. Cuối cùng, các nhà nghiên cứu đã thiết kế ma trận đánh giá CIPP của chương trình giảng dạy cơng nghệ nano và thành lập một ban chuyên gia để phân tích các giá trị sử dụng. Sáu thành viên chuyên gia bao gồm hai chuyên gia đánh giá giáo trình và một chuyên gia từ mỗi lĩnh vực sau đây: chương trình giảng dạy phát triển nano, giáo dục kỹ thuật, nghiên cứu giáo dục và giáo dục dạy nghề. Sau khi các nhà nghiên cứu tổng hợp ý kiến của các chuyên gia bằng bảng câu hỏi, một phiên bản của ma trận đánh giá CIPP cho các chương trình giảng dạy cơng nghệ nano được hoàn thành bằng cách sử dụng
những lời đề nghị của nhóm chuyên gia. Các ma trận đã được cung cấp cho việc sử dụng đánh giá chương trình giáo dục kỹ thuật.
- Sử dụng mơ hình CIPP để đánh giá một chương trình giảng dạy Anh ngữ tại trường đại học công
Nghiên cứu này do Tunc (2010) thực hiện nhằm đánh giá hiệu quả của Chương trình học tại Trường Dự bị Đại học ở Ankara thông qua các ý kiến của các giảng viên và sinh viên, sử dụng mơ hình đánh giá CIPP. Với 406 sinh viên theo học các trường dự bị năm học 2008-2009 và 12 giảng viên giảng dạy trong chương trình tham gia vào nghiên cứu. Các số liệu được thu thập thông qua báo cáo bảng câu hỏi của sinh viên và một lịch trình phỏng vấn được thiết kế cho các giáo viên hướng dẫn. Bên cạnh đó, để có được thơng tin chi tiết hơn về các trường dự bị, các tài liệu, văn bản liên quan đã được kiểm tra. Nghiên cứu đã sử dụng phương pháp phân tích thống kê mơ tả các dữ liệu dựa trên bảng câu hỏi và phương pháp suy luận, phân tích nội dung đã được phỏng vấn thực tế để phân tích dữ liệu định tính. Kết quả nghiên cứu chỉ ra rằng các chương trình tại Trường Dự bị Đại học Ankara đã đáp ứng một phần cho mục đích phục vụ của nó. Nghiên cứu cũng cho thấy rằng để làm cho chương trình có hiệu quả hơn, cần một số cải thiện về điều kiện, nội dung, tài liệu và khối lượng của chương trình.
Qua các nghiên cứu đã tham khảo, phương pháp đánh giá theo mơ hình CIPP được vận dụng không theo một khuôn mẫu, mà vận dụng linh hoạt tuỳ theo từng hoàn cảnh, đối tượng, mục tiêu của từng nghiên cứu với nội dung và phương pháp đánh giá khác nhau.
Kết luận chương 2
Chương 2 là cơ sở lý thuyết liên quan đến đề tài, trình bày một số khái niệm có liên quan đến quản lý NCKH; trình bày mơ hình đánh giá CIPP; các nghiên cứu có liên quan đến đánh giá cơng tác quản lý nghiên cứu khoa học, các nghiên cứu ứng dụng mơ hình CIPPP.
Nhiều khái niệm được đưa ra nhưng khái niệm tập trung của nghiên cứu này là về quản lý NCKH và quy trình quản lý NCKH theo Luật Khoa học và Công nghệ năm 2013.
Mơ hình CIPP có 4 loại đánh giá (bối cảnh - đầu vào – quá trình – sản phẩm), được sử dụng rộng rãi để đánh giá việc áp dụng cải tiến chương trình hoặc đánh giá kết quả của một chương trình. Các nghiên cứu áp dụng mơ hình CIPP đã đưa ra cho thấy phương pháp áp dụng có khác nhau tùy thuộc vào mục đích, đối tượng của từng nghiên cứu.
CHƯƠNG 3
PHƯƠNG PHÁP NGHIÊN CỨU 3.1 Khung phân tích
Hình 3.1 Khung phân tích đánh giá công tác quản lý NCKH