Phương pháp luận đánh giá kết quả thực hiện chiến lược phát triển khoa học và công nghệ

Bài viết tập trung trình bày một số nội dung chính sau: khái niệm sử dụng trong đánh giá Chiến lược; xây dựng khung logic phục vụ đánh giá kết quả thực hiện Chiến lược; quy trình, tiêu chí và phương pháp đánh giá Chiến lược.

Phương pháp luận đánh giá kết thực Chiến lược… 72 PHƯƠNG PHÁP LUẬN ĐÁNH GIÁ KẾT QUẢ THỰC HIỆN CHIẾN LƯỢC PHÁT TRIỂN KHOA HỌC VÀ CÔNG NGHỆ ThS Nguyễn Việt Hòa Viện Chiến lược Chính sách KH&CN, Bộ KH&CN Tóm tắt: Đánh giá kết thực chiến lược phát triển KH&CN (viết tắt đánh giá Chiến lược) yêu cầu nhu cầu cần thiết quan hoạch định chiến lược phát triển KH&CN quản lý nhà nước KH&CN Phạm vi viết tập trung đề xuất áp dụng khu vực công Đánh giá dựa kết thực Chiến lược nhằm xem xét định kỳ tính phù hợp, hiệu suất, hiệu tác động cách có hệ thống, ghi nhận điểm mạnh, điểm yếu, thiếu sót, quan sát khác việc thực Chiến lược để có thay đổi, điều chỉnh cải thiện phù hợp Bài viết tập trung trình bày số nội dung sau: (i) Khái niệm sử dụng đánh giá Chiến lược; (ii) Xây dựng khung logic phục vụ đánh giá kết thực Chiến lược; (iii) Quy trình, tiêu chí phương pháp đánh giá Chiến lược Từ khóa: Đánh giá; Kết thực hiện; Chiến lược KH&CN Mã số: 15113001 Khái niệm sử dụng đánh giá đánh giá Chiến lược 1.1 Khái niệm đánh giá Đánh giá thẩm định: Đánh thẩm định có hệ thống khách quan việc hồn thành dự án, chương trình sách thiết kế, thực kết Mục đích để xác định phù hợp việc thực mục tiêu, hiệu quả, tác động tính bền vững Một đánh giá cần cung cấp thông tin đáng tin cậy hữu ích, bao gồm việc đưa học kinh nghiệm vào trình định người nhận nhà tài trợ (OECD 2008) Đánh giá hành động xem xét việc thực hiện: Đánh giá định nghĩa hành động xem xét lại quan sát ghi lại việc thực hoạt động hay hành vi, đánh giá hành vi hoạt động ngược với mục tiêu, ghi nhận điểm mạnh, điểm yếu, thiếu sót, quan sát khác Đánh giá kiện trình thực hiện; thay vào đó, tích hợp vào thiết kế cách cẩn thận việc thực tổng thể Đầu đánh giá thực JSTPM Tập 4, Số 4, 2014 73 thông tin sử dụng để thực việc cải thiện tương lai Vì lý này, thực đánh giá phần trình diễn để chuẩn bị sẵn sàng việc thực cải tiến/cải thiện hoạt động (FEMA, 2012) Theo FEMA lợi ích đánh giá kiểm soát việc thực hiện, đánh giá việc thực hành động dựa kết khuyến nghị Một đánh giá có giá trị dẫn đến cải thiện tình hình Đánh giá hoạt động xem xét mức độ hiệu thành công: Đánh giá hoạt động thời gian cụ thể, nhằm xem xét cách hệ thống khách quan mức độ hiệu thành cơng, thiếu sót chương trình thực hồn thành Việc đánh giá thực cách có chọn lọc để: (i) Trả lời câu hỏi cụ thể để định hướng cho nhà hoạch định sách và/hoặc nhà quản lý chương trình; (ii) Cung cấp thơng tin việc liệu lý thuyết giả định sử dụng thực chương trình có hay khơng, làm khơng làm được, lý Việc đánh giá thường nhằm mục đích xác định mức độ phù hợp, giá trị thiết kế, hiệu suất, hiệu quả, tác động tính bền vững chương trình (Depocen, 2012) 1.2 Khái niệm đánh giá Chiến lược Trước tiến hành đánh giá Chiến lược, cần nhận diện Chiến lược Theo GS.Leslie A Pal, chiến lược phận sách, việc đánh giá kết thực chiến lược cần phải đánh giá qui trình hoạch định sách Do sách thường thiết kế nhằm giải vấn đề nên điều quan trọng cần giám sát đánh giá để hiểu sách thu kết nào, đâu thành công thất bại sách Cho đến nay, sách KH&CN xem xét hai phạm vi: (i) Chính sách KH&CN phận Chiến lược; (ii) Chính sách KH&CN bao gồm chiến lược, quy hoạch, kế hoạch phát triển KH&CN sách cụ thể để phát triển KH&CN, sở pháp lý văn KH&CN nhiều cấp ban hành Quốc hội, Chính phủ, Thủ tướng, Bộ KH&CN, quan liên quan.“Chính sách KH&CN tập hợp văn quy phạm pháp luật, định rõ phương châm, nguyên tắc, quy định, thể lệ Nhà nước hoạt động KH&CN làm sở cho công tác quản lý KH&CN” (Current Science, 2003) Khái niệm cho thấy, sách KH&CN có nhiều dạng, thể loại khác chiến lược, quy hoạch, kế hoạch (quyết định), hướng dẫn cụ thể (thông tư) tất sở để quản lý hoạt động KH&CN Tùy thuộc vào bối cảnh, vị trí vai trò Chiến lược quốc gia khác nhau, thời điểm ban hành để xem xét phạm vi chiến lược Leslie A Pal cho rằng, cần phải phân tích rủi ro thực hiện, đánh giá nhìn trước vấn đề từ thiết kế, việc triển khai thực 74 Phương pháp luận đánh giá kết thực Chiến lược… cần thiết kế điểm mạnh (hiệu quả), điểm yếu (không hiệu quả), đánh giá kết bao gồm kết trước mắt, trung hạn dài hạn Có nhiều vấn đề đặt việc đánh giá kết thực Chiến lược Đánh giá để làm gì, nhằm mục tiêu Năm 2012, OECD đưa lý luận mục tiêu đánh giá sách đổi KH&CN: Vai trò đánh giá mang lại thông tin tổng thể hiệu can thiệp sách cơng Thơng tin sử dụng để “soi sáng” trình học tập thực tiễn thực sách, cho phép nhà hoạch định sách lựa chọn cân đối tài cho chi tiêu cơng Kết đánh giá nhanh chóng tái định vị sách chương trình, định hình việc phân bổ tái phân bổ tài cơng cho biết tình hình phát triển Chiến lược đổi KH&CN Trong khuôn khổ viết này, đánh giá Chiến lược hiểu nhằm xem xét định kỳ tính phù hợp, hiệu suất, hiệu tác động Chiến lược cách có hệ thống, ghi nhận điểm mạnh, điểm yếu, thiếu sót, quan sát khác việc thực Chiến lược để có thay đổi, điều chỉnh cải thiện phù hợp tương lai Đánh giá Chiến lược cần dựa chứng cụ thể như: Việc chuẩn bị đầu vào, triển khai hoạt động, đầu ra, thành tựu, tác động kết Để tiến hành đánh giá cần có chuẩn bị khung logic, tiêu chí phương pháp đánh giá kết thực Chiến lược Khung logic phục vụ đánh giá Chiến lược Đánh giá Chiến lược nói riêng, sách KH&CN nói chung, cần dựa vào chứng cụ thể.Có nhiều chứng liên quan đến kết thực Chiến lược, nhiên, cách có hệ thống cần phải xây dựng khung logic phục vụ đánh giá kết thực Chiến lược Từ năm 2008, OECD xây dựng nguyên tắc đánh giá chủ yếu dựa vào khung logic để đánh giá sách KH&CN nói chung, Chiến lược nói riêng bao gồm: đầu vào, hoạt động đầu Tuy nhiên, nay, khung logic mở rộng bổ sung nhiều yếu tố phù hợp với thực tiễn, khung logic cần có đánh giá: đầu vào, hoạt động, đầu ra, thành quả, tác động Khơng có đánh giá kết thực đơn thuần, khung logic sử dụng trở lại đánh giá q trình hoạch định sách KH&CN nói chung Các yếu tố đưa vào khung hoạch định thực - đánh giá sách KH&CN, Chiến lược bao gồm: - Đầu vào (Input): Sự chuẩn bị nguồn lực tài chính, nhân lực, tin lực, sở vật chất nguồn lực sử dụng để can thiệp vào phát triển Đánh giá đầu vào đánh giá việc huy động, cân đối, phân bổ nguồn lực; JSTPM Tập 4, Số 4, 2014 75 - Hoạt động (Activities): Tổ chức triển khai thực thông qua đầu vào, tài trợ, hỗ trợ kỹ thuật nguồn động viên để tạo sản phẩm đầu cụ thể, đặc biệt; - Đầu (Output): Sản phẩm, hàng hóa, dịch vụ từ kết can thiệp vào hoạt động - Thành (Outcomes): Các kết trực tiếp kết gián tiếp đạt ngắn hạn trung hạn từ can thiệp đầu đóng góp vào phát triển, thay đổi mục tiêu KT-XH, mục tiêu mong đợi khác; - Tác động (Impact): Tác động tích cực tiêu cực, ngắn hạn, trung hạn, dài hạn, trực tiếp gián tiếp, dự định hay không chủ định can thiệp vào phát triển; - Kết (Results)bao gồm: Đầu + Thành tựu + Tác động can thiệp vào phát triển Đo lường cách thức đầu vào (nguồn tài chính, nhân lực, kỹ thuật vật tư ) sử dụng cách tối ưu kinh tế để đem lại đầu ra; so sánh kết đạt với mục tiêu đề Theo GS Leslie A.Pal có dạng tiêu chí đánh giá kết thực sách cơng sau: - Hiệu (so sánh kết với mục tiêu) Sự thay đổi vấn đề định hướng chưa hướng tới, trực tiếp gián tiếp đến thay đổi Hiệu bao gồm kết tác động Có tạo khác biệt khơng? Mức độ xứng đáng để thực sách, Chiến lược nào? - Hiệu suất: phân tích chi phí bỏ - lợi ích có Liệu bỏ mà thu nhiều không? Kết thu so với nỗ lực/nguồn lực bỏ nào? - Quy trình hoạch định chiến lược bao gồm: từ việc xác định vấn đề, đề xuất phương án, lựa chọn phương án, triển khai thực hiện; - Tính hữu ích: hiệu hoạt động, nhận thức sau triển khai thực Các tiêu chí nêu nhiều tổ chức quốc tế sử dụng đánh giá tài trợ chương trình, dự án Hiện nay, tiêu chí bổ sung, mở rộng nội dung, tạo nên nhiều điểm tương tự, khó phân biệt, đặc biệt khái niệm hiệu hiệu suất Hiệu hiệu suất xác định dựa vào kết đạt q trình thực hiện, nhiên có khác biệt định, cần phân biệt hiệu hiệu suất 76 Phương pháp luận đánh giá kết thực Chiến lược… Bảng Sự khác hiệu hiệu suất Hiệu - Kết đạt so với mục tiêu đề Hiệu suất - Kết đạt so với chi phí bỏ - Mức độ thực mục tiêu - Cách thức thực mục tiêu - Việc làm - Mục tiêu xác định đúng, mức độ phù hợp kế hoạch hợp lý - Cách làm - Phương tiện thích hợp, cách thức quản lý hợp lý Trong phạm vi viết này, nhóm nghiên cứu đề xuất khung logic, tiêu chí áp dụng vào đánh giá Chiến lược, nêu phạm vi chiến lược phạm vi sách cơng nói chung, sách KH&CN nói riêng, khung logic tiêu chí áp dụng đánh giá sách cơng nói chung, sách KH&CN nói riêng Chu kỳ đánh giá kết thực Chiến lược Năm 2012, OECD đề xuất nhiều nước, tổ chức thuộc OECD áp dụng chu kỳ đánh giá sách nói chung giai đoạn khác bao gồm: đầu kỳ, kỳ (đang hoạt động) cuối kỳ đánh giá kết thúc Các phương pháp tiêu chí đánh giá phong phú, phụ thuộc vào loại thơng tin cần tìm kiếm mục đích đánh giá - Đánh giá đầu kỳ (bắt đầu thực xây dựng kế hoạch) - tập trung đánh giá đầu vào: nguồn nhân lực, tài chính, tin lực, sở vật chất kỹ thuật có đủ đảm bảo thực mức độ sẵn sàng để thực hiện; - Đánh giá kỳ - tập trung đánh giá hoạt động, đầu ra, kết bước đầu (ngắn hạn trung hạn) dựa tiêu chí tính phù hợp, hiệu hiệu suất, tác động, đánh giá quy trình hoạch định; - Đánh giá kết thúc hay đánh giá cuối kỳ - thực sau kết thúc giai đoạn Trọng tâm đánh giá kết cuối (bao gồm kết kỳ trước kết dài hạn) tác động dựa tiêu chí tính hiệu quả, bền vững, tính hữu ích, đánh giá quy trình hoạch định chiến lược rút học kinh nghiệm Đánh giá 03 chu cần ý đến kết chu kỳ bao gồm kết trước mắt, trung hạn dài hạn Một số vấn đề rút từ nghiên cứu Đánh giá, đánh giá Chiến lược thực đánh giá sách nói chung, đánh giá sách KH&CN nói riêng Là nhu cầu, yêu cầu khách quan qui trình hoạch định - thực thi - đánh giá Chiến lược Mục đích đánh giá kiểm tra, thẩm định khả năng, lực thực hiện, hiệu quả, JSTPM Tập 4, Số 4, 2014 77 hiệu suất tính bền vững từ can thiệp phủ thơng qua việc ban hành Chiến lược Đánh giá Chiến lược dạng đánh giá dựa chứng Quy trình, phương pháp tiêu chí đánh giá Chiến lược Nội dung nghiên cứu quy trình đánh giá bao gồm 03 bước lớn quan trọng: (i) Thành lập tổ chức lập kế hoạch; (ii) Tiến hành đánh giá; (iii) Tổng kết đánh giá Mỗi bước lớn tập hợp nhiều bước nhỏ Tiêu chí phương pháp đánh giá phân loại theo nhóm: tiêu chí tổng thể tiêu chí cụ thể, nhóm tiêu chí có phương pháp đánh giá phù hợp 4.1 Các bước đánh giá Chiến lược Bước Thành lập tổ chức lập kế hoạch đánh giá Chiến lược a) Thành lập nhóm/tổ đánh giá - Thành phần nhóm/tổ đánh giá bao gồm: Lãnh đạo cấp cao Chính phủ, Bộ, ngành địa phương; Lãnh đạo đơn vị quản lý nhà nước, đơn vị nghiệp; Đại diện quan thực thi pháp luật, ngành, lĩnh vực; Các nhà quản lý chương trình cấp quốc gia, ngành, địa phương; Cán đào tạo để đánh giá Một thành viên định người đứng đầu nhóm/tổ đánh giá, giám sát việc xây dựng kế hoạch thực đánh giá, giao phó nhiệm vụ thành viên tham gia Ở cấp khác thành lập nhóm/tổ đánh giá HỆ THỐNG TỔ CHỨC ĐÁNH GIÁ Đánh giá Chiến lược có 03 cấp thực hiện: cấp quốc gia, ngành địa phương, cấp vào hệ thống, tổ chức để thành lập tổ chức đánh giá CẤP QUỐC GIA CẤP BỘ NGÀNH CẤP CẤP ĐỊA PHƯƠNG Ví dụ: Cấp quốc gia: Cao Thủ tướng Chính phủ, vào Quyết định 418/QĐ-TTg, Thủ tướng giao Bộ Khoa học Cơng nghệ chủ trì, phối hợp với Bộ, quan ngang Bộ, quan thuộc Chính phủ, Ủy ban nhân dân tỉnh, thành phố trực thuộc trung ương: Tổ chức triển khai thực Chiến lược; hướng dẫn, kiểm tra, giám sát, tổng hợp tình hình thực Chiến lược, định kỳ năm báo cáo Thủ tướng Chính phủ; tổ chức sơ kết việc thực Chiến lược toàn quốc vào đầu năm 2016 tổng kết vào đầu năm 2021 Phương pháp luận đánh giá kết thực Chiến lược… 78 Cấp Quốc gia Thủ tướng Bộ Khoa học Công nghệ Ban Chỉ đạo Tổ Công tác Bộ trưởng, Thứ trưởng, LĐ đơn vị Bộ Lãnh đạo đơn vị Viện CL&CS KH&CN Chỉ đạo, điều phối triển khai Kế hoạch Hướng dẫn Bộ, ngành, UBND tỉnh, TP Kiểm tra, theo dõi, đánh giá tình hình triển khai Giúp Ban Chỉ đạo đơn đốc, nhắc nhở quan, đơn vị trực tiếp thực Tổng hợp Báo cáo Ban Chỉ đạo Tổng hợp báo cáo hàng năm, sơ kết tổng kết tình hình thực Chiến lược Hội đồng Chính sách KH&CN QG Tư vấn, phản biện Phối hợp với quan có liên quan kiểm tra, đánh giá, tổng hợp báo cáo Thủ tướng Chính phủ: Việc thực chế, sách phát triển KH&CN Bộ, ngành địa phương Liên hiệp Hội KH&KT Yêu cầu Bộ, ngành, địa phương, tổ chức, cá nhân liên quan cung cấp thông tin, tài liệu Căn pháp lý, Bộ KH&CN quan Chính phủ thực chức quản lý nhà nước khoa học công nghệ Bộ KH&CN chủ động thành lập tổ chức đánh giá Ngoài đơn vị Bộ, Bộ KH&CN mời tổ chức Hội Đồng Chính sách KH&CN Quốc gia, Liên hiệp hội KH&KT, Bộ ngành địa phương đánh giá độc lập thực đánh giá Việc mở rộng thành phần tham gia đánh giá phụ thuộc vào yêu cầu Thủ tướng Chính phủ, thời gian chuẩn bị, nguồn lựcđể thực - Lựa chọn người đứng đầu đánh giá: Có khả dự báo, tiên lượng, giải vấn đề mục tiêu liên quan đến thực hiện; Có đủ thẩm quyền thực kế hoạch, sách; Có đủ thẩm quyền lệnh định (thành lập tổ chức đánh giá, điều chỉnh mục tiêu, nhiệm vụ, giải pháp…, đình tổ chức, cá nhân có vi phạm thực nhiệm vụ); Có thẩm quyền thực phối hợp bên liên quan; - Trách nhiệm người đứng đầu đánh giá Trước thực đánh giá: Xây dựng yêu cầu đánh giá tài liệu tương ứng; Hướng dẫn đánh giá; Lựa chọn người đánh giá, giao nhiệm vụ đào tạo; Chuẩn bị kế hoạch đánh giá; Tập hợp hồ sơ đánh giá, bao gồm: đồ, tài liệu, danh sách người tham gia;  Trong trình đánh giá: Điều phối hoạt động người đánh giá, đảm bảo phương tiện đánh giá; Xác định vị trí thành viên; Cung cấp, trang bị tài liệu, vật tư thích hợp; Quan sát ghi lại thành tích thực mục tiêu; Giám sát hoạt động người đánh giá; Đối chiếu liệu  JSTPM Tập 4, Số 4, 2014  79 Sau đánh giá: Giám sát việc phân tích liệu thu thập từ đánh giá; Phối hợp tham gia người đánh giá họp; Xác định đánh giá việc chuẩn bị báo cáo văn bản; Giám sát tiến triển - Viết báo cáo dựa phân tích liệu, bình luận văn bản, tiến hành họp thảo luận; Hướng dẫn chuẩn bị điều chỉnh, kế hoạch điều chỉnh, cải tiến b) Chuẩn bị yêu cầu đánh giá b.1) Đưa yêu cầu đánh giá Chuẩn bị tiêu chí đánh giá - Đơn giản: Mục tiêu nên đơn giản dễ dàng để đọc; - Đo lường được: Mục tiêu phải cụ thể quan sát được; - Đạt được: Phải hợp lý để người tham gia hồn thành tất mục tiêu giới hạn công việc; - Thực tế: Phản ánh tình hình hoạt động triển khai thực diễn - Định hướng nhiệm vụ: Mục tiêu cần tập trung vào hoạt động cụ thể, tránh mở rộng đa nhiệm vụ b.2) Dự thảo tài liệu đánh giá - Xác định kế hoạch, tài liệu chuyên viên cần thiết cho việc đánh giá; - Tài liệu giúp người thực đánh giá hiểu rõ vai trò trách nhiệm mình; - Đối với đánh giá dựa báo cáo thực trạng có đầy đủ thơng tin thay kế hoạch đánh giá thức; - Trong hoạt động dựa kế hoạch đánh giá thường phải có Sổ tay kiểm tra đánh giá b.3) Tuyển chọn, phân công đào tạo cán đánh giá Tuyển chọn người thực đánh giá - Phải có chuyên mơn lĩnh vực tham gia đánh giá; - Có khả thực trách nhiệm phân công; - Có khả quan sát ghi lại thảo luận hành động người tham gia; - Quen thuộc với hệ thống đánh giá; 80 Phương pháp luận đánh giá kết thực Chiến lược… - Không gánh trách nhiệm khác nặng so với cơng việc đánh giá phân cơng; - Phải có cam kết đủ thời gian để thực đánh giá Phân công đánh giá: Công việc đánh giá nên định, ghi nhận thông báo cho người tham gia đánh giá trước thực Phân công công việc đánh giá phải cần dựa sở chuyên môn, nghiệp vụ Đào tạo người đánh giá: Thời gian đào tạo ngày trước kỳ đánh giá Đào tạo người đánh giá bao gồm hướng dẫn cách quan sát thảo luận tập thể hoạt động, tìm kiếm gì, để ghi lại, làm để sử dụng hướng dẫn đánh giá b.4) Tránh lỗi thường gặp người đánh giá - Lỗi khoan dung: bỏ qua, đánh giá nhẹ trường hợp không thực Chiến lược nghiêm túc; - Hiệu ứng hào quang: đánh giá hình thành ấn tượng tích cực đến người nhóm việc thực để ấn tượng gây ảnh hưởng đến quan sát người đánh giá; - Hiệu ứng phê bình nghiêm khắc: xảy người đánh giá tin cơng việc họ tìm sai, người thực tham gia nào; - Định kiến đánh giá: theo chiều hướng không tích cực ảnh hưởng khơng tốt đến nhận định, thiếu khách quan b.5) Hồn thiện kế hoạch đánh giá - Thông tin đặc biệt: Các kế hoạch đánh giá bao gồm thông tin thực hiện, cụ thể kịch bản, lịch trình đánh giá; - Tổ chức đánh giá thực đánh giá, phân công đánh giá, địa điểm: Các kế hoạch đánh giá bao gồm danh sách địa điểm, đồ địa điểm đánh giá sơ đồ tổ chức đánh giá; - Hướng dẫn đánh giá: bao gồm người đánh giá nên làm trước họ đến địa điểm, cách tiến hành đến nơi đánh giá, q trình kết thúc; - Cơng cụ đánh giá: thực hành hướng dẫn đánh giá, chuẩn bị giấy, bút ghi chép, bảng thời gian tiến hành Bước Tiến hành công tác đánh giá Chiến lược a) Xác định, phân loại đánh giá JSTPM Tập 4, Số 4, 2014 81 Đánh giá đầu chiến lược phát triển KH&CN - Cân đối, huy động, phân bổ nguồn lực: nhân lực, tài chính, tin lực để thực Chiến lược; - Chỉ tiêu KH&CN nêu mục tiêu Chiến lược cụ thể hóa, chuyển hóa vào kế hoạch 05 năm năm; - Xây dựng kế hoạch thực nhiệm vụ KH&CN (Chương trình, đề tài, dự án); - Kết triển khai nhiệm vụ KH&CN Đánh giá Chiến lược phát triển KH&CN: Kết đạt được: Đối chiếu mục tiêu Chiến lược đề ra; Hiệu quả; Hiệu suất; Thành tựu bước đầu; Quy trình hoạch định kế hoạch chiến lược; Đánh giá kết thực Chiến lược phát triển KH&CN: Hiệu quả; Tác động; Bền vững; Quy trình hoạch định Chiến lược b) Quan sát hoạt động thu thập thông tin, tài liệu, liệu Quan sát hoạt động: Quan sát có hệ thống đảm bảo liệu quán tổ chức tốt Những liệu điều cần thiết cho việc viết báo cáo, xác định hành động khắc phục thực theo dõi sau Ba loại báo cáo quan sát: Báo cáo mơ tả; Báo cáo suy luận; Báo cáo đánh giá Thu thập liệu cho đánh giá: Bản ghi kiện, Video ghi âm, phiếu hỏi người tham gia; Bản ghi trò chuyện qua điện thoại; tin nhắn gửi đến, gửi đi, nội c) Đề nghị cung cấp Hồ sơ kết đánh giá nhiệm vụ KH&CN - Cấp đề nghị: Các đơn vị quản lý cấp từ trung ương, ngành địa phương; - Hồ sơ kết đánh giá nhiệm vụ KH&CN Chương trình, đề tài, dự án, đề án; - Xây dựng biểu mẫu đánh giá Tổng hợp kết thực Chiến lược d) Xử lý số liệu, phân tích thơng tin, tài liệu, liệu - Mục đích phân tích liệu đánh giá khả để thực mục tiêu Bốn bước phân tích liệu: (i) Xác định vấn đề; (ii) Xác định nguyên nhân gốc rễ; (iii) Đưa đề xuất cho cải thiện thực tế (trong trường hợp ảnh hưởng đến mục tiêu mong đợi); (iv) Đưa học kinh nghiệm; 82 Phương pháp luận đánh giá kết thực Chiến lược… - Trong suốt q trình phân tích liệu, chuyên gia đánh giá xác định vần đề khó giải cách: So sánh mục tiêu đánh giá với kiện thực tế; Hồn thành bảng phân tích; Xây dựng lại lộ trình thời gian kiện đánh giá; - Phân tích nguyên nhân gốc rễ xem xét nguồn gốc khác biệt kiện xảy cho xảy với mục tiêu mong đợi Các chuyên gia đánh giá cần phát triển đề xuất cho cải thiện (trong trường hợp ảnh hưởng đến mục tiêu mong đợi), xác định vấn đề cần thực Những khuyến nghị sở cho hoạt động điều chỉnh e) Điều tra, khảo sát, đánh giá nhanh - Địa bàn có đối tượng nhận tài trợ thực nhiệm vụ KH&CN; - Địa bàn có đối tượng thụ hưởng (được chuyển giao) kết từ nhiệm vụ KH&CN; - Xây dựng biểu mẫu điều tra, khảo sát; - Viết báo cáo Bước Tổng kết đánh giá xây dựng kế hoạch sau đánh giá Chiến lược a) Tiến hành phân tích, đánh giá dự thảo báo cáo - Phân tích, đánh giá: Những nguồn liệu phục vụ tiến hành phân tích, đánh giá bao gồm: Dữ liệu từ hội thảo, vấn, kiểm tra định kỳ liệu từ Bước - Dự thảo báo cáo: Tóm tắt việc thực hiện; Tổng quan việc thực hiện; Mục tiêu mục đích đánh giá Các phụ lục bổ sung bao gồm học kinh nghiệm, tóm tắt phản hồi người tham gia, bảng tóm tắt kiện đánh giá, xếp hạng hiệu quả, danh sách từ viết tắt; b) Tiến hành hội thảo, hội nghị - Mục đích để xem xét lại hoàn thiện dự thảo báo cáo sau đánh giá Người tham dự đưa tư vấn kế hoạch cải thiện tình hình sau đánh giá, làm rõ hành động khắc phục cụ thể để giải vấn đề xác định báo cáo sau đánh giá.Sau đó, báo cáo sau đánh giá kế hoạch cải thiện hoàn thiện thành báo cáo tổng kết đánh giá; - Lên lịch trình cụ thể, tổ chức địa điểm thuận lợi vị trí thực đánh giá Hội nghị nên có tính tương tác cao Hội nghị thảo JSTPM Tập 4, Số 4, 2014 83 luận cách thức mà tổ chức tham gia xây dựng dựa mạnh xác định phạm vi quản lý mình; - Kết thảo luận danh sách xác định hành động khắc phục, tổ chức chịu trách nhiệm thực khung thời gian để hoàn tất Khi đồng ý, hành động khắc phục lộ trình thực tạo lên kế hoạch cải thiện Bản kế hoạch cải thiện cụ thể hóa khuyến nghị báo cáo sau đánh giá, bước có khả đo lường mang đến khả sẵn sàng cải thiện c) Hoàn thành kế hoạch cải thiện - Mục tiêu quan trọng hội nghị sau đánh giá thảo luận cách thức thực khuyến nghị để cải thiện; - Kế hoạch cải thiện hoàn chỉnh bao gồm báo cáo thức sau hành động/kế hoạch cải thiện bảng tóm tắt bước Các tổ chức/cơ quantham gia sử dụng để thực lập kế hoạch cải thiện; - Các khuyến nghị hành động khắc phục nên tương ứng với nội dung liệt kê báo cáo sau hoạt động đánh giá d) Xác định vấn đề cần thực cải tiến (cải thiện) - Việc xác định cải thiện thực bước quy trình thực hành đánh giá lập kế hoạch cải thiện; - Liệt kê hành động khắc phục tương ứng với đề xuất báo cáo sau hành động/kế hoạch cải thiện Mỗi hành động khắc phục phải xác định thực để giải khuyến nghị, đối tượng (cá nhân tổ chức) phải chịu trách nhiệm khung thời gian để thực hiện, cần giao cho tổ chức có điều kiện, thẩm quyền tốt để thực hiện; - Kế hoạch cải thiện đượctheo dõi, quản lý nhà lập kế hoạch, đánh giá, tổ chức tham gia vào trình đánh giá Các tổ chức phải hỗ trợ đầy đủ kế hoạch cải thiện, đặc biệt thành phần kế hoạch cải thiện liên quan đến trách nhiệm tổ chức mốc thời gian thiết lập để hoàn thành Trong ngắn hạn, xây dựng kế hoạch cải thiện phải trình định hướng bên liên quan e) Đề xuất hành động khắc phục - Một số hành động khắc phục yêu cầu nguồn lực phục vụ cho đào tạo, trang thiết bị nhân Khi nguồn lực khơng có sẵn, nhà lập kế hoạch đánh giá chuyên gia đánh giá nên xây dựng giải pháp ngắn hạn dài hạn để nâng cao khả thực hiện; 84 Phương pháp luận đánh giá kết thực Chiến lược… - Các học kinh nghiệm giúp cá nhân, tổ chức nhận tài trợ nhà tài trợ, nhà quản lý học tập, nhận xét đưa học kinh nghiệm g) Theo dõi thực - Các quan có thẩm quyền giám sát hoạt động điều chỉnh xác định báo cáo kế hoạch cải tiến/cải thiện Các hoạt động khắc phục đưa báo cáo cần theo dõi liên tục báo cáo; - Theo dõi hành động khắc phục bước quan trọng trình thực đánh giá lập kế hoạch cải thiện; - Để theo dõi việc thực hành động khắc phục, cấp có thẩm quyền tham gia phải có điểm kết nối chịu trách nhiệm theo dõi hoạt động khắc phục báo cáo tiến độ; - Các cấp có thẩm quyền (nhà quản lý) cần kết nối với quan hành pháp tra, quyền sở (nơi tổ chức, cá nhân nhận kinh phí thực hiện) theo dõi: hoạt động khắc phục giao cấp có thẩm quyền Người thực phải chịu trách nhiệm thu thập thông tin, biên soạn, cập nhật tình hình vào báo cáo định kỳ h) In ấn xuất bản, công bố kết thực Chiến lược 4.2 Tiêu chí phương pháp đánh giá Chiến lược Tiêu chí đánh giá tổng thể phương pháp Hội đồng nghiên cứu Quốc gia Mỹ năm 2010, thực đánh giá Chiến lược KH&CN 06 quốc gia Nhật Bản, Nga, Bzanil, Ấn Độ, Trung Quốc, Singapore đề xuất tiêu chí phương pháp tổng thể: - Tiếp cận vào kế hoạch KH&CN để xem chi tiêu cho KH&CN nói chung chi R&D thay đổi tăng trưởng GDP; - Tiếp cận lực đổi mới/sáng tạo (sáng chế, trình độ nhận thức, cơng bố, % xuất cơng nghệ cao/xuất chế tạo ) Hiện nay, nhiều nước tập trung đánh giá đầu vào tiêu chí chi tiêu cho KH&CN đánh giá đầu thơng qua lực đổi Tiêu chí cụ thể phương pháp Từ năm 1991 đến nay, OECD tiến hành đánh giá kết thực sách, chiến lược, kế hoạch dựa vào 05 tiêu chí sau: Mức độ phù hợp, Hiệu quả, Hiệu suất, Tác động, Bền vững JSTPM Tập 4, Số 4, 2014 85 Trong trình đánh giá, chuyên gia đánh giá vào tiêu chí điều kiện cụ thể, thông tin, số liệu, liệu sử dụng phương pháp phù hợp với thực tiễn Tiêu chí đánh giá kết thực Tiêu chí Tổng hợp Khung đánh giá Bảng tổng hợp sử dụng tiêu chí định tính/định lượng Lựa chọn Mức độ để điền Định tính Rất cao: RC; Cao: C; Bình thường: BT; Thấp:T; Rất thấp:RT Định lượng: theo thang điểm từ 10-100 Phù hợp Hiệu suất Hiệu Tác động Bền vững Đầu vào Hoạt động Đầu Kết Đối với tiêu chí, cần cụ thể hóa chi tiết hóa q trình triển khai đánh giá Ví dụ tiêu chí đánh giá tác động, trường hợp đánh giá tác động kết thực Chiến lược đến phát triển KT-XH chi tiết: Kết hợp đánh giá đầu kỳ Chiến lược Chỉ tiêu KT-XH Chỉ tiêu KT Chỉ tiêu XH 2011-2015 Xây dựng Kế hoạch Chỉ tiêu Hoạt động Đầu KH&CN Đầu vào Chỉ tiêu CN thực nhiệm vụ Chỉ tiêu KH KH&CN Hoạt động cụ thể Kết Tác động Huy động Sản phẩm Trực tiếp Tác động đến phát triển: Tổ chức Hàng hóa làm tăng/giảm ngành, lĩnh vực, triển khai Dịch vụ tiêu địa phương, Hướng dẫn KT quốc gia Kiểm tra Gián tiếp Tác động đến làm thay phát triển KTđổi tiêu XH XH Năng lực cạnh tranh ngành, lĩnh vực, địa phương quốc gia 2011-2015 2011-2014 2015-2016 Đánh giá năm so sánh năm Phương pháp luận đánh giá kết thực Chiến lược… 86 Đánh giá cuối kỳ Chiến lược Chỉ tiêu KT-XH Xây dựng Kế hoạch Chỉ tiêu KH&CN Hoạt động Đầu Chỉ tiêu KT Đầu vào thực nhiệm vụ KH&CN Hoạt động cụ thể Chỉ tiêu CN Huy động Tổ chức triển khai Hướng dẫn Kiểm tra Sản phẩm Hàng hóa Dịch vụ Chỉ tiêu XH 20112020 Chỉ tiêu KH 20112020 2016-2020 Kết Tác động Trực tiếp làm tăng/giảm tiêu KT Gián tiếp làm thay đổi tiêu XH Tác động đến phát triển KTXH Năng lực cạnh tranh ngành, lĩnh vực, địa phương quốc gia 2011-2020 Đánh giá giai đoạn 05 năm (2011-2015; 2016-2020) so sánh 02 giai đoạn Hiện có nhiều phương pháp (đa phương pháp) để thực đánh giá kết thực hiện, phạm vi viết này, nhóm nghiên cứu đề xuất sử dụng phương pháp đánh giá sau: TT Tiêu chí Các phương pháp Mức độ phù hợp Hệ thống hóa số, tiêu Đo lường: Thư mục trắc lượngđếm số lượng; Thư mục trắc lượngđếm phân tích trích dẫn Hiệu Theo dõi tiến trình, tổng hợp số liệu sử dụng số (monitoring) Ước tính Định tính Chiến lược đề Quan điểm, mục tiêu, nhiệm vụ, giải pháp, tổ chức thực Mục tiêu, Định hướng nhiệm vụ Nội dung đánh giá Kết thực Tổ chức triển khai Đầu vào có đảm bảo Hoạt động: theo dõi, kiểm tra, đầu tư, tài trợ, hỗ trợ kỹ thuật loại nguồn động viên, hỗ trợ để tạo sản phẩm đầu đặc biệt Đầu ra: Sản phẩm, hàng hóa, dịch vụ từ kết can thiệp vào phát triển có liên quan đến đến thành tựu đầu Việc đo lường thích hợp mục tiêu chọn mức độ thực (chương trình, đề tài, dự án, đề án đầu tư), hiệu phép so sánh kết đạt với mục tiêu đặt Sự thay đổi vấn đề JSTPM Tập 4, Số 4, 2014 87 Định lượng Hiệu suất So sánh, chuẩn đối sánh Thống kê KH&CN Mục tiêu, giải pháp đề Tác động Quan điểm, mục tiêu, định hướng, nhiệm vụ đề Bền vững So sánh, chuẩn đối sánh Điều tra Phân tích Mơ Quy nạp Tổng hợp Đánh giá đồng cấp Đánh giá điểm mạnh, điểm yếu, thời cơ, thách thức Phân tích mạng lưới Điều tra Tổng hợp Quan điểm, mục tiêu đề định hướng chưa hướng tới, trực tiếp gián tiếp đến thay đổi Ví dụ thay đổi GDP Hiệu bao gồm Kết Tác động Hiệu suất đo lường nguồn lực sử dụng để đạt đến mục tiêu So sánh kết đạt với chi phí bỏ trình thực mục tiêu Hiệu suất có tiến hành xác định mục tiêu, cách thức tiến hành Giảm thiểu chi phí nguồn lực đầu vào mà giữ nguyên sản lượng đầu Hoặc: Giữ nguyên yếu tố đầu vào, gia tăng sản lượng đầu Hoặc: Vừa giảm chi phí đầu vào, vừa tăng sản lượng đầu Kết thực tích cực tiêu cực, ngắn hạn trung hạn can thiệp vào phát triển, trực tiếp gián tiếp, dự định hay không chủ định đến kinh tế xã hội KH&CN, kinh tế - xã hội phát triển tiếp tục phát triển tương lai Kết luận: Phương pháp luận đánh giá kết thực Chiến lược phát triển KH&CN dựa sở lý thuyết, thực tiễn đánh giá sách nói chung, đánh giá sách KH&CN nói riêng, có tính tích hợp quan điểm, tính kế thừa phương pháp tiêu chí đánh giá từ hoạt động đánh giá có Đánh giá Chiến lược ngồi việc dựa vào khung logic, quy trình, tiêu chí phương pháp đánh giá chung, vấn đề quan trọng phải dựa chứng triển khai, thực Chiến lược, để có chứng cần thu thập thơng tin, tài liệu, liệu để tổng hợp, phân tích, xử lý đánh giá Phương pháp luận đánh giá kết thực Chiến lược… 88 Đánh giá thực giai đoạn: đầu kỳ, kỳ, cuối kỳ Đánh giá đầu kỳ kỳ có vai trò quan trọng điều chỉnh, lập kế hoạch cải thiện, cải tiến trọng tâm điều chỉnh hành vi, hoạt động tổ chức triển khai, thực nhiệm vụ KH&CN, giải pháp có phù hợp với mục tiêu hướng vào việc theo dõi, đánh giá khả năng, lực đến mục tiêu Trong trường hợp phát việc thực không đến mục tiêu xa rời mục tiêu cần có kế hoạch điều chỉnh, thay đổi kịp thời Đánh giá cuối kỳ (kết thúc) phục vụ việc làm rõ vai trò Chiến lược sở đánh giá tác động, hiệu tính bền vững./ TÀI LIỆU THAM KHẢO Tiếng Việt: Tạ Doãn Trịnh (2008) Ứng dụng phương pháp kinh tế lượng đánh giá tác động KH&CN phát triển Đặng Ngọc Dinh (2012) Nghiên cứu dựa chứng khuyến nghị sách - Một số suy nghĩ Tiếng Anh: OECD (1986) Methods and Procedures in Aid Evaluation OECD (1991) The DAC Principles for the Evaluation of Development Assistance, Glossary of Terms Used in Evaluation OECD (2000) Glossary of Evaluation and Results Based Management (RBM) Terms OSLO (2004) The measurement of S&T activities proposed guidelines for collecting and interpreting technological innovation data OECD (2012) Science, Technology and Industry Outlook: Evaluation of STI policies Ruegg, R And Feller (2003) A Toolkit For Evaluating Public R&D Investment: Models, Methods and Findings From Atp’s First Decade Leslie A.Pal (2006) Beyond Policy Analysis Public Issue Management in Turbulent Times, (3th Edition), Canada 10 Van Leeuwen (2007) Modelling of Bibliometric Approaches and Importance of Output Verification in Research Performance Assessment Research Evaluation, 2007; 16(2):93 - 105 11 John Adair (2010) Effective strategic leadership: The complete guide to strategic management 12 Laurent Bach (2010) Evaluation of STI policy performance and impacts, Pecs Session  ... Khái niệm đánh giá Chiến lược Trước tiến hành đánh giá Chiến lược, cần nhận diện Chiến lược Theo GS.Leslie A Pal, chiến lược phận sách, việc đánh giá kết thực chiến lược cần phải đánh giá qui trình... hình thực Chiến lược, định kỳ năm báo cáo Thủ tướng Chính phủ; tổ chức sơ kết việc thực Chiến lược toàn quốc vào đầu năm 2016 tổng kết vào đầu năm 2021 Phương pháp luận đánh giá kết thực Chiến lược ... chí phương pháp đánh giá kết thực Chiến lược Khung logic phục vụ đánh giá Chiến lược Đánh giá Chiến lược nói riêng, sách KH&CN nói chung, cần dựa vào chứng cụ thể.Có nhiều chứng liên quan đến kết