Trong khuôn khổ bài viết này, nhóm tác giả trình bày kinh nghiệm của một số nước trên thế giới về đánh giá Chương trình KH&CN nói chung, đưa ra đề xuất phương pháp, tiêu chí đánh giá chương trình phù hợp điều kiện tại Việt Nam.
56 Đánh giá chương trình khoa học cơng nghệ: từ lý luận đến thực tiễn… ĐÁNH GIÁ CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ: TỪ LÝ LUẬN ĐẾN THỰC TIỄN VÀ ĐỀ XUẤT PHƯƠNG PHÁP, TIÊU CHÍ ĐÁNH GIÁ PHÙ HỢP ĐIỀU KIỆN VIỆT NAM Trần Hậu Ngọc1, Nguyễn Ngọc Chiến Viện Đánh giá khoa học Định giá công nghệ, Bộ Khoa học Công nghệ Nguyễn Quốc Huy Viện Đào tạo Ứng dụng khoa học công nghệ, Đại học Kiến trúc Hà Nội Tóm tắt: Đánh giá công cụ thiết yếu cho thực tiễn quản lý hiệu quả, đánh giá công cụ để đo lường thành cơng chương trình mà cịn góp phần vào thành cơng Đánh giá giúp cho nhà quản lý chương trình lập kế hoạch, thẩm định thể mục tiêu cần đạt gì, định phân bổ nguồn lực nào, làm để sửa đổi thiết kế lại chương trình, điều chỉnh thực giai đoạn Đánh giá chương trình khoa học cơng nghệ (KH&CN) thường thực theo giai đoạn: (i) Đánh giá thẩm định: tiến hành trước thực chương trình Giai đoạn đánh giá tính khả thi chất lượng thiết kế chương trình; (ii) Đánh giá kỳ: tiến hành vào thời gian thực chương trình nhằm xem xét trình thực từ bắt đầu đề xuất điều chỉnh cần thiết; (iii) Đánh giá kết (đánh giá kết thúc): thực sau kết thúc chương trình, nhằm xem xét kết đạt tổng kết tồn q trình thực hiện, rút kinh nghiệm cần thiết làm sở lập báo cáo nghiệm thu chương trình; (iv) Đánh giá tác động: thực vào thời điểm thích hợp, kể từ chương trình đưa vào khai thác, sử dụng nhằm làm rõ hiệu quả, tính bền vững tác động kinh tế-xã hội chương trình Do vậy, tùy theo u cầu mà mục đích, quy trình phương pháp đánh giá khác Trong khuôn khổ viết này, nhóm tác giả trình bày kinh nghiệm số nước giới đánh giá Chương trình KH&CN nói chung, đưa đề xuất phương pháp, tiêu chí đánh giá chương trình phù hợp điều kiện Việt Nam Từ khóa: Chương trình KH&CN; Đánh giá chương trình KH&CN; Phương pháp; Tiêu chí Mã số: 20082801 EVALUATION OF SCIENCE AND TECHNOLOGY PROGRAMS: FROM THEORY TO PRACTICE AND PROPOSAL OF EVALUATION METHODS AND CRITERIA COMPATIBLE WITH VIETNAM’S CONDITIONS Abstract: Evaluation is an essential tool for effective management practices, evaluation is not only a tool to measure the success of the program but also contributes to that success Evaluation Liên hệ tác giả: thngoc@most.gov.vn JSTPM Tập 9, Số 3, 2020 57 helps program managers to plan, evaluate and demonstrate what their goals are to be achieved, decide how to add resources, how to modify and redesign the program, and adapt implemented in the next stage Evaluation of the science and technology (S&T) program is usually done in phases: (i) Ex-ante Evaluation: the assessment is conducted prior to program execution This phase assesses the feasibility and quality of the program design; (ii) Mid-term Evaluation: the assessment is conducted midway through program implementation to review performance from inception and recommend necessary modifications; (iii) Terminal Evaluation: the assessment is carried out right after the end of the program, in order to consider the results achieved and summarize the entire implementation process, to draw the necessary experience as a basis for making the program acceptance report; (iv) Impact Evaluation: the assessment is carried out at an appropriate time, since the program was put into operation and used to clarify the effectiveness, sustainability and socio-economic impact of the program Therefore, depending on the requirements, the purpose, process and method of evaluation will be different In this article, we present the experiences of some countries in evaluating the S&T Program, and proposing evaluation of the program under conditions in Vietnam Keywords: Science and technology program; Evaluation of the science and technology program; Method; Conditions Mở đầu Tại Việt Nam, chương trình KH&CN nhiệm vụ KH&CN có mục tiêu chung giải vấn đề KH&CN phục vụ phát triển ứng dụng KH&CN trung hạn dài hạn, triển khai hình thức tập hợp đề tài KH&CN, dự án sản xuất thử nghiệm, dự án KH&CN (Nghị định số 08/2014/NĐ-CP) Đặc thù chương trình KH&CN có tính liên ngành, đầu tư kinh phí giai đoạn dài, tập hợp lực lượng từ nhiều quan KH&CN để thực mục tiêu lớn KH&CN đất nước, đó, việc quản lý đánh giá chương trình đóng vai trị quan trọng Đánh giá chương trình KH&CN việc xem xét cách có hệ thống khách quan hoạt động chương trình, bao gồm việc thiết kế, thực kết đạt Đánh giá chương trình giúp nhà hoạch định sách, nhà quản lý có sở để xác định: Liệu chương trình có hướng khơng? Chương trình có đem lại hiệu mong đợi khơng? Những vấn đề cịn tồn q trình thực điều chỉnh chúng nào? Kết chương trình đo lường sao? Đâu thành công, đâu hạn chế? Công tác đánh giá ngày quan tâm coi trọng Việt Nam Lần đầu tiên, văn Luật KH&CN năm 2000, vấn đề tuyển chọn nhiệm vụ KH&CN đánh giá, nghiệm thu kết thực đề cập Luật đến năm 2013, Luật KH&CN sửa đổi vấn đề tiếp tục đưa vào Luật (Điều 37) Nhằm nâng cao nhận thức, lực đánh giá chương trình KH&CN, góp phần hỗ trợ cho việc xây dựng sách KH&CN, Bộ KH&CN giao cho đơn vị nghiệp trực thuộc Bộ thực số nhiệm vụ nghiên cứu phương pháp luận đánh giá 58 Đánh giá chương trình khoa học công nghệ: từ lý luận đến thực tiễn… chương trình thực hành đánh giá thực tế số chương trình KH&CN quốc gia Trong năm trở lại đây, Bộ KH&CN đặt hàng Viện Đánh giá khoa học Định giá công nghệ nhiệm vụ đánh giá tổng thể chương trình, đánh giá hiệu quả/tác động chương trình KH&CN Các nhiệm vụ bước đầu cung cấp cho đơn vị quản lý, xây dựng sách Bộ KH&CN nhiều tài liệu phục vụ cho việc quản lý chương trình KH&CN giai đoạn Ngoài ra, kết đánh giá quan quản lý Bộ sử dụng xây dựng khung đánh giá chương trình phục vụ cho việc tái cấu trúc chương trình KH&CN giai đoạn 2021-2025 Trong khn khổ viết này, đề cập đến kinh nghiệm số nước giới đánh giá chương trình KH&CN mơ tả sơ thực tiễn đánh giá chương trình Việt Nam Kinh nghiệm số quốc gia giới đánh giá chương trình khoa học cơng nghệ 2.1 Kinh nghiệm Trung Quốc Từ năm 90 Thế kỷ XX, Chính phủ Trung Quốc quan tâm đến việc đánh giá chương trình KH&CN Quốc gia Năm 1994, Bộ KH&CN Trung Quốc thành lập Trung tâm Đánh giá KH&CN Quốc gia Trung Quốc (NCSTE) thuộc Bộ KH&CN Trung tâm đóng vai trị quan trọng việc cung cấp nội dung đánh giá khách quan nhằm giúp quan quản lý nhà nước, doanh nghiệp tổ chức đầu tư định liên quan đến việc phát triển KH&CN Một nhiệm vụ Trung tâm đánh giá chương trình KH&CN Chính phủ Trung Quốc tài trợ, bao gồm đánh giá thẩm định, đánh giá kỳ đánh giá kết thúc Trung tâm Đánh giá KH&CN Quốc gia Trung Quốc xây dựng “Tiêu chuẩn để đánh giá KH&CN”, Tiêu chuẩn ban hành năm 2001, theo cấp độ2 Cấp độ tiêu chuẩn bản, bao gồm nguyên tắc chính, quy tắc đạo đức thuật ngữ đánh giá KH&CN Cấp độ thứ hai tiêu chuẩn kỹ thuật, bao gồm quy trình, nghĩa vụ quyền hạn bên liên quan đánh giá Cấp độ thứ ba, bao gồm cam kết tiêu chuẩn, làm để trì tính độc lập, khách quan cơng Năm 2006, NCSTE tiến hành đánh giá Chương trình nghiên cứu phát triển cơng nghệ cao - Chương trình 863 giai đoạn 1986-20013 theo lĩnh vực: cơng nghệ sinh học, công nghệ thông tin, lượng, vật liệu tiên tiến hải dương học Xác định khai thác thông tin từ nhiều nguồn khác A Review of the Chinese National Center for Science and Technology Evaluation, Laura Pan Luo, Journal of MultiDisciplinary Evaluation http://ncste.org/memorabilia/index.html JSTPM Tập 9, Số 3, 2020 59 nhân tố quan trọng việc đánh giá Thông tin thu thập chia thành loại: - Loại A: Thơng tin nội văn phịng quản lý chương trình cung cấp; - Loại B: Thơng tin nhóm đánh giá thu thập độc lập, gồm phiếu điều tra, thảo luận hội thảo, điều tra trường, hội nghị bàn tròn bên liên quan; - Loại C: Thông tin liệu phù hợp với quy trình đánh giá nghiên cứu Việc đánh giá Chương trình 863 tiến hành theo phương thức hội nghị bàn trịn, thảo luận cơng khai để đến thống nhất, đồng thuận từ quan điểm khác thơng qua đối thoại tìm khác Thành phần tham gia vào hội nghị bàn trịn người có liên quan, người chịu trách nhiệm quản lý chương trình người liên quan trực tiếp đến chương trình Ngun tắc hội nghị bàn trịn là: (i) Đối thoại bình đẳng bên tham gia, không phân biệt địa vị, chức danh; (ii) Thảo luận vấn đề chuẩn bị trước; (iii) Khuyến khích người trao đổi với quan điểm khác nhau; (iv) Thảo luận kết quả, đồng thuận khác biệt, phải có biên hội nghị Những nguyên tắc phải thông báo trước cho tất người tham dự Kết đánh giá cho thấy, Chương trình 863 huy động mạnh giới khoa học Trung Quốc, đó, hình thành nên đội ngũ nghiên cứu phát triển công nghệ cao tầm quốc gia Tuy nhiên, có viện khu vực công trường đại học tham gia chủ yếu, khu vực doanh nghiệp tham gia với mức độ thấp (chiếm 5%), lực lượng tham gia chủ yếu tập trung Bắc Kinh Thượng Hải Chương trình 863 đào tạo số lượng lớn nhà khoa học lĩnh vực công nghệ cao có lực, đó, xây dựng đội ngũ cán cốt lõi cho công tác nghiên cứu phát triển công nghệ cao đất nước, thúc đẩy hợp tác trao đổi quốc tế công nghệ cao Trung Quốc Qua kết đánh giá, Chính phủ thấy cần phải cải tiến để mở rộng tham gia doanh nghiệp kế hoạch công nghệ cao Chính phủ tăng cường nhanh phát triển KH&CN vùng miền Trung miền Tây Trung Quốc Ngồi đánh giá Chương trình 863, NCSTE tiến hành Chương trình nghiên cứu 973, đánh giá chiến lược sở hữu trí tuệ quốc gia, đánh giá sách đổi KH&CN quốc gia,…4 http://ncste.org/memorabilia/index.html 60 Đánh giá chương trình khoa học cơng nghệ: từ lý luận đến thực tiễn… Ngày 01/7/2020, Hiệp hội Nghiên cứu Quản lý thành tựu Đánh giá KH&CN Trung Quốc ban hành hai tiêu chuẩn: “Thuật ngữ đánh giá KH&CN”5 “Tiêu chí đánh giá KH&CN”6 Hai tiêu chuẩn Trung tâm NCSTE chủ trì soạn thảo nhằm chuẩn hóa cơng tác đánh giá KH&CN Trung Quốc Việc đánh giá Trung Quốc tác động nhiều đến việc lập kế hoạch triển khai thực chương trình Chính phủ mà cịn kích thích đối thoại trao đổi thơng tin Chính phủ với khối cơng nghiệp khu vực nghiên cứu 2.2 Kinh nghiệm Hàn Quốc Đầu năm 90 Thế kỷ XX, ngồi Bộ KH&CN Hàn Quốc bắt đầu phát triển nhiều chương trình nghiên cứu R&D Bộ ngành khác đến năm 90, việc đánh giá chương trình R&D bắt đầu, Bộ ngành tự tổ chức điều phối thực chương trình R&D quản lý Tháng 5/1997, Chính phủ Hàn Quốc ban hành “Luật cải cách KH&CN” bắt đầu thực công tác “điều tra, phân tích đánh giá” chương trình R&D quốc gia theo tinh thần Bộ luật Năm 1999, thành lập Hội đồng KH&CN Quốc gia - NSTC để đạo KH&CN, đặc biệt vai trò giám sát điều hành hoạt động liên quan đến đánh giá điều chỉnh trước chương trình R&D quốc gia có nguồn vốn từ ngân sách Nhà nước Viện Đánh giá Lập kế hoạch KH&CN Hàn Quốc (KISTEP) thành lập năm 1998, có chức lập kế hoạch tổ chức điều tra, phân tích đánh giá chương trình R&D quốc gia Các chương trình KH&CN Hàn Quốc phân loại theo đặc tính kinh tế-xã hội (chứ khơng phân loại theo chun ngành cơng nghệ) chia thành nhóm sau: Bảng Phân loại chương trình KH&CN Hàn Quốc Nhóm lớn Nhóm nhỏ Những chương trình hướng vào cơng nghệ tảng, công nghệ công bảo vệ sức khỏe - Chương trình định hướng vào cơng nghệ tảng - Cơng nghệ cơng - Cơng nghệ chăm sóc, bảo vệ sức khỏe - Công nghệ công nghiệp ngắn hạn - Công nghệ công nghiệp trung hạn dài hạn Những chương trình phục vụ cơng nghiệp http://ncste.org/standard/2698.html http://ncste.org/standard/2699.html JSTPM Tập 9, Số 3, 2020 Những chương trình xây dựng hạ tầng 61 - Hợp tác quốc tế - Phát triển nguồn nhân lực - Cơ sở vật chất Những chương trình hỗ trợ cho - Các phịng thí nghiệm quốc gia viện nghiên cứu - Các viện nghiên cứu - Các viện nghiên cứu công nghệ công nghiệp - Các viện nghiên cứu cơng nghệ phục vụ cơng ích Trong vịng 10 năm gần (giai đoạn 2008-2018), chi tiêu cho R&D Hàn Quốc liên tục tăng từ mức chiếm 2,99% GDP năm 2008 (khoảng 46 tỷ USD) lên đến mức 4,53% GDP năm 2018 (khoảng 95 tỷ USD)7 Với số lượng chương trình số đơn vị tham gia thực nghiên cứu tăng yêu cầu bảo đảm tính hiệu minh bạch việc phân bổ sử dụng ngân sách R&D Chính phủ trọng đặc biệt Yêu cầu đặt phải tiến hành đánh giá trình thực chương trình R&D Cho đến thời điểm này, KISTEP tổ chức thực đánh giá chương trình Hàn Quốc Cơ sở pháp lý cho việc thực chức KISTEP nêu Điều 12 Đạo luật khung KH&CN Điều 7, Điều 12 Đạo luật Đánh giá Quản lý dự án R&D quốc gia8 Việc đánh giá KISTEP Chính phủ tài trợ kinh phí Chương trình đánh giá theo ba nhóm tiêu chí bản: Hiệu lực chương trình; Hiệu quản lý chương trình; Kết hiệu chương trình Căn vào chất đặc tính chương trình, hội đồng đánh giá xây dựng câu hỏi cụ thể cho tiêu chí đánh giá theo tỷ lệ % Sau đánh giá, chương trình xếp hạng theo mức: A (> 90%); B (70-90%); C (30-70%); D (10-30%) E (70%); Trung bình (30-70%); Kém (