Hình 2.1 thể hiện lơ-gic triển khai chính sách (đầu vào, hoạt động, đầu ra) và những kết quả mong đợi. Phương pháp đánh giá tác động của chính sách cũng dựa trên lơgic này và chia thành 02 nội dung đánh giá:
Tác động Triển khai Hoạt Động Đầu vào Đầu ra Tác động Ngắn hạn Tác động dài hạn
(1) Đánh giá quá trình triển khai: q trình triển khai chính sách gồm 3 phần: (i) Đầu vào: là các quy định được cụ thể hóa trên văn bản của một chính sách; (ii) Hoạt động: cách thức tổ chức thực hiện chính sách. Từ các yếu tố đầu vào (các quy định), đánh giá làm rõ cách thức triển khai chính sách, những vướng mắc gặp phải của các địa phương trong quá trình triển khai; (iii) Đầu ra: Từ đầu vào và việc tổ chức triển khai chính sách đã mang lại đầu ra như thế nào. Đánh giá quá trình triển khai thực hiện là căn cứ để giải thích cho tác động của chính sách.
(2) Đánh giá tác động chính sách: cần phân biệt sản phẩm đầu ra của chính sách (outputs) với kết quả đạt được (outcomes) nhờ việc người thụ hưởng chính sách sử dụng những kết quả của chính sách. Khi đánh giá tác động chúng ta quan tâm đến những kết quả đạt được này. Những kết quả này có thể trơng thấy được thơng qua khảo sát, nhưng để đánh giá tác động thì cần lựa chọn một tình huống phản thực phù hợp.
Đánh giá tác động chính sách được hiểu trong luận án là xem xét, phát hiện điểm mạnh, điểm yếu của chính sách, từ đó đề xuất các giải pháp điều chỉnh điểm yếu, phát huy điểm mạnh của chính sách.
2.4.3. Cách tiếp cận và phương pháp đánh giá tác động chính sách
2.4.3.1. Cách tiếp cận đánh giá tác động chính sách
Có thể dễ dàng nhận thấy, đánh giá chính sách là một q trình phức tạp, bởi có sự tham gia của rất nhiều nhóm lợi ích và các bên liên quan, cũng như tác động của chính sách có thể tồn tại dưới nhiều hình thức khác nhau. Cách tiếp cận được sử dụng trong đánh giá chính sách gồm: Tiếp cận từ trên xuống (top – down) và tiếp cận từ dưới lên (bottom – up). Sự phân tích từ trên xuống có nghĩa là tập hợp các dữ liệu vĩ mô thứ cấp. Dữ liệu này được phân tích từ nhiều phương pháp thống kê khác nhau. Tiếp cận từ dưới lên là phương pháp tiếp cận được sử dụng trong mơ hình thực chứng vì dữ liệu ở cấp độ vi mơ được thu thập lại và khái quát thành tổng thể. Nội dung của việc đánh giá có thể thay đổi theo giai đoạn của chính sách nên có thể bao gồm đánh giá trước (trước khi có chính sách), trong (chính sách đang thực thi) và sau (sau khi kết thúc chính sách). Nếu căn cứ vào thời điểm thực hiện ĐGTĐ so với tiến độ thực hiện chính sách/dự án thì ĐGTĐ có cách tiếp cận là: (i)
đánh giá tiên nghiệm (ex-ante hoặc prospective evaluation); (ii) đánh giá hậu nghiệm (ex-post hoặc retrospective evaluation).
- Đánh giá tiên nghiệm thường được thực hiện trước hoặc vào cùng thời gian chương trình, chính sách được triển khai và hoạt động này cùng được đưa vào nội dung hoạt động của chương trình, chính sách. Theo World Bank (2010), ĐGTĐ tiên nghiệm là tìm cách định lượng các tác động dự kiến của các chính sách trong tương lai, dựa trên thực trạng của khu vực mục tiêu đã cho, trong đó có thể sử dụng các mơ phỏng dựa trên giả định về tình hình kinh tế. Đánh giá tiên nghiệm cũng dựa trên các mơ hình cấu trúc về điều kiện kinh tế của đối tượng. Chẳng hạn, có thể có các giả định liên quan đến mơ hình cấu trúc như xác định các tác nhân kinh tế chính trong xây dựng chương trình (cá nhân, cộng đồng, chính quyền địa phương, trung ương), mối liên hệ giữa các tác nhân này và những thị trường khác nhau trong xác định kết quả từ chương trình.
- Đánh giá hậu nghiệm của chương trình, chính sách sau khi được triển khai. Đánh giá hậu nghiệm tìm cách xác định những tác động thực tế tích luỹ ở các đối tượng thụ hưởng nhờ can thiệp của chương trình. Một hình thức đánh giá loại này là mơ hình hiệu quả can thiệp. Đánh giá hậu nghiệm có lợi ích tức thời và phản ánh hiện thực. Nhưng những đánh giá này nhiều khi bỏ sót những cơ chế đằng sau tác động của chương trình đối với dân cư, là những cơ chế mà các mơ hình cấu trúc tìm cách nắm bắt và có thể có vai trị rất quan trọng đối với quá trình tìm hiểu tác động của chương trình. Đánh giá hậu nghiệm cũng có thể tốn kém hơn so với đánh giá tiên nghiệm vì địi hỏi phải thu thập dữ liệu về các kết quả thực tế ở các nhóm đối tượng tham gia và không tham gia, cũng như ở các yếu tố xã hội và kinh tế kèm theo khác có vai trị quyết định phương hướng can thiệp.
2.4.3.2. Phương pháp đánh giá tác động chính sách
Có rất nhiều phương pháp có thể được sử dụng để đánh giá chính sách. Hơn thế nữa thật khó có thể khẳng định phương pháp nào lợi thế hơn phương pháp nào. Một phương pháp nào đó được lựa chọn bởi nó phù hợp với mục tiêu đề ra, khơng có phương pháp thay thế cho tất cả. Các phương pháp có thể bổ trợ cho nhau. Tuy
nhiên, để đánh giá một cách đầy đủ, rõ ràng và tồn diện thì người nghiên cứu phải sử dụng cả các phương pháp đinh tính và định lượng.
- Phương pháp định tính
Nghiên cứu định tính là làm rõ hành vi, thái độ và các lý do ẩn sâu hành vi, thái độ đó của đối tượng thụ hưởng chính sách. Ba phương pháp chính của nghiên cứu định tính là thảo luận nhóm tập trung, phỏng vấn sâu và quan sát. Người nghiên cứu nhận thức được thực trạng vấn đề một cách sâu sắc thông qua các câu hỏi tại sao, như thế nào. Các nhóm xã hội đặc thù được tập hợp lại với nhau, cùng trao đổi một vấn đề. Người nghiên cứu dễ dàng có được những chi tiết và trích dẫn thực, có sự so sánh đối chiếu thái độ, hành vi của những đối tượng cùng nhóm. Q trình thu thập thơng tin trong phương pháp này được thực hiện liên tục và lặp lại: những câu hỏi nghiên cứu được đặt ra, nhà nghiên cứu thu thập thơng tin và hình thành các giả thuyết, tiếp đến họ thu thập thông tin bổ sung nhằm chứng minh cho giả thuyết.
- Phương pháp định lượng
Nghiên cứu định lượng là cách thức tìm hiểu có hệ thống về một hiện tượng/vấn đề thông qua thu thập, phân tích và trình bày số liệu. Thế mạnh của nghiên cứu định lượng thể hiện thơng qua số liệu mang tính khách quan, dự liệu mang tính đại diện và tổng qt hơn thơng qua việc chọn cỡ mẫu đủ đại diện cho nghiên cứu hoặc có khả năng suy rộng nếu dựa trên cách thức chọn mẫu ngẫu nhiên, hoặc có khả năng theo dõi được sự thay đổi khi chọn mẫu điều tra lập lại. Phương pháp này cũng cho phép người nghiên cứu phân tích được tương quan giữa các biến, phân tích được nguyên nhân-kết quả, mơ hình hóa thành các sơ đồ, biểu đồ, bảng,... Tuy nhiên, phương pháp này cũng có những hạn chế mà người nghiên cứu cần nắm được để hạn chế được rủi ro trong q trình sử dụng, đó là: chất lượng và độ tin cậy của số liệu khó kiểm chứng được mức độ thực, cso nhiều yếu tố khơng thể đo lường được, khó giải thích được tại sao, như thế nào đối với các tác động được phân tích, dễ bị đánh đồng các nhóm đối tượng, khơng tìm hiểu sâu và mơ hình hóa được các mối quan hệ và tác động nhiều chiều. Ngồi các phương pháp định tính và định lượng, trong đánh giá chính sách người ta cịn áp dụng phương pháp tham dự, phương pháp chuyên gia, phương pháp mô tả, v.v…
2.4.4. Luận giải cách tiếp cận và phương pháp đánh giá tác động chính sách khoa học và công nghệ lựa chọn học và công nghệ lựa chọn
2.4.4.1. Cách tiếp cận đánh giá tác động chính sách khoa học và cơng nghệ lựa chọn
Các chính sách sử dụng trong nghiên cứu của luận án đều được ban hành trong giai đoạn từ 2005 đến nay, đã triển khai thực hiện khi luận án được tiến hành. Cụ thể: Nhóm chính sách có tác động đến phát triển hoạt động KH&CN trong các trường ĐH, được cụ thể hóa trong vật mang chính sách là Nghị định số 99/2014/NĐ-CPngày 25 tháng 10 năm 2014; và nhóm chính sách tác động đến thiết chế tự chủ, tự chịu trách nhiệm về KH&CN trong trường ĐH, được cụ thể hóa trong vật mang chính sách là Nghị định 115/2005/NĐ-CP ngày 05 tháng 9 năm 2005; Nghị định 43/2006/NĐ-CP ngày 25 tháng 4 năm 2006, được thay thế bằng Nghị định 16/2015/NĐ-CP ngày 14 tháng 2 năm 2015. Nên cách tiếp cận đánh giá tiên nghiệm khơng cịn phù hợp và vì vậy tiếp cận đánh giá hậu nghiệm được áp dụng để đánh giá tác động của hai nhóm chính sách KH&CN này. Cách tiếp cận này cho phép sử dụng các phương pháp định tính trong đánh giá tác động của chính sách như thơng qua lấy ý kiến của đối tượng hưởng lợi chính sách và các tác nhân liên quan. Cách tiếp cận này cũng cho phép đánh giá kết quả đạt được so với mục tiêu đặt ra của chính sách, cũng như xác định được nguyên nhân của các kết quả đạt được. Nói cách khác, đánh giá hậu nghiệm cho phép chỉ ra mối quan hệ nhân quả giữa kết quả/hậu quả và q trình triển khai thực hiện chính sách.
Luận án còn sử dụng cách tiếp cận đánh giá từ top - down và cách tiếp cận đánh giá từ bottom-up để đánh giá tác động của hai nhóm chính sách KH&CN này. Cụ thể: Đối với cách tiếp cận từ top - down: Luận án đã nghiên cứu các văn bản do cơ quan quản lý cấp trên là ĐHTN và các văn bản do các trường ĐH thành viên thuộc ĐHTN ban hành nhằm triển khai thực hiện hai nhóm chính sách KH&CN trên như thế nào. Ngoài ra, Luận án còn nghiên cứu các báo cáo tình hình kết quả hoạt động KH&CN cụ thể trong từng giai đoạn, từng năm của ĐHTN và của các trường ĐH thành viên thuộc ĐHTN; Với cách tiếp cận đánh giá bottom-up, tác giả đã nghiên cứu nhóm đối tượng thụ hưởng chính sách là đội ngũ GV, các nhà khoa học, nghiên cứu viên trong ở các trường ĐH thành viên thuộc ĐHTN thông qua thực tiễn khảo sát.
2.4.4.2. Phương pháp đánh giá tác động chính sách khoa học và cơng nghệ lựa chọn
Phương pháp được sử dụng để đánh giá tác động của hai nhóm chính sách KH&CN trong nghiên cứu của Luận án là cả phương pháp định tính và phương pháp định lượng.
- Phương pháp định tính: Khi tiến hành nghiên cứu đánh giá hai nhóm chính sách KH&CN, tác giả nhấn mạnh đến phương pháp phỏng vấn sâu. Phương pháp này được thực hiện đối với các nhà quản lý trực tiếp thực hiện và chỉ đạo thi hành chính sách, các cấp lãnh đạo phòng ban phụ trách trực tiếp mảng NCKH trong trường ĐH, các đối tượng thụ hưởng của chính sách. Dựa trên phương pháp định tính này, tác giả có cái nhìn tổng thể về chính sách đi theo cả hai cách tiếp cận: top-down và bottom-up với sự so sánh giữa kết quả báo cáo từ phía quản lý và kết quả thực hiện trên nhóm đối tượng thụ hưởng. Việc lấy ý kiến chuyên gia cũng cho phép phản ánh tác động của chính sách, mặc dù khơng định lượng được tác động của chính sách, nhưng cho phép xác định được hướng tác động (tích cực, tiêu cực) của chính sách và nguyên nhân.
- Phương pháp định lượng: Có rất nhiều phương pháp định lượng dùng để đánh giá chính sách như phương pháp khác biệt trong khác biệt, phương pháp hồi quy các nhân tố cố định,….Tuy nhiên, khi đánh giá hai nhóm chính sách KH&CN trong nghiên cứu của Luận án, tác giả khơng có sẵn nguồn dữ liệu cho phép. Cơ sở dữ liệu trước khi triển khai chính sách khơng có sẵn và nếu thu thập lại dữ liệu đó thì chí phí rất lớn trong khi độ chính xác của dữ liệu không cao nên phương pháp định lượng (mơ hình, kiểm định) khơng được sử dụng trong việc đánh giá hai nhóm chính sách KH&CN này. Tác giả đã sử dụng một số phương pháp định lượng sau:
Phương pháp khảo sát bằng bảng hỏi: Sau quá trình khảo sát, dữ liệu được nhập liệu, làm sạch. Số liệu được phân tích thơng qua các cách thống kê mơ tả, phân tích tương quan và trình bày. Bên cạnh dữ liệu có được qua phương pháp điều tra, luận án còn sử dụng các nguồn số liệu thứ cấp, bao gồm: Báo cáo tổng kết kết quả hoạt động KH&CN của ĐHTN, các trường ĐH thành viên thuộc ĐHTN giai đoạn trước và sau khi áp dụng chính sách.
Phương pháp đánh giá sau chính sách. Mục đích của phương pháp này là nhằm kiểm định xem hai nhóm chính sách đã thực hiện được những mục tiêu mà nó đề ra hay chưa thơng qua phép so sánh giữa mục tiêu và kết quả đạt được trong thực
tế. Đánh giá tác động sau chính sách cần đánh giá các nội dung liên quan đến nhu cầu, quy trình và tác động của chính sách này đem lại. Trong đó;
- Đánh giá nhu cầu: Là xem xét hai nhóm chính sách KH&CN mà luận án lựa chọn nghiên cứu hướng đến đối tương nào, mục đích cuối cùng của chính sách là gì, được thực hiện dưới các mục tiêu nào.
- Đánh giá quy trình: Là xem xét hai nhóm chính sách KH&CN mà luận án lựa chọn nghiên cứu được thực thi như tế nào trong thực tế, những hoạt động này có được triển khai đúng kịch bản mà chính sách xây dựng khơng.
- Đánh giá tác động: Là xem xét hai nhóm chính sách KH&CN mà luận án lựa chọn nghiên cứu có tạo ra được các tác động mong đợi đối với đối tượng thụ hưởng chính sách hay khơng, đánh giá xem những tác động này có đến từ chính sách/yếu tố khác. Bảng đánh giá các tác động của hai nhóm chính sách KH&CN được thể hiện ở Bảng 2.2 dưới đây.
Bảng 2.2. Bảng đánh giá các tác động của chính sách KH&CN
Chuỗi Loại Tác động trực tiếp (outputs) Tác động nối tiếp (Outcomes) Tác động gián tiếp (Impacts) Dƣơng tính Là tác động dẫn đến những kết quả phù hợp với mục tiêu của chính sách. Tác động dương tính là loại tác động mà cơ quan quyết định chính sách mong muốn đạt tới
Các tác động này có thể xảy ra ngay sau khi thực hiện chính sách và tạo ra phản ứng ban đầu của các nhóm xã hội Tác động nối tiếp từ các tác động trực tiếp Các tác động phát sinh Âm tính Là những tác động dẫn đến những kết quả không phù hợp với mục tiêu của chính sách
Ngoại biên
Là loại tác động đến những kết quả nằm ngoài dự liệu của cơ quan quyết định chính sách. Trong tác động ngoại biên có ngoại biên dương tính và ngoại biên âm tính
2.4.5. Khung đánh giá tác động chính sách khoa học và cơng nghệ
Tuỳ thuộc vào các bên liên quan mà mục tiêu, nội dung và kết quả đánh giá được xem xét dưới các giác độ khác nhau, điểm mấu chốt quan trọng nhất là đánh giá lợi ích của các bên tham gia và thụ hưởng chính sách cũng như tác động của chính sách đối với các đối tượng thụ hưởng chính sách theo nghĩa hẹp và đối với nền kính tế - xã hội theo nghĩa rộng. Từ những phân tích về cách tiếp cận và phương pháp đánh giá chính sách KH&CN nói trên, tác giả đã rút ra khung đánh giá kết quả và tác động của hai nhóm chính sách KH&CN trong nghiên cứu của luận án như sau:
1. Đánh giá quy trình triển khai chính sách: Xem xét các nhiệm vụ của chính sách có được triển khai đúng kịch bản đã xây dựng hay khơng, có đúng mục tiêu, phương tiện và đối tượng hay không.
2. Đánh giá các tác động và hiệu quả triển khai chính sách, gồm:
- Phân tích các tác động dương tính- âm tính- ngoại biên của chính sách đã triển khai trong thực tế có tạo ra được các tác động mong đợi đối với các đối tượng