- Khái niệm
Hiện nay có một số quan niệm khác nhau về đánh giá tác động của chính sách, trong đó Luận án đồng tình và sử dụng khái niệm: “Đánh giá tác động là tìm hiểu xem những thay đổi trong phúc lợi có thực sự là kết quả của can thiệp chính sách, dự án, hay chương trình hay không. Hay nói cách khác, đánh giá tác động tìm cách xác định xem có thể biết được hiệu quả của chương trình hay không” (Shahidur r. khandker và cộng sự, 2010).
Trong nghiên cứu của Lê Việt Phú (2016), tác giả đưa ra khái niệm về đánh giá tác động của chính sách, nhưng tập trung vào làm rõ phương pháp hơn là bản chất của đánh giá tác động: “đánh giá tác động của chính sách là so sánh giữa kết quả đã thực hiện dưới tác động của chính sách với kết quả có thể đã xảy ra trong điều kiện không có chính sách. Kết quả có thể xảy ra khi không có chính sách gọi là phản thực hoặc phản chứng”.
Mục tiêu của chính sách giảm nghèo là những hoạt động can thiệp, hỗ trợ để tạo ra những thay đổi về đời sống của hộ gia đình nghèo. Những thay đổi có thể là thu nhập, đời sống văn hóa, giáo dục… Về lý thuyết, chúng ta hoàn toàn có thể quan sát, tính toán được sự thay đổi này dựa trên kết quả điều tra, thu thập thông tin sau khi chính sách đã kết thúc. Câu hỏi đặt ra là liệu rằng những thay đổi này có phải là kết quả của quá trình triển khai thực hiện chính sách hay không? Quá trình đi tìm câu trả lời cho câu hỏi này gọi là đánh giá tác động của chính sách. Tuy nhiên để trả lời được chính xác cho câu hỏi này hoàn toàn không dễ dàng, đòi hỏi điều tra quy mô lớn, chi phí khá tốn kém, kĩ thuật thực hiện phức tạp. Vì vậy, phương pháp này ít được các nhà quản lý sử dụng.
- Phân loại đánh giá tác động:
Đánh giá tác động định lượng của chính sách có hai loại là đánh giá tiên nghiệm và hồi cứu (Shahidur R. Khandker và cộng sự, 2010) hay một số tài liệu gọi là đánh giá trước trước khi chính sách thực hiện, hoặc sau khi chính sách đã kết thúc.
Đánh giá trước là phân tích, xem xét những tác động tiềm tàng của chính sách để đề xuất các giải pháp cho phù hợp. Về phương pháp có thể sử dụng một số mô hình giả định để mô phỏng chính sách và tác động của chính sách trong tương lai nếu chính sách đó được thực hiện. Hiện nay ở nước ta, đánh giá trước chính sách là yêu cầu bắt buộc trong quy trình xây dựng chính sách công được quy định trong Luật Đầu tư công năm 2015 và thường được thực hiện bởi cơ quan xây dựng chính sách, hoặc do đơn vị tư vấn độc lập thực hiện trước khi trình chính sách đó lên cơ quan có thẩm quyền phê duyệt. Ví dụ như xây dựng Chương trình Mục tiêu quốc gia giảm nghèo bền vững, sau khi dự thảo xong Chủ trương đầu tư Chương trình, cơ quan xây dựng cần xây dựng báo cáo đánh giá tác động của Chương trình kèm theo hồ sơ để trình Quốc hội thông qua. Đây là yêu cầu bắt buộc trong hồ sơ của Chương trình.
Đánh giá sau chính sách là phân tích, đánh giá tác động thực tế sau khi chính sách thực hiện ảnh hưởng đến đối tượng như thế nào (Đỗ Phú Hải, 2014). Đánh giá tác động sau khi chính sách được thực hiện một thời gian, hoặc khi chính sách đã kết thúc để xem xét hiệu quả đạt được của chính sách là gì, tác động thực tế của chính sách đến đối tượng như thế nào, so sánh với kỳ vọng ban đầu đặt ra. Đánh giá này có ý nghĩa quan trọng, để xem xét có tiếp tục thực hiện chính sách đó nữa hay không, hoặc nếu tiếp tục thì thay đổi, điều chỉnh như thế nào cho phù hợp.
Trong thực tế đánh giá tác động định lượng sau chính sách có thể tốn kém chi phí hơn so với đánh giá trước chính sách vì đòi hỏi phải thu thập dữ liệu về các kết quả thực hiện chính sách ở nhiều nhóm đối tượng khác nhau. Kết quả đánh giá trước chính sách có vai trò khá quan trọng, là cơ sở để đánh giá sau chính sách đối chiếu, so sánh. Đối với chính sách giảm nghèo, đánh giá sau chính sách là xem chính sách sau khi thực hiện đã tác động như thế nào đến hộ nghèo, lợi ích họ được hưởng là gì về thu nhập, đời sống, môi trường, năng lực…
Như vậy đánh giá tác động của chính sách cũng có nhiều loại hình thực hiện. Nếu theo thời gian thực hiện chính sách, thì có đánh giá trước và sau khi chính sách được thực hiện. Trong khuôn khổ nghiên cứu, Luận án lựa chọn đánh giá sau chính sách, sau khi CT135 đã kết thúc giai đoạn II vào năm 2010.
-Phương pháp đánh giá Xây dựng nhóm đối chứng:
Chúng ta đều biết ngay khi không có can thiệp từ chính sách giảm nghèo thì những tác động khác về môi trường, điều kiện kinh tế-xã hội, hay các chính sách liên quan khác cũng làm thay đổi việc làm, chi tiêu… do đó cũng làm biến đổi về thu nhập,
thay đổi đời sống văn hóa, giáo dục của hộ gia đình. Nghĩa là ngay khi không có chính sách thực hiện, xét trong một khoảng thời gian nhất định thì tự thân hộ gia đình đó cũng có “thay đổi”. Còn khi có chính sách, có thể sẽ tác động đến sự “thay đổi” của hộ gia đình hơn. Sự tác động đó có thể làm cho hộ gia đình thay đổi nhanh hơn, hoặc cũng có thể là chậm hơn. Nhiệm vụ của nhà nghiên cứu là cần phải tính toán, ước lượng xem chính sách tác động như thế nào đến sự thay đổi của hộ gia đình.
Mô hình hóa đánh giá tác động của chính sách:
+ CS là chính sách giảm nghèo: CS=0 là không thực hiện chính sách; CS=1 là có thực hiện chính sách
+ t là thời gian thực hiện chính sách: t=0 thời điểm bắt đầu thực hiện chính sách; t=1 là thời điểm kết thúc thực hiện chính sách.
+ Giả sử Y là thu nhập của hộ gia đình, Y0 là thu nhập của hộ gia đình tại thời t =0; Y1 là thu nhập của hộ gia đình trong điều kiện: CS = 0 và t=1; Y2 là thu nhập của hộ gia đình trong điều kiện: CS=1 và t=1.
Khi đó tác động của chính sách là Y2 - Y1 (Hình 1.1) CS=1 Y2 Y1 Y0 Tác động của chính sách CS=0 t=0 t=1 Sau Hình 1.1. Mô hình tác động của chính sách Nguồn: Tổng hợp của NCS
Chúng ta hoàn toàn có thể biết được Y0, Y2 dựa trên kết quả tính toán từ số liệu điều tra, thống kê trước và sau khi thực hiện chính sách. Còn Y1 chưa biết, vì một hộ gia đình trong cùng một khoản thời gian không thể đồng thời vừa thực hiện chính sách và vừa là hộ không thực hiện chính sách. Nếu như không biết được Y1 hoặc đại lượng gần với Y1 thì sẽ không tính toán được tác động của chính sách.
Để giải quyết vấn đề này, các nhà nghiên cứu đã lựa chọn nhóm hộ gia đình không tham gia thực hiện chính sách, nhưng có đặc điểm giống hoặc gần giống với hộ thực hiện chính sách để đối chiếu, so sánh. Nhóm không tham gia thực hiện chính sách này gọi là nhóm “phản thực”, một số tài liệu gọi là nhóm đối chứng (Shahidur r. khandker và cộng sự, 2010).
Như vậy đánh giá tác động của chính sách là so sánh giữa kết quả thực tế do chính sách tạo ra (gọi là nhóm can thiệp) với nhóm phản thực, hay nhóm đối chứng. Trong khi tình huống phản thực lại không được quan sát, hay chúng ta đang thiếu dữ liệu. Vì vậy nhiệm vụ của người nghiên cứu là thu thập dữ liệu, xây dựng nhóm đối chứng và xây dựng mô hình để ước lượng tìm ra quy luật của Y1. (Luận án thống nhất gọi là nhóm chính sách và nhóm đối chứng).
Việc tìm ra hai nhóm có cùng đặc điểm ban đầu (ví dụ cùng thu nhập Y0) để so sách trước và sau khi thực hiện chính sách giảm nghèo là rất khó khăn, gần như không xảy ra trong thực tiễn, mà chỉ có thể có trong môi trường nghiên cứu, phòng thí nghiệm. Vì một chính sách giảm nghèo thường có chu kỳ thực hiện dài (ít nhất khoảng
5 năm), đối tượng thực hiện liên quan đến con người và hộ gia đình; phạm vi thực hiện
rộng, có thể là cả nước hoặc một tỉnh, huyện, xã… do đó không thể tạo ra môi trường thí nghiệm với hai nhóm: “chính sách” và “đối chứng” có cùng đặc điểm ban đầu là Y0 .
Mặt khác khi chính sách giảm nghèo của Chính phủ được ban hành, thì đối tượng được hưởng lợi sẽ là tất cả hộ nghèo thỏa mãn tiêu chí, điều kiện của chính sách trên phạm vi cả nước. Như vậy nếu chọn ra một nhóm “đối chứng” sẽ không thể có đặc điểm ban đầu giống như nhóm “chính sách”, không thể có cùng Y0. Thông thường nhóm không được hưởng chính sách giảm nghèo sẽ là những hộ không nghèo, hoặc đã thoát nghèo, hoặc không ở những vùng ĐBKK có xuất phát điểm tốt hơn nhóm hưởng lợi từ chính sách và không cùng đặc tính với nhóm chính sách. Với tình huống này thì việc xây dựng nhóm đối chứng để nghiên cứu đánh giá định lượng sẽ phải ước lượng sai số do không tìm ra được hai nhóm có cùng Y0.
* Mô hình hóa nhóm đánh giá tác động trong điều kiện hai nhóm “chính sách” và nhóm “đối chứng” không cùng Y0:
+ CS là chính sách giảm nghèo: CS=0 là không thực hiện chính sách (nhóm đối chứng); CS=1 là có thực hiện chính sách (nhóm chính sách);
+ t là thời gian thực hiện chính sách: t=0 thời điểm bắt đầu thực hiện chính sách; t=1 là thời điểm kết thúc thực hiện chính sách;
Giả sử Y là thu nhập của hộ gia đình, trong đó: Y0 thu nhập của hộ gia đình thuộc nhóm chính sách tại thời điểm t = 0 (CS= 1, t=0); Y1 là thu nhập của hộ gia đình thuộc nhóm đối chứng tại thời điểm t = 0 (CS=0, t=0).
Y4 và Y3 là lần lượt là thu nhập của nhóm chính sách và nhóm đối chứng tại thời điểm t=1. Về lý thuyết, tác động của chính sách là Y4 – Y2 . Tuy nhiên chúng ta không biết được Y2, nhưng có thể tính toán được Y3 (Nhóm đối chứng) thông qua điều tra, phân tích thống kê. Vì vậy cần phải tính toán Y2 thông qua Y3. Nếu Y3-Y2 càng nhỏ thì đặc tính của nhóm đối chứng càng gần với nhóm chính sách (Y3-Y2 càng nhỏ thì sai số tác động chính sách càng thấp). Khi đó tác động của chính sách trong điều kiện sai số cho phép là ước lượng so sách kết quả giữa nhóm chính sách và nhóm đối chứng. Nhiệm vụ của nhà nghiên cứu là phải chọn ra nhóm đối chứng sao cho Y3-Y2 nhỏ nhất. (Hình 1.2)
Thu nhập Y4 Y3 Y2 Y1 Y0 Tác động
Trước Sau Thời gian
Hình 1.2 Tác động của chính sách trong điều kiện nhóm chính sách và nhóm đối chứng không cùng đặc điểm
Nguồn: Tổng hợp của NCS
Luận án kế thừa bộ số liệu về kết quả điều tra đầu kỳ và cuối kì CT135 do Tổng cục Thống kê, WB thực hiện và công bố. Trong đó đã tính toán và lựa chọn nhóm đối chứng là các hộ, xã nghèo vừa ra khỏi diện đầu tư của chương trình CT135 giai đoạn I
Phương pháp thu thập thông tin:
Để có có sở phân tích, đánh giá chính sách, các nhà nghiên cứu phải tiến hành khảo sát, thu thập và phân tích thông tin về nhóm “chính sách” và nhóm “đối chứng”. Hiện nay phổ biến có hai phương pháp thu thập thông tin phục vụ cho việc đánh giá tác động của chính sách là phương pháp định tính và định lượng (Shahidur R.
Khandker và cộng sự, 2010).
Phương pháp định tính là thu thập, phân tích thông tin từ các báo cáo, các văn bản chính sách hoặc tổ chức phỏng vấn sâu, thảo luận nhóm, đánh giá nhanh với đối tượng thụ hưởng chính sách... trên cơ sở đó sử dụng các công cụ phân tích thông tin định tính để tìm ra các loại hình tác động, những tác động mà đối tượng chính sách có thể được hưởng. Phương pháp định tính cũng có thể cung cấp bức tranh tổng thể về môi trường, bối cảnh văn hóa, xã hội, thể chế… của chính sách và đối tượng thụ hưởng chính sách. Trong thực tế phương pháp này được sử dụng khá phổ biến vì có chi phí ít tốn kém và dễ thực hiện.
Phương pháp định lượng được thực hiện bằng cách thu thập thông tin thông qua điều tra, khảo sát bằng bảng hỏi. Phương pháp này sẽ cung cấp thông tin mang tính phổ biến, đo lường mức độ tác động và ước lượng các tác động khác không phải do chính sách đó tạo ra (Shahidur R. Khandker và cộng sự, 2010). Thông thường việc thu thập thông tin định lượng về chính sách giảm nghèo được thực hiện trên quy mô lớn, địa bàn rộng, chi phí tốn kém. Mặt khác việc xử lý thông tin định lượng đòi hỏi kỹ thuật phức tạp về thống kê, kinh tế lượng… nên hiện nay phương pháp này ít được thực hiện (Jean-Pierre Cling và cộng sự, 2008).
Thông thường các nhà nghiên cứu vẫn sử dụng kết hợp cả hai phương pháp định tính và định lượng để bổ trợ những hạn chế, khiếm khuyết của mỗi phương pháp, chứ không thay thế lẫn nhau.
Luận án sử dụng phương pháp thu thập thông tin định tính chủ yếu là các tài liệu thứ cấp và kế thừa dữ liệu định lượng từ kết quả điều tra của CT135
Phương pháp phân tích:
Sau khi thu thập dữ liêu, nhiệm vụ tiếp theo của quy trình đánh giá tác động là phân tích dữ liệu. Tùy thuộc vào đặc điểm, tính chất của dữ liệu mà các nhà nghiên cứu lựa chọn các phương pháp phân tích khác nhau. Một số phương pháp thường hay sử dụng gồm:
Đối với dữ liệu bán thử nghiệm (thiếu điều tra đầu kỳ). Thì có thể sử dụng phương pháp điểm xu hướng (Propensity score matching, PSM) để phân tích. Nội dung của phươg pháp này là ghép, so sánh từng cặp đôi có đặc điểm tương đồng giữa nhóm chính sách và nhóm đối chứng (Jean-Pierre Cling và cộng sự, 2008). Phương pháp này được Tùng và cộng sự sử dụng trong nghiên cứu đánh giá tác động các chính sách giảm nghèo của Thành phố Hồ Chí Minh giai đoạn 2009-2013.
Đối với dữ liệu mảng, hoặc dữ liệu chéo. Với dữ liệu này thì có thể sử dụng nhiều phương pháp phân tích khác nhau. Vì dữ liệu này khá đầy đủ, có điều tra đầu kỳ
và cuối kỳ của nhóm đối tượng thụ hưởng chính sách. Khi có số liệu gốc về đối tượng thụ hưởng và đối tượng không tham gia chương trình, phương pháp thường được sử dụng là hồi quy các nhân tố cố định (fixed-effects regressions) với số liệu mảng (panel data), hoặc phương pháp khác biệt trong khác biệt (difference-indifferences) (Tùng và cộng sự, 2014).
Trong thực tiễn một số nhà nghiên cứu đã sử dụng các phương pháp hồi quy khác nhau với dữ liệu mảng để phân tích tác tác động của chính sách đến đời sống kinh tế- xã hội của hộ gia đình.
Ngoài ra một số phương pháp phân tích ít được sử dụng hơn và khó áp dụng như trong trường hợp dữ liệu cắt ngang hay tổng quát. Đối với dữ liệu này có thể sử dụng biến công cụ (instrumental variables (IV) hoặc hồi quy gián đoạn regression discountinuity (RD) (Jean-Pierre Cling và cộng sự, 2008).
Như vậy tùy thuộc vào dữ liệu thu thập được mà sử dụng các phương pháp phân tích khác nhau. Mỗi phương pháp đều có ưu, nhược điểm, sai số nhất định. Đối với dữ liệu sử dụng trong Luận án là kết quả điều tra của CT135, tác giả sử dụng phương pháp hồi quy các nhân tố cố định với dữ liệu mảng (panel data) để phân tích. Phương pháp này cũng được Van de Walle (2002) sử dụng để đánh giá tác động của hệ thống chính sách an sinh xã hội; Van Den Berg và Nguyen (2011) sử dụng để đánh giá tác động của đường giao thông nông thôn trong; Minh Đức (2018) sử dụng để đánh giá tác động của công nghiệp và dịch vụ đối với sản xuất nông nghiệp…