7. Cấu trúc luận văn
3.1.1. Nguyên tắc và tiêu chuẩn đánh giá
DAC đã phát triển những nguyên tắc cụ thể đối với đánh giá sự hỗ trợ phát triển, nhằm vào những vấn đề dƣới đây:
Mục đích đánh giá;
Tính khách quan và độc lập; Độ tin cậy;
Sự tham gia của nhà tài trợ và nơi tiếp nhận; Sự hợp tác của nhà tài trợ;
Lập trình đánh giá;
Thiết kế và thực hiện đánh giá; Báo cáo, phổ biến và phản hồi; Áp dụng các nguyên tắc đƣa ra.
Một công trình xem xét những nguyên tắc và tiêu chuẩn đối với đánh giá hỗ trợ phát triển của DAC đã đƣợc tiến hành vào năm 1998. Công trình này đã so sánh các tiêu chuẩn của DAC với của các tổ chức khác và tìm kiếm sự nhất quán và những lĩnh vực khả dĩ để mở rộng các tiêu chuẩn của DAC. Các thành viên đã trả lời bằng những khuyến nghị về những điểm xét lại khả dĩ nhƣ sau:
Cải biến việc trình bày mục đích.
Nhằm trực tiếp vào câu hỏi về những đánh giá phi tập trung hóa và những đánh giá có huy động tham gia;
Nghiên cứu kỹ hơn về các nguyên tắc và thực tiễn đối với sự tham gia của nơi nhận và sự hợp tác của chủ dự án;
Giới thiệu những phát triển gần đây trong hoạt động đánh giá, chẳng hạn nhƣ đo sự thực hiện, hiện trạng và các hệ thống phân loại thành công, phát triển phép phân loại các hoạt động đánh giá.
Lý do cần có những nguyên tắc và tiêu chuẩn: Thúc đẩy trách nhiệm giải trình;
Tạo thuận lợi cho việc so sánh;
Nâng cao độ tin cậy và chất lƣợng của các dịch vụ đƣợc cung cấp.
Năm 1994, Tiêu chuẩn Đánh giá Chƣơng trình đã đƣợc xuất bản ở Mỹ và đƣợc sự phê chuẩn để làm tiêu chuẩn quốc gia cho công tác đánh giá các Chƣơng trình. Văn kiện này định nghĩa đánh giá là một sự nghiên cứu có tính hệ thống về giá trị và phẩm chất của một đối tƣợng (một chƣơng trình, dự án, hoặc sản phẩm). Ví dụ, một Chƣơng trình phát triển có thể rất hiệu quả trong
việc cải thiện nền kinh tế của một quốc gia (giá trị hoặc hiệu quả), nhƣng cái giá phải trả là hy sinh phúc lợi của ngƣời dân (giá thực chất). Cả phẩm chất lẫn giá trị đều có tầm quan trọng trong đánh giá các chƣơng trình phát triển.
3.1.2. Các tiếp cận trong đánh giá chương trình, dự án phát triển
Những cách tiếp cận và chiến lƣợc khác nhau đã đƣợc phát triển để đáp ứng những yêu cầu đang thay đổi đối với công tác đánh giá phát triển. Những hình thức can thiệp có thể đƣợc thực hiện ở nhiều địa điểm khác nhau và theo những cách khác nhau để đáp ứng những đòi hỏi của địa phƣơng.
Để đáp ứng các yêu cầu đánh giá nhanh, linh hoạt và có sự tham gia, những cách tiếp cận gần đây đang đƣợc sử dụng có phần nào đó khác với cách đánh giá chƣơng trình truyền thống. Những cách tiếp cận mới vẫn đòi hỏi cùng những khâu lập kế hoạch nhƣ vậy, xét về việc đề ra các câu hỏi đánh giá, nhận dạng các phép đo, thu nhập và phân tích dữ liệu, báo cáo và sử dụng những phát hiện đã rút ra.
a) Đánh giá giá trị đem lại
Cách tiếp cận này là nghiên cứu ngắn gọn, sơ bộ để xác định xem hiện công trình đánh giá có hữu ích và khả thi hay không. Loại hình nghiên cứu này cũng có thể giúp xác định mục đích đánh giá, nhận dạng những nguồn dữ liệu sẵn có và có thể tiếp cận đƣợc, nhận dạng những ngƣời hƣởng lợi then chốt và làm rõ các nhu cầu thông tin của họ, đồng thời cân nhắc những phƣơng pháp khác nhau để tiến hành đánh giá. Nghiên cứu này có thể giúp tiết kiệm thời gian và tránh sai lầm.
Những bƣớc đƣợc thực hiện trong quy trình này gồm: - Xem xét các tài liệu xác định và mô tả can thiệp;
- Nhận dạng mọi cải biến ở can thiệp đã thực hiện so với nội dung kế hoạch ban đầu của nó;
- Phỏng vấn các nhà quản lý và cán bộ chƣơng trình về các mục tiêu và mục đích của chƣơng trình;
- Phỏng vấn những ngƣời hƣởng lợi ích; - Phát triển mô hình đánh giá;
Nhận dạng các nguồn dữ liệu;
- Nhận dạng những ngƣời và những tổ chức có thể sẽ thực hiện mọi khuyến nghị có thể đƣa ra của công trình đánh giá.
Quyết định đƣa ra ở đây là liệu can thiệp đó có đủ rõ ràng để có thể tiến hành đánh giá hay không. Bạn cần phải thực hiện nghiên cứu sơ bộ để xác định có nên tiến hành đánh giá không. Ví dụ, nếu đề xuất việc đánh giá dựa trên các mục tiêu thì có thể nảy sinh những vấn đề, nếu những mục tiêu của chƣơng trình không đủ rõ ràng hoặc thiếu sự nhất trí của toàn thể những ngƣời đƣợc hƣởng lợi ích. Đôi khi những phép đo lại không có sẵn và cần phải phát triển, hoặc không thể tiếp cận đƣợc với dữ liệu.
Những điều đó là toàn bộ những câu hỏi về tính khả thi của việc tiến hành đánh giá. Nếu nhƣ thiếu sự khả thi để thiết kế công việc đánh giá từ tất cả những thông tin có sẵn, thì đó là dấu hiệu cảnh báo là có tồn tại những khiếm khuyết then chốt ở đâu đó: ở việc mô tả các mục tiêu, ở sự thiếu rõ ràng trong việc nêu ra ai là đối tƣợng mục tiêu, kết quả nào chứng tỏ sẽ đạt đƣợc trong tƣơng lai gần v.v…
Việc đánh giá giá trị khả dĩ phục vụ cho mục đích hữu ích là giúp cho can thiệp đã đƣợc đề xuất tái chú trọng vào các mục tiêu, kết quả, chỉ tiêu, sao cho phải thấy thật rõ ràng về những gì nó phải đạt đƣợc.
b) Đánh giá triển vọng
Đây là cách tiếp cận, trong đó một dự án đƣợc xem xét trƣớc khi bắt đầu, để: - Đánh giá mức độ sẵn sàng của dự án để đƣa vào thực hiện;
- Dự đoán chi phí dự án;
- Phân tích các đề xuất thay thế và các dự báo.
- Dự báo tổng kết về sự thành công hoặc thất bại có thể đem lại của dự án, dựa theo bối cảnh tƣơng lai không khác quá nhiều so với quá khứ. Cách tiếp
cận này khác với cách đánh giá giá trị khả dĩ. Nó đƣợc thực hiện trƣớc khi có dự án, trong khi đánh giá giá trị khả dĩ là nhằm vào một dự án hiện có.
c) Đánh giá, nhưng tránh không biết về mục tiêu
Những đặc tính của các tiếp cận đánh giá này nhƣ sau:
- Nhà đánh giá cố tình tránh để không biết về các mục tiêu chƣơng trình - Các mục tiêu tiền định không đƣợc phép thu hẹp phạm vi chú trọng của công trình đánh giá;
- Chú trọng vào những kết quả thực tế, chứ không vào những kết quả dự kiến của chƣơng trình;
- Có tiếp xúc tối thiểu với nhà quản lý và cán bộ chƣơng trình;
- Tăng khả năng nhận biết những ảnh hƣởng lƣớt qua, không đƣợc trù liệu; Ví dụ, nhà đánh giá có thể đƣợc nói cho biết về các mục tiêu sau đây: + Đƣa những học sinh bỏ học vào chƣơng trình dạy nghề;
+ Đào tạo họ các nghề sản xuất; + Cho họ một việc làm ổn định.
Nhà đánh giá có thể chọn một thiết kế để đo lƣờng những biện pháp này. Nếu nhƣ có những ảnh hƣởng bổ sung của chƣơng trình mà không đƣợc dự kiến, ví dụ nhƣ tỷ lệ phạm tội gia tăng của những trẻ không tham gia chƣơng trình, không đƣợc đào tạo, thì những ảnh hƣởng đó sẽ không đƣợc đo trong công trình đánh giá. So với nhà đánh giá định hƣớng vào các mục tiêu, nhà đánh giá không lệ thuộc mục tiêu sẽ có nhiều khả năng hơn để nhận dạng vấn đề này.
d) Đánh giá đa địa điểm
Đôi khi có lợi hơn nếu không chỉ xem xét một can thiệp đơn lẻ, mà xem xét các can thiệp đã đƣợc thực hiện ở nhiều địa phƣơng khác nhau. Cách tiếp cận này gọi là đánh giá đa điểm. Can thiệp đó có thể đƣợc thực hiện theo cùng một phƣơng cách ở tất cả các địa điểm, hoặc thực hiện hơi khác đi ở mỗi địa điểm. Đánh giá đa địa điểm cung cấp thông tin về kinh nghiệm chung của can
thiệp, cũng nhƣ hiểu biết sâu hơn về những biến thái của nó. Đánh giá này có thể trả lời những câu hỏi nhƣ:
- Những đặc điểm nào của việc thực hiện can thiệp là chung cho tất cả các địa điểm?
- Những đặc điểm nào khác nhau và lý do vì sao?
- Những biến thái có đem lại những khác biệt về kết quả hay không? Tất nhiên, có thể khó xác định, hiện những biến thái khi thực hiện can thiệp có tạo ra sự khác biệt hay không. Đôi khi, những can thiệp có những tác động khác nhau vì những khác nhau của hoàn cảnh, chẳng hạn nhƣ có đƣợc ban lãnh đạo tài giỏi, hoặc cộng đồng ở đó có những công dân tích cực.
Việc đánh giá cần phải nắm bắt đƣợc bầu không khí chính trị, trong đó vận hành các can thiệp, cũng nhƣ nắm bắt đƣợc mọi khác biệt về văn hoá có thể ảnh hƣởng đến sự khác nhau ở kinh nghiệm và kết quả. Sự tham gia của những đối tƣợng hƣởng lợi ích là có tầm quan trọng, vì họ có thể giúp nhà đánh giá hiểu biết tốt hơn hoàn cảnh địa phƣơng.
Ƣu điểm của cách tiếp cận này là ở chỗ nó thƣờng là một thiết kế mạnh hơn so với việc đánh giá một can thiệp đơn lẻ ở một địa phƣơng duy nhất. Đánh giá đa địa điểm có thể tổng kết tin cậy hơn ở toàn bộ một quần thể lớn hơn vì nó chứa đựng nhiều mẫu hơn và nhiều tình huống can thiệp đa dạng hơn. Các phát hiện chung, cũng nhƣ các phát hiện phù hợp ở khắp các trƣờng hợp can thiệp cung cấp một bằng chứng thuyết phục hơn về hiệu quả của can thiệp đó. Những so sánh của các can thiệp trong phạm vi bối cảnh của chúng có khả năng cung cấp một loạt các bài học hoặc nhận đƣợc và các chiến lƣợc để đối phó với nhiều tình huống khác nhau. Những thực tiễn tốt nhất cũng có thể nảy sinh từ việc đánh giá đa địa điểm.
Những thách thức đối với công tác đánh giá đa địa điểm
Việc tiến hành những đánh giá này gặp phải những thách thức độc đáo. Thứ nhất, việc thu thập dữ liệu phải đƣợc tiêu chuẩn hoá theo khả năng cho
phép. Những dữ liệu cùng loại phải đƣợc thu thập theo cùng một cách để cho việc so sánh có ý nghĩa. Việc này đòi hỏi những nhân viên đƣợc đào tạo tốt, đƣợc tiếp cận với mọi địa điểm và phải có đủ thông tin trƣớc khi thiết kế các công cụ thu thập dữ liệu. Cũng giả định rằng dữ liệu cùng loại nhìn chung đều có sẵn ở mỗi nơi. Ngoài ra, những dữ liệu cần phải đƣợc thu thập để hiểu đƣợc những khác biệt ở trong phạm vi mỗi can thiệp và ở các cộng đồng của nó.
Nhƣng mỗi địa phƣơng lại có những điểm khác nhau. Có một số chỉ báo có thể so sánh đƣợc với nhau (chẳng hạn nhƣ số nguồn lực đƣợc đầu tƣ, tỷ lệ tử vong của trẻ sơ sinh, tỷ lệ mắc bệnh lây nhiễm, tỷ lệ sinh đẻ, tình hình sử dụng các nguồn lực y tế), nhƣng mỗi nơi lại có thể có chú trọng khác nhau đôi chút.
Khi xem xét các quốc gia, các bối cảnh chính trị, xã hội, kinh tế và lịch sử đƣợc lƣu ý đến trong quá trình hình thành công việc đánh giá. Điều này có thể tham khảo trong: ―Đầu tƣ vào y tế: hiệu quả phát triển trong lĩnh vực y tế, dinh dƣỡng và dân số‖.
e) Đánh giá cụm
Cách tiếp cận này cũng tƣơng tự nhƣ các đánh giá đa địa điểm, nhƣng có ý định khác.
Giống nhƣ đánh giá đa địa điểm, đánh giá cụm chú trọng vào các can thiệp có cùng nhiệm vụ, chiến lƣợc và đối tƣợng dân cƣ định nhằm vào. Tuy nhiên chúng không có ý định xác định xem hiện can thiệp đó có tác dụng không hoặc để đảm bảo trách nhiệm giải trình. Chúng không đánh giá thành công hay thất bại của từng dự án cá lẻ, cũng không nhận dạng những can thiệp nào phải đình lại. Ý định của chúng là biết đƣợc điều gì xảy ra ở toàn bộ cụm và vạch rõ những bài học kinh nghiệm. Thông tin chỉ đƣợc thông báo ở dạng tổng thể để không một dự án nào đƣợc nhận dạng. Giống nhƣ đánh giá đa địa điểm, sự tham gia của những ngƣời hƣởng lợi là một bộ phận then chốt của công việc đánh giá. Đánh giá cụm khác với đánh giá đa địa điểm là không quan tâm tới khả năng khái quát hoá hoặc khả năng nhân rộng. Sự biến dạng đƣợc coi là tích
cực vì từng dự án cá lẻ đƣợc điều chỉnh tuỳ theo bối cảnh, và loại đánh giá này chú trọng hơn đến vấn đề học tập so với việc đƣa ra các kết luận chung về chất lƣợng hoặc giá trị của chƣơng trình.
Mặc dù không có phƣơng pháp luận đặc thù, nhƣng những đánh giá cụm thƣờng cố gắng sử dụng các cách tiếp cận định tính để bổ sung cho mọi dữ liệu định lƣợng đã thu thập đƣợc.
Có thể quan niệm đánh giá cụm là nhiều công trình nghiên cứu trƣờng hợp, với sự chia sẻ thông tin ở khắp các trƣờng hợp thông qua những hội nghị nối mạng, nhƣ một đặc trƣng quan trọng của cách tiếp cận này. Giống nhƣ mọi cuộc đánh giá khác, cần phải nhận dạng các câu hỏi đánh giá, xác định các phép đo thích hợp, phát triển các chiến lƣợc thu thập dữ liệu, phân tích và diễn giải dữ liệu, cuối cùng là báo cáo lại các phát hiện của mình cho những ngƣời hƣởng lợi.
Nhƣợc điểm của các đánh giá cụm là sẽ không biết đƣợc dữ liệu về những nơi cá lẻ, mà chỉ có đƣợc thông tin kết hợp.
f) Đánh giá có huy động tham gia
Đánh giá có huy động tham gia là một cách tiếp cận khác với một công trình đánh giá. Nó nâng quan điểm về sự tham gia của những ngƣời hƣởng lợi lên một cấp độ mới. Ở đây, trách nhiệm đối với việc lập kế hoạch, thực hiện và báo cáo công tác đánh giá là đƣợc chia sẻ. Những ngƣời hƣởng lợi không chỉ tham gia xác định các câu hỏi đánh giá và xem xét báo cáo, mà còn thƣờng xuyên tham gia thu thập dữ liệu, phân tích, và soạn thảo báo cáo.
Hubent E. Paulmer, chuyên gia về đánh giá, mô tả việc đánh giá có tham gia nhƣ là: Một công trình đánh giá tập thể của những ngƣời hƣởng lợi ích đối với Chƣơng trình. Chúng cũng đƣợc định hƣớng vào hành động và xây dựng năng lực của các đối tƣợng hƣởng lợi, tạo điều kiện thuận lợi để cộng tác và cùng nhau đề ra quyết định, giúp tăng cƣờng sử dụng các kết quả đánh giá. Trong việc đánh giá này, sự tham gia của những ngƣời hƣởng lợi có thể diễn ra ở các cấp khác nhau.
Có 2 mục tiêu chính đối với sự tham gia và cách tiếp cận tham gia:
- Sự tham gia là sản phẩm, trong đó bản thân hành động tham gia là một mục tiêu và là một trong những tiêu chí của thành công;
- Sự tham gia là một quá trình, nhờ đó đạt đƣợc mục tiêu đã đề ra. Những nguyên tắc cơ bản của đánh giá có huy động tham gia là:
- Quy trình đánh giá này huy động các kỹ năng của những ngƣời tham gia vào việc đề ra mục tiêu, lập các ƣu tiên, lựa chọn câu hỏi, phân tích dữ liệu và đề ra các quyết định về dữ liệu;
- Những ngƣời tham gia làm chủ (cam kết) công việc đánh giá, vì họ đề ra các quyết định và đi đến các kết luận của riêng mình;
- Những ngƣời tham gia đảm bảo để việc đánh giá chú trọng vào các phƣơng pháp và kết quả mà họ coi là quan trọng;
- Mọi ngƣời làm việc cùng với nhau, do vậy tạo điều kiện thuận lợi và