Cẩm nang có giá trị này và hân hạnh giới thiệu tới tất cả đồng nghiệp và những người quan tâm đến công tác theo dõi và đánh giá nói riêng và quản lý ODA nói chung. Chúng tôi hy vọng đây sẽ là một đóng góp thiết thực vào quá trình nâng cao hiệu quả sử dụng ODA ở Việt Nam.
BỘ KẾ HOẠCH VÀ ĐẦU TƯ Cẩm nang Theo dõi đánh giá Môđun Thực hành Đánh giá 13/04/07 42443867 Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá i Lời nói đầu Cam kết Hà Nội khẳng định ưu tiên hàng đầu Chính phủ Việt Nam nhà tài trợ nâng cao hiệu sử dụng nguồn hỗ trợ phát triển thức (ODA) cho Việt Nam Để nỗ lực trở thành thực, công tác quản lý ODA phải đạt hiệu cao có tính chun nghiệp, khơng thể thiếu hệ thống theo dõi đánh giá đủ lực ba cấp dự án, quan chủ quản (danh mục) quốc gia Dự án “Tăng cường Năng lực Theo dõi Đánh giá Dự án Việt Nam – Ôxtrâylia” - Giai đoạn II (VAMESP II) 2004 - 2007 AusAID tài trợ Vụ Kinh tế đối ngoại, Bộ Kế hoạch Đầu tư triển khai thực Mục đích VAMESP II hỗ trợ Vụ Kinh tế đối ngoại, Bộ Kế hoạch Đầu tư thiết lập thí điểm hệ thống theo dõi đánh giá cấp quốc gia để thực Nghị định 131/2006/NĐ-CP nhằm phát huy tối đa lợi ích ODA Việt Nam Căn yêu cầu thực tiễn công tác theo dõi đánh giá Việt Nam, đồng thời tham khảo thực tiễn theo dõi đánh giá tốt quốc tế, với hỗ trợ VAMESP II, Bộ Kế Hoạch Đầu Tư hoàn thành việc biên soạn “Cẩm nang Theo dõi đánh giá” Cẩm nang gồm Môđun: Hướng dẫn xây dựng vận hành hệ thống theo dõi đánh giá ODA Việt Nam – Tài liệu phục vụ cấp lãnh đạo, Thực hành theo dõi, Thực hành đánh giá Tài liệu đào tạo theo dõi đánh giá ODA Việt Nam Cẩm nang cung cấp nguyên tắc, khái niệm bản, phương pháp công cụ thực theo dõi đánh minh họa ví dụ cụ thể (nghiên cứu tình huống) Cẩm nang tài liệu tham khảo tốt cho cán quản lý hoạch định sách ODA cán kỹ thuật thực theo dõi đánh giá Chúng đánh giá cao hỗ trợ VAMESP II việc biên soạn Cẩm nang có giá trị hân hạnh giới thiệu tới tất đồng nghiệp người quan tâm đến cơng tác theo dõi đánh giá nói riêng quản lý ODA nói chung Chúng tơi hy vọng đóng góp thiết thực vào trình nâng cao hiệu sử dụng ODA Việt Nam Cao Viết Sinh Thứ trưỏng Bộ Kế hoạch Đầu tư Laurie Dunn Tham tán Hợp tác phát triển Cơ quan Phát triển Quốc tế Ôxtrâylia Việt Nam Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá ii MỤC LỤC Lời nói đầu Danh mục từ viết tắt Giới thiệu 1.1 1.2 1.3 1.4 1.5 i vii Giới thiệu Mục tiêu Hướng dẫn sử dụng Môđun Thực hành Đánh giá So sánh theo dõi đánh giá Tài liệu tham khảo Đánh giá dự án ODA 2.1 Chu trình đầu tư 2.2 Đánh giá .3 2.3 Các nhiệm vụ đánh giá chủ yếu chu trình đầu tư Các nguyên tắc tiêu chí đánh giá 3.1 Thông tin 3.2 Các nguyên tắc đánh giá 3.3 tiêu chí đánh giá Hiệu suất Hiệu Tác động 10 Mức độ phù hợp 10 Tính bền vững 10 Lựa chọn phạm vi đánh giá 11 4.1 Đánh giá cấp quốc gia, đánh giá cấp quan chủ quản đánh giá cấp dự án 11 4.2 Kiểm toán thực 12 bước đánh giá dự án ODA 13 5.1 Bước – Chuẩn bị khung lơgíc đánh giá 14 Giới thiệu khung lơgíc 14 Kiểm chứng thay đổi so với thiết kế 19 Xây dựng khung lơgíc đánh giá 20 Chuẩn bị phần mô tả tóm tắt cho đánh giá 20 5.2 Bước – Chuẩn bị khung đánh giá kế hoạch đánh giá 21 Chuẩn bị khung đánh giá 21 Kế hoạch đánh giá 21 Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá iii Chuẩn bị câu hỏi đánh giá 25 Lựa chọn số kiểm chứng khách quan 29 Lựa chọn số đánh giá theo nguyên tắc SMART 32 Lựa chọn phương pháp công cụ thu thập liệu 33 Hoàn thành thiết kế đánh giá 40 Các nguồn lực để đánh giá 40 Chương trình đánh giá 41 5.3 Bước – Thu thập phân tích liệu 44 Tiến hành khảo sát thực địa để đo lường số trả lời câu hỏi44 Tổng hợp phân tích liệu đánh giá 45 Phân loại kết theo tiêu chí đánh giá sử dụng 48 Trình bày thông tin phục vụ báo cáo 49 5.4 Bước – Báo cáo kết đánh giá hỗ trợ công tác quản lý 50 Giải thích liệu phân tích đưa kết luận 50 Sử dụng SWOT để thống kết luận 50 Rút học kinh nghiệm từ kết luận 53 Đưa khuyến nghị 53 Trình bày kết đánh giá 53 Chuẩn bị phát để hỗ trợ quản lý hướng tới kết phát triển 55 Đánh giá danh mục đầu tư đánh giá ngành Việt Nam 6.1 6.2 6.3 6.4 58 Giới thiệu lý thuyết danh mục đầu tư .58 Ví dụ công cụ đánh giá danh mục đầu tư 58 Giới thiệu đánh giá chương trình đánh giá ngành 59 Ví dụ cơng cụ đánh giá chương trình 60 Khung lơgíc đan xen ln chuyển 61 Đánh giá kết cấu chương trình mối quan hệ hợp phần63 Sơ đồ đánh giá giúp lập kế hoạch khảo sát thực địa cho đánh giá chương trình 64 Xác định phân tích “nhóm” “chủ đề” 65 Xếp hạng kết 66 Xếp hạng tác động thể chế 67 Đánh giá tính bền vững 69 Thuộc tính xếp hạng 69 BIỂU Biểu : So sánh theo dõi đánh giá Biểu : Chu trình đầu tư Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá Biểu : Mối quan hệ loại hình tiêu chí đánh giá Biểu 4: Các nhiệm vụ đánh giá chủ yếu chu trình đầu tư Biểu : Tóm tắt trình đánh giá Biểu : Nội dung tiêu chí đánh giá Biểu : Đánh giá hiệu hiệu suất Biểu : Các câu hỏi chủ yếu liên quan đến tiêu chí đánh giá Biểu : Ví dụ mối quan hệ phạm vi đánh giá 11 Biểu 10 : Bốn bước đánh giá chủ yếu 13 Biểu 11 : Mẫu Khung lơgíc 15 Biểu 12 : Khung lơgíc đánh giá Dự án Phát triển lưới điện nông thôn Quảng Nam16 Biểu 13: Xây dựng khung lơgíc đánh giá 18 Biểu 14: Mối quan hệ lơgíc chiều dọc giả định 18 Biểu 15 : Khung lơgíc hỗ trợ hoạt động đánh giá 19 Biểu 16 : Các hành động để chuẩn bị khung đánh giá lơgíc 20 Biểu 17 : Mẫu biểu Khung đánh giá 22 Biểu 18 : Khung đánh giá Dự án Phát triển lưới điện nông thôn Quảng Nam 23 Biểu 19 : Các nội dung kế hoạch đánh giá 24 Biểu 20 : Quy trình đánh giá hiệu suất 25 Biểu 21 : Quy trình đánh giá hiệu 26 Biểu 22 : Công cụ đánh giá tác động 27 Biểu 23 : Những vấn đề xuyên suốt tác động 27 Biểu 24 : Các loại hình thay đổi bắt nguồn từ yếu tố đầu vào hoạt động 29 Biểu 25 : Ví dụ hoạt động số đầu để đánh giá 30 Biểu 26 : Một số số kết theo ngành cho đánh giá 31 Biểu 27 : Tiêu chí S M A R T câu hỏi để đánh giá 33 iv Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá Biểu 28 : Những ưu việt phương pháp đánh giá lựa chọn 34 Biểu 29 : Mẫu GAS 35 Biểu 30 : Ví dụ mẫu GAS 35 Biểu 31 : Mẫu lập kế hoạch vấn bán cấu trúc 36 Biểu 32 : Ví dụ kế hoạch vấn bán cấu trúc sau lập 37 Biểu 33 : Mẫu phương pháp nhóm trọng tâm 38 Biểu 34 : Ví dụ mẫu phương pháp nhóm trọng tâm sau hồn thành 39 Biểu 35 : Kinh nghiệm phân bổ nguồn lực cho đánh giá 41 Biểu 36 : Mẫu cơng cụ chuẩn bị chương trình đánh giá 42 Biểu 37 : Ví dụ Chương trình đánh giá 43 Biểu 38 : Ví dụ liệu đầu kì theo chuỗi thời gian 47 Biểu 39 : Công cụ phân loại kết để báo cáo 48 Biểu 40 : Xếp hạng theo tiêu chí đánh giá 49 Biểu 41 : Mẫu SWOT 51 Biểu 42 : Ví dụ Mẫu cơng cụ SWOT sau điền hoàn chỉnh 52 Biểu 43 : Mục lục báo cáo đánh giá điển hình 54 Biểu 44 : Các bước tiến hành đánh giá ngành 60 Biểu 45 : Mối quan hệ khung lơgíc đan xen đánh giá ngành 61 Biểu 46 : Kết nối khung lơgíc đánh giá ngành đánh giá chương trình 62 Biểu 47 : Mối quan hệ liên kết đánh giá ngành 63 Biểu 48 : Sơ đồ khái niệm đánh giá chương trình 64 Biểu 49 : Ví dụ sơ đồ đánh giá cấp chương trình 65 Biểu 50 : Sáu nhóm xếp hạng kết theo ngành 68 Biểu 51 : Ví dụ xếp hạng mức độ thực chung chương trình 68 PHỤ LỤC v Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá vi Phụ lục Các phương pháp đánh giá Việt Nam Phụ lục Một số nghiên cứu tình đánh giá Việt Nam Phụ lục Danh mục thuật ngữ đánh giá CẨM NANG THEO DÕI VÀ ĐÁNH GIÁ Môđun Hướng dẫn xây dựng vận hành hệ thống theo dõi đánh giá ODA Việt Nam – Tài liệu phục vụ cấp lãnh đạo Môđun Thực hành theo dõi Môđun Thực hành đánh giá Môđun Tài liệu đào tạo theo dõi đánh giá ODA Việt Nam Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá Danh mục từ viết tắt ADB AFD AMF AMT AusAID Ban QLDA Bộ KH&ĐT CCBP CNTT CPRGS CPVN CQCQ JBIC JICA KfW KTXH LMDG MfDR MIS NMT ODA OECD-DAC PMT TD&ĐG UBND UNDP VAMESP II Vụ KTĐN WB Ngân hàng Phát triển Châu Á Cơ quan Phát triển Pháp Bộ mẫu biểu báo cáo theo dõi thống Công cụ theo dõi thống Cơ quan Phát triển Quốc tế Ôxtrâylia Ban Quản lý dự án Bộ Kế hoạch Đầu tư Chương trình Tăng cường Năng lực Tồn diện Quản lý ODA Cơng nghệ thơng tin Chiến lược Tồn diện Tăng trưởng Xóa đói Giảm nghèo Chính phủ Việt Nam Cơ quan chủ quản Ngân hàng Hợp tác Quốc tế Nhật Bản Cơ quan Hợp tác Quốc tế Nhật Bản Ngân hàng Tái thiết Đức Kinh tế - xã hội Nhóm nhà tài trợ đồng kiến Quản lý hướng tới kết phát triển Hệ thống thông tin quản lý Công cụ theo dõi quốc gia Hỗ trợ phát triển thức Uỷ ban Hỗ trợ Phát triển thuộc Tổ chức Hợp tác Kinh tế Phát triển Công cụ theo dõi danh mục dự án Theo dõi đánh giá Uỷ ban nhân dân Chương trình phát triển Liên hợp quốc Dự án “Tăng cường Năng lực Theo dõi đánh giá Dự án Việt Nam – Ôxtrâylia” – Giai đoạn II Vụ Kinh tế đối ngoại (Bộ Kế hoạch Đầu tư) Ngân hàng Thế giới vii Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá 1 Giới thiệu 1.1 Giới thiệu Đánh giá hoạt động tách rời công tác quản lý dự án Trong vòng đời dự án, đánh giá tiến hành theo bốn giai đoạn nhằm đo lường mức độ phù hợp, hiệu suất, hiệu quả, tác động tính bền vững dự án đó, bao gồm: • Đánh giá ban đầu – Do cán quan chủ quản (CQCQ), chủ dự án/chủ đầu tư Ban Quản lý dự án (Ban QLDA) thực vào thời điểm bắt đầu triển khai thực dự án Trong số trường hợp thuê chuyên gia đánh giá độc lập hỗ trợ cơng tác đánh giá này; • Đánh giá kỳ – Do chuyên gia đánh giá độc lập phối hợp với nhóm cán quản lý thực vào thời gian thực dự án; • Đánh giá kết thúc – Do chuyên gia độc lập thực vào thời điểm kết thúc thực dự án; • Đánh giá tác động – Do chuyên gia đánh giá độc lập thực sau dự án đưa vào khai thác, sử dụng khoảng từ đến năm Tất CQCQ, chủ dự án/chủ đầu tư Ban QLDA thực chương trình, dự án đầu tư nguồn vốn ODA ngân sách Nhà nước có trách nhiệm tiến hành đánh giá 1.2 Mục tiêu Mục tiêu Môđun Thực hành Đánh giá Cẩm nang Theo dõi đánh giá (TD&ĐG) nhằm cung cấp hướng dẫn thiết thực thực tiễn đánh giá ODA Bộ, quan trung ương, địa phương Ban QLDA Việt Nam Môđun giới thiệu bước áp dụng thực tiễn đánh giá, phương pháp công cụ hỗ trợ hoạt động đánh giá, cách tiếp cận đánh giá cấp quốc gia, cấp CQCQ (danh mục) cấp dự án Ngoài ra, cịn có Mơđun dành cho cấp lãnh đạo giới thiệu thể chế đánh giá Việt Nam1 Môđun hướng dẫn thực hành theo dõi2 Các tài liệu đào tạo đội ngũ cán làm công tác đánh giá trình bày Mơđun dành cho cán nguồn giảng viên hoạt động đào tạo nâng cao lực đánh giá3 1.3 Hướng dẫn sử dụng Môđun Thực hành Đánh giá Nếu bạn giao trách nhiệm đánh giá dự án ODA đầu tư từ nguồn vốn ngân sách Nhà nước và/hoặc nguồn vốn ODA, Môđun hướng dẫn bạn cách tiến hành bước đánh giá: • Bước 1: Chuẩn bị khung lơgíc đánh giá • Bước 2: Chuẩn bị khung đánh giá kế hoạch đánh giá • Bước 3: Thu thập phân tích liệu • Bước 4: Báo cáo kết đánh giá nhằm hỗ trợ công tác quản lý Môđun - Hướng dẫn xây dựng vận hành hệ thống TD&ĐG ODA Việt Nam - Tài liệu phục vụ cấp lãnh đạo Môđun - Thực hành Theo dõi Môđun - Tài liệu đào tạo TD&ĐG ODA Việt Nam Bộ Kế hoạch Đầu tư Cẩm nang Theo dõi Đánh giá - Môđun Thực hành Đánh giá 1.4 So sánh theo dõi đánh giá Theo dõi đánh giá có chức khác thường phục vụ cho đối tượng sử dụng khác Sử dụng thông tin Biểu để kiểm tra xem bạn nên sử dụng Môđun Thực hành đánh giá hay Môđun Thực hành theo dõi Nếu bạn phải trả lời câu hỏi theo dõi báo cáo định kỳ mức độ thực hiện, tiến độ thực giải ngân, ví dụ tỷ lệ giải ngân hay thay đổi so với kế hoạch trình thực hiện, bạn sử dụng Môđun Thực hành theo dõi Nếu bạn phải trả lời câu hỏi tác động hay hiệu đầu tư Mơđun Thực hành đánh giá hỗ trợ bạn Biểu : So sánh theo dõi đánh giá Theo dõi Đánh giá Liên tục định kỳ Tình hình thực mục tiêu đặt Chương trình Theo giai đoạn đột xuất Đánh giá mục tiêu Chương trình mối quan hệ với mục đích cấp độ cao với vấn đề phát triển cần giải Đặt câu hỏi tính đắn hợp lý số định trước Giải vấn đề thuộc nhiều phạm vi khác Xác định kết dự kiến dự kiến Sử dụng phương pháp định lượng phương pháp định tính Thu thập liệu từ nhiều nguồn khác Trả lời câu hỏi nhân Thường chuyên gia đánh giá độc lập thực quan bên đề xướng Các số tiến độ xác định trước Theo dõi tiến độ dựa vào số số xác định trước Tập trung vào kết dự kiến Sử dụng phương pháp định lượng Thu thập liệu thường xuyên Không trả lời câu hỏi nhân Thường chức quản lý nội Nguồn: SIDA (2004) Looking back, moving forward SIDA Evaluation Manual (trang 11) SIDAA3753en 1.5 Tài liệu tham khảo Website Theo dõi Đánh giá Quốc gia (www.mpi.gov.vn/tddg) có cập nhật danh sách cẩm nang sổ tay theo dõi, số cung cấp thông tin đặc biệt hữu ích phù hợp với điều kiện Việt Nam Các tài liệu tham khảo giúp nhiều việc biên soạn Môđun dành cho người làm công tác đánh giá Việt Nam Đặc biệt, ghi nhận đóng góp của: • FASID (2000) Monitoring and evaluation based on the project cycle management method Hiệp hội Nghiên cứu Phát triển Quốc tế Tokyo, Nhật Bản (xem www.fasid.or.jp); • FASID (2003) M&E on a shoestring – a manual Hiệp hội Nghiên cứu Phát triển Quốc tế Tokyo, Nhật Bản (xem www.fasid.or.jp); • IFAD (2002) A guide for project monitoring and evaluation – managing for impact in rural development Quỹ Phát triển Nông nghiệp Quốc tế Roma, Italy (xem www.ifad.org/ evaluation/); • SIDA (2004) Looking back, moving forward – SIDA Evaluation Manual Cơ quan Phát triển Quốc tế Thụy Điển Stockholm, Thụy Điển (xem www.sida.se/Sida/jsp/ polopoly.jsp?d=1265&a=25624); • UNDP (2002) Handbook on M&E for Results Chương trình Phát triển Liên hợp quốc, New York, USA (xem www.undp.org/eo/rbm/index.htm)