VI. Kế hoạch thực hiện, giám sát và đánh giá chương trình
3. Kế hoạch giám sát và đánh giá chương trình
3.1. Theo dõi và đánh giá
68. Hệ thống M&E sẽ theo dõi hiệu quả hoạt động và đánh giá tác động của các
hoạt động. Theo dõi tập trung vào hoạt động/đầu vào, đầu ra, kết quả, việc thực hiện và rủi ro, trong khi việc đánh giá sẽ đánh giá tính liên quan, hiệu quả, hiệu suất và tác động giảm nghèo, tăng trưởng và phát triển môi trường kinh doanh, trao quyền và hợp tác, tính
bền vững, khả năng nhân rộng, bài học kinh nghiệm và tri thức thu được. Hệ thống theo dõi và đánh giá bao gồm cả hai khía cạnh hoạt động và tài chính của Chương trình.
69. Hệ thống M&E sẽ được thiết kế để theo dõi và xác định các mức độ đạt được
kết quả các tiểu hợp phần của Chương trình, những kết quả liên quan, và thành công trong việc đạt được mục đích và mục tiêu phát triển của Chương trình. Tất cả các cấp độ này được liên kết theo mối quan hệ nhân-quả được nêu trong Khung logic của Chương trình. Hệ thống M&E, nhìn ở phạm vi rộng hơn, là hệ thống có sự tham gia, liên kết các xã được hỗ trợ vào hệ thống thu thập và quản lý thông tin. Cán bộ quản lý tri thức sẽ giúp PCO quản lý dữ liệu theo hệ thống chuẩn, giúp hệ thống trung tâm tập hợp thông tin theo dõi và đánh giá tổng thể và thực hiện các nghiên cứu để khảo sát tác động chung. Bộ phận quản lý chiến lược PCO phụ trách xây dựng và vận hành hệ thống thông tin tri thức (MIS), thiết lập và đảm bảo chức năng M&E, báo cáo và quản lý tri thức.
70. Hệ thống thông tin quản lý (MIS) của Chương trình được thành lập để cung
cấp hệ thống thu thập dữ liệu toàn diện, phân tích và trao đổi thông tin. Hệ thống giúp lưu trữ hồ sơ tài chính và tài liệu với mục tiêu chính là nhằm cung cấp thông tin để đưa ra các quyết định quản lý Chương trình. Các biện pháp đo lường định lượng về tiến độ sẽ được bổ sung bằng các thông tin định tính liên quan đến việc đạt được kỹ năng cá nhân và kỹ năng có thể chia sẻ được, thay đổi hành vi cho nhóm, nhận thức và thái độ của nhóm đối tượng. MIS sẽ là kênh duy nhất lưu trữ tài liệu theo dõi Chương trình và tạo cơ sở để thực hiện báo cáo định kỳ 6 tháng và hàng năm.
71. Để bảo đảm một hệ thống tương thích và độc lập được thực hiện, hệ thống
quản lý thông tin MIS sẽ được hình thành chính thức vào giai đoạn khởi động Chương trình và các điều chỉnh sẽ được thực hiện dựa trên kinh nghiệm thực hiện trong năm đầu tiên thực hiện Chương trình. MIS sẽ được dựa trên Khung logic của Chương trình. MIS và khung logic Chương trình có thể được điều chỉnh vào thời điểm đánh giá giữa kỳ để đảm bảo Chương trình phù hợp với những thay đổi thực tế trong thời gian thực hiện. Việc xây dựng các khung báo cáo phục vụ cho các cơ quan thực hiện Chương trình, nhất là các huyện, xã và các đối tác khác là một phần trong thiết kế tổng thể của MIS.
72. Theo dõi: là một phần thiết yếu trong vai trò điều phối Chương trình. Tất cả
cán bộ được huy động để thúc đẩy tiến độ thực hiện Chương trình và giám sát hiệu quả thực hiện phần trách nhiệm cụ thể được phân công của mỗi cán bộ. Phần lớn dữ liệu theo dõi sẽ được các xã thực hiện Chương trình thu thập và báo cáo.
73. Theo dõi sẽ cung cấp phản hồi định kỳ 6 tháng và hàng năm về mức độ đạt
được các kết quả đầu ra của Chương trình, thực hiện các hoạt động, xác định các vấn đề tiềm năng trong giai đoạn đầu và đề ra các giải pháp khả thi. Khả năng tiếp cận Chương trình của tất cả các nhóm đối tượng mục tiêu, cũng như tính hiệu quả về mặt tài chính và kỹ thuật sẽ được theo dõi và đề xuất phương pháp nâng cao khả năng tiếp cận cho các đối tượng này.
74. Các chỉ số giám sát được chọn cho từng kết quả được nêu chi tiết ở Khung
Logic. Khi thích hợp, các dữ liệu về giới, dân tộc thiểu số và dữ liệu nghèo theo chuẩn của Bộ LĐTBXH sẽ được thu thập. Việc theo dõi sẽ được hướng dẫn nhằm thông tin các chỉ số đầu ra và kết quả trong Khung Logic. Huy động các nhóm đối tượng, đặc biệt là phụ nữ, nhằm đảm bảo sự tham gia của đối tượng hưởng lợi vào quá trình theo dõi các hoạt động Chương trình, và trong quá trình thu thập dữ liệu dưới dạng ph ng vấn cá nhân, thảo luận nhóm hay nghiên cứu trường hợp điển hình.
75. Tập huấn đào tạo của Chương trình thực hiện trên cơ sở theo năng lực. Việc tổ chức các hoạt động tập huấn cần được theo dõi xuyên suốt từ đầu đến sau khi kiểm tra kiến thức tập huấn, tiến hành hậu kiểm từ 6-12 tháng sau tập huấn để xác định việc ghi nhớ và ứng dụng kiến thức đã được tập huấn của học viên. Không thể thực hiện theo dõi tất cả khóa tập huấn theo hình thức này, nhưng cần theo dõi ngẫu nhiên mọi hình thức tập huấn trong suốt vòng đời Chương trình.
76. Đánh giá: Việc đánh giá Chương trình được triển khai và quản lý dưới 2
hình thức chính: (i) đánh giá kết quả/tác động hàng năm và (ii) đánh giá theo chủ đề. Đồng thời, các đánh giá toàn diện lúc giữa kỳ và kết thúc Chương trình sẽ do IFAD và Chính phủ Việt Nam thực hiện. Hai lần đánh giá chính thức là Đánh giá Giữa kỳ (MTR) và Đánh giá kết thúc Chương trình (PCR).
77. Đánh giá tác động: Tác động sẽ được đo lường dựa trên dữ liệu ban đầu,
vào thời điểm giữa kỳ và kết thúc Chương trình. Khảo sát đầu kỳ được thực hiện ngay sau khởi động Chương trình nhằm cung cấp thông tin cơ bản làm nền tảng để những lần khảo sát tiếp theo có thể so sánh những thay đổi trong sinh kế của hộ gia đình. Tương tự, các khảo sát giữa kỳ và cuối kỳ sẽ thực hiện ngay trước Đánh giá giữa kỳ và trước kết thúc Chương trình, để có đủ thời gian thu thập kết quả phục vụ cho Đoàn đánh giá giữa kỳ và Cuối kỳ Chương trình. Cách thức thực hiện tương tự như đánh giá đầu kỳ. Lý tưởng nhất là trong các cuộc khảo sát sau nên đến cùng hộ gia đình đã khảo sát trước đó, khi đó có thể đo lường được những thay đổi khi tham gia vào Chương trình, khả năng tìm kiếm việc làm ngoài khu vực Chương trình của các thành viên cũng được khảo sát lấy thông tin đối chiếu. Cả ba đợt khảo sát này nên được thực hiện tuân thủ những yêu cầu của Hệ thống quản lý tác động dựa vào kết quả (RIMS), sử dụng bộ câu h i RIMS chuẩn để thu thập các thông tin chủ yếu từ người hưởng lợi của Chương trình bao gồm cả tài sản sở hữu hộ gia đình và sử dụng các thông tin ban đầu để thiết lập tình trạng suy dinh dưỡng trẻ em ở các hộ tham gia Chương trình, thêm vào một số câu h i phản ảnh dữ liệu tác động của Chương trình. Các hộ tham gia khảo sát sẽ được chọn ngẫu nhiên từ các xã Chương trình. Dữ liệu thu thập được sẽ được xử lý bằng phần mềm đơn giản do IFAD cung cấp.
78. Chương trình sẽ thực hiện đầu tư sử dụng các nguyên tắc và kế hoạch kinh
doanh nên sẽ có cơ hội sử dụng các dữ liệu trích xuất trong quá trình lập kế hoạch và vận hành đầu tư để cung cấp thông tin đánh giá tác động. Mục tiêu là các dữ liệu nền trước khi thực hiện Chương trình, các dữ liệu vận hành (lãi và lỗ, lợi nhuận sau đầu tư, thu nhập của lao động,...) sẽ được sử dụng để phục vụ cho đánh giá tác động cấp kinh tế vi mô.
79. Nghiên cứu chuyên đề: PCO sẽ hợp đồng hoặc thực hiện các nghiên cứu tác
động theo chủ đề nhằm xem xét tác động của các hoạt động theo các kết quả của Chương trình. Các nghiên cứu tác động bao gồm việc phân tích hiệu quả của: tác động giảm nghèo của các hoạt động hỗ trợ thị trường hàng hóa cụ thể, hợp tác công tư trong nỗ lực giảm nghèo, tác động của tín dụng vi mô đến phụ nữ; tác động của các mô hình kinh tế tập thể; tác động của phát triển doanh nghiệp vừa và nh đến tạo việc làm cho người nghèo. Các chủ đề nghiên cứu tập trung này sẽ được xác định trong quá trình tham vấn với các cơ quan chính phủ trong thời gian thực hiện Chương trình, xem xét đến các chính sách của chương trình MTQG-XDNTM. Khung theo dõi sẽ cung cấp các chỉ số, phương pháp thu thập dữ liệu và cách sử dụng các dữ liệu đã được xử lý.
80. Đánh giá giữa kỳ và kết thúc Chương trình: IFAD và chính phủ Việt Nam chịu trách nhiệm thực hiện 2 đợt đánh giá này: Đánh giá giữa kỳ thực hiện vào năm thứ 3 và đánh giá cuối kỳ thực hiện sau khi kết thúc Chương trình. Các câu h i chính sẽ được giải đáp trong quá trình đánh giá trên cơ sở các chỉ số trong Khung logic, bao gồm: (i) Các hoạt động đầu tư của Chương trình đã tạo điều kiện để gắn kết lập kế hoạch phát triển hàng hóa với mục tiêu giảm nghèo chưa; (ii) Chương trình đã định hướng mục tiêu thành công chưa; (iii) Chương trình có hỗ trợ cho người thiếu việc làm tìm được việc làm và các liên kết thị trường nông thôn đã được xây dựng hiệu quả chưa; (iv) Chương trình có đạt được tầm bao phủ cung cấp dịch vụ tài chính như mong đợi không; (v) Việc phân cấp lập kế hoạch dựa trên thị trường có được vận hành như một công cụ phát triển hiệu quả chưa; (vi) Chương trình đã đóng góp được những ví dụ tốt cho các chính sách quốc gia liên quan đến phát triển hàng hóa nông nghiệp trong khuôn khổ một Chương trình phát triển nông thôn chưa; và (vii) Các thay đổi trong môi trường bên ngoài bao gồm các thách thức liên quan đến CC đã ảnh hưởng đến người hưởng lợi từ Chương trình như thế nào.
81. Báo cáo tiến độ. PCO xây dựng các báo cáo tiến độ cấp tỉnh 6 tháng một lần
và hàng năm, trình cho UBND tỉnh, Ban chỉ đạo/UBND tỉnh và IFAD trong vòng một tháng kể từ khi kết thúc kỳ báo cáo. Các cơ quan thực hiện Chương trình sẽ báo cáo tiến độ thực hiện phần trách nhiệm của họ và các báo cáo này sẽ được sử dụng làm thông tin đầu vào cho PCO để tổng hợp báo cáo cấp tỉnh trình cho IFAD và Chính phủ chính xác và đúng hạn. Các báo cáo này phải bao gồm báo cáo thuyết minh nguồn dữ liệu chính và đảm bảo nêu bật các xu hướng. Báo cáo cũng ghi nhận tiến độ thực hiện và giải ngân tài chính theo mục tiêu nêu trong Kế hoạch công tác và ngân sách năm. Cán bộ Quản lý tri thức cũng sẽ báo cáo các khảo sát quản lý tri thức và các công việc phân tích, kèm phụ lục bảng biểu thể hiện tiến độ thực hiện các chỉ số của Chương trình. Bộ phận quản lý chiến lược chỉ chịu trách nhiệm về cung cấp các giữ liệu nêu trong Khung logic. Còn tất cả các dữ liệu khác trong phụ lục thuộc trách nhiệm của các tổ chức và PCO sẽ giúp họ chuẩn bị các biểu mẫu báo cáo đúng chuẩn.
82. Các cơ quan thực hiện, trong vòng 2 tuần kể từ cuối kỳ báo cáo – sẽ nộp báo
cáo tiến độ 6 tháng cho PCO. Đây là điều kiện trước khi chuyển vốn thực hiện cho các cơ quan này cho kỳ tiếp theo. CPC và DPC sẽ báo cáo về các sáng kiến lập kế hoạch SEDP do Chương trình hỗ trợ. Hội Phụ nữ và các đơn vị khác sẽ báo cáo trực tiếp cho PCO về các nội dung được giao thực hiện.
83. Báo cáo kết quả và tác động hàng năm. PCO báo cáo riêng cho IFAD về các
chỉ số của Chương trình trùng với chỉ số trong COSOP. Thông tin trong báo cáo kết quả và tác động năm được trích ra từ hệ thống MIS của Chương trình, và được liên kết đến các chỉ tiêu trong báo cáo này và các chỉ tiêu trong kế hoạch công tác và ngân sách năm.
84. Báo cáo giữa kỳ: Báo cáo sẽ được PCO xây dựng và bao gồm đánh giá tính
hiệu quả cũng như các kết quả đạt được của Chương trình tới thời điểm hiện tại, kèm bản phân tích phương pháp tiếp cận và các hoạt động của Chương trình, cũng như đề xuất chi tiết thực hiện phần còn lại của Chương trình.
85. Báo cáo kết thúc Chương trình: Tại thời điểm cuối kỳ thực hiện Chương
trình, một báo cáo kết thúc Chương trình riêng và toàn diện sẽ được PCO soạn thảo. Báo cáo kết thúc Chương trình sẽ tuân theo các hướng dẫn và biểu mẫu báo cáo kết thúc Chương trình của IFAD và của Chính phủ Việt Nam. Tiêu chí đánh giá bao gồm:
sự tham gia của nhóm mục tiêu, chiến lược và cách tiếp cận của Chương trình, tính liên kết, quản lý tài chính, tính hiệu quả, kết quả đầu ra, hiệu suất, tác động, tính bền vững, đổi mới, khả năng phát triển cao hơn và khả năng nhân rộng.
3.2. Bài học kinh nghiệm và quản lý tri thức
86. Quản lý tri thức: Quản lý tri thức của Chương trình là một nhân tố thiết yếu
nhằm truyền tải mục tiêu Chương trình, nhất là các bài học kinh nghiệm liên quan đến giảm nghèo thông qua phát triển hàng hóa. Sử dụng 2 cách tiếp cận: (i) một chương trình quản lý tri thức trong nội bộ Chương trình nhằm hỗ trợ học h i trong nội bộ và giữa các bên liên quan thực hiện Chương trình, và (ii) hỗ trợ một chương trình quản lý tri thức ở phạm vi rộng hơn nhằm thông tin cho các đơn vị hoạch định chiến lược của Chính phủ và tác động ảnh hưởng đến xây dựng các chính sách mới. Về vấn đề phát triển chính sách, ý kiến của một tỉnh riêng lẻ, dù có quan trọng cũng khó có thể xoay chuyển được chính sách quốc gia trong các khía cạnh liên quan đến MoSEDP hay P- PC. Tuy nhiên, tri thức tập thể từ kinh nghiệm thực hiện các dự án IFAD trong các khía cạnh này tại Việt Nam có giá trị lớn lao và sẽ tiếp tục gia tăng. Do đó, văn phòng quốc gia IFAD phải đóng vai trò là cầu nối tập hợp các cán bộ dự án chủ chốt ở cấp tỉnh lại một mối để đối chiếu và đánh giá các kết quả dự án và định hình những đề xuất chính sách có thể tiếp tục được thực hiện ở cấp quốc gia. Bộ trưởng Bộ NN&PTNT đã yêu cầu IFAD Việt Nam hỗ trợ Bộ phát triển các chính sách Chính phủ về PPP/P-PC. IFAD Việt Nam cũng là một thành viên của nhóm các nhà tài trợ mới được thành lập để hỗ trợ Bộ Kế hoạch và Đầu tư phát triển phương pháp tiếp cận MoSEDP. Do đó, IFAD Việt Nam hiện đang ở một vị thế thuận lợi để mang những kinh nghiệm tập thể thu được từ các dự án do IFAD cho vay ở Việt Nam vào các phiên thảo luận về hoạch định chính sách và lập kế hoạch chiến lược ở cấp quốc gia.
87. Hệ thống quản lý dữ liệu sẽ bảo đảm tất cả các báo cáo phải hoàn thiện và
đầy đủ. Thông tin, báo cáo và dữ liệu phải có trong các bảng biểu thích hợp và sử dụng được. Học tập dựa trên thực tế là một đầu ra quan trọng, và hệ thống quản lý tri thức cùng với việc đánh giá phải đưa ra được các bài học đã được chứng minh bằng thực tế. Các bài học kinh nghiệm có thể về các cách tiếp cận thực hiện chưa tốt cũng như những cách thực hiện đã làm tốt. Để quản lý tri thức và thông tin của Chương trình cần thực hiện những hoạt động sau:
i) Tài liệu hóa các bài học kinh nghiệm, cách làm hay và các mô hình
thành công. Chương trình sẽ thu thập các thông tin liên quan sẵn có để tài liệu hóa
thành bài học kinh nghiệm, các thực ti n hữu ích và các trường hợp thành công. Có thể dựa vào thông tin thu thập từ các báo cáo tiến độ, các cuộc họp và ph ng vấn, báo cáo