THU THAP VA XLY TT GIAM SAT DGIA TRONG QLY DA ODA

BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Mođun GS4: THU THẬP VÀ XỬ LÝ THÔNG TIN GIÁM SÁT, ĐÁNH GIÁ TRONG QUẢN LÝ DỰ ÁN ODA Kết thúc mođun GS4 bạn có khả năng: ƒ Xác định thông tin cần thiết cho hoạt động giám sát, đánh giá việc thực dự án ODA ƒ Nắm vững phương pháp thu thập xử lý thông tin giám sát, đánh giá việc thực dự án ODA Người học tham gia mođun GS1 tham gia vào hoạt động quản lý dự án ODA ƒ Trao đổi tích cực giáo viên người tham gia đào tạo Giáo viên chủ động đưa câu hỏi để trình trả lời, trao đổi trình tự tổng hợp kiến thức người học ƒ Thực hành xây dựng công cụ thu thập xử lý thông tin phục vụ giám sát, đánh giá việc thực dự án ODA ƒ Người học tự thực phần Kiểm tra – Đánh giá sau kết thúc mođun ƒ Tài liệu Mođun GS4: Thu thập xử lý thông tin giám sát, đánh giá quản lý dự án ODA ƒ Tài liệu tóm tắt nội dung trao đổi ƒ Một số mẫu thu thập thông tin giám sát, đánh số dự án sử dụng Giáo viên trình bày nội dung Người học trao đổi nhóm thảo luận nhóm với Trình bày thống kết luận Tự đánh giá kết học tập Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Những nội dung mođun Các nội dung trọng tâm mođun : Trang số: Các vấn đề phải làm rõ trước thu thập xử lý thông tin Trang Các bước lựa chọn phương pháp thu thập xử lý thông tin giám sát việc thực dự án ODA Trang Các bước lựa chọn phương pháp thu thập xử lý thông tin đánh giá việc thực dự án ODA Trang Các bước thực phương pháp thu thập xử lý thông tin giám sát việc thực dự án ODA Trang Các bước thực phương pháp thu thập xử lý thông tin đánh giá việc dự án ODA Trang 16 Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Các vấn đề cần phải làm rõ trước thu thập xử lý thông tin ) Có vấn đề cần phải làm rõ trước thu thập xử lý thông tin: Mục tiêu giám sát đánh giá gì? Cần phải thu thập thông tin gì? Vì mục tiêu giám sát, đánh giá quy định mức độ dạng thông tin, số liệu khác nên cần phải làm rõ mục tiêu Mỗi giám sát, đánh giá có mục tiêu trọng với mức độ khác nhau, chẳng hạn, đánh giá tác động dự án không trọng toàn trình, hiệu dự án đánh giá kết thúc dự án, mà tập trung nhiều tới tác động dự án Mục tiêu khác yêu cầu thông tin mức độ bao quát khác Xuất phát từ mục tiêu giám sát, đánh giá xác định thông tin cần phải thu thập xử lý, thông tin định lượng định tính Từ việc xác định thông tin cần thu thập xử lý xác định cần phải sử dụng phương pháp thu thập xử lý thông tin hàng loạt phương pháp thu thập xử lý thông tin Ai cần sử dụng kết giám sát, đánh giá? Cụ thể sử dụng thông tin thu thập xử lý từ hoạt giám sát, đánh giá Việc xác định tạo định hướng thu thập xử lý thông tin tốt Các bên liên đới cần thông tin từ hoạt động giám sát, đánh giá? Các bên liên đới cần thông tin từ hoạt động giám sát, đánh giá, họ có tham dự vào việc thu thập, xử lý thông tin giám sát, đánh giá hay không Việc xác định cho phép làm rõ thông tin cần thu thập cách toàn diện, tạo dễ dàng trao đổi thông tin giám sát, đánh giá bên liên đới sau Nhân lực thực giám sát, giám sát có đủ lực thực thu thập, xử lý thông tin hay không? Vì thu thập xử lý thông tin đòi hỏi phải đào tạo phương pháp, không thông tin thu sai lệch ảnh hưởng đến khái quát kết giám sát, giám sát sau Thời gian thực giám sát, giám sát có xác định đầy đủ, phù hợp hay không? Thời gian quy định ảnh hưởng nhiều đến lựa chọn phương pháp thu thập xử lý thông tin Vì cần phải làm rõ Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Các bước lựa chọn phương pháp thu thập xử lý thông tin giám sát việc thực dự án ODA ) Có bước lựa chọn phương pháp giám sát việc thực dự án ODA Bạn cần biết gì? Những người khác thu thập thông tin chưa? Cần đến thông tin định tính hay thông tin định lượng? hay hai? Bạn sử dụng phương pháp thu thập liệu theo mẫu hay thu thập liệu đầy đủ? Có nhiều lựa chọn phương pháp luận hay có một? Xem xét để khẳng định phương pháp lựa chọn ª đảm bảo chắn đối tượng liên quan hiểu rõ nhu cầu thông tin thu thông qua trình giám sát trước bắt đầu lựa chọn phương pháp ª quan nhà nước Tổng cục Thống kê, trường đại học, tổ chức nghiên cứu có liệu đáp ứng nhu cầu liệu Hỏi xem có chế báo cáo UBND phường (xã), quận (huyện), tỉnh hay chưa Kiểm tra xem liệu giám sát cần thiết có hay chưa có đáng tin cậy không ª xem xét câu hỏi thực báo mà bạn tìm kiếm phương pháp cho chúng có cần thông tin định tính hay thông tin định lượng hay hai loại thông tin không ª Thường hiệu kinh tế thu thập liệu từ tất quan tham gia Vì cần điều tra chọn mẫu Phải định kích thước mẫu làm rõ "cơ cấu lấy mẫu" Phải chọn mẫu tốt ảnh hưởng đến việc lựa chọn phương pháp hợp lý, khả thi tính pháp lý kết luận giám sát ban đầu ª Đôi thông tin tìm phương pháp, hầu hết trường hợp có nhiều lựa chọn để có thông tin Và quy tắc lựa chọn phương pháp có tham gia nhiều chi phí hiệu ª Phương pháp lựa chọn phụ thuộc nhiều vào thông tin cần thiết, kỹ quan tham gia mức độ chi tiết cần thiết Phải đảm bảo phương pháp bổ trợ cho việc cung cấp thông tin phương pháp cho phép kiểm tra chéo liệu Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Thử phương pháp Xác định tần suất sử dụng Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA ª Thử phương pháp giám sát để đảm bảo có tính khả thi cung cấp dạng thông tin mong muốn ª Giám sát đòi hỏi phải sử dụng nhiều lần phương pháp trình thực để so sánh với kế hoạch rút học Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Các bước lựa chọn phương pháp thu thập xử lý thông tin đánh giá việc thực dự án ODA ) Vì thông tin cần cho đánh giá thông thường cần định tính định lượng, thông tin người khác thu thập phải thu thập lại nhằm đảm bảo việc đánh giá xác, bước lựa chọn phương pháp đánh giá so với bước lựa chọn phương pháp giám sát việc thực dự án ODA ) Bốn bước thực lựa chọn phương pháp đánh giá, là: n Xác định câu hỏi đánh giá? o Xác định nguồn cung cấp thông tin, xác định mức khả thi phương án thay thế? p Các bên liên đới có tham gia vào thu thập xử lý thông tin đánh giá hay không? q Lựa chọn phương pháp ª Thực chất xác định nội dung đánh giá làm tiền đề cho việc xác định thông tin để từ xác định phương pháp Xác định câu hỏi đánh giá xác định thông tin cần thu thập xử lý ª Từ câu hỏi giám sát, đánh giá thao tác thành báo giám sát, đánh giá Cụ thể trả lời câu hỏi “nó thể gì/phản ánh gì?” ª Nội dung quy định dùng phương pháp gì, chẳng hạn, có tham gia nhà tài trợ dự án chắn phải dùng phương pháp quan sát thâm nhập, vấn sâu, thảo luận nhóm, đánh giá nhanh có tham dự ª Có nội dung cần đánh giá, có thông tin cần thu thập, xác định đối tượng cung cấp thông tin, có hay không tham dự bên liên đới, bước cuối lựa chọn phương pháp đánh giá Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Bảng 1: Ví dụ lựa chọn phương pháp đánh giá (Đánh giá tác động dự án lên thay đổi lập kế hoạch thời gian giáo viên, trích: EHR/NSF Evaluation Handbook) Câu hỏi đánh giá Phương pháp Bảng hỏi Giáo viên có dành nhiều thời gian cho việc lập kế hoạch hướng dẫn học sinh Giáo viên có dựa vào cách tiếp cận a/- Bảng hỏi mà dự án trang bị để xây dựng kế b/ Xem đánh giá kế hoạch giảng hoạch giảng mà cô nộp ban giám hiệu Giáo viên có sử dụng học a/ Bảng hỏi tham dự đào tạo để làm mẫu b/ Phỏng vấn sâu Sự khác biệt thời gian chất a/ Bảng hỏi lượng giảng dậy áp dụng phương b/ Phỏng vấn sâu pháp lập kế hoạch thời gian mà dự án c/ Thảo luận nhóm trang bị Người cung cấp thông tin Giáo viên Kế hoạch thực Cuối năm học - Giáo viên - Phụ trách môn - Ban giám hiệu Cuối năm học - Giáo viên Cuối năm học lần - Giáo viên năm học - Tổ môn - Ban giám hiệu Trong kế hoạch đánh giá phải thể phương pháp mà lựa chọn dự kiến sử dụng Đa số hoạt động đánh giá kết hợp phương pháp định tính phương pháp định lượng Có nhiều phương pháp khác sử dụng cho đánh giá Hướng dẫn IFAD đưa danh sách đầy đủ mô tả phương pháp hữu ích cho hoạt động đánh giá Các phương pháp phân thành nhóm Ưu điểm nhược điểm nhóm phương pháp tóm tắt Bảng Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Bảng 2: Ưu điểm nhược điểm phương pháp đánh giá lựa chọn Phương pháp Nghiên cứu tài liệu Ưu điểm Nhược điểm Hiệu hiệu suất mặt Khó xác định độ tin cậy thông chi phí tin tài liệu Đo lường lý-sinh Cung cấp liệu xác Chỉ đưa kiện, không giải đáng tin cậy mức chi phí thích tương đối thấp Bảng hỏi điều tra Cung cấp thông tin định lượng Chi phí cao đáng tin cậy Nghiên cứu tình Cung cấp thông tin chi tiết Khó tổng quát hoá cho toàn dự độc lập án đầu tư ODA Quan sát trực tiếp Ít cần chuẩn bị - đặc biệt Kết khác phù hợp với nghiên cứu nhiều phụ thuộc vào người quan ban đầu đánh giá sát kỳ Phỏng vấn bán cấu Chi phí thấp dễ thực Có sai số quan điểm người trúc Cung cấp thông tiến hành vấn người tin hữu ích tham gia Dữ liệu khó lượng hoá kết không mong phân tích đợi Cung cấp liệu chứa nhiều thông tin, giúp giải thích tác động tính hiệu xuất Nhóm tập trung Thông tin tiềm ẩn thu Có nguy rút kết luận sai lệch từ thái độ phản ứng cách lựa chọn người tham gia người tham gia Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Các bước thực phương pháp thu thập xử lý thông tin giám sát việc thực dự án ODA ) Có bước thực phương pháp thu thập xử lý thông tin n Lập kế hoạch thu thập liệu o Kiểm tra liệu p Ghi chép liệu q Tổng hợp, phân tích lưu trữ liệu 4.1 Lập kế hoạch thu thập liệu • Để chuẩn bị cho kế hoạch thu thập liệu, điều quan trọng phải: ƒ Xem xét người thu thập liệu - người làm công tác điều tra thu thập liệu giám sát cần có kỹ phù hợp với phương pháp lựa chọn Đối với phương pháp điều tra khảo sát cần người vấn nhóm điều hành vấn Đối với đo lường mặt kỹ thuật cần đến kỹ sư xây dựng người thẩm tra Phải xem xét yếu tố ảnh hưởng đến chất lượng thu thập liệu việc thảo luận với quan tham gia Những yếu tố bao gồm: độ tuổi, giới tính, hiểu biết chung vị trí cộng đồng, trình độ giáo dục, mức kinh tế xã hội, thái độ tính cách, sức khoẻ, ngôn ngữ, tôn giáo văn hoá ƒ Xem xét phân bổ công việc thu thập phân tích - số lượng người tham gia vào giai đoạn thu thập liệu ảnh hưởng đến tính Trang số / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA thống tính xác liệu Càng nhiều người tham gia cần phải kiểm soát chất lượng tổ chức tốt ƒ Đảm bảo người sử dụng phải thành thạo phương pháp - phương pháp cần thử trước thực người sử dụng chúng, sử dụng đào tạo công việc hoạt động xây dựng lực khác ƒ Đảm bảo ngôn ngữ phải rõ ràng - lý tưởng người điều tra phải nói ngôn ngữ thích hợp phải với phiên dịch đáng tin cậy Nếu đào tạo phiên dịch viên phương pháp TD&ĐG lựa chọn ƒ Chuẩn bị thực tiễn cho phương pháp, chẳng hạn yếu tố vật chất cần thiết - đảm bảo tổ chức tốt yếu tố vật chất, bao gồm hỗ trợ cách đầy đủ công cụ đo lường ghi chép (văn phòng phẩm, mẫu điều tra, biểu đồ ) • Một số lỗi thường gặp thu thập thông tin: ƒ Lỗi lấy mẫu - lỗi phát sinh thông tin thu thập không đại diện cách xác cho tập hợp mục tiêu Lỗi xảy chọn mẫu sai bị thiếu nhóm quan trọng hộ gia đình vùng xa khả tiếp cận ƒ Lỗi không lấy mẫu - Lỗi phổ biến đa dạng Lỗi giảm thiểu hiểu nguyên nhân tiềm tàng nó: o Sai lệch người vấn - lỗi xảy người vấn có ảnh hưởng không công đến cách thức trả lời Người vấn thân thiện, làm cho người tham gia e ngại gợi ý cách trả lời cho người vấn o Phương pháp không đầy đủ - nguyên nhân bao gồm: thủ tục thu thập phức tạp, cách thức không phù hợp câu hỏi dễ gây nhầm lẫn o Lỗi xử lý - lỗi phát sinh mã hóa sai, nhập liệu sai, chương trình máy tính sai kiểm tra liệu không đầy đủ o Sai lệch không trả lời - lỗi xảy số lượng lớn người không trả lời câu hỏi định Đặc tính người không trả lời khác nhiều so với người trả lời 4.2 Kiểm tra liệu • Điều quan trọng phải thường xuyên kiểm tra xác nhận liệu Kiểm tra thường xuyên để thấy liệu có ý nghĩa nhằm đảm bảo trình thực giám sát với thông tin xác Dữ liệu định lượng thường dễ kiểm tra so với liệu định tính Duy trì trình kiểm chứng cách kiểm tra vào thời điểm quan trọng: Trang số 10 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA ƒ Ở giai đoạn đầu trình thực - sử dụng tập liệu sẵn có, phải xem liệu đến từ đâu, thu thập thông tin phương pháp thu thập thông tin; ƒ Khi sử dụng phương pháp mới; ƒ Khi mục tiêu liệu phù hợp với cách hoàn hảo; ƒ Khi làm việc với nhân viên điều tra mới, đối tác thực mới, nhân viên mới, vv • Cảnh giác với liệu đáng ngờ Có ba dấu hiệu cho thấy liệu không xác: ƒ Dữ liệu xác đến khó tin - dấu hiệu thường thấy tiến độ báo cáo 100% gần 100%, trình thực đạt mục tiêu cho tất tháng thông số Đây dấu hiệu chắn liệu báo cáo mà Ban quản lý dự án nghĩ nhà tài trợ “mong muốn”, thành thực tế ƒ Những thay đổi lớn đột ngột liệu - thay đổi cảnh báo nhà quản lý có không thống lỗi liệu ƒ Những khoảng trống liệu - số lượng lớn người không trả lời lỗi trả lời, lỗi việc lựa chọn phương pháp cho thông tin • Có vài cách kiểm chứng liệu: ƒ Lập nhóm từ đơn vị giám sát, đánh giá địa chỉ, quan có liệu đáng nghi ngờ, để kiểm tra thông tin ƒ Sử dụng nguồn lực bên nhân viên đặc biệt để kiểm tra chéo kiểm chứng thông tin cách thực thu thập liệu bổ sung ƒ Phép kiểm tra chéo kỹ thuật quan trọng - điều có nghĩa thu thập thông tin loại từ nguồn khác sử dụng phương pháp khác 4.3 Ghi chép liệu • Ngoài việc tiến hành vấn điều phối, người điều tra cần phải thành thạo việc ghi chép câu trả lời Việc ghi chép phụ thuộc vào phương pháp thu thập (ví dụ, điền vào mẫu có sẵn bảng ghi chép trả lời vấn, sử dụng máy ghi âm, camera, máy ghi hình, viết thẻ biểu đồ ghi chép chi tiết) • Có vài điểm cần cân nhắc: Trang số 11 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA ƒ Đối với mẩu thông tin, phải xác định xem ghi lại Thực tập với người tiến hành ghi chép thông tin trước bắt tay vào thu thập; ƒ Đảm bảo tính thống việc ghi chép liệu; ƒ Xem xét điều kiện lưu trữ thông tin: thông tin lưu trữ đâu nào? • Việc thiết kế dạng liệu quan trọng việc trì tính thống liệu Các dạng phải trình bày cách rõ ràng báo giám sát, đánh giá lựa chọn phải có chỗ cho người thu thập điền thông tin vào Chỗ trống để điền phải có đủ yếu tố: ƒ Ngày tháng, địa điểm, thời gian khoảng thời gian vấn thảo luận; ƒ Tên người ghi chép, người điều phối; ƒ Tên người tham gia; ƒ Chủ đề thảo luận phương pháp sử dụng; ƒ Những phát - dạng xác định trước, dạng từ khóa mô tả phương pháp thu thập thông tin mở 4.4 Tổng hợp, phân tích lưu trữ liệu ) Khi thu thập, liệu cần phải tổ chức lại dạng quản lý sẵn sàng cho việc phân tích Điều liên quan đến việc chép lại liệu thành định dạng có hệ thống, nhập thông tin có từ người trả lời hay nhóm tổ chức chúng thành định dạng chung, thí dụ dạng sở liệu máy tính 4.4.1 Tổng hợp • Tổng hợp liệu cần thiết khi: ƒ Dữ liệu gán thang điểm từ đơn vị phân tích nhỏ đến đơn vị phân tích lớn - ví dụ, tập hợp tất vấn cá nhân thành nhìn tổng quát tổng hợp thông tin cấp làng nâng lên thành phân tích cấp huyện ƒ Dữ liệu thu thập từ nguồn khác phương pháp khác nhau, đặt tảng cho việc thực so sánh tìm dạng phân tích • Tổng hợp liệu đòi hỏi phải có cách thức thích hợp Cơ sở liệu máy tính chương trình thống kê phù hợp với số phương pháp, đặc biệt với liệu định lượng Những chương trình chuyển liệu thành bảng có tên gọi rõ ràng Các bảng hợp phát theo câu Trang số 12 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA hỏi thực Ví dụ, hoạt động GIÁM SÁT, ĐÁNH GIÁđang cố gắng hiểu tác động khác cộng đồng huyện phải xu hướng cụ thể cho vùng 4.4.2 Phân tích • Phải tiến hành phân tích liệu giám sát việc phân tích liệu giúp: ƒ Xây dựng thông tin từ liệu - liệu không đối chiếu phân tích thông tin; ƒ Tăng hiểu biết - thảo luận thông tin ban đầu với đối tượng liên quan dự án ODA có hiểu biết sâu sắc hơn; ƒ Hạn chế sai lệch - thảo luận kỹ lưỡng thông tin giúp cho việc kiểm tra chéo quan tham gia họ cảm thấy vấn đề trình bày không đúng; ƒ Đưa tranh rõ ràng đạt tới đồng thuận - cách thảo luận liệu, mâu thuẫn khoảng trống xác định làm rõ; ƒ Tăng tính tự chủ - phân tích phần hoạt động giám sát, đánh giá có phối hợp, việc phối hợp phân tích tăng tính tự chủ kết luận khuyến khích người đầu tư nhiều để tạo thay đổi • Có hai vấn đề cần xem xét phân tích liệu: ƒ Xem xét cần thiết phải tham gia phân tích - tìm kiếm cân tối ưu việc tham gia quan tham gia với việc phân tích thực cán Ban quản lý dự án Các nhân viên Ban quản lý dự án phân tích sau thảo luận kết với quan tham gia để có cách hiểu chung ƒ Xem xét cách thức thực việc phân tích - phương pháp phân tích phụ thuộc vào nhiều yếu tố, bao gồm: trình phân tích có phải trình có tham gia hay không, công cụ sử dụng cho phân tích đối chiếu, loại thông tin thu thập • Phân tích liệu định lượng Đa số hệ thống giám sát, đánh giá phân tích liệu định lượng nhiều phân tích liệu định tính Phân tích liệu định lượng thường liên quan đến tính toán như, tổng số giá trị trung bình hoạt động thực hiện, tỷ lệ phần trăm so với kế hoạch mục tiêu Phân bố tần suất phân tích hồi quy giúp cho việc diễn giải liệu Đôi cần phải có phân tích phức tạp hơn, ví dụ phân tích chi phí - lợi ích Trang số 13 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA • Phân tích liệu định tính Phân tích liệu định tính khác khó nhiều so với phân tích liệu định lượng, đặc biệt người không quen giải ý kiến, quan điểm, nhận thức quan tham gia câu trả lời không chuẩn tắc Bằng việc phân tích nội dung thông tin thu thập, rút kết luận từ câu hỏi thực số Quá trình phân tích liên quan đến việc xác định loại câu trả lời tìm liệu thô • Để người thu thập liệu tham gia vào phân tích Tất người thu thập liệu người điều phối phải tham gia vào công đoạn phân tích liệu Một điều đặc biệt quan trọng người có mặt thông tin thu thập phải tham gia vào phân tích Những người điều phối quan sát nhiều thảo luận mở giúp diễn giải liệu phân tích • Đồng thời thu thập phân tích liệu định tính Việc thu thập liệu định tính thiết kể để tạo trình học hỏi liên tục Phân tích tập liệu vấn thay đổi cần thiết cho vấn thảo luận sau Lý thứ hai việc phân tích thông tin ghi chép hết tất thứ nói đến thảo luận mở Điều đặc biệt quan trọng phải phân tích sớm tốt để nhớ khía cạnh không ghi chép • Phân tích cấu xung quanh câu hỏi thực nhóm người vấn - ví dụ, vấn tiến hành với người đứng đầu nông dân người đứng đầu làng ngày, hai tập hợp liệu phải phân tích cách độc lập • Sau năm bước sử dụng phân tích liệu định tính có từ vấn điều tra: ƒ Đọc lại câu hỏi vấn cho nhóm Điều cho phép người nhớ trọng tâm công việc giám sát, đánh giá ƒ Người ghi chép đọc to trả lời cho câu hỏi Nếu có nhiều tập ghi chép đọc tập ƒ Thảo luận câu trả lời chia sẻ bình luận khác chưa viết ra, để làm rõ điều mà người vấn nói ƒ Phân nhóm câu trả lời tóm tắt phát Đồng thời, phân nhóm câu trả lời từ thông tin thu thập tóm tắt cách xác phát Bản tóm tắt phải chiều hướng thông tin dạng: thái độ ý kiến biểu đạt có Trang số 14 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA chia sẻ đa số, thiểu số hay có số người vấn Mặc dù lượng hoá tất dạng trả lời khác nhau, nêu xu hướng ƒ Xác định thông tin không rõ ràng thiếu Xác định xem thông tin có bị thiếu không rõ ràng cần tiếp tục điều tra hoạt động giám sát, đánh giá không Trang số 15 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Các bước thực phương pháp thu thập xử lý thông tin đánh giá việc thực dự án ODA • Phần lớn hoạt động đánh giá đưa đấu thầu nhà cung cấp dịch vụ (các cán đánh giá độc lập nhóm cán đánh giá) Do cán đánh giá lúc lập kế hoạch đánh giá hoạt động đầy đủ đấu thầu cần phải có giai đoạn khởi đầu cho bước thu thập phân tích liệu • Tất quan tham gia việc thực đánh giá nên tham gia từ giai đoạn lập kế hoạch phải hiểu cách rõ ràng cách thức thực đánh giá, thực gì, tạo phải tiến hành • Nhóm đánh giá phải thực địa với bên tham gia đầu tư ODA quan tham gia, có nhà tài trợ, quan Chính phủ nhóm lân cận • Cách thức tiến hành thực địa phụ thuộc vào kế hoạch phương pháp đánh giá Nhìn chung người chịu trách nhiệm quản lý nhóm đánh giá phải thực vai trò môi giới giai đoạn này, bao gồm việc cung cấp tài liệu thư giới thiệu, xếp chuyến thực tế hẹn trước buổi vấn với bên tham gia quan tham gia tới trình thực đầu tư • Ngoài việc tiến hành vấn điều phối, người thực địa cần phải thành thạo việc ghi lại câu trả lời Việc ghi lại câu trả lời phụ thuộc vào phương pháp thu thập (ví dụ như: điền vào mẫu bảng để ghi lại câu trả lời vấn, sử dụng máy ghi âm, camêra, máy quay phim, viết mẩu bìa biểu bảng ghi chép chi tiết) • Có số điểm cần cân nhắc: ƒ Đối với mẩu liệu, xác định xem ghi lại thực hành với người thực ghi chép trước tiến hành thu thập; ƒ Thống việc ghi chép liệu; ƒ Xem xét gợi ý lưu trữ liệu – lưu trữ đâu nào? Trang số 16 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA • Việc thiết kế dạng liệu quan trọng việc trì tính quán liệu Các mẫu phải trình bày rõ ràng số đánh giá lựa chọn phải có đủ chỗ trống cho người thu thập điền liệu vào Chỗ trống phải đủ cho: ƒ Ngày tháng, địa điểm, thời gian, khoảng thời gian vấn thảo luận; ƒ Tên người ghi chép, điều hành họp; ƒ Tên người tham gia; ƒ Các chủ đề thảo luận phương pháp sử dụng; ƒ Các phát – theo mẫu cho trước, dạng từ khóa mô tả phương pháp thu thập liệu với cấu trúc mở • Các liệu phải thu thập công cụ sau lưu trữ nơi trung tâm an toàn thực địa • Nếu có sẵn liệu sở liệu chuỗi thời gian liệu thu thập công tác đánh giá so sánh với liệu đo lường trước Việc tồn liệu chuỗi thời gian thu thập trình thực phần chương trình giám sát cho phép sử dụng xu hướng số tác động đánh giá • Đánh giá tác động tính hiệu hiệu có sở ban đầu cho việc so sánh để giúp đánh giá thay đổi qua thời gian liệu thay đổi có phải dự án ODA tạo hay không Chúng ta cần phải có thông tin điểm xuất phát trước bắt đầu thực đầu tư ODA Thông tin thường biết đến “thông tin sở” Đánh giá tác động hiệu so sánh kết đo lường sau thực với điều kiện sở Chú ý việc đo lường liệu chuỗi thời gian giám sát quãng thời gian định sử dụng thông tin sở • Các liệu sở chuẩn bị tốt giúp đánh giá có hiệu Dữ liệu sở có ích không hiệu mặt kinh tế nếu: ƒ Được chuẩn bị chậm không chuẩn bị; ƒ Quá chi tiết; ƒ Quá chung chung không phù hợp với kết mục đích dự án ODA; ƒ Sử dụng mẫu lớn vượt khả phân tích Ban quản lý dự án quan thực hiện; ƒ Không có nhóm kiểm soát chứa liệu quan tham gia không nằm nhóm mục tiêu Trang số 17 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Thực hành Tên: Bài “Thực hành xác định thông tin cần thu thập, xử lý để giám sát, đánh giá ” Bài “ Xác định phương pháp thu thập, xử lý thông tin ” Mục tiêu: Giúp học viên thực hành xác định thông tin cần thiết cho hoạt động giám sát, đánh giá, xác định phương pháp thu thập thông tin phù hợp với nội dung thông tin xác định Thời gian : 60 phút cho hai tập Thực sau kết thúc mođun GS4 Mô tả : Chuẩn bị: • Chia lớp thành nhóm học viên • Giáo viên cung cấp tóm tắt dự án ODA (Mục đích, nội dung, kế hoạch thực hiện) + Nhóm tiến hành thảo luận, xác định thông tin cần phải thu thập, xử lý cho hoạt động giám sát, đánh giá dự án + Từ việc xác định thông tin cần phải thu thập xử lý cho hoạt động giám sát, đánh giá, học viên xác định phương pháp thu thập thông tin + Học viên trao đổi để đưa thông tin cần thu thập hình thành bảng hỏi yêu cầu thảo luận nhóm tập trung • Viết kết thảo luận vào giấy A0 • Trưởng nhóm trình bày kết • Cả lớp bình luận hoàn thiện • Giáo viên cung cấp thông tin thu thập, xử lý, phương pháp, kết giám sát, đánh giá dự án (đã thực hiện) để học viên tham khảo Giấy A0, giá treo giấy A0, bút viết TÀI LIỆU THAM KHẢO Trang số 18 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA TT Tên tài liệu Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Nguồn Mô tả - Tóm tắt A guide for project monitoring and evaluation – managing for impact in rural development International Fund for Agricultural Development Rome, Italy (see www.ifad.org/evaluation/)IFAD (2002) Hướng dẫn phương pháp thực giám sát, đánh giá - vận dụng vào giám sát, đánh giá dự án phát triển nông thôn Australia Monitoring and Evaluation Strengthening Project - Phase II Vietnam Monitoring and Evaluation Manual Evaluation Module.-MPI (2006) Tài liệu trình bày bao quát toàn vấn đề giám sát, đánh định nghĩa, phương pháp, cách sử dụng, ví dụ trường hơp điển hình, vấn đề vận dụng cụ thể vào giám sát, đánh giá ODA Việt nam Handbook on M&E for Results United Nations Development Program, New York, USA (see www.undp.org/eo/rbm/index.ht m) - UNDP (2002) Hướng dẫn chi tiết phương pháp thiết kế giám sát, đánh giá dự án Looking back, moving forward – SIDA Evaluation Manual Swedish International Development Agency Stockholm, Sweden (see www.sida.se/Sida/jsp/polopoly.j sp?d=1265&a=25624) - SIDA (2004) Hướng dẫn giám sát, đánh giá bao gồm định nghĩa, tiếp cận, phương pháp có phân tích thay đổi, hoàn thiện tiếp cận, phương pháp thông qua dự án cụ thể SIDA Monitoring and evaluation based on the project cycle management method Foundation for Advanced Studies on International Development Tokyo, Japan (see www.fasid.or.jp) FASID (2000) Định nghĩa, phương pháp, lợi ích, vận dụng giám sát đánh giá chu kỳ dự án Monitoring and Evaluation on a shoestring – a manual Foundation for Advanced Studies on International Development Tokyo, Japan (see www.fasid.or.jp) - FASID (2003) Tài liệu hướng dẫn cô đọng bước yêu cầu bước giám sát, đánh giá Vietnam Australia Monitoring and Evaluation Strengthening Project - Phase II Institutional Strengthening/Adult Learning Adviser Mission Report - MPI (2006) Tài liệu bao quát vấn đề liên quan tới giám sát, đánh giá dự án ODA Trang số 19 / 20 BỘ KẾ HOẠCH VÀ ĐẦU TƯ Chương trình Nâng cao Năng lực Toàn diện Quản lý ODA (CCBP) Giáo trình Đào tạo Quản lý Dự án ODA Phần I: Các kỹ quản lý dự án ODA Nhóm: Giám sát, đánh giá quản lý ODA Mođun GS4: Thu thập xử lý số liệu giám sát, đánh giá quản lý dự án ODA Sau kết thúc mođun GS4, thành viên phát 01 phiếu tự đánh giá để điền vào! Có vấn đề cần làm rõ trước tiến hành thu thập xử lý thông tin giám sát, đánh giá? Anh chị khoanh tròn vào số phù hợp! Anh chị xếp bước thu thập thông tin đánh giá theo thứ tự trình bày lớp cách điền số phù hợp vào ô tương ứng ‡ Xác định câu hỏi đánh giá? ‡ Xác định nguồn cung cấp thông tin, xác định mức khả thi phương án thay ‡ Các bên liên đới có tham gia vào thu thập xử lý thông tin đánh giá hay không? ‡ Lựa chọn phương pháp Tương tự, Anh/ chị xếp bước thu thập thông tin giám sát theo thứ tự trình bày lớp cách điền số phù hợp vào ô tương ứng ‡ Cần đến thông tin định tính hay thông tin định lượng? hay hai? ‡ Xem xét để khẳng định phương pháp lựa chọn ‡ Có nhiều lựa chọn phương pháp luận hay có một? ‡ Bạn cần biết gì? ‡ Xác định tần suất sử dụng ‡ Bạn sử dụng phương pháp thu thập liệu theo mẫu hay thu thập liệu đầy đủ? ‡ Những người khác thu thập thông tin chưa? ‡ Thử phương pháp Trang số 20 / 20