Xác định được các loại chỉ báo cần thiết cho hoạt động giám sát, đánh giá việc thực hiện dự án ODA Xây dựng được các chỉ báo giám sát, đánh giá cụ thể trong quản lý dự án ODA Người h
Trang 1Kết thúc mođun GS3 bạn có khả năng:
Phân biệt được các loại chỉ báo giám sát, đánh giá trong quản lý dự án ODA
Xác định được các loại chỉ báo cần thiết cho hoạt động giám sát, đánh giá việc thực hiện dự án ODA
Xây dựng được các chỉ báo giám sát, đánh giá cụ thể trong quản lý dự án
ODA
Người học đã từng tham gia vào các hoạt động quản lý dự án ODA
Trao đổi tích cực giữa giáo viên và người tham gia đào tạo Giáo viên chủ
động đưa ra các câu hỏi cơ bản để quá trình trả lời, trao đổi sẽ là quá trình tự
tổng hợp kiến thức của người học
Thực hành xây dựng các chỉ báo giám sát, đánh giá cụ thể theo một dự án
ODA do giáo viên cung cấp
Người học tự thực hiện phần Kiểm tra – Đánh giá sau khi kết thúc mođun
Tài liệu Mođun GS3: Xây dựng các chỉ báo giám sát, đánh giá trong quản lý
dự án ODA
Tài liệu tóm tắt nội dung đã trao đổi
Một số các chỉ báo giám sát, đánh giá dự án thường được các dự án sử dụng
1 Giáo viên trình bày những nội dung cơ bản nhất
2 Người học trao đổi trong nhóm và thảo luận giữa các nhóm với nhau
3 Trình bày những thống nhất và kết luận
4 Tự đánh giá kết quả học tập
Mođun GS3: XÂY DỰNG CÁC CHỈ BÁO GIÁM SÁT, ĐÁNH GIÁ TRONG QUẢN LÝ DỰ ÁN ODA
Trang 2Những nội dung cơ bản của mođun này
1 Khái niệm cơ bản về chỉ báo và chỉ báo giám sát, đánh giá
Trang 3
2 Đặc điểm của các chỉ báo giám sát, đánh giá
Trang 4
3 Các loại chỉ báo giám sát, đánh giá
Trang 7
4 Nguyên tắc xây dựng các loại chỉ báo giám sát, đánh giá
Trang 11
5 Phương pháp xây dựng các loại chỉ báo giám sát, đánh giá
Trang 13
Trang 31 Khái niệm cơ bản về chỉ báo và chỉ báo giám sát, đánh giá
• Chỉ báo là mức độ cụ thể có thể đo, đếm được của các mục tiêu hoặc của sự thay đổi mà dự án ODA tác động Ví dụ, mục tiêu của dự án ODA là nhằm “xoá đói
giảm nghèo” thì các chỉ báo có thể là “số hộ nghèo giảm” hoặc “số tháng thiếu lương thực giảm”
• Xây dựng chỉ báo là quy trình thao tác các vấn đề hoặc nội dung rất chung, ví dụ
“hiệu quả”, “kết quả” hay “sự tham gia của người dân” thành các vấn đề, nội dung cụ thể có thể đo, đếm được, có thể đưa được vào bảng hỏi
Bảng 1: Ví dụ về một số chỉ báo
- Mức độ hoàn thành công
việc - Số cuộc họp với người hưởng lợi được tổ chức - Số giếng khoan được hỗ trợ xây dựng
- Hiệu quả của dự án - Số hộ được dùng nước sạch sau dự án
- Tỷ lệ bệnh tật do nước (water-born diseases) giảm so với trước dự án
- Mức độ bền vững của dự
án - Hiệu quả của dự án đang được nhân rộng - Các thôn/xóm trong khu vực dự án tổ chức được
nhóm tự quản, sửa chữa đường ống nước sạch và duy trì được đường ống do dự án hỗ trợ
- Tiếp cận dịch vụ xã hội - Số lượng trẻ em đến tuổi đi học được đến trường tiểu
học địa phương
- Phạm vi hoạt động - Tỷ lệ bà mẹ trong số 20% các hộ gia đình nghèo nhất
được cán bộ y tế địa phương chăm sóc
- Mức độ sử dụng Tần suất sử dụng con đường mới ở địa phương
• Chỉ báo giám sát là các mức độ cụ thể hoá có thể đo, đếm được của việc triển khai thực hiện dự án và kết quả dự án Ví dụ, tiến độ thực hiện dự án thì cần có
chỉ báo “số hoạt động đã được thực hiện theo kế hoạch” “số đầu ra của dự án”
• Chỉ báo đánh giá là cụ thể hoá có thể đo đếm được của kết quả dự án, hiệu quả
dự án, tác động của dự án, sự phù hợp của dự án và mức độ bền vững của dự án
Thực chất, chỉ báo trả lời cho các câu hỏi như “hiệu quả của dự án là gì?” hay “tác động của dự án như thế nào” câu trả lời cụ thể cho các câu hỏi như thế chính là chỉ báo Chỉ báo là phải mô tả được và đo đếm được, khi mức độ đo đếm được thể hiện bằng con số hoặc phần trăm cụ thể thì lúc đó nó là chỉ số Ví dụ, chỉ báo của
tác động dự án cung cấp nước sạch là “nâng cao nhận thức của người dân về sử
Trang 4dụng nước sạch hoặc tỷ lệ bệnh tật do dùng nước giảm so với trước khi có dự án
Tỷ lệ % hay con số cho các chỉ báo này gọi là chỉ số
2 Đặc điểm của các chỉ báo giám sát, đánh giá
• Có hai đặc điểm cơ bản của các chỉ báo giám sát, đánh giá đó là:
Chỉ báo phụ thuộc vào cách thao tác các câu hỏi giám sát, đánh giá, đặc biệt là
các câu hỏi cái gì và vì sao? Chỉ báo giám sát, đánh giá phụ thuộc vào quá
trình thao tác câu hỏi giám sát, đánh giá Ví dụ về sự khác nhau trong vấn đề xác định câu hỏi giám sát, đánh giá và sự khác nhau về chỉ báo được thao tác
có thể nhận thấy như sau:
Dự án có bền vững về hiệu quả - Hiệu quả có được nhân rộng và duy trì lâu
dài sau khi kết thúc dự án
Dự án có bền vững ở khía
cạnh nhân sự
- Cán bộ tham gia dự án có nâng cao được năng lực chuyên môn Năng lực cán bộ dự
án có phù hợp với công việc được giao
- Sau khi kết thúc dự án, cán bộ dự án có thể tham gia vào các dự án tương tự
Chỉ báo có nghĩa là phải đo đạc được và mô tả được Đây là đặc điểm quan trọng nhất của chỉ báo Đo đạc được thì có thể bằng chỉ báo định lượng hoặc định tính Yêu cầu về sự đo đạc được ở đây chính là xác định chỉ số Ví dụ về mức độ đo đạc được của chỉ báo:
Mức độ thiếu lương thực
quy mô hộ gia đình giảm
- số hộ thiếu lương thực/năm giảm
- Tỷ lệ hộ thiếu lương thực trên 6 tháng/năm giảm
Số học sinh đến trường
tăng - Số học sinh nữ đến trường tăng - Số học sinh nữ dân tộc thiểu số đến trường tăng
• Để xây dựng được các chỉ báo với những đặc điểm nêu trên, nguyên tắc SMART thường được vận dung SMART nghĩa là:
S (Simple, Specific) Đơn giản, cụ thể
A (Attributable, Attainable) Tính cấu thành
R (Reliable, Relevant) Đáng tin cậy, phù hợp
Trang 5Ngoài các tiêu chí này, các nhà tài trợ đôi khi sử dụng các tiêu chí bổ sung Ví dụ, JICA nêu ra 4 tiêu chí để xác định một chỉ số tốt: trực tiếp, hợp lệ; khách quan; thực tiễn và tương xứng Tương tự, UNDP dùng những từ khác với SMART nhưng có cùng một nghĩa WB sử dụng các các chữ đầu viết tắt là CREAM Tất cả các tiêu chí này đều phù hợp nhưng tiêu chí SMART là tiêu chí nền tảng được tất
cả các nhà tài trợ sử dụng
Bảng 2: Tiêu chí SMART và các câu hỏi xác nhận
Có mô tả chính xác sẽ được đo lường cái gì không?
Đã rõ cái gì sẽ được đo lường chưa?
Chỉ số có rõ ràng không?
Mức độ phân giải hợp lý đã được cụ thể hoá chưa?
Nó có nắm bắt được sự khác nhau giữa các khu vực và các nhóm người khác nhau hay không?
Chỉ số có đủ cụ thể để đo lường tiến độ thực hiện nhằm đạt được kết quả mong muốn hay không?
Đo lường
được
Những thay đổi có thể kiểm chứng khách quan hay không?
Chỉ số sẽ chỉ ra được những thay đổi mong muốn hay không?
Chỉ số có phải là một thước đo rõ ràng và đáng tin cậy về các kết quả hay không?
Chỉ số có biểu lộ được những thay đổi trong các chương trình và chính sách hay không?
Các cơ quan tham gia có thống nhất về những cái được đo lường hay không
Tính cấu
thành
Chỉ số có mối quan hệ rõ ràng với mục tiêu được đo lường hay không? Những thay đổi nào được dự đoán là kết quả của hoạt động phát triển? Các kết quả có mang tính hiện thực hay không? Đối với câu hỏi này thì cần phải có mối quan hệ đáng tin cậy giữa đầu ra, sự đóng góp của các quan hệ đối tác và kết quả
Chỉ số có liên quan đến đầu ra và kết quả dự kiến hay không?
Chỉ số có thể được đo lường một cách thống nhất và rõ ràng hay không?
Chỉ số có gắn liền với hoạt động đầu tư một cách đáng tin cậy hay không?
xuyên hay không?
Dữ liệu thu thập có được xử lý và báo cáo cho các bên liên quan kịp thời
và hiệu quả hay không?
Các số liệu chỉ số có thể có được với mức chi phí và cố gắng hợp lý hay không?
Có biết các nguồn số liệu hay không? Có cần thiết phải xây dựng các nguyên tắc, cơ chế và trách nhiệm thu thập số liệu hay không?
Đã có kế hoạch giám sát chỉ số hay chưa?
Trang 6 Tổng kết từng chỉ số tiềm năng để đảm bảo rằng chúng đạt được các tiêu
chí SMART Bảng 3 dưới đây đưa ra hướng dẫn để xác định một chỉ số có
chất lượng tốt hay không
Bảng 3: Đánh giá chất lượng của các chỉ số
Chỉ số đơn giản, có thể đo lường
được, có tính cấu thành, phù hợp và
kịp thời
Sử dụng chỉ số
Chỉ số có thể đo lường được, phù
hợp và đơn giản, nhưng không có
tính cấu thành
Sử dụng chỉ số và cố gắng tìm thêm thông tin bổ sung hoặc thêm các chỉ số cho đến khi cảm thấy có thể trả lời được các câu hỏi thực hiện theo một cách cấu thành
Chỉ số có thể đo lường được, có tính
cấu thành và đơn giản, nhưng không
phù hợp lắm
Chỉ số có đủ tin cậy để sử dụng hay không nêu mọi người biết được thiếu sót của chỉ số đó? Nếu được, sử dụng chỉ số
đó và cố gắng tìm kiếm thêm thông tin để
có thể có một bức tranh đáng tin cậy hơn Nếu không, loại bỏ chỉ số và cố gắng tìm chỉ số thay thế
Chỉ số có thể đo lường được, có tính
cấu thành và phù hợp, nhưng không
đơn giản
Chỉ số khác hoặc tập hợp các chỉ số khác
có thể phản ánh đầu ra và kết quả một cách hợp lý hay không? Nếu được thì loại
bỏ chỉ số đó Nếu không, kiểm tra lại tính khả thi của chỉ số Có thể sẽ có một cách khác sáng tạo hơn và hiệu quả hơn về mặt chi phí để có được số liệu cần thiết
Chỉ số có thể đo lường được và đơn
giản nhưng không phù hợp và không
có tính cấu thành
Chỉ số có phù hợp và đơn giản đủ để sử dụng hay không nếu mọi người biết được thiếu sót của nó? Nếu như vậy, sử dụng chỉ số và cố gắng tìm kiếm những thông tin bổ sung để có được một bức tranh tin cậy hơn Nếu không sẽ loại bỏ chỉ số và
cố tìm kiếm chỉ số khác thay thế Trong bất cứ trường hợp nào, khi mà chỉ số có hai vấn đề cơ bản thì người ta sẽ loại bỏ
nó hơn là sử dụng nó
Chỉ số đơn giản nhưng không thể đo
lường được hoặc không có tính cấu
thành hoặc không phù hợp
Không tiếp tục với chỉ số nữa
Nguồn: IFAD (2002) Hướng dẫn theo dõi và đánh giá dự án
Trang 73 Các loại chỉ báo giám sát, đánh giá
• Về cơ bản có hai loại chỉ báo sử dụng cho cả giám sát và đánh giá, cụ thể là:
Ví dụ, nhận thức về vấn đề sử dụng nước sạch được nâng cao; hay vai trò của phụ nữ được khẳng định hơn trong thực tế giám sát và đánh giá, chỉ báo định tính thường được phản ánh gián tiếp thông qua chỉ báo định lượng, ví dụ, 30 % số hộ tiếp cận được nước sạch do dự án hỗ trợ, sau khi có dự án, thêm 45% số hộ không được sử dụng nước sạch do dự án hỗ trợ nhưng tự xây dựng các công trình nước sạch của hộ gia đình Như vậy, chỉ báo định tính có thể là “ý thức về việc sử dụng nước sạch trong thôn/xóm ngày càng tăng”
• Chỉ báo định tính và chỉ báo định lượng đều có những ưu và nhược điểm Chỉ báo định lượng làm rõ được quy mô của vấn đề nhưng khó diễn tả được nguyên nhân
và bản chất vấn đề Ngược lại, chỉ báo định tính cho biết được nguyên nhân, bản chất của vấn đề nhưng lại khó khái quát về “diện” của vấn đề Chính vì thế, trong hoạt động giám sát và đánh giá dự án hiện nay, việc kết hợp sử dụng cả chỉ báo định tính và định lượng là một xu hướng phổ biến
• Chỉ báo có thể có bản chất khác nhau phụ thuộc vào nhận thức của người sử dung
Ví dụ, nhiều dự án coi nước mưa, hoặc nước giếng khoan là “nước sạch” (vì đầu
ra của dự án này là hỗ trợ lu đựng nước mưa cho người vùng cao và nước giếng khoan cho vùng thấp) Nhưng dự án cung cấp nước sạch khác, trong quá trình điều tra thực trạng sử dụng nước của hộ gia đình lại có thể coi nước mưa và nước giếng khoan là “nước không đảm bảo” thậm chí là nước nguy hiểm đến mức khoẻ
Là việc xác định các vấn đề và sự thay đổi thông qua các diễn giải, không phải bằng các con số, mà bằng sự
mô tả mà thông qua sự mô tả này thì hầu hết mọi người đều có cảm nhận giống nhau
Chỉ báo
định tính
Là việc xác định các vấn đề và sự thay đổi bằng các con
số cụ thể, ví dụ bao nhiêu km đường đã được xây dựng, bao nhiêu hộ gia định có thu nhập tăng lên
Chỉ báo
định lượng
Trang 8Trong giám sát và đánh giá dự án hiện nay thường sử dụng 5 nhóm chỉ báo tương
Thực tế tồn tại rất nhiều cách phân loại chỉ báo tuỳ vào tiếp cận và người thực
ảng 4 dưới đây đưa ra ví dụ về các loại chỉ báo thường được sử dụng cho hoạt động
•
ứng với 5 nội dung cơ bản của giám sát và đánh giá, đó là:
•
hiện giám sát, đánh giá Chẳng hạn có thể phân loại thành các chỉ báo nhận thức (nhận thức của người hưởng lợi chẳng hạn) hoặc chỉ báo về nhận thức, thái độ, hành vì (hay gọi là nghiên cứu KAP- Knowledge, Attitude, Practice )
B
giám sát, và Bảng 5 minh hoạ các chỉ báo thường được sử dụng trong đánh giá dự án ODA
Nhóm chỉ báo
nhóm chỉ báo hiệu quả
nhóm chỉ báo số lượng
nhóm chỉ báo về tác động
nhóm chỉ báo về sự phù hợp
nhóm chỉ báo về sự bền vững
Trang 9Bảng 4: Ví dụ về các dạng chỉ báo được sử dụng cho hoạt động giám sát
Chỉ báo định
lượng đơn giản
- % vỉa hè đã hoàn thành
- % kế hoạch được thực hiện
- Số lượng người (ngày) được tập huấn về vấn đề X
- Sản lượng bình quân hoa màu X ở khu vực Y
Chỉ báo này đòi hỏi đo lường theo đơn vị định lượng đơn giản
Chỉ báo định
lượng phức tạp
Số tháng các hộ gia đình bị thiếu lương thực
Liên quan đến một số các mẩu tin khác nhau Các tháng, các hộ gia đình, xác kiểu thiếu lương thực Chỉ báo sẽ không có
nghĩa nếu không cụ thể được nhóm hộ gia đình nào đang thiếu loại lương thực nào, và
ở mức độ nào
Chỉ báo phức
hợp - Số hộ sử dụng nước hoạt động hiệu quả trong khu vực có dự án
- Số kế hoạch phát triển nông thôn đáp ứng các tiêu chí tài trợ
Các chỉ báo này bao gồm một tiêu chuẩn cần xác định và đánh giá “Hoạt động hiệu quả” cần được xác định rõ và có nghĩa là chất lượng của từng hội phải được đánh giá
Tương tự, các kế hoạch của làng xã cần phải được đánh giá theo các tiêu chí tài trợ Chỉ có như thế thì sau đó các kế hoạch mới được tính
Chỉ báo so
sánh
Chỉ báo thực hiện hệ thống tưới tiêu Chỉ báo so sánh kết hợp một số chỉ báo để
có thể so sánh Chỉ báo phát triển con người là một ví dụ điển hình Làm việc với các chỉ báo so sánh này là rất phức tạp về mặt thống kê và do đó thường không được
sử dụng phổ biến trong giám sát, đánh giá Chỉ báo đại
diện
% các hộ gia đình có xe máy Đây là một chỉ báo không chính xác nhưng
được sử dụng để ước lượng Ví dụ này có thể là chỉ báo đại diện cho mức giàu có nhất định ở một khu vực nơi mà các hộ gia đình cần phải có được mức thu nhập nhất định để có thể mua được xe máy
Chỉ báo định
tính mở
Nhận thức của các đối tượng liên quan về toàn bộ quá trình thực hiện
dự án ODA
Thông tin định tính mở có thể giúp bạn biết được cái gì là quan trọng đối với mọi người Các câu hỏi mở cho phép thu thập thông tin
về những cái mà ta chưa nghĩ tới để hỏi
Chỉ báo định
tính có trọng
tâm
Nhận thức của các đối tượng liên quan về một khía cạnh cụ thể của việc thực hiện
Thông tin định tính có trọng tâm rất quan trọng khi chúng ta cần các thông tin cụ thể
Nguồn: IFAD (2002) Hướng dẫn theo dõi và đánh giá dự án
Trang 10Bảng 5: Ví dụ các loại chỉ báo khác nhau dùng trong đánh giá
Chỉ báo định
lượng đơn giản
- Số km đường được xây dựng
- Số lượng bác sĩ được đào tạo
- Thay đổi trong sản lượng chè của một tỉnh
Chỉ báo này chỉ yêu cầu đo lường một đơn vị định lượng và hữu hình
Chỉ báo định
lượng phức tạp
Số tháng bình quân mà các hộ gia đình bị thiếu lương thực
Liên quan đến một số các mẩu tin khác nhau Các tháng, các hộ gia đình, các kiểu thiếu lương thực Chỉ báo sẽ không có nghĩa nếu không cụ thể được nhóm hộ gia đình nào đang thiếu loại lương thực nào và ở mức độ nào
Chỉ báo phức
hợp
- Tỷ lệ hiệp hội người sử dụng nước sạch hoạt động có hiệu quả
- Số lượng các kế hoạch phát triển xã được thực hiện
Các chỉ báo này bao gồm một tiêu chuẩn cần xác định và đánh giá “Hoạt động hiệu quả” cần được xác định rõ và có nghĩa là chất lượng của từng hội phải được đánh giá
Tương tự, các kế hoạch của làng xã cần phải được đánh giá theo các tiêu chí tài trợ Chỉ có như thế thì sau đó các kế hoạch mới được tính
Chỉ báo so
sánh
Chỉ báo thực hiện của hệ thống
y tế
Chỉ báo so sánh kết hợp một số chỉ báo để có thể
so sánh Chỉ báo phát triển con người của UNDP
là một thí dụ điển hình Làm việc với các chỉ báo
so sánh này là rất phức tạp về mặt thống kê và
do đó thường không được sử dụng phổ biến trong giám sát và đánh giá
Chỉ báo đại
diện
Chiều hướng học tiếp bậc trung học cơ sở tính theo tỷ lệ % tổng
số (như là một chỉ báo đại diện cho thu nhập hoặc nghèo đói của hộ gia đình)
Đây là một chỉ báo không chính xác nhưng được
sử dụng như là một dấu hiệu của sự thay đổi Chỉ báo trong ví dụ này có thể là chỉ báo đại diện cho mức độ giàu có nhất định trọng một khu vực mà dịch vụ giáo dục là đắt và các học sinh ở độ tuổi trung học cơ sở là những lao động cần thiết trong các hộ gia đình nghèo nhất
Chỉ báo định
tính mở
Nhận thức của các bên liên quan về tác động tổng thể của hoạt động đầu tư
Thông tin định tính mở có thể giúp bạn biết được cái gì là quan trọng đối với mọi người Các câu hỏi mở cho phép thu thập thông tin về những cái
mà ta chưa nghĩ tới để hỏi
Chỉ báo định
lượng có trọng
tâm
Nhận thức của các bên liên quan về những thay đổi trong
kế sinh nhai, việc trao quyền hoặc thu nhập của hộ gia đình
Thông tin định tính có trọng tâm rất quan trọng khi chúng ta cần các thông tin cụ thể
) Việc phối hợp xác định các chỉ báo đòi hỏi một quá trình dàn xếp xem "thành công" đối với từng nhóm đối tượng liên quan có nghĩa là gì Điều này đòi hỏi phải có thời gian Quá trình dàn xếp này rất quan trọng, khi mà các quan điểm và các ưu tiên khác nhau cần được giảm xuống tới một số lượng giới hạn các chỉ báo Cần đảm bảo