Biểu 25: AMT - một công cụ IT đơn giản để đối chiếu dữ liệu
3.6 Bước 6: Thu thập và phân tích dữ liệu
Hành trình của dữ liệu
Dữ liệu lấy từ thực địa sẽ dần được tập hợp và phân tích qua nhân viên Ban QLDA và Chủ dự án, các cơ quan đối tác và tới một điểm trung tâm nơi mà dữ liệu sẽ giúp lãnh đạo Ban quản lý dự án và Cơ quan chủ quản ra quyết định và báo cáo lên cấp trên. Bằng cách này, dữ liệu sẽ được chuyển thành thông tin và kiến thức làm cơ sở cho các quyết định. Dữ liệu chỉ là các nguyên liệu thơ và bản thân nó khơng có ý nghĩa. Dữ liệu chỉ trở nên có ý nghĩa nếu nó được tổng hợp và phân tích để có thể trở thành thông tin. Kiến thức xuất hiện khi thông tin được liên hệ ngược trở lại các hoạt động nhằm đưa ra những giải thích và rút ra các bài học giúp cấp quản lý ra quyết định. Điều quan trọng là không những cần phải lập kế hoạch thu thập dữ liệu như thế nào mà còn phải lập kế hoạch để dữ liệu được chuyển thành thông tin như thế nào. Bảng 26 trình bày một số bước cơ bản trong hành trình của dữ liệu khi thực hiện một chương trình/dự án ODA.
Các phương pháp thu thập dữ liệu và theo dõi kết quả
Phương pháp là một cách thực hiện có hệ thống và bài bản một cơng việc cụ thể. Các kỹ sư có phương pháp đo lường tiến độ xây dựng. Cán bộ y tế có phương pháp đo sức khỏe con người. Các nhà nơng học có phương pháp đo lường sản lượng cây trồng. Nhà kinh tế có phương pháp tính tốn lãi từ khoản đầu tư. Nhà nhân chủng học có phương pháp tìm kiếm các kiểu ra quyết định trong gia đình. Kế tốn viên có phương pháp lập ngân sách và báo cáo giải ngân.
Hộp công thức Tự động cập nhật Danh sách thả Nhà trài trợ Danh sách thả Đơn vị tiền tệ
Biểu 26: Hành trình của dữ liệu theo dõi
Nguồn: IFAD (2002) hướng dẫn theo dõi, đánh giá dự án (xem www.ifad.org))
Cơng tác theo dõi địi hỏi sử dụng nhiều phương pháp thu thập, phân tích, lưu trữ và trình bày thơng tin. Thường sẽ phải phối hợp nhiều phương pháp một lúc. Ví dụ, cơng tác thẩm định một dự án nơng thơn có sự tham gia có thể phải kết hợp hơn 10 phương pháp, từ đi thực địa tới chấm điểm xếp hạng theo ma trận, và đến thảo luận nhóm tập trung. Việc kết hợp nhiều phương pháp một cách có hệ thống được gọi là một phương pháp luận. Ví dụ, phương pháp luận cho một hội thảo hoặc phương pháp luận cho một điều tra cơ sở.
Các phương pháp theo dõi
Các phương pháp theo dõi được sử dụng phổ biến ở Việt Nam được mô tả trong Phụ lục 2. Các bạn cũng có thể tham khảo thêm một số nguồn trên internet cung cấp các thông tin về các phương pháp thu thập dữ liệu phù hợp với theo dõi. Các nhóm phương pháp theo dõi có thể bao gồm:
• Các phương pháp theo dõi nịng cốt (ví dụ: phân tích các bên liên quan và sử dụng các phiếu điều tra);
• Các phương pháp thảo luận nhóm (như lấy ý kiến tập thể và phân vai);
• Các phương pháp thu thập các thông tin phân bổ theo không gian (như bản đồ và sơ đồ); • Các phương pháp thu thập các mẫu thay đổi theo thời gian (như nhật ký và ảnh);
• Các phương pháp phân tích các mối quan hệ và các liên kết (như khung lơgíc, sơ đồ tác động, cây vấn đề); và
• Các phương pháp xếp hạng và đánh thứ tự ưu tiên (như ma trận, danh mục).
12 câu hỏi cần trả lời khi lựa chọn các phương pháp
12 câu hỏi này sẽ giúp lựa chọn được các phương pháp theo dõi tốt nhất
• 1. Bạn cần biết cái gì? – trước khi bắt đầu lựa chọn phương pháp, cần đảm bảo chắc chắn
tất cả các bên liên quan hiểu rõ cần thu thập những thơng tin nào trong q trình theo dõi. • 2. Các dữ liệu đó đã từng được thu thập chưa? - Các cơ quan nhà nước như Tổng cục
Thống kê, các trường đại học, các tổ chức nghiên cứu có thể có các dữ liệu có thể đáp ứng được các nhu cầu của chúng ta. Tìm hiểu xem UBND phường (xã), quận (huyện), tỉnh đã có các cơ chế báo cáo nào chưa. Kiểm tra xem các dữ liệu theo dõi cần thiết đã có sẵn hay chưa và nếu có thì có đáng tin cậy khơng.
• 3. Các dữ liệu cần chính xác đến mức nào? – chúng ta mong muốn các dữ liệu có độ
chính xác cao, nhưng khơng phải lúc nào cũng nhất thiết như vậy. Tính chính xác nói chung phải được quyết định bởi nguồn dữ liệu ít chính xác nhất. Chú ý hai khái niệm quan trọng về đánh giá nhanh được nêu ra trong Mục 4.8.
• 4. Thơng tin có liên quan đến một lĩnh vực chun mơn khơng? - nếu có, cần tham vấn
các chuyên gia hoặc một số tài liệu chi tiết trước khi lựa chọn phương pháp.
• 5. Liệu cơng việc cần làm địi hỏi phải có thơng tin định tính hay thơng tin định lượng?
– cần cân nhắc liệu câu hỏi hoạt động hay chỉ số mà bạn đang tìm kiếm phương pháp cần thơng tin định tính hay định lượng, hoặc cả hai loại thơng tin.
• 6. Các bên liên quan tham gia vào q trình thu thập hay phân tích dữ liệu như thế nào? - q trình đó có phải là q trình có sự tham gia hay khơng và nếu có thì bạn sẽ làm
việc với từng cá nhân, theo nhóm hay với cả hai loại.
• 7. Bạn sẽ thu thập dữ liệu theo cách chọn mẫu hay thu thập đầy đủ?- Nếu thu thập dữ
liệu từ tất cả các bên liên quan thì sẽ khơng có hiệu quả kinh tế. Vì vậy, người ta thường thu thập dữ liệu theo phương pháp chọn mẫu. Cần phải quyết định số lượng mẫu và làm rõ "cơ chế chọn mẫu". Cần chọn mẫu một cách kỹ lưỡng vì nó sẽ ảnh hưởng tới việc lựa chọn phương pháp nào là hợp lý, khả thi cũng như tính hợp lý của các kết luận theo dõi ban đầu. • 8. Có nhiều phương án về phương pháp luận hay chỉ có một? - đơi khi chỉ có thể lấy
được từ một phương pháp, nhưng phần lớn các trường hợp sẽ có nhiều phương án để có được thơng tin. Ngun tắc ở đây là lựa chọn phương pháp có sự tham gia nhiều nhất và chi phí thấp nhất.
• 9. Thực hiện việc lựa chọn ban đầu như thế nào- liệt kê các phương án và thực hiện công
tác lựa chọn ban đầu. Việc lựa chọn phương pháp nào sẽ phụ thuộc rất nhiều vào việc cần thơng tin gì, kỹ năng gì và mức độ chi tiết như thế nào. Cần đảm bảo các phương pháp bổ trợ cho nhau trong việc cung cấp thông tin và cũng cho phép kiểm tra chéo dữ liệu.
• 10. Liệu bạn đã lựa chọn được một phương pháp hợp lý chưa?- kiểm tra các tính chất
Khả thi Thích hợp Hợp lệ Tin cậy Phù hợp Độ nhạy cảm Hiệu quả chi phí Kịp thời
• 11. Phương pháp đó có khả thi hay khơng? – kiểm tra trước việc sử dụng phương pháp
theo dõi để đảm bảo phương pháp đó khả thi và có thể cung cấp được các thơng tin mong muốn.
• 12. Xác định tần suất sử dụng – công tác theo dõi đòi hỏi phải sử dụng nhiều lần một
phương pháp trong suốt quá trình thực hiện để so sánh với kế hoạch và rút ra những bài học.
Thu thập dữ liệu để theo dõi
Lập kế hoạch thu thập dữ liệu
Khi lập kế hoạch thu thập dữ liệu, cần phải chú ý tới các yếu tố sau đây:
• Xem xét xem ai sẽ thu thập dữ liệu – những người thu thập dữ liệu ở cấp cơ sở sẽ cần phải
có các kĩ năng phù hợp với phương pháp thu thập được lựa chọn. Đối với các phương pháp khảo sát, có thể sẽ cần phải có người phỏng vấn hoặc người hỗ trợ thảo luận nhóm. Đối với việc đo đạc kỹ thuật lại cần phải có kỹ sư và giám sát kiểm chứng. Luôn cân nhắc tất cả những yếu tố có thể ảnh hưởng tới chất lượng của dữ liệu và chất lượng các cuộc thảo luận với các bên liên quan. Các yếu tố này có thể bao gồm: tuổi tác, giới tính, trình độ và vị trí trong xã hội, trình độ học vấn, mức độ kinh tế- xã hội, tính cách và thái độ, sức khỏe, ngơn ngữ, tơn giáo và tập qn văn hóa.
• Xem xét việc phân công thu thập và phân tích dữ liệu – số người tham gia vào mỗi một
giai đoạn thu thập dữ liệu sẽ có ảnh hưởng tới độ thống nhất và tính chính xác của dữ liệu. Càng nhiều người tham gia vào quá trình này thì càng cần phải giám sát chất lượng và tổ chức kỹ hơn.
• Đảm bảo người tham gia biết sử dụng các phương pháp thu thập và phân tích dữ liệu –
đối với mỗi phương pháp, những người thực hành cần phải thử nghiệm trước và thực hành một số lần, được đào tạo ngay trong cơng việc hoặc thơng qua một số hình thức tăng cường năng lực khác.
• Đảm bảo ngôn ngữ được hiểu một cách rõ ràng: - Với điều kiện lý tưởng thì những người
xuống thực địa lấy số liệu nên hoặc nói được tiếng địa phương, hoặc phải đi cùng một phiên dịch tin cậy. Nếu có thể thì cũng nên đào tạo cho cán bộ phiên dịch các phương pháp theo dõi đã lựa chọn. .
• Chuẩn bị một số thứ cần thiết cho mỗi một phương pháp, chẳng hạn như các vật dụng -
Luôn đảm bảo tổ chức dụng cụ gọn gàng, chuẩn bị cả các dụng cụ sơ cua phục vụ cho việc đo đạc và ghi chép (văn phòng phẩm, biểu mẫu, các sơ đồ, v..v.)
Đảm bảo tính tin cậy của thơng tin
Lỗi dữ liệu
• Các lỗi chọn mẫu – lỗi này phát sinh khi thơng tin được thu thập khơng đại diện chính xác
đối tượng cần nghiên cứu. Điều này xảy ra khi ta chọn mẫu chưa chuẩn và thiếu mất một số nhóm quan trọng chẳng hạn như các hộ dân ở nơi xa xơi, hẻo lánh, khó tiếp cận được.
• Các lỗi khơng do chọn mẫu – đây là các lỗi thường gặp nhất và có các hình thức đa dạng
nhất. Có thể giảm thiểu mức độ lỗi bằng việc phân tích rõ các nguyên nhân gây lỗi sau đây:
Người phỏng vấn thiên vị – Điều này xảy ra khi người phỏng vấn can thiệp vào cách thức
người được phỏng vấn trả lời câu hỏi. Người phỏng vấn có thể tỏ ra quá thân thiện, hoặc lại làm người được phỏng vấn sợ hoặc gợi ý sẵn câu trả lời cho người được phỏng vấn.
Các phương pháp không đầy đủ – Các ngun nhân có thể bao gồm: các quy trình thu
thập số liệu quá phức tạp, không đủ bảng, biểu hoặc câu hỏi quá rối rắm.
Các lỗi xử lý – Các lỗi xử lý này có thể phát sinh trong q trình mã hóa nhầm, nhập số
liệu sai, lập trình sai hoặc khơng kiểm tra chéo số liệu.
Không trả lời – Lỗi này xảy ra khi một lượng lớn số người được hỏi không trả lời một
câu hỏi nào đó. Có thể những người này nếu trả lời sẽ có ý kiến khác hẳn với những người đã trả lời.
Xác minh dữ liệu
Cần phải thường xuyên xác minh, kiểm chứng số liệu. Việc thường xuyên kiểm tra để đảm bảo số liệu đó chính xác và hợp lý cũng đảm bảo được tiến trình thực hiện đầu tư được theo dõi một cách chính xác. Dữ liệu định lượng thường dễ kiểm tra một cách trực tiếp hơn các dữ liệu định tính. Có thể đảm bảo được việc kiểm chứng được hiệu quả bằng cách tiến hành kiểm tra ở những thời điểm nêu sau đây:
• Tại thời điểm bắt đầu thực hiện- khi sử dụng các dữ liệu sẵn có, kiểm tra xem dữ liệu đó xuất phát từ đâu, ai đã thu thập các dữ liệu đó và sử dụng các phương pháp gì;
• khi sử dụng một phương pháp mới;
• khi các mục tiêu và số liệu lại khớp với nhau một cách tuyệt đối;
• khi làm việc với một cán bộ cơ sở, đối tác thực hiện, nhân viên mới, v.v.
Luôn luôn cảnh giác với các dữ liệu đáng ngờ. 3 dấu hiệu sau có thể báo hiệu số liệu đó có thể khơng đúng:
• Dữ liệu q chính xác, khơng thực tế – Chỉ số thường được sử dụng nhất là khi tiến trình
thực hiện ln đạt được gần 100%, và khi tháng nào việc thực hiện luôn đạt mục tiêu đối với tất cả các chỉ số. Đây rõ ràng là một dấu hiệu cảnh báo rằng dữ liệu được BQLDA báo cáo theo những gì họ nghĩ là nhà tài trợ muốn thấy chứ khơng phải tình hình hoạt động thực tế. • Các biến động lớn, đột ngột về số liệu – nếu thấy các biến động này, người quản lý có thể
nghi ngờ thơng tin khơng thống nhất và khơng chính xác.
• Khoảng cách trong các dữ liệu – Một số lượng lớn khơng trả lời câu hỏi có thể do lỗi chọn
mẫu, hoặc cách chọn phương pháp thu thập thơng tin chưa hợp lý. Có thể kiểm chứng dữ liệu theo một vài phương án sau:
• Lập một nhóm làm việc gồm những người làm việc trong bộ phận theo dõi và cơ quan đó để kiểm tra và xác minh thơng tin.
• Sử dụng các nguồn lực bên ngoài hoặc chuyên gia để kiểm tra chéo và kiểm chứng thông tin bằng cách tiến hành thêm một số hoạt động thu thập thơng tin.
• Kết hợp nhiều phương pháp là một kỹ năng quan trọng - điều này có nghĩa là cùng một thơng tin nhưng lấy từ nhiều nguồn và sử dụng nhiều phương pháp.
• Sử dụng phần mềm máy tính để kiểm tra dữ liệu bên ngoài hoặc kết hợp các dữ liệu không thống nhất. Khi được xây dựng, phần mềm này sẽ kiểm tra các lỗi đó.
• Nếu sử dụng các thiết bị máy tính để nhập dữ liệu tại nguồn, sẽ có dấu nhắc cho những người phỏng vấn để sửa lỗi ngay lập tức.
Ghi chép dữ liệu
Ngoài việc tiến hành phỏng vấn hoặc hỗ trợ thảo luận nhóm, các cán bộ cơ sở cũng cần phải thành thạo trong việc ghi chép thông tin nhận được. Việc ghi chép phụ thuộc vào phương pháp thu thập dữ liệu (ví dụ như điền vào các mẫu, biểu để ghi lại các câu trả lời phỏng vấn, dùng băng ghi âm, máy quay, ghi chép vào các mẫu biểu và các sơ đồ có sắn, hoặc ghi chép cụ thể, chi tiết).
Có một vài điểm cần lưu ý ở đây:
• đối với mỗi loại thông tin, cần xác định rõ cần ghi chép thơng tin đó như thế nào. Cần thực hành trước khi tiến hành thu thập dữ liệu thực tế;
• luôn nhất quán về cách thức ghi chép dữ liệu;
• xem xét các yếu tố liên quan tới việc lưu trữ dữ liệu - nên lưu trữ dữ liệu ở đâu, lưu trữ như thế nào và ai là người chịu trách nhiệm?
Cũng nên thiết kế sẵn một số form mẫu số liệu để đảm bảo số liệu được thu thập một cách nhất quán. Các form mẫu cần phải phản ánh được các chỉ số theo dõi và phải có chỗ để người thu thập thông tin điền vào. Trong form mẫu cần dành đủ chỗ để điền được các thơng tin sau đây: • ngày, tháng, năm, địa điểm, thời gian và thời lượng phỏng vấn hoặc thảo luận;
• tên người phỏng vấn/hướng dẫn thảo luận; • tên những người tham gia;
• các chủ đề được thảo luận và các phương pháp được sử dụng;
• các phát hiện chính - hoặc duới dạng mẫu đã định sẵn, hoặc dưới dạng từ khóa và mơ tả chi tiết nên cách thức thu thập số liệu thực hiện dưới dạng mở.
Tổng hợp, phân tích và lưu trữ dữ liệu
Các dữ liệu sau khi được thu thập cần được sắp xếp theo một số trình tự nhất định để dễ quản lý và phân tích. Để làm được điều đó, cần phải chuyển dữ liệu sang một dạng format một cách hệ thống, nhập thông tin thu thập được từ mỗi người/nhóm được phỏng vấn và sắp xếp theo một mẫu chung, chẳng hạn như sắp xếp vào trong một cơ sở dữ liệu máy tính.