MỤC TIÊU: Sau khi học xong bài này, sinh viên có thể: 1. Trình bày được các khái niệm và các tiêu chuẩn liên quan đến lượng giá hoạt động giáo dục sức khỏe 2. Liệt kê được những nhóm nhân sự thực hiện việc lượng giá 3. Nắm được các phương pháp lượng giá kiến thức, thái độ, hành vi và cách thu thập những thông tin định tính liên quan đến chương trình 4. Ứng dụng để lượng giá các hoạt động và chương trình giáo dục sức khỏe. 1. ÐẠI CƯƠNG Ðây là một hoạt động hết sức quan trọng trong tiến trình thực hiện một chương trình GDSK mà đôi khi ta không quan tâm hoặc không có điều kiện để thực hiện. Trong lượng giá ta tiến hành thu thập các số liệu tương ứng với các chỉ báo mục tiêu đã đề ra nhằm mục đích để biết ta đã thực hiện đạt, vượt hay không đạt mục tiêu từ đó làm cơ sở đánh giá, rút kinh nghiệm cho các chương trình GDSK sau. Cụ thể trong GDSK, các mục tiêu cần lượng giá là: Kiến thức (KT, Knowledge) Thái độ (TĐ, Attitudes) Niềm tin (NT, Beliefs) Thực hành (TH, Practices) hay hành vi (HV, Behavior). Đây còn gọi là lượng giá kết quả (outcome evaluation). Ngoài ra trong một chương trình GDSK còn một hoạt động lượng giá khác gọi là lượng giá tiến trình (process evaluation) trong đó ta theo dõi để nắm được các chỉ số liên quan đến đầu ra (output) của chương trình ví dụ các hoạt động đã thực hiện, số tài liệu được phát, số người được cung cấp thông tin… Hoạt động lượng giá này cũng rất quan trọng đặc biệt khi không thực hiện được lượng giá tác động bởi vì khi một người được cung cấp thông tin thì nhiều khả năng họ sẽ thay đổi KT, TĐ, NT, HV.
LƯỢNG GIÁ CHƯƠNG TRÌNH GIÁO DỤC SỨC KHỎE ThS, BS Trương Trọng Hoàng MỤC TIÊU: Sau học xong này, sinh viên có thể: Trình bày khái niệm tiêu chuẩn liên quan đến lượng giá hoạt động giáo dục sức khỏe Liệt kê nhóm nhân thực việc lượng giá Nắm phương pháp lượng giá kiến thức, thái độ, hành vi cách thu thập thông tin định tính liên quan đến chương trình Ứng dụng để lượng giá hoạt động chương trình giáo dục s ức khỏe ÐẠI CƯƠNG Ðây hoạt động quan trọng tiến trình thực chương trình GDSK mà đơi ta khơng quan tâm khơng có ều ki ện đ ể thực Trong lượng giá ta tiến hành thu thập số liệu tương ứng với báo mục tiêu đề nhằm mục đích để bi ết ta th ực hi ện đ ạt, v ượt hay khơng đạt mục tiêu từ làm sở đánh giá, rút kinh nghi ệm cho ch ương trình GDSK sau Cụ thể GDSK, mục tiêu cần lượng giá là: - Kiến thức (KT, Knowledge) - Thái độ (TĐ, Attitudes) - Niềm tin (NT, Beliefs) - Thực hành (TH, Practices) hay hành vi (HV, Behavior) Đây gọi lượng giá kết (outcome evaluation) Ngồi chương trình GDSK hoạt động lượng giá khác gọi lượng giá tiến trình (process evaluation) ta theo dõi để nắm s ố liên quan đến đầu (output) chương trình ví dụ hoạt động thực hiện, số tài liệu phát, số người cung cấp thông tin… Hoạt động lượng giá quan trọng đặc biệt không thực l ượng giá tác đ ộng b ởi người cung cấp thơng tin nhiều khả họ thay đổi KT, TĐ, NT, HV DUY TRÌ TÁC ĐỘNG LÀM MUỐN ĐẦU VÀO CHƯA BIẾT BIẾT ĐẦU RA Lượng giá tiến trình Lượng giá kết Lượng giá tác động Cũng cần nói thêm lượng giá không ho ạt đ ộng kỹ thu ật mà ý thức Lượng giá có nhiều mức độ: có lượng giá chương trình lớn, hoạt động lớn có lượng giá hoạt động nhỏ đơn nội dung, thông điệp GDSK Cần quan tâm th ực hi ện việc lượng giá Lượng giá khơng ch ỉ nhằm vào vi ệc thu thập số liệu báo cách định lượng mà cần quan tâm đ ến thơng tin định tính: mức độ quan tâm, cảm nhận đối tượng thụ hưởng chương trình, yếu tố định tính dẫn đến kết đạt hay không đạt tiêu v.v… TIÊU CHUẨN CỦA HOẠT ĐỘNG LƯỢNG GIÁ CDC khuyến cáo sử dụng 30 tiêu chuẩn xếp vào nhóm Ủy ban phối hợp Tiểu chuẩn đánh giá giáo dục (Joint Committee on Standards for Educational Evaluation) năm 1994: * Hữu dụng (Utility) Một số câu hỏi thiết yếu cần trả lời: − Ai cần kết lượng giá? − Việc lượng giá cung cấp thông tin thích đáng kịp thời cho họ? * Khả thi (Feasibility) − Các hoạt động lượng giá có thực phương di ện thời gian, ngu ồn lực chuyên môn? − Lượng giá đảm bảo tiêu chuẩn nào? * Tính thiện (Propriety) − Lượng giá có nhằm bảo vệ quyền an sinh cá nhân? − Nó có lơi người chịu ảnh hưởng trực tiếp chương trình thay đổi chương trình, chẳng hạn người tham gia cộng đồng? * Chính xác (Accuracy) − Lượng giá có thu kết có giá trị (valid) tin cậy (reliable) khơng, tính đến nhu cầu người s dụng kết qu ả đó? NHÂN SỰ THỰC HIỆN VIỆC LƯỢNG GIÁ Về nhân thực việc lượng giá có ý ki ến cho r ằng cần ph ải nh người bên chương trình để kết lượng giá khách quan, đồng thời người bên người làm lượng giá chuyên nghiệp vi ệc lượng giá bảo đảm xác Người thực chương trình cần tham gia lượng giá nhiều lý Thứ họ hiểu biết chương trình GDSK, điểm mạnh điểm yếu, thứ hai quan trọng hơn, họ trực ti ếp thu nh ận ý ki ến ph ản h ồi mặt thành cơng thất bại chương trình từ làm c s cho việc tìm kiếm giải pháp củng cố cải ti ến chương trình Ngồi vi ệc nh ận phải hồi lượng giá giúp cho người thực hi ện chương trình có niềm vui, khích lệ thật nỗ lực họ mang lại l ợi ích cho đối tượng Ngồi người thực chương trình ta có th ể lơi đối tượng đích tham gia vào việc lượng giá Ðây phương pháp lượng giá có tham gia cộng đồng xem chương trình GDSK l ượng giá m ột công việc đo đạc hiệu chương trình từ cộng đồng ho ạch định biện pháp khắc phục khó khăn phát huy mạnh chương trình Lượng giá để làm tốt kiểm tra để trừng phạt, nhân thực việc lượng giá không thiết phải người bên ngồi chương trình mà tốt hết nên kết hợp thành phần: người bên ngồi, người thực đối tượng đích chương trình THỜI ĐIỂM THỰC HIỆN VIỆC LƯỢNG GIÁ Việc lượng giá việc thực vào thời điểm cuối chương trình thực sau giai đoạn để kịp thời điều chỉnh kế hoạch bảo đảm cho việc đạt mục tiêu vào cuối chương trình Ngồi việc lượng giá chương trình, có lượng giá hoạt động ta xem xét việc đạt mục tiêu cụ thể hoạt động, ví d ụ l ượng giá sau buổi GDSK Nói cách khác lượng giá sớm có nhiều hội để điều chỉnh hoạt động chương trình GDSK cho phù hợp hiệu CÁCH THỨC THỰC HIỆN VIỆC LƯỢNG GIÁ Ðể biết chương trình đạt hay khơng đạt mục tiêu GDSK m ột nhóm đối tượng cụ thể, ta tiến hành nhiều hoạt động thăm dò từ đơn giản đến phức tạp Ngoài ứng với nội dung l ượng giá ta lại có nh ững phương pháp cụ thể đặc thù 5.1 Lượng giá Kiến thức, Thái độ, Niềm tin Tùy quy mô lượng cách thức tiến hành có khác nhau: − Quy mơ nhỏ: sau buổi GDSK nhóm (nói chuyện, thảo luận nhóm ) + Ghi nhận hiểu biết qua ý kiến, thắc mắc thành viên tham dự + Ghi nhận trả lời qua hoạt động thi đố + Ghi nhận thái độ, niềm tin qua phát biểu + Chọn ngẫu nhiên số thành viên tham dự để hỏi trực tiếp + Phát phiếu trắc nghiệm để tất thành viên trả lời… − Quy mơ lớn: lượng giá chương trình + Ghi nhận qua kênh hồi báo khác nhau: kết hội thi, vi ết, thắc mắc, vấn số đối tượng chọn lọc + Điều tra KABP (KABP survey): chọn mẫu ngẫu nhiên dân s ố khảo sát dựa vào bảng câu hỏi tiến hành vấn trực ti ếp (mặt đối mặt) gián tiếp (gởi bảng câu hỏi đối tượng đọc tự trả lời) 5.2 Lượng giá Hành vi 5.2.1 Thăm dò qua điều tra vấn − Điều tra KABP: giống − Giám sát hành vi (Behavioral surveillance): chọn số nhóm đối tượng để theo dõi tỉ lệ thực hành vi Phương pháp tốn h ơn cho kết nhanh Lưu ý: có cách vấn: − Hỏi trực tiếp (phỏng vấn mặt đối mặt): đòi hỏi người vấn phải có kỹ giao tiếp tốt để giúp người hỏi bộc bạch trung th ực thay giấu giếm hành vi khơng − Hỏi gián tiếp (bảng câu hỏi tự điền): người trả lời đỡ ngượng chưa giải thích kỹ dễ xảy tượng trả lời lấy lệ 5.2.2 Ghi nhận hành động thực tiễn kết chúng − Dựa vào quan sát Ví dụ: quan sát tình trạng v ệ sinh cá nhân c h ọc sinh (móng tay cắt ngắn, áo quần, mẩy, ); đánh giá ch ỉ s ố lăng quăng BI v.v… − Dựa vào test điểm Ví dụ: test ki ểm tra n ồng đ ộ rượu máu; test kiểm tra heroin nước tiểu; test nhuộm màu mảng bám răng… − Dựa vào số liệu thu thập từ sở y tế Ví dụ: s ố lượng phụ n ữ đặt vòng − Dựa vào số lượng cơng trình thực Ví dụ s ố lượng gi ếng nước, số lượng hố xí hợp vệ sinh − Dựa vào số liệu vật phẩm có liên quan Ví d ụ: s ố l ượng xà phòng, số lượng kim ống chích bán ra, s ố lượng mày đếm bước chân, số lượng vòng đeo tay biểu tượng 5.2.3 Lượng giá Hành vi xảy có điều kiện Có hành vi mà sau chương trình GDSK đối tượng ch ưa th ực có điều kiện xảy Ví dụ: xử trí m ắc b ệnh, tiêm v ắc xin uốn ván đạp đinh vắc xin phòng dại bị chó dại cắn v.v… L ượng giá chương trình GDSK hành vi vi ệc tính xác suất kh ả hành vi xảy tương lai dựa yếu tố đo đạc hi ện dựa lý thuyết hành vi Cụ thể theo Lý thuyết Hành vi có lý Hành vi hoạch định đại đa số hành vi người có dự định tr ước Cũng theo lý thuy ết Dự định thân lại nhiều yếu tố ảnh hưởng mà đơn gi ản Thái độ hành vi Chuẩn mực chủ quan Ðối tượng có thái độ tích cực hành vi chuẩn mực chủ quan phù hợp có nhi ều kh ả thực hành vi tương lai Thái độ hành vi cụ thể cấu thành yếu tố: Niềm tin hành vi dẫn đến kết (có thể có l ợi có h ại) s ự Ðánh giá kết thân Chuẩn mực chủ quan hay cảm nhận chủ quan người họ nên hay không nên thực hành vi bắt nguồn từ chu ẩn m ực xã h ội khách quan Chuẩn mực chủ quan cấu thành yếu tố: Niềm tin r ằng m ột người xã hội muốn đối tượng thực hành vi Ð ộng c thúc đẩy đối tượng làm theo ý muốn người (uy tín, ảnh hưởng người đối tượng) Dựa vào lý thuyết này, ta lượng giá khả xảy c m ột hành vi tương lai cách hỏi yếu tố cấu thành Ví d ụ: đ ể l ượng giá v ề hành vi chích vắc xin uốn ván đạp đinh, ta hỏi câu h ỏi: - Khi đạp đinh sau săn sóc vết thương ch ỗ ta cần ph ải làm ? (H ỏi hành vi) - Bạn nghĩ làm việc có lợi ích hay khơng có m ức đ ộ đ ối với bạn? Khơng lợi gì/Lợi ít/Lợi vừa/Lợi nhiều (Hỏi ni ềm tin v ề l ợi ích hành vi kết hợp với đánh giá kết thân) - Bạn biết thông tin từ ai? (Hỏi nguồn thông tin) - Bạn tin tưởng nguồn thông tin đến mức độ nào? Khơng tin/Tin ít/Tin vừa/Tin nhiều 5.3 Thu thập thơng tin định tính liên quan đến ch ương trình Đây hoạt động quan trọng phục vụ cho vi ệc lượng giá/đánh giá chương trình Các thơng tin định tính thu thập bao gồm m ức đ ộ quan tâm, cảm nhận đối tượng thụ hưởng chương trình, yếu tố định tính dẫn đến kết đạt hay khơng đạt tiêu v.v… Để thu th ập nh ững thông tin thường ta sử dụng phương pháp thu thập thơng tin định tính nh họp mặt cộng đồng (community meeting), thảo luận nhóm tiêu điểm (focus group discussion), vấn sâu (in-depth interviews), câu hỏi điều tra mở (open-ended survey questions), quan sát với vai trò người tham gia (participant observation) v.v… CHIA SẺ THÔNG TIN VỀ LƯỢNG GIÁ Những thông tin kết lượng giá không cần thi ết h s báo cáo cấp mà cho tất người tham gia thực chương trình GDSK, đối tượng thụ hưởng kể người thực chương trình GDSK tương tự tương lai Nên cố gắng chia sẻ thông tin đến nhiều người cần tốt thơng tin nguồn lực Cần phân biệt loại thông tin lượng giá sau đây: - Thông tin xử lý: số liệu báo mục tiêu thơng tin định tính tổng hợp thái độ người dân, y ếu tố d ẫn đ ến vi ệc đ ạt hay không đạt mục tiêu, góp ý, đề xuất người dân v.v Đây nh ững thông tin ghi nhận báo cáo - Thông tin thô: số liệu thô ghi trả lời v ấn sâu, thảo luận nhóm tiêu điểm v.v Khối lượng thông tin thô r ất l ớn, có nh ững thơng tin thể báo cáo lượng giá có thơng tin khác chưa đề cập đề cập cách khái quát Nên l ưu gi ữ kỹ thông tin để cần lấy tham khảo thêm TÓM TẮT BÀI GIẢNG Bài giảng giới thiệu khái niệm tiêu chuẩn liên quan đ ến l ượng giá hoạt động giáo dục sức khỏe giới thiệu phân tích ểm mạnh, ểm yếu nhóm nhân thực việc lượng giá Phần quan trọng giảng trình bày phương pháp lượng giá kiến thức, thái độ, hành vi cách thu thập thông tin định tính liên quan đến chương trình CÂU HỎI TỰ LƯỢNG GIÁ Câu 1: Ý không định nghĩa sau lượng giá? A Tiến trình thu thập ý kiến người thực chương trình B Nhằm mục đích để biết ta thực đạt, vượt hay không đạt mục tiêu C Làm sở để đánh giá việc thực chương trình GDSK D Rút kinh nghiệm cho chương trình GDSK sau Câu 2: CDC khuyến cáo sử dụng nhóm tiêu chuẩn để đánh giá hoạt động giáo dục điều sau đây? A Hữu dụng B Khả thi C Thiện D Tin cậy Câu 3: Lượng giá Kiến thức, Thái độ, Niềm tin theo quy mơ nhỏ sử dụng nhiều cách khơng phải cách sau đây? A Chọn ngẫu nhiên số thành viên Ban tổ chức để hỏi trực tiếp B Ghi nhận hiểu biết qua ý kiến, thắc mắc thành viên tham dự C Ghi nhận trả lời qua hoạt động thi đố D Ghi nhận thái độ, niềm tin qua phát biểu Câu 4: Lượng giá Hành vi có nhiều cách cách sau đây? A Điều tra KABP B Giám sát hành vi C Ghi nhận hành động thực tiễn kết chúng D Đặt điều kiện để người lượng giá trả lời ĐÁP ÁN 1-A 2-D 3-A 4-D TÀI LIỆU THAM KHẢO Centers for Disease Control and Prevention Introduction to Program Evaluation for Public Health Programs: Evaluating appropriate antibiotic use programs Atlanta, GA: Centers for Disease Control and Prevention, 2006 ... BIẾT ĐẦU RA Lượng giá tiến trình Lượng giá kết Lượng giá tác động Cũng cần nói thêm lượng giá không ho ạt đ ộng kỹ thu ật mà ý thức Lượng giá có nhiều mức độ: có lượng giá chương trình lớn, hoạt... LƯỢNG GIÁ Về nhân thực việc lượng giá có ý ki ến cho r ằng cần ph ải nh người bên chương trình để kết lượng giá khách quan, đồng thời người bên người làm lượng giá chuyên nghiệp vi ệc lượng giá. .. thực chương trình ta có th ể lơi đối tượng đích tham gia vào việc lượng giá Ðây phương pháp lượng giá có tham gia cộng đồng xem chương trình GDSK l ượng giá m ột công việc đo đạc hiệu chương trình