Loại hình câu hỏi Có nhu cầu cho chương trình không? Kết quả dự kiến là gì và chương trình được thiết kế như thế nào để đạt được những kết quảđó? Chương trình nhằm đạt được những gì? Chương trình có đến được với đối tượng đích không? Chương trình có
được triển khai theo kế hoạch không? Chúng ta biết gì về vấn đề mà chương trình sẽ giải quyết? Việc triển khai thực hiện có đáp ứng các mục tiêu và tiêu chuẩn
đặt ra không? Có đạt được các mục tiêu đề ra không? Chương trình đang tiến hành thế nào? Có đáp ứng được nhu cầu của sinh viên, giáo viên mà chương trình xây dựng để phục vụ không? Quá trình giảng dạy có hiệu quả không? Lý do triển khai thực hiện chương trình là gì? Việc triển khai thực hiện như thế nào giữa các địa điểm giảng dạy? Việc giảng dạy có thống nhất với chương trình không? Cách làm nào được công nhận là thực hành tốt nhất? Việc giảng dạy hiện nay như thế nào so với một tháng / sáu tháng/một năm trước? Những kết quả ngoài dự kiến là gì? Cần thay đổi những yếu tố nào đểđạt tối đa kết quả dự kiến? Cần thay đổi phương pháp cung ứng như thế nào để có hiệu quả hơn ? Những khác biệt trong quá trình thực hiện ảnh hưởng thế nào tới kết quả? Chí phí tăng hay giảm? Chương trình có hợp lý không? Ta có thể tinh chỉnh chương trình như thế nào đểđạt hiệu suất cao hơn? Hiệu quả hơn? Chương trình có hiệu quả với một số sinh viên hơn một số khác không? Có thể thay đổi cách tổ chức như thế nào đểđạt hiệu quả hơn? Những phần nào của chương trình có thể sửa đổi cho phù hợp với việc giám sát đánh giá tác động sau này? Chương trình có hiệu quả so với chi phí không? Có địa điểm thực hiện chương trình nào cần lưu ý đểđảm bảo giảng dạy hiệu quả hơn không?
Nguồn: Trích từ Owen J. Program evaluation: forms and approaches, 2006 [1].
Bước 2: Thu thập và phân tích thông tin
Thu thâp thông tin
Có nhiều nguồn dữ liệu và phương pháp thu thập số liệu cần cân nhắc sử dụng trong công tác đánh giá chương trình giảng dạy về an toàn bệnh nhân hay bất kỳ đối tượng đánh giá nào khác. Sử dụng bao nhiêu và những nguồn dữ liệu và phương pháp thu thập nào tùy thuộc vào mục đích, hình thức, quy mô và phạm vi đánh giá. Những nguồn dữ liệu tiềm năng gồm:
• sinh viên (sẽ học, hiện đang học , đã học, bỏ học);
• bản thân (tham gia tự nhận xét);
• đồng nghiệp (cùng dạy môn học, trợ giảng, các
giáo viên bên ngoài);
• các chuyên gia thiết kế môn học/giảng dạy;
• giáo viên phụ trách phát triển chuyên môn;
• sinh viên đã tốt nghiệp và người sử dụng lao đông
(ví dụ các bệnh viện);
• tài liệu và hồ sơ (ví dụ tài liệu giảng dạy, hồ sơ kiểm
tra đánh giá).
Có thể thu thập số liệu từ những nguồn kể trên theo nhiều cách, từ tự nhận xét, bảng câu hỏi khảo sát, nhóm tập trung, phỏng vấn cá nhân, dự giờ, và nghiên cứu hồ sơ/tài liệu.
Tự nhận xét
Tự nhận xét là một hoạt động quan trọng đối với mọi nhà giáo dục và có vai trò quan trọng trong đánh giá. Đây là một phương pháp hiệu quả để nhận xét, bao gồm:
• viết lại những trải nghiệm dạy học của mình (trong
trường hợp này là trải nghiệm khi dạy về an toàn bệnh nhân) hoặc phản hồi nhận được từ người khác;
• mô tả những gì bạn cảm thấy và liệu bạn có ngạc nhiên
về những cảm giác đó không;
• đánh giá lại trải nghiệm của bạn trong hoàn cảnh của
những giả định đặt ra [3]:
– Những giả định đó có tốt không? Vì sao?
Sử dụng hình thức tự nhận xét sẽ cho phép phát triển cảc quan điểm mới và cam kết mạnh mẽ hơn với hành động
Hướng dẫn chương trình giảng dạy về ATBN của WHO: Ấn bản đa ngành 72
về mặt cải thiện hay củng cố chương trình và/hoặc việc giảng dạy.
Bảng câu hỏi khảo sát
Bảng câu hỏi khảo sát dễ dàng là phương pháp thu thập số liệu phổ biến nhất, cung cấp thông tin về kiến thức, niềm tin, thái độ và hành vi của mọi người[4]. Nếu bạn quan tâm đến nghiên cứu và công bố kết quả đánh giá, thì có thể cần phải sử dụng một bảng câu hỏi khảo sát đã được chứng minh là xác thực và công bố. Làm như vậy sẽ giúp bạn đỡ mất thời gian và nguồn lực và cho phép so sánh kết quả đánh giá của bạn với kết quả của những nghiên cứu khác cũng sử dụng cùng loại công cụ thu thập số liệu đó. Bước đầu tiên hữu ích luôn là tìm những công cụ như vậy có thể đã có trong các tài liệu đã được công bố.
Tuy nhiên, thường thì giáo viên/khoa đào tạo/trường đại học hay chọn xây dựng bảng câu hỏi khảo sát của mình để sử dụng. Bảng câu hỏi khảo sát có thể bao gồm các câu hỏi mở và/hoặc câu hỏi đóng và có nhiều hình thức khác nhau, như các ô phân loại để đánh dấu √, thang đánh giá, hay văn bản tự do. Thiết kế bảng câu hỏi khảo sát tốt là phần không thể thiếu của thu thập số liệu có chất lượng và đã có nhiều tài liệu viết về tầm quan trọng cách sắp xếp và làm thế nào để xây dựng được các mục câu hỏi phù hợp [5]. Bạn có thể sẽ muốn tham khảo một trong những tài liệu hoặc nguồn thông tin được cung cấp trước khi xây dựng bảng câu hỏi khảo sát để đánh giá chương trình giảng dạy về an toàn bệnh nhân.
Nhóm tập trung
Nhóm tập trung là một phương pháp và cách thức điều tra hữu ích để tìm hiểu về quan điểm của sinh viên hoặc giáo viên [6]. Nhóm tập trung thường cung cấp thông tin chi tiết hơn bảng câu hỏi khảo sát và cho phép tương tác linh hoạt để tìm hiểu thêm về thái độ đối với và trải nghiệm về thay đổi của chương trình giảng dạy. Có thể dùng nhóm tập trung kết hợp với bảng câu hỏi khảo sát hoặc các phương pháp thu thập số liệu khác như một cách kiểm tra hoặc phép đạc tam giác số liệu, và có thể có nhiều cách cấu trúc và thực hiện nhóm tập trung khác nhau, từ trò chuyện thoải mái linh hoạt tới tổ chức nhóm chặt chẽ và trang trọng. Tùy vào nguồn lực hiện có và mức độ phân tích cần có mà bạn có thể muốn ghi âm hoặc ghi hình thảo luận nhóm tập trung cùng với hoặc thay thế cho việc ghi chép.
73 Phần A 10. Đánh giá chương trình giảng dạy về ATBN như thế nào?
Phỏng vấn cá nhân
Phỏng vấn cá nhân tạo cơ hội để tìm hiểu chi tiết hơn về thái độ đối với khả năng thay đổi chương trình giảng dạy và trải nghiệm với chương trình đó nếu đã được thực hiện. Cũng như đối với nhóm tập trung, hình thức phỏng vấn cá nhân có thể gồm phỏng vấn không cấu trúc, bán cấu trúc hoặc có cấu trúc. Mặc dù phỏng vấn cá nhân cung cấp thông tin về trải nghiệm không được phong phú như qua thảo luận nhóm tập trung, hình thức phỏng vấn này cũng cho phép điều tra viên tìm hiểu chi tiết hơn về quan điểm và trài nghiệm của một cá nhân cụ thể. Phỏng vấn mặt đối mặt có thể là một phương pháp hữu hiệu để có được số liệu đánh giá từ đồng nghiệp, giảng viên hoặc giáo viên hướng dẫn, hoặc lãnh đạo khoa đào tạo.
Dự giờ
Đối với một vài hình thức đánh giá thì tiến hành dự một số giờ dạy về an toàn bệnh nhân
có thể có ích để có được hiểu biết chi tiết hơn
về cách thức học liệu được truyền tải và/hoặc
đón nhận. Để dự giờ cần sử dụng một chương
trình làm khung dự giờ. Chương trình đó có thể không cần cấu trúc chặt chẽ (ví dụ chỉ là một tờ giấy trắng để ghi chép) hoặc được cấu trúc chặt chẽ (ví dụ người dự giờ xếp hạng đối tượng đánh giá theo một loạt khía cạnh/thành phần xác định trước và nhận xét về từng phần một).
Tài liệu/hồ sơ
Bạn cũng có thể muốn kiểm tra các thông tin thống kê hoặc đã dược lưu hồ sơ như một phần của quá trình đánh giá, ví dụ như tài liệu giảng dạy hoặc kết quả học tập của sinh viên. Những thông tin khác như số liệu của bệnh viên về biến cố bất lợi cũng có thể có ích, tùy theo câu hỏi đánh giá của bạn.
Phân tích
Khi thu thập số liệu bạn có thể sử dụng một trong những phương pháp trên hoặc những phương pháp khác, hoặc có thể nhiều phương pháp khác nhau. Tuy nhiên luôn luôn có ba thành phần liên hệ với nhau cần phải cân nhắc khi phân tích số liệu[1]:
• trình bày số liệu–tổ chức và sắp xếp thông
tin thu thập được một cách có ý nghĩa;
• rút gọn số liệu–đơn giản hóa và chuyển đổi
thông tin thô sang hình thức dễ xử lý và sử dụng hơn;
• rút ra kết luận–rút ra ý nghĩa từ số liệu theo
các câu hỏi đánh giá.
Bước 3: Phổ biến kết quả và hành động
Có một hiện tượng khá phổ biến là các kết luận và đề xuất đưa ra trên cơ sở đánh giá thường không được quan tâm tiếp thu để có hành động chỉnh sửa–bước đầu tiên đề tránh tình trạng đó xảy ra là đảm bảo sao cho những thông tin quí giá đó được gửi tới tất cả
các bên hữu quan theo một cách có ý nghĩa. Nếu đánh giá tập trung vào chất lượng của việc giảng dạy về an toàn bệnh nhân, thì kết quả (ví dụ thông tin từ bảng câu hỏi khảo sát cho sinh viên, từ các buổi dự giờ của đồng nghiệp) phải được chuyển cho và trao đổi không chỉ với lãnh đạo, mà với cả các giáo viên. Brinko [7] đưa ra một đánh giá tuyệt vời về thực hành tốt nhất đối với quy trình gửi phản hồi cho sinh viên và đồng nghiệp. Điều quan trọng là bất kỳ ý kiến phản hồi nào cũng phải được đón nhận theo cách có thể khuyến khích phát triển hoặc cải tiến. Nếu việc đánh giá tập trung vào hiệu quả của chương trình giảng dạy về an toàn bệnh nhân, thì tất cả các kết luận và đề xuất cải tiến phải được thông tin cho tất cả những người tham gia thực hiện chương trình (ví dụ khoa đào tạo, giáo viên
Hướng dẫn chương trình giảng dạy về ATBN của WHO: Ấn bản đa ngành 74
và sinh viên ở cơ sở đào tạo). Hình thức phổ biến thông tin phải có ý nghĩa và phù hợp. Trao đổi thông tin về kết quả đánh giá, phát hiện và đề xuất là chất xúc tác chủ chốt đảm bảo cải thiện trong giảng dạy và thiết kế chương trình giảng dạy về an toàn bệnh nhân.
Công cụ và tài liệu học tập
Bạn có thể sẽ thấy những tài liệu sau hữu ích cho các giai đoạn lập kế hoạch và triển khai đánh giá:
DiCicco-Bloom B, Crabtree BF. The qualitative research
interview. Medical Education, 2006,
40:314–321.
Neuman WL. Social research methods: qualitative and
quantitative approaches, 6th ed. Boston, Pearson Educational Inc, Allyn and Bacon, 2006.
Payne DA. Designing educational project and program
evaluations: a practical overview based on research and experience. Boston, Kluwer Academic Publishers, 1994.
University of Wisconsin-Extension. Program development
and evaluation, 2008
(http://www.uwex.edu/ces/pdande/evaluation/; accessed 17 February 2010).
Wilkes M, Bligh J. Evaluating educational interventions.
British Medical Journal, 1999, 318:1269–1272.
Tài liệu tham khảo
1. Owen J. Program evaluation: forms and approaches, 3rd ed. Sydney, Allen & Unwin, 2006.
2. Boud D, Keogh R, Walker D. Reflection, turning experience into learning. London, Kogan Page Ltd, 1985.
3. Boynton PM, Greenhalgh T. Selecting, designing and developing your questionnaire. British Medical Journal, 2004, 328:1312–1315.
4. Leung WC. How to design a questionnaire.
Student British Medical Journal, 2001, 9:187–189. 5. Taylor-Powell E. Questionnaire design: asking
questions with a purpose. University of Wisconsin- Extension, 1998
(http://learningstore.uwex.edu/pdf/G36582.pdf; accessed 17 February 2011).
6. Barbour RS. Making sense of focus groups.
Medical Education, 2005, 39:742–750. 7. Brinko K. The practice of giving feedback to
improve teaching: what is effective? Journal of Higher Education, 1993, 64:574–593.
75 Phần A 10. Đánh giá chương trình giảng dạy về ATBN như thế nào?
11. C ô n g c ụ v à t à i l i ệ u t r ự c