Giám khảo của kỳ thi OSCE (Objective Structured Clinical Examination) đóng vai trò quyết định trong việc đánh giá năng lực thực hành lâm sàng của sinh viên. Mặc dù OSCE được thiết kế để giảm tác động các yếu tố chủ quan của giám khảo nhưng sự ảnh hưởng của các yếu tố chủ quan và khách quan khi đánh giá sinh viên vẫn có thể xảy ra.
Số ĐặC BIệT chuyên đề đào tạo y khoa dựa lực chuẩn đầu - 2021 MỘT SỐ VẤN ĐỀ VỀ ĐÀO TẠO GIÁM KHẢO CHO KỲ THI LÂM SÀNG CÓ CẤU TRÚC KHÁCH QUAN Lương Cơng Thức1, Nguyễn Trường Giang2 TĨM TẮT Giám khảo kỳ thi OSCE (Objective Structured Clinical Examination) đóng vai trị định việc đánh giá lực thực hành lâm sàng sinh viên Mặc dù OSCE thiết kế để giảm tác động yếu tố chủ quan giám khảo ảnh hưởng yếu tố chủ quan khách quan đánh giá sinh viên xảy Để giảm ảnh hưởng yếu tố này, việc đào tạo giám khảo nhằm đạt chuẩn kiến thức kỹ kỳ thi OSCE quan trọng Việc đào tạo giám khảo tiến hành cấp trường cấp môn, thường qua ba bước: đào tạo bản, đào tạo trước kỳ thi lượng giá, phản hồi * Từ khóa: Giám khảo; Kỳ thi lâm sàng có cấu trúc khách quan; OSCE; Đào tạo Some Issues Related to Examiner Training in an Objective Structured Clinical Examination Summary Examiners play a decisive role in assessing students’ clinical competence in an OSCE Although OSCE is designed to reduce the examiners’ subjectivity, the examiners are still affected by internal and external factors To minimize the effects of these factors, it is very important to train the examiners who can reach the required knowledge and skill competence Examiner training is carried out at university and department levels with a 3-step process: basic training, prior-OSCE training, and evaluation and feedback * Keywords: Examiner; Objective Structured Clinical Examination; OSCE; Training ĐẶT VẤN ĐỀ Đánh giá lực lâm sàng sinh viên đóng vai trò quan trọng đào tạo y khoa [1] Tại kỳ thi lâm sàng truyền thống, quan sát hoạt động thí sinh, giám khảo ln có đánh giá khác nhau, kết đánh giá không thực khách quan Kỳ thi OSCE thiết kế để giải vấn đề Các giám khảo kỳ thi OSCE đóng vai trò định việc đánh giá lực sinh viên cách công đáng tin cậy Công tác lựa chọn, đào tạo, phát triển đội ngũ giám khảo có vai trị quan trọng chuẩn bị, triển khai đảm bảo thành công kỳ thi OSCE Bài báo nhằm: Tổng quan vấn đề bản, cần thiết, liên quan đến công tác đào tạo, phát triển đội ngũ giám khảo Bệnh viện Quân y 103 Học viện Quân y Người phản hồi: Lương Công Thức (lcthuc@gmail.com) Ngày nhận bài: Ngày báo c ng: 164 Số ĐặC BIệT chuyên đề đào tạo y khoa dựa lực chuẩn ®Çu - 2021 KẾT QUẢ NGHIÊN CỨU Đặc điểm, nhiệm vụ giám khảo kỳ thi OSCE * Đặc điểm giám khảo kỳ thi OSCE: So với phương pháp thi lâm sàng truyền thống, giám khảo kỳ thi OSCE có nhiều khác biệt số lượng, tính đồng nhất, cơng tác đào tạo, nhiệm vụ cách thức đánh giá [2], cụ thể sau: - Kỳ thi OSCE sử dụng nhiều giám khảo so với thi lâm sàng truyền thống Mỗi giám khảo đánh giá tác vụ (kỹ năng) trạm thi cho tất thí sinh qua trạm - Các giám khảo kỳ thi OSCE đào tạo để có đầy đủ kiến thức kỹ đánh giá bảng kiểm, có kỹ tương tác với thí sinh đưa ý kiến phản hồi (chuẩn hóa) - Có nhiều hình thức đánh giá sử dụng khác với giám khảo (quan sát trực tiếp, quan sát gián tiếp (qua camera, đóng vai bệnh nhân, chấm thi sau kết thúc thi) kỳ thi, phụ thuộc vào nội dung thiết kế trạm thi - Các giám khảo kỳ thi OSCE thường tham gia thiết kế, chuẩn bị cho kỳ thi, qua giúp giám khảo hiểu rõ nguyên lý, quy định, quy trình kỳ thi OSCE cách thức đánh giá thí sinh * Nhiệm vụ giám khảo kỳ thi OSCE: Giám khảo kỳ thi OSCE có nhiệm vụ tùy thuộc vào trạm thi mà giám khảo tham gia - Trước kỳ thi: Các giám khảo thường tham gia chuẩn bị cho kỳ thi Nội dung bao gồm: thiết kế, xây dựng mơ hình, tài liệu kỳ thi; tập huấn, hướng dẫn cho bệnh nhân, thí sinh - Trong kỳ thi: + Kiểm tra trang bị, tài liệu, bệnh nhân trạm phụ trách + Chào hỏi, kiểm tra họ tên, số báo danh thí sinh + Quan sát thí sinh chấm điểm theo bảng kiểm thang điểm đánh giá tổng thể + Nhận xét, phản hồi trực tiếp với thí sinh kết thúc trạm thi viết nhận xét, phản hồi bảng kiểm phiếu phản hồi để tổng hợp sau + Đảm bảo bệnh nhân mơ mơ tả xác tình trạng lâm sàng tương tác với thí sinh theo hướng dẫn suốt trình kiểm tra + Đảm bảo thí sinh thực thời gian thi trạm, hướng dẫn thí sinh di chuyển đến trạm tín hiệu hướng dẫn + Hồn thiện lưu hồ sơ vấn đề trình thi - Sau thi: + Chấm điểm phiếu trả lời thí sinh trạm câu hỏi khơng có giám khảo (nếu phân công) + Cho ý kiến phản hồi mặt công tác chuẩn bị tổ chức kỳ thi, tham gia đánh giá kỳ thi, xác định nội dung cần cải tiến Phản hồi công tác giảng dạy môn, vấn đề cần điều chỉnh, bổ sung để phát triển lực sinh viờn 165 Số ĐặC BIệT chuyên đề đào tạo y khoa dựa lực chuẩn đầu - 2021 Một số yếu tố ảnh hưởng đến giám khảo kỳ thi OSCE Kể tiến hành điều kiện chuẩn hóa, có yếu tố ảnh hưởng đến đánh giá giám khảo thí sinh [3] Các yếu tố chia thành hai loại: yếu tố chủ quan yếu tố khách quan [4] * Các yếu tố chủ quan: - Hiệu ứng hào quang: Một loại hiệu ứng đánh giá nghiên cứu nhiều “hiệu ứng hào quang” (halo effect) Ví dụ, hiệu ứng hào quang xảy giám khảo đưa phán dựa ấn tượng chung, để lực thí sinh kỹ ảnh hưởng đến đánh giá lực thí sinh kỹ khác - Tính “khắt khe” “dễ dãi”: Một lỗ hổng tiềm ẩn kỳ thi lâm sàng khác giám khảo mức độ khắt khe (khó tính) dễ dãi (dễ tính) Điều thường gọi hiệu ứng “diều hâu - bồ câu” Các giám khảo “khó tính” có xu hướng đánh trượt nhiều thí sinh có tiêu chuẩn cao; giám khảo “dễ tính” có xu hướng cho nhiều thí sinh đỗ Hiệu ứng phát sinh từ tính cách giám khảo nhận thức họ tiêu chuẩn cần thiết kỳ thi - Các đặc điểm giới tính giám khảo: Một số nghiên cứu cho thấy bệnh nhân mơ có xu hướng xếp hạng sinh viên nữ kỹ giao tiếp cao nam giới Dù có liệu tương tác giám khảo giới tính thí sinh, Schleicher CS thơng báo 166 giám khảo nam cho điểm kỹ giao tiếp cao đáng kể so với giám khảo nữ - Thời gian thi: Thí sinh thi sớm ngày nhận điểm trung bình cao người thi sau Sự thay đổi kết đánh giá theo thời gian ngày cho thời gian kéo dài kỳ thi OSCE gây mệt mỏi cho giám khảo, giám khảo có xu hướng dễ tính lúc bắt đầu trở nên khó tính theo thời gian - Hiệu ứng tương phản: Giám khảo có xu hướng đánh giá lực thí sinh cách tương đối, thay dựa vào tiêu chuẩn cố định Họ có xu hướng so sánh thể lực thí sinh trước đó, đặc biệt người thi sớm, để tạo tiêu chuẩn đánh giá - Một số yếu tố khác: Các yếu tố việc đào tạo kinh nghiệm giám khảo, xuất thân giám khảo (là bác sĩ hay bác sĩ), yếu tố lãnh đạo, quen biết với thí sinh ảnh hưởng đến việc đánh giá lực thí sinh * Các yếu tố khách quan: - Loại trạm: Các trạm có nội dung khác (kỹ khám lâm sàng kỹ giao tiếp) cách đánh giá khác (bằng thang điểm đánh giá tổng thể bảng kiểm) ảnh hưởng đến giám khảo - Hiệu ứng địa điểm: Địa điểm thi với khác biệt điểm đạt/khơng đạt, tiêu chí chấm điểm, Sè ĐặC BIệT chuyên đề đào tạo y khoa dựa lực chuẩn đầu - 2021 hnh vi bệnh nhân mô phỏng, hành vi giám khảo, lựa chọn phân tích thống kê ảnh hưởng đến tỷ lệ thí sinh trượt/đỗ Vì yếu tố trên, việc đào tạo giám khảo có ý nghĩa định để đảm bảo kỳ thi OSCE có tính khách quan công Đào tạo giám khảo cho kỳ thi OSCE * Chuẩn đầu nội dung đào tạo giám khảo: Việc đào tạo giám khảo nhằm giảm ảnh hưởng yếu tố nêu làm tăng tính tin cậy kỳ thi Giám khảo cần đạt “chuẩn lực giám khảo” định Sau đào tạo, giám khảo có kiến thức cấu trúc cách tiến hành OSCE; có kỹ thực thành thạo nhiệm vụ giao trạm, đặc biệt sử dụng bảng kiểm phản hồi, xử lý tình phát sinh kỳ thi; có tính chun nghiệp để đảm bảo tính khách quan, cơng kỳ thi [5] Giám khảo cần đào tạo kiến thức kỳ thi OSCE trạm thi [6] Đào tạo giám khảo không liên quan đến việc đào tạo trước kỳ thi OSCE, nhiệm vụ nằm công tác phát triển giảng viên mơn nhà trường Bộ mơn lâm sàng chủ trì xây dựng tiêu chuẩn, tiêu chí lực chuyên môn cần đạt bác sĩ, giảng viên giám khảo trạm thi chuyên ngành Năng lực chuyên môn bao gồm kỹ thực hành, y đức, tính chuyên nghiệp, thái độ trách nhiệm nghề nghiệp Năng lực chuyên môn thể cụ thể kỹ năng, kỹ thuật, mặt bệnh chia giai đoạn phát triển Nội dung đào tạo giám khảo kỳ thi OSCE gồm: - Những vấn đề chung đánh giá kỹ lâm sàng kỳ thi OSCE + Định nghĩa, nguyên lý hoạt động, đặc điểm kỳ thi OSCE + Đặc điểm, yêu cầu, nguyên tắc hoạt động, vai trò, nhiệm vụ giám khảo, bệnh nhân thí sinh kỳ thi OSCE Những hạn chế, sai lầm thường gặp kỳ thi OSCE, giám khảo, bệnh nhân thí sinh kỳ thi OSCE - Những vấn đề chuẩn bị, tổ chức kỳ thi OSCE + Những cấu phần thiết kế mơ hình kỳ thi OSCE + Những vấn đề chuẩn bị tổ chức trạm thi + Các trang thiết bị cần thiết cho kỳ thi OSCE - Nhiệm vụ, lực giám khảo kỳ thi OSCE + Nhiệm vụ giám khảo kỳ thi OSCE, yêu cầu lực, đặc điểm giám khảo kỳ thi OSCE + Nguyên tắc, cách thức quan sát đánh giá thí sinh, cách thức sử dụng bảng kiểm cách xác, đồng nhất, khách quan, cơng + Yêu cầu, nguyên tắc, cách thức đưa ý kiến phản hồi thí sinh, đối tượng quan, tổ chức liên quan đến kỳ thi OSCE + Các sai sót thường gặp giám khảo, tình bất thường cách giải 167 Số ĐặC BIệT chuyên đề đào tạo y khoa dựa lực chuẩn đầu - 2021 * Tổ chức đào tạo đánh giá giám khảo: Có nhiều phương pháp, hình thức tổ chức đào tạo giám khảo tùy thuộc nội dung, đối tượng đào tạo nguồn lực Cơ quan khảo thí phối hợp với môn tổ chức đào tạo đánh giá lực giám khảo để làm lựa chọn sử dụng kỳ thi Một số trường chia việc đào tạo giám khảo thành ba bước [7]: - Bước 1: Đào tạo kỳ thi OSCE + Có thể tổ chức thường xuyên học kỳ, năm học lớp đào tạo, tập huấn tập trung trực tuyến cho giảng viên Giảng viên chuyên gia có kinh nghiệm phương pháp thi lâm sàng kỳ thi OSCE Kết thúc lớp học cần có kiểm tra trắc nghiệm thực hành theo tình + Bố trí giảng viên dự kiến làm giám khảo tham gia vào trình thiết kế, xây dựng trạm thi kỳ thi - Bước 2: Đào tạo trước kỳ thi + Tổ chức buổi tập huấn, hướng dẫn giám khảo trước kỳ thi nhiều hình thức khác (thảo luận nhóm chủ đề, thực hành kỳ thi mơ qua băng hình) Một mục tiêu quan trọng khóa đào tạo cần đạt giám khảo phải nắm ngưỡng đánh giá thí sinh đạt/khơng đạt + Tổ chức thi thử trạm OSCE Kết thi thử, băng hình, hồ sơ trạm thi phân tích theo đặc điểm, yêu cầu kỳ thi OSCE để đưa kết luận lực đội ngũ giám khảo, từ có kế hoạch bổ sung, hồn thiện 168 - Bước 3: Lượng giá phản hồi + Bước diễn địa điểm thi Một thành viên tổ đào tạo giám khảo quan sát chấm điểm giám khảo kỳ thi OSCE với bảng chấm điểm chuẩn hóa, sau phản hồi đến giám khảo Nếu cần, bước phản hồi lặp lại Đào tạo sử dụng giám khảo kỳ thi OSCE Học viện Quân y Tại Học viện Quân y, giám khảo chủ yếu bác sỹ (giảng viên trợ giảng) nên đào tạo giám khảo gắn kết chặt chẽ với việc phát triển giảng viên Việc đào tạo vấn đề kỳ thi OSCE nhà trường tiến hành Việc đào tạo trước kỳ thi OSCE tiến hành cấp nhà trường môn Thực tế cho thấy, phần lớn giám khảo kỳ thi OSCE bác sỹ lâm sàng nên thời gian cho buổi đào tạo tập trung hạn chế Vì thế, việc đào tạo mơn có vai trò quan trọng Việc dạy học lâm sàng xoay quanh lực chuyên môn độc lập EPAs chấm điểm theo bảng kiểm tiến hành Học viện Quân y giúp giảng viên, trợ giảng làm quen phần với kỳ thi OSCE Việc thực hành chấm điểm trước kỳ thi OSCE thức tiến hành với thí sinh “giả” qua kỳ thi có định dạng sử dụng bảng kiểm “Hội thao kỹ lâm sàng” sinh viên Các giảng viên, trợ giảng chưa có kinh nghiệm chấm thi OSCE tham gia, quan sát tự chấm điểm; sau so sánh, đối chiếu thảo luận với giám khảo có kinh nghiệm Sè ĐặC BIệT chuyên đề đào tạo y khoa dựa lực chuẩn đầu - 2021 KT LUẬN Đào tạo, phát triển đội ngũ giám khảo có đủ lực có vai trị quan trọng triển khai kỳ thi OSCE nâng cao chất lượng đào tạo y khoa Giám khảo đào tạo thống nhất, “chuẩn hóa” yếu tố định đến độ tin cậy, khách quan công kỳ thi OSCE Công tác kiểm tra, đánh giá lực giám khảo có ý nghĩa quan trọng đào tạo giám khảo chuẩn bị cho kỳ thi OSCE Đào tạo, chuẩn bị giám khảo có ý nghĩa vai trị quan trọng sở giai đoạn đầu tổ chức triển khai kỳ thi OSCE TÀI LIỆU THAM KHẢO Med Teach 2013; 35: e1437-e1446 DOI: 10.3109/0142159X.2013.818634 Schleicher I., Leitner K., Juenger J., et al Examiner effect on the objective structured clinical exam - a study at five medical schools BMC Medical Education 2017; 17:71 DOI 10.1186/s12909-017-0908-1 Chong L., Taylor S., Haywood M., Adelstein B.A., et al The sights and insights of examiners in objective structured clinical examinations J Educ Eval Health Prof 2017; 14:34 https://doi.org/10.3352/jeehp.2017.14.34 Khan K.Z., Gaunt K., Ramchandran S., et al The Objective Structured Clinical Examination (OSCE): AMEE Guide No 81 Part II: Organisation & administration Med Teach 2013; 35(9):e1447-63 DOI: 10.3109/0142159X.2013.818635 Học viện Quân y Giám khảo kỳ thi OSCE Chuẩn bị triển khai thi lâm sàng cấu trúc khách quan Nhà xuất Y học 2021; 73-89 Besara M.N.A., Siraja H.H., Manap R.A., et al Should a single clinician examiner be used in objective structure clinical examination? Procedia - Social and Behavioral Sciences 2012; 60:443-449 DOI: 10.1016/j.sbspro.2012.09.404 Khan K.Z., Gaunt K., Ramchandran S., et al The Objective Structured Clinical Examination (OSCE): AMEE Guide No 81 Part I: An historical and theoretical perspective Schuttpelz-Brauns K., Nuhse K., Strohmer R., et al Training OSCE examiners: Minimal effort with farreaching results Medical Education 2019; 53:1153-1154 169 ... trên, việc đào tạo giám khảo có ý nghĩa định để đảm bảo kỳ thi OSCE có tính khách quan cơng Đào tạo giám khảo cho kỳ thi OSCE * Chuẩn đầu nội dung đào tạo giám khảo: Việc đào tạo giám khảo nhằm... sinh kỳ thi; có tính chun nghiệp để đảm bảo tính khách quan, công kỳ thi [5] Giám khảo cần đào tạo kiến thức kỳ thi OSCE trạm thi [6] Đào tạo giám khảo không liên quan đến việc đào tạo trước kỳ thi. .. giám khảo kỳ thi OSCE: Giám khảo kỳ thi OSCE có nhiệm vụ tùy thuộc vào trạm thi mà giám khảo tham gia - Trước kỳ thi: Các giám khảo thường tham gia chuẩn bị cho kỳ thi Nội dung bao gồm: thi? ??t