ĐỐI TƯỢNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU
Đối tượng nghiên cứu
Bác sĩ tham gia ba chương trình đào tạo ECHO do Bệnh viện Nhi Trung ương cung cấp từ 1/2020-7/2022
- Những bác sĩ làm việc trong 18 bệnh viện vệ tinh thuộc hệ thống chỉ đạo tuyến Bệnh viện Nhi Trung đăng ký tham gia chương trình đào tạo theo mô hình ECHO gồm
3 chương trình: Chuyên đề hô hấp Nhi khoa (lĩnh vực hô hấp); Chẩn đoán và điều trị các bệnh lý sơ sinh hay gặp (lĩnh vực sơ sinh); Chẩn đoán và điều trị các bệnh lý tim mạch Nhi khoa (lĩnh vực tim mạch).
- Đồng ý tham gia nghiên cứu.
- Không đủ dữ liệu nghiên cứu do đối tượng không hoàn thành chương trình học hoặc không đồng thuận tham gia nghiên cứu.
Ngoài đối tượng được lựa chọn theo tiêu chuẩn như trên, nghiên cứu tiến hành thêm đối tượng để phục vụ cho mục tiêu 3 bao gồm thành phần sau:
- Lãnh đạo Bệnh viện Nhi phụ trách về Đào tạo Y khoa liên tục
- Cán bộ thực hiện và triển khai các hoạt động ECHO tại Bệnh viện Nhi Trung ương gồm: giảng viên/chủ nhiệm chương trình đào tạo áp dụng mô hình ECHO
- Lãnh đạo bệnh viện tuyến tỉnh chuyên trách về đào tạo liên tục.
- Bác sĩ tham gia chương trình đào tạo theo mô hình ECHO thỏa mãn về điều kiện chung về tiêu chuẩn đối tượng nghiên cứu ở trên.
Thời gian và địa điểm nghiên cứu
+ Thời gian cho toàn bộ nghiên cứu: từ 1/2020-7/2022
+ Đối với mục tiêu 1 và 2: thực hiện từ 1/2020-7/2022
+ Đối với mục tiêu 3: từ tháng 4/2020 đến tháng 7 năm 2022
+ Địa điểm nghiên cứu: Nghiên cứu được tiến hành tại tuyến Trung ương và tuyến địa phương cấp tỉnh (18 bệnh viện vệ tinh) gồm:
+ Trung ương: Bệnh viện Nhi Trung ương với vai trò là trung tâm điều phối và cung cấp chương trình đào tạo Y khoa liên tục theo mô hình ECHO.
+ Địa phương: tham gia công tác điều phối nhằm đảm bảo tiêu chuẩn học viên đăng ký theo đúng chuyên ngành.
1 Bệnh viện Nhi Hải Dương.
2 Bệnh viên Sản Nhi Hưng Yên.
3 Bệnh viện Nhi Hà Nam.
4 Bệnh viện Nhi Nam Định.
5 Bệnh viện Nhi Thái Bình.
6 Bệnh viện Sản Nhi Ninh Bình.
7 Bệnh viện Sản Nhi Vĩnh Phúc.
8 Bệnh viện Đa Khoa Bắc Giang.
9 Bệnh viện Sản Nhi Lào Cai.
10 Bệnh viện Sản Nhi Yên Bái.
11 Bệnh viện Đa khoa Hà Tĩnh.
12 Bệnh viện Sản Nhi Nghệ An.
13 Bệnh viện Sản Nhi Bắc Ninh.
14 Bệnh viện Trẻ em Hải Phòng.
15 Bệnh viện đa khoa Phú Thọ.
17 Bệnh viện Đa khoa Hà Tĩnh.
18 Bệnh viện Nhi Thanh Hóa
Phương pháp nghiên cứu
2.3.1 Thiết kế nghiên cứu: sử dụng phương pháp nghiên cứu can thiệp tiền thực nghiệm một nhóm đánh giá trước- sau kết hợp định lượng và định tính đo lường các lần can thiệp gồm trước đào tạo, sau đào tạo và sau đào tạo 3 tháng Nghiên cứu thực hiện phân nhóm can thiệp thành 3 nhóm nhỏ tương ứng 3 nhóm chương trình đào tạo chuyên khoa hô hấp, sơ sinh, tim mạch bao gồm: Chuyên đề hô hấp Nhi khoa, Chẩn đoán và điều trị bệnh lý sơ sinh hay gặp, Chẩn đoán và điều trị bệnh lý tim mạch Nhi khoa.
- Nghiên cứu định tính để tìm hiểu sâu đánh giá khả thi, tính chấp nhận, bền vững của mô hình ECHO tại Bv Nhi TƯ.
- Toàn bộ các nghiên cứu sẽ được triển khai trong vòng 1 năm với các chương trình đào tạo theo mô hình ECHO được triển khai nối tiếp nhau Mỗi nhóm học viên được được đào tạo theo một chương trình cụ thể sẽ được theo dõi trong vòng 3 tháng.
Trung tâm chỉ đạo tuyến- Bệnh viện Nhi Trung ương thực hiện xây dựng chương trình đào tạo trực tuyến theo mô hình ECHO, gửi thẩm định chương trình tại Viện nghiên cứu sức khỏe trẻ em, lên kế hoạch đào tạo và gửi thư mời tới các bệnh viện vệ tinh Các học viên là các bác sĩ đăng ký tham gia chương trình đào tạo được cử đi học, đảm bảo yêu cầu là bác sĩ đang công tác tại các đơn vị có thực hiện hoạt động chuyên môn theo đúng chương trình đào tạo Học viên được thông báo lịch cụ thể và cách thức kết nối với hệ thống trực tuyến Thời gian sẽ tuỳ thuộc vào từng khoá học, tuy nhiên sẽ dao động từ 10 đến 14 ngày Các nghiên cứu được tiến hành lần lượt theo thời gian và các giai đoạn trong quá trình triên khai ECHO.
Các chương trình đào tạo trực tuyến theo mô hình ECHO gồm 3 chương trình thiết kế thời gian, cách thức can thiệp đào tạo như nhau: Chuyên đề hô hấp Nhi khoa,
Chẩn đoán và điều trị bệnh lý sơ sinh hay gặp, Chẩn đoán và điều trị bệnh lý tim mạch Nhi khoa được thẩm định và thông qua tại cấp cơ sở (Viện đào tạo và nghiên cứu sức khỏe trẻ em-Bệnh viện Nhi Trung ương) Mục tiêu của các chương trình này là đào tạo liên tục để cập nhật kiến thức cho các bác sĩ Nhi khoa đang công tác trong hệ thống bệnh viện vệ tinh của Nhi Trung ương nằm trong phạm vi đề án bệnh viện vệ tinh 2020.
Mỗi chương trình diễn ra 8-10 phiên Mỗi phiên kéo dài khoảng 2 giờ với 3045 phút là bài giảng lý thuyết do giảng viên trình bày và 1h30 phút còn lại là Thảo luận ca bệnh (CBD) được trình bày từ các học viên tham gia từ các điểm cầu Một chương trình
ECHO thực hiện liên tục trong 2 tuần Quá trình học trực tuyến đã sử dụng nền tảng hội nghị truyền hình của hệ thống ECHO dựa trên Internet, trong đó đội ngũ giảng viên
(trung tâm) ngồi tại Bệnh viện Nhi Trung ương và những học viên tham gia (điểm cầu) ngồi tại các bệnh viện tuyến cơ sở.
Phần lý thuyết dựa trên cơ sở kiến thức Nhi khoa và tài liệu tham khảo từ tài nguyên đào tạo của Bệnh viện Nhi Trung ương Phần Thảo luận ca bệnh dựa trên các ca bệnh thực tế do những học viên tham gia chuẩn bị và được hướng dẫn bởi các chủ nhiệm chương trình đào tạo.
Bảng 2.1 Bảng kiểm đánh giá quá trình triển khai mô hình ECHO tại Bệnh viện Nhi Trung ương
Pha I Tuyển dụng ECHO Người giám sát
1 Thực hiện khảo sát nhu cầu đào tạo tại tuyến dưới TT CĐT
2 Lựa chọn ban chuyên môn (chuyên gia) từ nguồn nhân lực Bệnh viện Nhi TƯ, thông qua chương trình đào tạo theo mô hình ECHO
Quyết định từ Viện đào tạo và NCSKTE
3 Căn cứ nhu cầu đào tạo, lập kế hoạch đào tạo và thông báo cho tuyến dưới về chương trình học
4 Phòng Chỉ đạo tuyến ở tuyến cơ sở lập danh sách học viên tham gia và gửi BTC. Đơn vị CĐT tại tuyến dưới
Pha II: Chuẩn bị trước khóa học ECHO
1 Họp với ban chuyên môn về chương trình giảng dạy theo khung chương trình đã thẩm định, các bài kiểm tra kiến thức (đầu vào, đầu ra), các khung đánh giá và giám sát
Chủ nhiệm lớp/Điều phối chuyên môn
2 Tổ chức cuộc họp Zoom về nội quy khóa học trực tuyến nhằm thông báo cho các bác sĩ tham gia đào tạo được biết Điều phối hành chính/IT
3 Tổ chức kiểm tra kiến thức đầu vào Điều phối hành chính/IT
Pha I Tuyển dụng ECHO Người giám sát
4 Hướng dẫn trình bày ca bệnh theo mẫu: Ca bệnh được chia sẻ từ các điểm cầu Ngoài ra, tại điểm trung tâm
BVNTU cũng chuẩn bị ca lâm sàng liên quan đến bài học để cùng thảo luận nếu trường hợp tuyến dưới không sẵn sàng chia sẻ
Chủ nhiệm lớp/Điều phối chuyên môn
Pha III Tại buổi học ECHO
1 Lý thuyết giảng : 30-45 phút do Giảng viên thực hiện Chủ nhiệm lớp/điều phối chuyên môn kiểm soát quá trình
2 Trình bày ca bệnh: 30-45' bởi thành viên tham gia và được sắp xếp lịch trước.
Chủ nhiệm lớp/điều phối chuyên môn
3 Hỏi& Đáp: Tương tác giữa các điểm cầu Chủ nhiệm lớp/điều phối chuyên môn
4 Giảng viên đánh giá năng lực thông qua thảo luận ca bệnh
Chủ nhiệm lớp/điều phối chuyên môn
Pha IV Sau khi đào tạo ECHO
1 Tổ chức bài thi kiến thức sau đào tạo Điều phối hành chính/IT
2 Các công cụ đánh giá khóa học: khảo sát tự đánh giá của người tham gia, sự hài lòng của học viên với chương trình, hướng dẫn phỏng vấn sâu, các báo cáo giám sát.
Ban chuyên môn, Chủ nhiệm lớp/điều phối chuyên môn
3 Tổ chức hoạt động giám sát sau 3 tháng đào tạo Ban chuyên môn,
2.3.3 Phương pháp đánh giá kết quả can thiệp
2.3.3.1 Quá trình đánh giá: Có 4 lần đánh giá chia làm 2 phần (đánh giá kiến thức, đánh giá kỹ năng)
- Đối với đánh giá trước đào tạo (đánh giá kiến thức): học viên làm bài thi kiến thức đầu vào (pre-test) và báo điểm tự động trên phần mềm hệ thống ECHO Dựa vào kết quả kết quả phân loại điểm số bài thi kiến thức, với điểm số từ 60/100 điểm trở lên được đánh giá là đạt ; với điểm số dưới 60/100 được đánh giá là không đạt.
- Đối với đánh giá trong đào tạo (đánh giá kỹ năng): học viên thực hiện Thảo luận ca bệnh theo nhóm bệnh viện và giảng viên đánh giá năng lực chuyên môn gồm 5 kỹ năng lâm sàng: khai thác bệnh sử, biện luận lâm sàng, chẩn đoán bệnh và chỉ định xét nghiệm, điều trị, tiên lượng với kết quả đánh giá đạt hay không đạt.
- Đối với đánh giá sau đào tạo (đánh giá kiến thức và kỹ năng): học viên được đánh giá bởi bài thi kiến thức (post test) để đánh giá sự thay đổi kiến thức, và thực hiện đánh giá kỹ năng dựa trên phiếu tự điền được gọi là thang đo tự đánh giá năng lực chuyên môn của học viên (self-efficacy).
- Đối với đánh giá đào tạo sau 3 tháng: tính từ lúc kết thúc đào tạo, học viên tự nguyện tham gia bài thi kiến thức (đánh giá kiến thức) và tham gia đánh giá giám sát sau đào tạo bởi giảng viên dựa trên Quan sát hành vi lâm sàng (Mini-Cex) tại thực địa (đánh giá kỹ năng).
Sơ đồ nghiên cứu
Hình 2.1 Sơ đồ nghiên cứu theo quá trình triển khai ECHO
Cỡ mẫu và phương pháp chọn mẫu
Cỡ mẫu số lượng học viên tối thiểu cần can thiệp:
Cỡ mẫu được ước tính dựa theo công thức so sánh hai tỷ lệ trên cùng 1 quần thể.
Công thức này được khuyến nghị bởi TCYTTG (128), như sau: ựp.o-p.) * h., A/P.(1-P.)Ị 1 n = -
Trong đó: n là cỡ mẫu tối thiểu cần chọn, p là tỷ lệ ước tính, z : là hệ số tin cậy, a =5, P, =0,3 mức độ cải thiện kiến thức có ý nghĩa theo lý thuyết; =0,45 mức độ cải thiện kiến thức sau đào tạo kỳ vọng, cỡ mẫu tối thiểu được ước tính là 105 học viên, lấy thêm 15% nhằm hạn chế sai số hệ thống, tổng số là 120 học viên.
Trên thực tế, nghiên cứu chọn mẫu thuận tiện, chọn những đối tượng là bác sĩ đăng ký tham gia đào tạo theo mô hình ECHO trong năm 2020.
Nghiên cứu định tính: Sử dụng kỹ thuật lăn bóng tuyết “snowball” chọn mẫu thuận tiện để lựa chọn những người cung cấp thông tin gồm những người có kinh nghiệm quản lý trong lĩnh vực đào tạo Y khoa liên tục hoặc là học viên tham gia chương trình đào tạo sử dụng mô hình ECHO Phỏng vấn sâu 39 người gồm lãnh đạo quản lý đào tạo liên tục, nhóm triển khai gồm giảng viên, điều phối chương trình, kỹ sư
IT và học viên từ các bệnh viện vệ tinh thỏa mãn tiêu chuẩn chọn lựa đối tượng nghiên cứu.
Các biến số nghiên cứu
2.6.1 Nghiên cứu định lượng (Phụ lục 12)
Sử dụng bảng Hướng dẫn phỏng vấn sâu để tìm hiểu tính chấp nhận, tính khả thi, tính bền vững của chương trình Đào tạo Y khoa liên tục
Bảng 2.3 Các nội dung chính trong nghiên cứu định tính Đánh giá tính khả thi của mô hình ECHO
- Thuận lợi và khó khăn của cơ sở pháp lý để triển khai mô hình ECHO.
- Những điều kiện về trang thiết bị khi học viên tham gia chương trình đào tạo ECHO.
- Những tiêu chuẩn để học viên tham gia chương trình đào tạo ECHO.
- Khả năng chi trả của đơn vị/học viên khi học viên tham gia chương trình đào tạo ECHO.
Hướng dẫn PVS Phụ lục 5A,5B Đánh giá tính chấp nhận của mô hình ECHO -
Học viên hài lòng như thế nào với chương trình đào tạo ECHO.
- Học viên chưa hài lòng ở khía cạnh chương trình đào tạo ECHO nào trong khâu tổ chức, khâu giảng dạy chuyên môn.
Hướng dẫn PVS Phụ lục 5A,5B
- Yếu tố nào có giá trị quyết định đối với học viên và đơn vị khi tham gia chương trình ECHO.
- Giá trị nào là lớn nhất đối với học viên và đơn vị khi tham gia đào tạo theo chương trình ECHO
- Những rào cản lớn nhất đối với việc tham gia chương trình ECHO. Đánh giá tính bền vững của mô hình ECHO
- Khả năng duy trì chương trình ECHO như thế nào.
- Những thuận lợi và khó khăn để duy trì chương trình ECHO.
- Khả năng đảm bảo nguồn ngân sách hay kinh phí lâu dài tại đơn vị thụ hưởng khi tham gia chương trình ECHO.
- Cần có những thay đổi về chính sách như thế nào để duy trì chương trình ECHO
- Kiến nghị như thế nào với BYT, SYT,
Bệnh viện Nhi TƯ để tổ chức chương trình đào tạo ECHO một cách hiệu quả.
PVS Hướng dẫn PVS Phụ lục 5A,5B
Ghi chú: PVS= Phỏng vấn sâu;
Công cụ thu thập số liệu
Bộ công cụ thu thập số liệu bao gồm bảng kiểm theo dõi điểm số, bộ công cụ khảo sát tự đánh giá năng lực chuyên môn, bảng giám sát tại cơ sở dành cho giảng viên, đánh giá báo cáo ca lâm sàng, các bảng hướng dẫn phỏng vấn sâu Nội dung cụ thể của các công cụ thu thập số liệu như sau:
- Bảng đánh giá sự tham gia: theo dõi sự tham gia của các học viên vào chương trình đào tạo theo mô hình ECHO (Phụ lục 1)
- Bảng kiểm theo dõi điểm số ECHO (Phụ lục 2)
- Biểu mẫu học viên điền thang đo tự đánh giá năng lực chuyên môn trên google form (Lưu trên iECHO-Bệnh viện Nhi TƯ)
- Báo cáo giám sát của chủ nhiệm lớp thông qua thảo luận ca bệnh CBD (lưu tại TTCĐT)
- Báo cáo giám sát của điều phối thông qua Quan sát hành vi lâm sàng MiniCex (lưu tại TTCĐT)
- Biên bản gỡ băng hướng dẫn phỏng vấn sâu (học viên tự lưu)
Phương pháp thu thập số liệu
2.8.1 Số liệu thứ cấp (số liệu định lượng)
+ Đối với mục tiêu 1: Số liệu thu thập trích suất dữ liệu từ kết quả điểm bài thi kiến thức online trên hệ thống đào tạo trực tuyến ECHO, sau đó chủ nhiệm lớp điền vào bảng kiểm báo cáo điểm số học viên trước đào tạo, sau đào tạo và sau đào tạo 3 tháng (Phụ lục 2).
+ Đối với mục tiêu 2: Số liệu thu thập bằng cách học viên tự điền vào phiếu điều tra dựa trên Thang đo đánh giá năng lực chuyên môn được thiết kế online (Phụ lục
3) Ngoài ra, số liệu thu thập bằng cách giảng viên điền vào phiếu đánh giá Thảo luận ca bệnh (CBD) (Phụ lục 4A) và phiếu giám sát sau đào tạo gồm Quan sát hành vi lâm sàng (Mini-Cex) (Phụ lục 4B).
Toàn bộ các số liệu thứ cấp liên quan đến việc sử dụng ECHO của học viên bao gồm số lần truy cập, thời gian truy cập, tương tác, bài giảng trực tuyến, trao đổi trực tuyến được thu thập bằng cách trích xuất từ hệ thống quản trị của phần mềm hệ thống iECHO.
2.8.2 Số liệu sơ cấp (số liệu định tính)
Là số liệu định tính, các học viên đồng ý tham gia vào các buổi phòng vấn sâu và được lên danh sách và hẹn thời gian Các phỏng vấn sâu đối với các bên liên quan gồm nhóm lãnh đạo, nhóm triển khai và nhóm học viên sẽ được hẹn lịch và phỏng vấn trực tiếp hoặc trực tuyến Tất cả các cuộc phỏng vấn được tổ chức trong 45 phút đến 1 giờ và được ghi âm lại NCS và nhóm nghiên cứu thực hiện tất cả các cuộc phỏng vấn (39 cuộc) với sự hỗ trợ của một trợ lý nghiên cứu tại mỗi bệnh viện có học viên tham gia chương trình NCS và nhóm nghiên cứu ngừng thu thập thông tin khi đạt được độ bão hòa của thông tin.
Bảng 2.4: Bảng tổng hợp quá trình thu thập số liệu
Thời điểm Phân loại số liệu
Trích suất dữ liệu hệ thống quản trị phần mềm iECHO
Bảng kiểm theo dõi tham gia của các học viên vào chương trình đào tạo theo mô hình ECHO (Phụ lục 1)
Chủ nhiệm chương trình đào tạo ECHO
Kết quả bài thi kiến thức online
Trích suất dữ liệu hệ thống quản trị phần mềm iECHO
Bảng kiểm theo dõi điểm số
Chủ nhiệm chương trình đào tạo ECHO
Kết quả đánh giá năng lực học viên thông qua CBD
Giảng viên điền thông tin đánh giá học viên đạt hay không đạt ở 5 kỹ năng thực hành thông qua ca bệnh được trình bày từ nhóm học viên ở các điểm cầu.
Bảng đánh giá thảo luận ca bệnh CBD (Phụ lục 4A)
Thời điểm Phân loại số liệu
Kết quả đánh giá năng lực do học viên tự đánh giá
Học viên tự nguyện tham gia bản khảo sát tự đánh giá online, tích câu trả lời ở các nội dung câu hỏi ở mục trước đào tạo và sau đào tạo.
Thang đo tự đánh giá năng lực chuyên môn của học viên (Phụ lục 3)
Sau khóa đào tạo 3 tháng
Kết quả đánh giá năng lực của học viên thông qua MiniCex
Giảng viên điền thông tin đánh giá học viên vào bản giám sát
Bảng đánh giá giám sát chuyên môn (Phụ lục 4B)
Tìm hiểu thông tin chia sẻ của học viên và lãnh đạo các bên liên quan về tính chấp nhận, tính khả thi, tính bền vững
Hướng dẫn phỏng vấn sâu tìm hiểu tính chấp nhận, khả thi và bền vững của mô hình ECHO (Phụ lục 5A, 5B)
Xử lý và phân tích số liệu
2.9.1 Số liệu định lượng: Số liệu sau khi được thu thập được kiểm tra và làm sạch trước khi nhập vào máy tính Phần mềm Epidata được dùng để nhập số liệu Bộ nhập liệu được thiết kế để đảm bảo khống chế sai số khi nhập liệu Sau khi số liệu được nhập vào máy tính sẽ được chuyển sang định dạng số liệu SPSS 20.0 Phần mềm SPSS 20.0 được sử dụng để tiếp tục làm sạch và phân tích kết quả Các biến định lượng, định tính và thứ hạng được tính toán theo tần số và tỷ lệ %.
Các phương pháp thống kê sử dụng :
J Đối với mục tiêu 1: Đánh giá thay đổi kiến thức học viên
- Thống kê mô tả, thực hiện đánh giá phân bố điểm số đầu vào, đầu ra, điểm sau
3 tháng dựa vào test Kolmogorov-Smirnov.
- Sử dụng test Anova One way so sánh nhiều giá trị trung bình về điểm số trong
3 nhóm chương trình Chuyên đề hô hấp Nhi khoa, Chẩn đoán và điều trị bệnh lý sơ sinh hay gặp Chẩn đoán và điều trị bệnh tim mạch Nhi khoa ở thời bài thi kiến thức đầu vào (pre-test) với phân bố chuẩn.
- Sử dụng Kruskal Wallis test so sánh các trung bình ở bài thi kiến thức đầu ra và sau 3 tháng với phân bố điểm số không chuẩn (post-test).
- Thực hiện test kiểm định Wilcoxon ghép cặp giữa 2 đợt: trước và sau đào tạo, trước và sau đào tạo 3 tháng đánh giá thay đổi điểm số.
- Sử dụng test Khi bình phương đế đánh giá mức cải thiện kiến thức sau so với trước đào tạo dựa trên kết quả điểm số đầu vào, đầu ra ở các chương trình can thiệp đào tạo.
- Sử dụng OR đo lường mối liên quan mạnh hay yếu giữa mức cải thiện kiến thức và kết quả đạt hay không đạt với các đặc điểm học viên về giới, nhóm tuổi, kinh nghiệm làm việc, trình độ học vấn.
J Đối với mục tiêu 2: Đánh giá cải thiện năng lực chuyên môn học viên
- Thống kê mô tả được sử dụng để mô tả đặc điểm các học viên tham gia, đặc điểm về kỹ năng của học viên trước đào tạo, sau đào tạo được đánh giá bởi học viên tự đánh giá và giảng viên đánh giá ở giai đoạn trước đào tạo, sau đào tạo, sau đào tạo 3 tháng.
- Sử dụng test Wilcoxon ghép cặp để kiểm định sự cải thiện năng lực chuyên môn trước và sau đào tạo do học viên tự đánh giá, giá trị p được tính toán với ý nghĩa thống kê p
