Từ kết quả chạy lại số liệu thu được hiển thị ở hình 2.2 ta thấy 21 item này đã tạo thành một cấu trúc, khơng cịn item nào nằm ngoài hai đường chấm thẳng đứng (tức là có giá trị bình phương trung bình độ phù hợp INFIT MNSQ nằm trong khoảng 0,77-1,30). Vì vậy 21 biến này có thể được sử dụng để khảo sát trong đợt điều tra chính thức.
2.3.1.2. Sản phẩm sau thử nghiệm
Trên cơ sở sử dụng phần mềm QUEST để xác định độ tin cậy của bộ công cụ, độ ổn định của cấu trúc thang đo và tính logic giữa các câu hỏi trong phiếu, tác giả đã hoàn chỉnh phiếu khảo sát và tiến hành điều tra chính thức.
Phiếu chính thức bao gồm 2 phần nội dung chính:
- Phần I (thông tin chung): phần này bao gồm các câu hỏi nhằm xác định năm sinh, giới tính, số năm đảm nhận cơng tác chủ nhiệm.
- Phần II (nội dung phiếu khảo sát): phần này bao gồm 21 tiêu chí lấy ý kiến của GV về mức độ quan trọng các năng lực cần có ở người GVCN để cơng tác này có chất lượng. Qua đó, dựa vào các tiêu chí này có thể làm tăng độ tin cậy của các câu hỏi khi xây dựng bộ chỉ số.
65
2.3.2. Độ tin cậy và hiệu lực của bộ chỉ số đánh giá công tác CNL
2.3.2.1. Thử nghiệm bộ chỉ số
Kết quả thu được sau khi phân tích bằng phần mềm SPSS (xem chi tiết ở phụ lục 4) :
Bảng 2.3: Độ tin cậy của bộ chỉ số thử nghiệm
Độ tin cậy
Cronbach's Alpha Tổng số biến quan sát
0,977 32
Từ kết quả phân tích số liệu thu được ở bảng 2.3 cho thấy bộ chỉ số thử nghiệm có độ tin cậy Cronbach’s Alpha=0.977. Với độ tin cậy rất cao này cho ta ý nghĩa rằng cứ 100 người được khảo sát thì có đến gần 98 người trả lời đạt tin cậy. Theo một số cơng trình nghiên cứu thì thang đo được chấp nhận khi hệ số Cronbach’s Alpha đạt từ 0,6 trở lên (Nunnally, 1978; Peterson, 1994; Slater, 1995) nhưng tốt nhất là lớn hơn 0,7 (Nunnally vàBurnstein, 1994).
Ngoài ra, sự tin cậy của bộ chỉ số này còn thể hiện ở mức độ tương quan của câu hỏi với kết quả chung:
Lớn nhất Bé nhất
Tương quan của từng câu hỏi với phiếu (biến tổng) 0,918 0,556
Cronbach’s Alpha nếu loại một câu hỏi 0,977 0,918
Hệ số Cronbach’s Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng từ 0,918 đến 0,977, hệ số tương quan của từng câu hỏi với phiếu khảo sát (biến tổng) dao động trong khoảng từ 0,556 đến 0,918. Theo Nunnaly (1994) các biến
quan sát có hệ số tương quan biến tổng (Corrected Item-Total Correlation) nhỏ hơn 0,3 sẽ bị loại, và các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi (Alpha if Item Deleted) lớn hơn hệ số Cronbach’s Alpha cũng sẽ bị loại (Hoàng Trọng, 2008) [29].
Điều này tất cả các câu hỏi đều sự tương quan với nhau và tương quan bộ chỉ số, đóng góp vào độ tin cậy của kết quả khảo sát và các câu hỏi cũng giúp phân biệt được chất lượng công tác chủ nhiệm giữa các GV với nhau.
Tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ cơng cụ khảo sát nhằm khẳng định lại độ tin cậy của bộ chỉ số. Để dữ liệu phù hợp với mơ hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST giá trị mean trong
66
Summary of item Estimates phải bằng hoặc gần bằng 0,00, giá trị SD phải bằng hoặc gần bằng 1,00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.
Bảng 2.4: Kết quả phân tích chất lượng bộ chỉ số bằng phần mềm QUEST Summary of item Estimates Summary of item Estimates
========================= Mean .00 SD 1.05 SD (adjusted) .72 Reliability of estimate .82 Fit Statistic ===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean .99 SD .20 SD .33
Summary of case Estimates
========================= Mean .50 SD .92 SD (adjusted) .85 Reliability of estimate .98 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean .99 Mean 1.00 SD .22 SD .31
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy :
Giá trị mean (Summary of item Estimates) là 0,00, phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 0,00). Giá trị SD (Summary of
item Estimates) bằng 1,05, phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải
bằng hoặc gần bằng 1,00). Cả 2 giá trị Mean trong (Infit Mean Square) đạt 1,00 và Mean trong (Outfit Mean Square) 0,99 đều phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 1,00). Các giá trị SD trong (Infit Mean
Square) đạt 0,2 và Mean trong (Outfit Mean Square) 0,33 đều phù hợp với giá trị SD
kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 0,00).
Như vậy có thể kết luận dữ liệu phân tích phù hợp với mơ hình Rasch. Độ tin cậy của bộ chỉ số là 0,82 chứng tỏ bộ chỉ số có độ tin cậy tương đối cao. Điều này có ý nghĩa rằng hầu hết các câu hỏi đều phù hợp, cùng đo về một vấn đề và đều đóng góp cho độ tin cậy của cả thang đo.
67
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngồi khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra 4 biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là biến “11, 14, 20, 28”. Bốn biến này cũng chính là bốn item làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS. Bản đồ “Map” do phần mềm QUEST tạo ra cho phép xem xét kết quả một cách nhanh chóng, rõ ràng.
BO CHI SO -------------------------------------------------------------------------------------------
Item Fit
all on bochiso (N = 62 L = 32 Probability Level= .50) ------------------------------------------------------------------------------------------- INFIT MNSQ .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 ----------+-+---------+---------+---------+---------+---------+---------+---------+-------- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * . 4 item 4 . * . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . |* . 9 item 9 . * | . 10 item 10 . | * . 11 item 11 * . | . 12 item 12 . | * . 13 item 13 . *| . 14 item 14 * . | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . |* . 18 item 18 . | * . 19 item 19 . *| . 20 item 20 . | . * 21 item 21 . | *. 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . |* . 25 item 25 . * | . 26 item 26 . | * . 27 item 27 . * | . 28 item 28 * . | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . | * . 32 item 32 . |* . ===========================================================================================
Hình 2.3: Bản đồ thể hiện mức độ phù hợp của các câu hỏi
Cần xem xét lại 4 câu hỏi này, tìm ra lý do mà các câu hỏi này nằm ngoài khoảng đồng bộ cho phép từ đó có ra quyết định điều chỉnh hay loại bỏ những câu
68
hỏi này ra khỏi phiếu điều tra. Thật vậy, khi xem xét kết quả phân tích bằng biểu đồ câu hỏi bằng phần mềm CONQUEST ta thấy item 11, 14, 20, 28 có các phương án trả lời chất lượng không tốt đặc biệt là 2 item 20 và 28.
Đối với item 20, kết quả đánh giá dựa trên phương án lựa chọn mức 3 và 4 điểm khơng có sự khác biệt rõ rệt thể hiện ở hình 2.4. Do đó, đối với item này ta có thể bỏ đi phương án mức 4 điểm để làm tăng độ tin cậy của câu hỏi.