gần bằng 1,00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.
Bảng 2.4: Kết quả phân tích chất lượng bộ chỉ số bằng phần mềm QUESTSummary of item Estimates Summary of item Estimates
========================= Mean .00 SD 1.05 SD (adjusted) .72 Reliability of estimate .82 Fit Statistic ===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean .99 SD .20 SD .33
Summary of case Estimates
========================= Mean .50 SD .92 SD (adjusted) .85 Reliability of estimate .98 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean .99 Mean 1.00 SD .22 SD .31
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy :
Giá trị mean (Summary of item Estimates) là 0,00, phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 0,00). Giá trị SD (Summary of item Estimates) bằng 1,05, phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 1,00). Cả 2 giá trị Mean trong (Infit Mean Square) đạt 1,00 và Mean trong (Outfit Mean Square) 0,99 đều phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 1,00). Các giá trị SD trong (Infit Mean Square) đạt 0,2 và Mean trong (Outfit Mean Square) 0,33 đều phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 0,00).
Như vậy có thể kết luận dữ liệu phân tích phù hợp với mô hình Rasch. Độ tin cậy của bộ chỉ số là 0,82 chứng tỏ bộ chỉ số có độ tin cậy tương đối cao. Điều này có ý nghĩa rằng hầu hết các câu hỏi đều phù hợp, cùng đo về một vấn đề và đều đóng góp cho độ tin cậy của cả thang đo.
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngoài khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra 4 biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là biến “11, 14, 20, 28”. Bốn biến này cũng chính là bốn item làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS. Bản đồ “Map” do phần mềm QUEST tạo ra cho phép xem xét kết quả một cách nhanh chóng, rõ ràng.
BO CHI SO ---
Item Fit
all on bochiso (N = 62 L = 32 Probability Level= .50) --- INFIT MNSQ .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 ---+-+---+---+---+---+---+---+---+--- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * . 4 item 4 . * . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . |* . 9 item 9 . * | . 10 item 10 . | * . 11 item 11 * . | . 12 item 12 . | * . 13 item 13 . *| . 14 item 14 * . | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . |* . 18 item 18 . | * . 19 item 19 . *| . 20 item 20 . | . * 21 item 21 . | *. 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . |* . 25 item 25 . * | . 26 item 26 . | * . 27 item 27 . * | . 28 item 28 * . | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . | * . 32 item 32 . |* . ===========================================================================================
Hình 2.3: Bản đồ thể hiện mức độ phù hợp của các câu hỏi
Cần xem xét lại 4 câu hỏi này, tìm ra lý do mà các câu hỏi này nằm ngoài khoảng đồng bộ cho phép từ đó có ra quyết định điều chỉnh hay loại bỏ những câu
hỏi này ra khỏi phiếu điều tra. Thật vậy, khi xem xét kết quả phân tích bằng biểu đồ câu hỏi bằng phần mềm CONQUEST ta thấy item 11, 14, 20, 28 có các phương án trả lời chất lượng không tốt đặc biệt là 2 item 20 và 28.
Đối với item 20, kết quả đánh giá dựa trên phương án lựa chọn mức 3 và 4 điểm không có sự khác biệt rõ rệt thể hiện ở hình 2.4. Do đó, đối với item này ta có thể bỏ đi phương án mức 4 điểm để làm tăng độ tin cậy của câu hỏi.
Hình 2.4: Chất lượng câu hỏi 20 phân tích bằng CONQUEST
Đối với Item 28, dựa vào hình 2.5 ta thấy chỉ số Probability khởi điểm của phương án tương ứng với mức 3 điểm ở mức khá cao, và bao trùm hầu hết các mức năng lực từ rất thấp đến rất cao, điều này có nghĩa là các phương án với mức đánh giá thấp hơn mức 3 điểm có chất lượng không tốt hoặc phương án ở mức 3 điểm có nội dung chồng chéo, trùng lắp với các phương án ở mức thấp hơn. Nên ta cần xem xét lại câu hỏi này để làm tăng độ tin cậy của bộ chỉ số.
Hình 2.5: Chất lượng câu hỏi 28 khi phân tích bằng CONQUEST
Bên dưới là nội dung của 4 câu hỏi cần phải được xem xét:
Item 11: “Vận dụng các nguyên tắc, phương pháp, hình thức tổ chức giáo dục” (Đo công tác tổ chức các hoạt động giáo dục)
Không biết vận dụng
Vận dụng máy móc
Vận dụng hợp lý
Vận dụng một cách linh hoạt, sáng tạo
Item 14: Khả năng tiếp cận và giáo dục HS chưa ngoan (cá biệt), hành vi tiêu cực (Tình huống và vấn đề sư phạm)
Biết cách tiếp cận và xác định các nguyên nhân chính của các hành vi
Biết làm cho HS thay đổi cách suy nghĩ, quan niệm, niềm tin sai lệch dẫn đến hành động tiêu cực
Phối hợp với GV bộ môn, và các lực lượng khác để các em chuyển đổi thái độ hành vi
Khơi dậy lòng tự trọng và tự tôn giá trị để tự giáo dục và hoàn thiện
Item 20: Phối hợp với các tổ chức Đoàn thể xã hội (Phối hợp các lực lượng GD HS)
Biết lập kế hoạch và xây dựng chương trình phối hợp hành động với các tổ chức xã hội
Cố vấn tập thể lớp tự tổ chức hiệu quả các hoạt động giáo dục có sự tham của các tổ chức đoàn thể xã hội
Kết hợp với Đoàn trường tổ chức có hiệu quả các hoạt động giáo dục có sự tham gia của các đoàn thể xã hội.
Các tổ chức Đoàn thể xã hội chủ động phối hợp với tập thể lớp tổ chức các hoạt động giáo dục.
Item 28: Mức độ gần gũi với học sinh (Ứng xử với học sinh)
Thân thiện với học sinh, quan tâm giúp đỡ học sinh
Chân thành, cởi mở với học sinh, sẵn sàng giúp đỡ học sinh khi có khó khăn
Chủ động tìm hiểu hoàn cảnh của học sinh, giúp đỡ học sinh khắc phục khó khăn trong học tập và rèn luyện đạo đức
Sau khi xem xét, phân tích và tham khảo ý kiến của các chuyên gia có nhiều kinh nghiệm về thiết kế phiếu điều tra và 1 số GVCN ở trường phổ thông, nội dung của 4 câu hỏi này đã được chỉnh sửa lại cho phù hợp hơn.
Item 11: Vận dụng các nguyên tắc, phương pháp, hình thức tổ chức giáo dục
Không biết vận dụng
Vận dụng máy móc
Vận dụng hợp lý theo từng tình huống cụ thể
Vận dụng một cách linh hoạt, sáng tạo đạt được hiệu quả cao
Item 14: Khả năng tiếp cận và giáo dục HS chưa ngoan (cá biệt), hành vi tiêu cực
Biết cách tiếp cận và xác định các nguyên nhân chính của các hành vi tiêu cực
Biết làm cho HS thay đổi cách suy nghĩ, niềm tin sai lệch dẫn đến hành động sai trái
Phối hợp với GV bộ môn, và gia đình HS để các em chuyển đổi thái độ hành vi lệch lạc
Khơi dậy lòng tự trọng và tự tôn giá trị bản thân để HS tự giáo dục và hoàn thiện
Item 20: Phối hợp với các tổ chức Đoàn thể xã hội
Biết lập kế hoạch và xây dựng chương trình phối hợp hành động với các tổ chức xã hội
Cố vấn tập thể lớp tự tổ chức hiệu quả các hoạt động giáo dục có sự tham của các tổ chức đoàn thể xã hội
Kết hợp với Đoàn trường tổ chức có hiệu quả các hoạt động giáo dục có sự tham gia của các đoàn thể xã hội.
(Phương án này đã được loại bỏ)
Item 28: Mức độ gần gũi với học sinh
Thân thiện với học sinh, quan tâm giúp đỡ học sinh
Chân thành, cởi mở với học sinh, sẵn sàng giúp đỡ học sinh khi có khó khăn
Chủ động tìm hiểu hoàn cảnh của học sinh, giúp đỡ học sinh khắc phục khó khăn trong học tập và rèn luyện đạo đức
(Phương án này đã được loại bỏ)
* Đánh giá độ hiệu lực của thang đo chính thức
Sau khi chỉnh sửa nội dung các item nằm ngoài khoảng đồng bộ, bộ chỉ số được điều tra lại trên mẫu 62 GV, chạy lại dữ liệu bằng phần mềm QUEST và thu được kết quả thể hiện như sau:
BO CHI SO --- Item Fit all on bochiso (N = 62 L = 32 Probability Level= .50) --- INFIT MNSQ .77 .83 .91 1.00 1.10 1.20 1.30 ---+--+---+---+---+---+---+---+-- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . | * . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . | * . 13 item 13 . |* . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . | * . 18 item 18 . | * . 19 item 19 . * . 20 item 20 . | * . 21 item 21 . | * . 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . |* . 25 item 25 . * | . 26 item 26 . | * . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . | * . 32 item 32 . | * . ============================================================================
Hình 2.6: Bản đồ thể hiện mức độ phù hợp của các câu hỏi
Từ kết quả chạy lại số liệu ở trên ta thấy 32 item này đã tạo thành một cấu trúc, không còn item nào nằm ngoài hai đường chấm thẳng đứng (tức là có giá trị bình phương trung bình độ phù hợp INFIT MNSQ nằm trong khoảng 0,77-1,30), độ tin cậy của lần chạy này cũng đã tăng lên 0,85. Vì vậy 32 biến này có thể được sử dụng để khảo sát trong đợt điều tra chính thức.
Phân tích nhân tố
Phân tích nhân tố khám phá (Exploratory Factor Analysis – EFA)
Phương pháp nhân tố khám phá được sử dụng để xác định các nhóm nhân tố đánh giá chất lượng công tác CNL của GV. Phương pháp phân tích EFA thuộc nhóm phân tích đa biến phụ thuộc lẫn nhau (interdependence techniques), nghĩa là không có biến phụ thuộc và biến độc lập mà nó dựa vào mối tương quan giữa các biến với nhau (interrelationships). EFA dùng để rút gọn một tập k biến quan sát thành một tập F (F<k) các nhân tố ý nghĩa hơn. Cơ sở của việc rút gọn này dựa vào mối quan hệ tuyến tính của các nhân tố với các biến quan sát.
Sử dụng phương pháp phân tích nhân tố EFA với phép quay Varimax để tiến hành phân tích 32 biến quan sát đánh giá về công tác CNL. Số lượng nhân tố được xác định từ trước là 3 nhân tố (tương ứng với 3 tiểu thang đo trong cấu trúc). Kết quả cụ thể ở phụ lục 6 như sau:
Hệ số KMO là 0,885 (Hệ số KMO là một tiêu chí để xem xét sự thích hợp của EFA, theo tác giả Hair và cộng sự (2006) khi 0,5≤KMO≤1 thì phân tích nhân tố thích hợp với dữ liệu nghiên cứu). Kết quả kiểm định Barlett's xấp xỉ 1833 với mức ý nghĩa sig=0.000<0.05, (bác bỏ giả thuyết H0: các biến quan sát không có tương quan với nhau trong tổng thể), điều này chứng tỏ dữ liệu dùng để phân tích nhân tố là hoàn toàn thích hợp.
Phương sai trích là 67,695% (>50%), điều này có nghĩa 3 nhân tố giải thích được 67.7% sự biến thiên của các biến quan sát.
Các con số trong bảng Rotated Component Matrix thể hiện các trọng số nhân tố hay hệ số tải nhân tố (factor loading) của mỗi biến quan sát. Để phân tích nhân tố EFA có kết quả được xem là quan trọng và có ý nghĩa thực tiễn thì chỉ giữ lại các biến quan sát có trọng số nhân tố có giá trị >0.3, tuy nhiên tốt nhất >0.5 (Hair và cộng sự, 2006). Đối chiếu với bảng Rotated Component Matrix tại phụ lục 6 ta thấy các biến quan sát đều có trọng số nhân tố >0,5.