Đánh giá độ tin cậy và hiệu lực của công cụ đo lườ- 123docz.net

Chương 2 TỔ CHỨC VÀ PHƯƠNG PHÁP NGHIÊN CỨU

2.3. Đánh giá độ tin cậy và hiệu lực của công cụ đo lường

2.3.1. Độ tin cậy và hiệu lực của phiếu khảo sát dành cho GV

2.3.1.1. Thử nghiệm phiếu khảo sát

Độ tin cậy của bộ công cụ đo được đánh giá bằng chỉ số Cronbach’s Alpha. Kiểm định độ tin cậy thang đo Cronbach’s alpha được sử dụng để loại bỏ biến kém chất lượng trước khi tiến hành phân tích nhân tố. Kiểm định độ tin cậy của các biến trong thang đo đánh giá chất lượng công tác CNL dựa vào hệ số kiểm định Cronbach’s Alpha của các nhân tố của thang đo và hệ số Cronbach’s Alpha của mỗi biến đo lường. Các biến có hệ số tương quan tổng - biến (Corrected item total correlation) nhỏ hơn 0,3 sẽ bị loại. Một thang đo có độ tin cậy tốt khi nó biến thiên từ 0,7 trở lên. Nếu Cronbach’s alpha ≥ 0,60 là thang đo có thể chấp nhận được về mặt tin cậy (Nunnally & Bernstein 1994).

Kết quả thu được sau khi phân tích bằng phần mềm SPSS (xem thêm chi tiết tại phụ lục 4) :

Bảng 2.1: Độ tin cậy của phiếu khảo sát dành cho GV thử nghiệm

Độ tin cậy

Cronbach's Alpha Tổng số biến quan sát

0,894 21

Từ kết quả phân tích số liệu thu được ở bảng 2.1 cho thấy phiếu khảo sát thử nghiệm có độ tin cậy Cronbach’s Alpha=0.894. Với độ tin cậy rất cao này cho ta ý nghĩa rằng cứ 100 người được khảo sát thì có đến gần 90 người trả lời đạt tin cậy. Theo một số công trình nghiên cứu thì thang đo được chấp nhận khi hệ số Cronbach’s Alpha đạt từ 0,6 trở lên (Nunnally, 1978; Peterson, 1994; Slater, 1995) nhưng tốt nhất là lớn hơn 0,7 (Nunnally vàBurnstein, 1994).

Ngoài ra, sự tin cậy của bộ chỉ số này còn thể hiện ở mức độ tương quan của câu hỏi với kết quả chung của phiếu khảo sát.

Lớn nhất Bé nhất

Tương quan của từng câu hỏi với phiếu (biến tổng) 0,886 0,410

Hệ số Cronbach’s Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng từ 0,886 đến 0,892 (nhỏ hơn hệ số Cronbach’s Alpha của toàn phiếu khảo sát), hệ số tương quan của từng câu hỏi với phiếu khảo sát (biến tổng) dao động trong khoảng từ 0,410 đến 0,640. Theo Nunnaly (1994) các biến quan sát có hệ số tương quan biến tổng (Corrected Item-Total Correlation) nhỏ hơn 0,3 sẽ bị loại, và các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi (Alpha if Item Deleted) lớn hơn hệ số Cronbach’s Alpha cũng sẽ bị loại (Hoàng Trọng, 2008) [29]. Điều này tất cả các câu hỏi đều sự tương quan với nhau và tương quan với phiếu khảo sát, đóng góp vào độ tin cậy của kết quả khảo sát và các câu hỏi cũng giúp phân biệt được chất lượng công tác chủ nhiệm giữa các GV với nhau.

Tiếp theo tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ công cụ khảo sát nhằm khẳng định lại độ tin cậy của phiếu khảo sát.

Theo tác giả Phạm Xuân Thanh (2011) để dữ liệu phù hợp với mô hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST giá trị mean trong Summary of item Estimates phải bằng hoặc gần bằng 0,00, giá trị SD phải bằng hoặc gần bằng 1,00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.

Bảng 2.2: Kết quả phân tích chất lượng phiếu khảo sát bằng phần mềm QUESTSummary of item Estimates Summary of item Estimates

========================= Mean .00 SD 1.17 SD (adjusted) .97 Reliability of estimate .81 Fit Statistic ===============

Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.02 SD .14 SD .28

Summary of case Estimates

========================= Mean .50 SD .92 SD (adjusted) .85 Reliability of estimate .98 Fit Statistics ===============

Infit Mean Square Outfit Mean Square

Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy :

Giá trị mean (Summary of item Estimates) là 0,00, phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 0,00).

Giá trị SD (Summary of item Estimates) bằng 1,17, phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 1,00).

Cả 2 giá trị Mean trong (Infit Mean Square) đạt 1,00 và Mean trong (Outfit Mean Square) 1,02 đều phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 1,00).

Các giá trị SD trong (Infit Mean Square) đạt 0,14 và Mean trong (Outfit Mean Square) 0,28 đều phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 0,00).

Như vậy có thể kết luận dữ liệu phân tích phù hợp với mô hình Rasch. Độ tin cậy của phiếu khảo sát là 0,81 chứng tỏ phiếu khảo sát có độ tin cậy tương đối cao. Điều này có ý nghĩa rằng hầu hết các câu hỏi đều phù hợp, cùng đo về một vấn đề và đều đóng góp cho độ tin cậy của cả thang đo.

Kiểm tra mức độ phù hợp của từng câu hỏi với nhau. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngoài khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.

Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt và đều nằm trong khoảng đồng bộ. Bản đồ “Map” do phần mềm QUEST tạo ra cho phép xem xét kết quả một cách nhanh chóng, rõ ràng.

Hình 2.2: Bản đồ thể hiện mức độ phù hợp của các câu hỏi

Từ kết quả chạy lại số liệu thu được hiển thị ở hình 2.2 ta thấy 21 item này đã tạo thành một cấu trúc, không còn item nào nằm ngoài hai đường chấm thẳng đứng (tức là có giá trị bình phương trung bình độ phù hợp INFIT MNSQ nằm trong khoảng 0,77-1,30). Vì vậy 21 biến này có thể được sử dụng để khảo sát trong đợt điều tra chính thức.

2.3.1.2. Sản phẩm sau thử nghiệm

Trên cơ sở sử dụng phần mềm QUEST để xác định độ tin cậy của bộ công cụ, độ ổn định của cấu trúc thang đo và tính logic giữa các câu hỏi trong phiếu, tác giả đã hoàn chỉnh phiếu khảo sát và tiến hành điều tra chính thức.

Phiếu chính thức bao gồm 2 phần nội dung chính:

- Phần I (thông tin chung): phần này bao gồm các câu hỏi nhằm xác định năm sinh, giới tính, số năm đảm nhận công tác chủ nhiệm.

- Phần II (nội dung phiếu khảo sát): phần này bao gồm 21 tiêu chí lấy ý kiến của GV về mức độ quan trọng các năng lực cần có ở người GVCN để công tác này có chất lượng. Qua đó, dựa vào các tiêu chí này có thể làm tăng độ tin cậy của các câu hỏi khi xây dựng bộ chỉ số.

2.3.2. Độ tin cậy và hiệu lực của bộ chỉ số đánh giá công tác CNL

2.3.2.1. Thử nghiệm bộ chỉ số

Kết quả thu được sau khi phân tích bằng phần mềm SPSS (xem chi tiết ở phụ lục 4) :

Bảng 2.3: Độ tin cậy của bộ chỉ số thử nghiệm

Độ tin cậy

Cronbach's Alpha Tổng số biến quan sát

0,977 32

Từ kết quả phân tích số liệu thu được ở bảng 2.3 cho thấy bộ chỉ số thử nghiệm có độ tin cậy Cronbach’s Alpha=0.977. Với độ tin cậy rất cao này cho ta ý nghĩa rằng cứ 100 người được khảo sát thì có đến gần 98 người trả lời đạt tin cậy. Theo một số công trình nghiên cứu thì thang đo được chấp nhận khi hệ số Cronbach’s Alpha đạt từ 0,6 trở lên (Nunnally, 1978; Peterson, 1994; Slater, 1995) nhưng tốt nhất là lớn hơn 0,7 (Nunnally vàBurnstein, 1994).

Ngoài ra, sự tin cậy của bộ chỉ số này còn thể hiện ở mức độ tương quan của câu hỏi với kết quả chung:

Lớn nhất Bé nhất

Tương quan của từng câu hỏi với phiếu (biến tổng) 0,918 0,556

Cronbach’s Alpha nếu loại một câu hỏi 0,977 0,918

Hệ số Cronbach’s Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng từ 0,918 đến 0,977, hệ số tương quan của từng câu hỏi với phiếu khảo sát (biến tổng) dao động trong khoảng từ 0,556 đến 0,918. Theo Nunnaly (1994) các biến quan sát có hệ số tương quan biến tổng (Corrected Item-Total Correlation) nhỏ hơn 0,3 sẽ bị loại, và các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi (Alpha if Item Deleted) lớn hơn hệ số Cronbach’s Alpha cũng sẽ bị loại (Hoàng Trọng, 2008) [29]. Điều này tất cả các câu hỏi đều sự tương quan với nhau và tương quan bộ chỉ số, đóng góp vào độ tin cậy của kết quả khảo sát và các câu hỏi cũng giúp phân biệt được chất lượng công tác chủ nhiệm giữa các GV với nhau.

Tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ công cụ khảo sát nhằm khẳng định lại độ tin cậy của bộ chỉ số. Để dữ liệu phù hợp với mô hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST giá trị mean trong

Summary of item Estimates phải bằng hoặc gần bằng 0,00, giá trị SD phải bằng hoặc gần bằng 1,00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.

Bảng 2.4: Kết quả phân tích chất lượng bộ chỉ số bằng phần mềm QUESTSummary of item Estimates Summary of item Estimates

========================= Mean .00 SD 1.05 SD (adjusted) .72 Reliability of estimate .82 Fit Statistic ===============

Infit Mean Square Outfit Mean Square Mean 1.00 Mean .99 SD .20 SD .33

Summary of case Estimates

========================= Mean .50 SD .92 SD (adjusted) .85 Reliability of estimate .98 Fit Statistics ===============

Infit Mean Square Outfit Mean Square

Mean .99 Mean 1.00 SD .22 SD .31

Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy :

Giá trị mean (Summary of item Estimates) là 0,00, phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 0,00). Giá trị SD (Summary of item Estimates) bằng 1,05, phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 1,00). Cả 2 giá trị Mean trong (Infit Mean Square) đạt 1,00 và Mean trong (Outfit Mean Square) 0,99 đều phù hợp với giá trị Mean kỳ vọng (giá trị Mean kỳ vọng phải bằng hoặc gần bằng 1,00). Các giá trị SD trong (Infit Mean Square) đạt 0,2 và Mean trong (Outfit Mean Square) 0,33 đều phù hợp với giá trị SD kỳ vọng (giá trị SD kỳ vọng phải bằng hoặc gần bằng 0,00).

Như vậy có thể kết luận dữ liệu phân tích phù hợp với mô hình Rasch. Độ tin cậy của bộ chỉ số là 0,82 chứng tỏ bộ chỉ số có độ tin cậy tương đối cao. Điều này có ý nghĩa rằng hầu hết các câu hỏi đều phù hợp, cùng đo về một vấn đề và đều đóng góp cho độ tin cậy của cả thang đo.

Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra 4 biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là biến “11, 14, 20, 28”. Bốn biến này cũng chính là bốn item làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS. Bản đồ “Map” do phần mềm QUEST tạo ra cho phép xem xét kết quả một cách nhanh chóng, rõ ràng.

BO CHI SO ---

Item Fit

Hình 2.3: Bản đồ thể hiện mức độ phù hợp của các câu hỏi

Cần xem xét lại 4 câu hỏi này, tìm ra lý do mà các câu hỏi này nằm ngoài khoảng đồng bộ cho phép từ đó có ra quyết định điều chỉnh hay loại bỏ những câu

hỏi này ra khỏi phiếu điều tra. Thật vậy, khi xem xét kết quả phân tích bằng biểu đồ câu hỏi bằng phần mềm CONQUEST ta thấy item 11, 14, 20, 28 có các phương án trả lời chất lượng không tốt đặc biệt là 2 item 20 và 28.

Đối với item 20, kết quả đánh giá dựa trên phương án lựa chọn mức 3 và 4 điểm không có sự khác biệt rõ rệt thể hiện ở hình 2.4. Do đó, đối với item này ta có thể bỏ đi phương án mức 4 điểm để làm tăng độ tin cậy của câu hỏi.

Hình 2.4: Chất lượng câu hỏi 20 phân tích bằng CONQUEST

Đối với Item 28, dựa vào hình 2.5 ta thấy chỉ số Probability khởi điểm của phương án tương ứng với mức 3 điểm ở mức khá cao, và bao trùm hầu hết các mức

Đánh giá độ tin cậy và hiệu lực của công cụ đo lường

Phương pháp điều tra bằng phiếu khảo sát

tin cậy của bộ chỉ số thử nghiệm