Chƣơng 2 : PHƢƠNG PHÁP NGHIÊN CỨU
2.2. Các bƣớc xây dựng Bộ chỉ số đánh giá
2.2.5. Khảo sát thử nghiệm và đánh giá độ tin cậy của công cụ đo lường
Phiếu khảo sát sau khi hoàn thành sẽ được tiến hành khảo sát thử nghiệm để đánh giá chất lượng thang đo và độ tin cậy của bảng hỏi, theo đó có thể căn cứ vào kết quả khảo sát thử nghiệm để thay đổi hoặc điều chỉnh bộ công cụ đo lường (nếu cần thiết).
2.2.5.1. Mẫu khảo sát thử nghiệm
Như tác giả đã trình bày ở trên, số giáo viên tham gia lấy ý kiến phản hồi về chất lượng giảng dạy của GV là 120. Tuy nhiên, để đảm bảo chất lượng của phiếu hỏi và hiệu quả của công tác đánh giá, trong khuôn khổ luận văn này tác giả đã thử nghiệm phiếu hỏi trên mẫu 35 giáo viên viên được chọn ngẫu nhiên từ 120 học viên trong 9 Khoa, bộ môn tham gia giảng dạy.
Phiếu khảo sát được thử nghiệm trên mẫu là 35 GV của Trường TC CSGT thuộc các Khoa, Bộ môn giảng dạy các môn học cơ sở và các môn học chuyên ngành. Phương pháp chọn mẫu là chọn mẫu ngẫu nhiên.
2.2.5.2. Phân tích số liệu khảo sát thử nghiệm
Các phiếu khảo sát thu được sẽ sử dụng để đánh giá chất lượng của bộ công cụ đo lường. Việc đánh giá này được thực hiện qua 3 bước:
57 xử lý đạt yêu cầu là 35 phiếu.
Bước 2: Mã hóa các thơng tin và nhập số liệu vào phần mềm SPSS; Bước 3: Phân tích số liệu: Sử dụng phần mềm QUEST để kiểm tra độ tin cậy của phiếu khảo sát và sự phù hợp giữa các câu hỏi trong cấu trúc của phiếu. Các dữ liệu thu được bằng phiếu hỏi đã được nhập vào phần mềm thống kê khoa học xã hội (SPSS). Mơ hình Rasch và phần mềm QUEST được sử dụng để đo mức độ tự đánh giá của GV về năng lực giảng dạy các môn học. Để sử dụng phần mềm QUEST, thang đo được chuyển đổi như sau:
Hồn tồn khơng đồng ý Không đồng ý Đồng ý một phần Đồng ý Hoàn toàn đồng ý 0 1 2 3 4
Kết quả của dữ liệu sau khi khảo sát được quy đổi về mức chỉ số cụ thể tương đương thang điểm 100 và độ lệch là 15. Cụ thể như sau:
Kết quả phân tích số liệu thử nghiệm:
Tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ cơng cụ khảo sát nhằm khẳng định lại độ tin cậy của phiếu khảo sát.
Theo Phạm Xuân Thanh (2011), để dữ liệu phù hợp với mơ hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST thì giá trị Mean trong Summaryof itemEstimates phải bằng hoặc gần bằng 0,00, giá trị SD
Mức độ hài lịng Thang đo
Hồn tồn đồng ý Rất tốt
Đồng ý Tốt
Đồng ý một phần Khá
Khơng đồng ý Trung bình Hồn tồn khơng đồng ý Yếu
58
phải bằng hoặc gần bằng 1,00. Giá trị Mean trong FitStatistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.
Xử lý dữ liệu và chạy chương trình QUEST để xác định độ tin cậy của bộ phiếu hỏi và sự phù hợp giữa các câu hỏi trong khoảng cho phép ta có kết quả như sau:
Phiếu Tự đánh giá của GV về năng lực giảng dạy Bảng 2.5: Kết quả phân tích chất lượng phiếu khảo sát bằng
phần mềm QUEST
Item Estimates (Thresholds)
all on gvtdg (N = 35 L = 46 Probability Level= .50)
-------------------------------------------------------------------------- Summary of item Estimates
========================= Mean .00 SD .47 SD (adjusted) .51 Reliability of estimate .85 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .09 SD .14 Infit t Outfit t Mean .08 Mean .09 SD .50 SD .39 0 items with zero scores
0 items with perfect scores
==========================================================================
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy giá trị mean trong
Summaryof itemEstimates là 0,00, giá trị SD bằng 0,47 và giá trị Mean trong
InfitMeanSquare đạt 1,00 và mean trong Outfit Mean Square 1,00. Độ tin cậy Reabilityof estimates bằng 0,85. Với kết quả này có thể kết luận dữ liệu khảo sát phù hợp với mơ hình Rasch.
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau trong biểu đồ Item Fit với mỗi item biểu thị bằng dấu “*”. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt
59
khảo sát chính thức, những câu hỏi nào nằm ra ngồi khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, khơng phát hiện ra biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó.
Bảng 2.6: Kết quả phân tích mối tương quan giữa các câu hỏi trong Phiếu Tự đánh giá của GV
Item Fit
all on gvtdg (N = 35 L = 46 Probability Level= .50)
--------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+------ 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . | * . 10 item 10 . | * . 11 item 11 . | * . 12 item 12 . *| . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . |* . 16 item 16 . | * . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . | * . 21 item 21 . | * . 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . | * . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . |* . 28 item 28 . | * . 29 item 29 . | * . 30 item 30 . | * . 31 item 31 . | * . 32 item 32 . *| . 33 item 33 . * | . 34 item 34 . * | . 35 item 35 . | * . 36 item 36 . | * . 37 item 37 . | * . 38 item 38 . * | . 39 item 39 . | * . 40 item 40 . * | . 41 item 41 . *| . 42 item 42 . | * . 43 item 43 . * | . 44 item 44 . *| . 45 item 45 . |* . 46 item 46 . | * . =========================================================================================
60
Sau khi phân tích chất lượng bộ phiếu hỏi bằng phần mềm SPSS và phần mềm QUEST có thể kết luận phiếu khảo sát có độ tin cậy đạt yêu cầu các thông tin thu được khi sử dụng bộ công cụ này là đáng tin cậy, có thể được sử dụng để tiến hành khảo sát chính thức.
Bảng 2.7: Kết quả phân tích Phiếu lấy ý kiến sự hài lòng của HV về năng lực giảng dạy của GV
Item Estimates (Thresholds)
all on svdg (N = 35 L = 43 Probability Level= .50)
------------------------------------------------------------------------------------
Summary of item Estimates ========================= Mean .00 SD .61 SD (adjusted) .00 Reliability of estimate .67 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean 1.00 Mean 1.00 SD .13 SD .15
Infit t Outfit t
Mean .04 Mean .05 SD .65 SD .53
0 items with zero scores 0 items with perfect scores
==================================================================================== Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy giá trị mean trong
Summaryof itemEstimates là 0,00, giá trị SD bằng 0,61 và giá trị Mean trong
InfitMeanSquare đạt 1,00 và mean trong OutfitMeanSquare1,00. Độ tin cậy Reabilityof estimates bằng 0,67. Với kết quả này có thể kết luận dữ liệu khảo sát phù hợp với mơ hình Rasch.
Một trong những dẫn chứng quan trọng để nói rằng bộ câu hỏi là tốt khi xác định được tất cả các câu hỏi đều tạo thành một cấu trúc. Sự phù hợp của các câu hỏi thể hiện qua một đại lượng có tên gọi là INFIT MNSQ, nằm trong
61
khoảng 0,70 đến 1,30. Nếu có một câu hỏi nào có INFIT MNSQ nằm ngoài khoảng trên cần bị loại bỏ. Kiểm tra mức độ phù hợp của từng câu hỏi với nhau trong biểu đồ Item Fit (phụ lục 6) với mỗi item biểu thị bằng dấu “*”. Kết quả thử nghiệm cho thấy:
Item Fit
all on svdg (N = 35 L = 43 Probability Level= .50)
-------------------------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+- --------+- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . | * . 13 item 13 * . | . 14 item 14 . * | . 15 item 15 . * | . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . | * . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . * . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . * . 28 item 28 . | * . 29 item 29 . |* . 30 item 30 . | * . 31 item 31 . | * . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . | * . 35 item 35 . | * . 36 item 36 . | * . 37 item 37 . | * . 38 item 38 . | * . 39 item 39 . | * . 40 item 40 . | * . 41 item 41 . * | . 42 item 42 . | * . 43 item 43 . | * . =========================================================================================
62
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là item 13, biến này có giá trị INFIT MNSQ bằng 1.08.
Xét item 13, kết quả phân tích bằng phần mềm Quest cho thấy câu hỏi có độ phân biệt khá cao (Disc = 0.56), hệ số tương quan (Pt-Biserial từ -0.16 đến 0.33) và ngưỡng để vượt qua, thực chất là độ khó của câu hỏi (Thresholds có giá trị từ -2.19 đến 2.55). Do đây không phải là một câu hỏi trắc nghiệm và thang đo để đánh giá được dùng theo thang Likert 5 mức độ nhằm đánh giá liên hệ giữa kiến thức cũ và kiến thức mới, giữa các môn học đang giảng dạy với các mơn học khác có liên quan đến nội dung giảng dạy. Hơn nữa, mức độ phù hợp của câu hỏi có INFIT MNSQ có giá trị bằng 0.76, không quá bé so với khoảng phù hợp là (0.77 – 1.30). Do vậy, tác giả vẫn tiếp tục giữ lại item 13 này để khảo sát trong đợt điều tra chính thức.
Câu hỏi 13 cần sửa lại. Lý do:
- Câu 13 được thiết kế: “Đồng chí thường liên hệ giữa kiến thức cũ và kiến thức mới; giữa kiến thức mơn học mình giảng dạy với kiến thức của các mơn học khác có liên quan đến nội dung giảng dạy”.
Với cách thiết kế như vậy GV đã không hiểu các hai nội dung hỏi một cách giống nhau hay riêng biệt từng nội dung dẫn đến câu hỏi 13 rơi ra ngoài khoảng đồng bộ cho phép [INFIT MNSQ từ 0.77 - 1.3].
* Sửa chữa câu 13.
Câu 13: Đồng chí biết cách hướng dẫn cho học sinh liên hệ giữa kiến thức cần học với những kiến thức cũ làm cơ sở nhận biết kiến thức mới.
Sau khi sửa chữa, điều chỉnh nội dung các câu nằm ngoài khoảng đồng bộ thích hợp thu được phiếu hỏi trong Phụ lục 1B. Tiến hành khảo sát phiếu hỏi đã được điều chỉnh với số lượng mẫu là 35 sinh viên, thu được kết quả như sau:
63
Bảng 2.8: Kết quả phân tích Phiếu tự ĐG của GV sau khi đã chỉnh sửa
Item Fit
all on svdg (N = 35 L = 43 Probability Level= .50)
-------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . | * . 13 item 13 . * | . 14 item 14 . * | . 15 item 15 . * | . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . | * . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . * . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . * . 28 item 28 . | * . 29 item 29 . |* . 30 item 30 . | * . 31 item 31 . | * . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . | * . 35 item 35 . | * . 36 item 36 . | * . 37 item 37 . | * . 38 item 38 . | * . 39 item 39 . | * . 40 item 40 . | * . 41 item 41 . * | . 42 item 42 . | * . 43 item 43 . | * . =============================================================================
Sau khi phân tích chất lượng bộ phiếu hỏi bằng phần mềm SPSS và phần mềm QUEST có thể kết luận phiếu khảo sát có độ tin cậy đạt u cầu các thơng tin thu được khi sử dụng bộ công cụ này là đáng tin cậy, có thể