8. Cấu trúc của luận văn
2.2.5.1. tin cậy và độ hiệu lực của công cụ đo thử nghiệm
Trong nghiên cứu này, tiêu chí đánh giá hoạt động giảng dạy các môn học chuyên ngành của giảng viên trong CTTT gồm 40 câu (nội dung phần II, từ câu II.1.1 đến câu II.6.5 được thiết kế theo thang đo Likert với 5 mức độ); các câu hỏi khác (phần I và phần III) phục vụ cho đánh giá mức độ ảnh hưởng của các yếu tố ảnh hưởng đến kết quả đánh giá và đến hiệu quả tiếp thu kiến thức chuyên ngành
45
bằng tiếng Anh của sinh viên. Do đó, việc phân tích chất lượng phiếu khảo sát bằng các phần mềm được thực hiện đối với 40 biến trên của phiếu khảo sát. Cụ thể, tác giả sử dụng phần mềm SPSS 18.0 để tính toán hệ số Cronbach Alpha cho toàn thang đo và giá trị Cronbach Alpha nếu như loại bỏ bớt một mục hỏi nào đó.
Từ kết quả thử nghiệm với 120 sinh viên đánh giá phân tích bằng phần mềm SPSS 18.0 cho thấy hệ số độ tin cậy Cronbach’s Alpha = 0,897. Hệ số Cronbach's Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng từ 0,892 đến 0,898. Như vậy có thể thấy, trong số 40 biến tiến hành khảo sát có những biến không đóng góp độ tin cậy cho phiếu khảo sát. Cần xem xét những biến không đóng góp vào độ tin cậy của thang đo để điều chỉnh hoặc loại bỏ ra khỏi phiếu khảo sát. Bảng phân
tích Crobach Alpha (chi tiết tại phụ lục 5, trang 109) cho thấy có 6 biến có hệ số
Cronbach’s Alpha < 0,3; cụ thể là các biến II.1.9 (0,215); II.1.10 (0,189); II.2.5 (0,249); II.3.4 (2,86); II.3.5 (0,217) và II.4.4 (0,294). Tuy nhiên, nhìn vào cột hệ số Alpha if Item Deleted thì chỉ có 3 biến II.1.9, II.I.10 và II.3.5 làm cho độ tin cậy của thang đo tăng lên khi loại bỏ các biến này đi. Cụ thể là khi loại bỏ 3 biến này độ tin cậy của thang đo sẽ là 0,898. Ba biến này làm giả độ tin cậy của thang đo nên cần loại bỏ ba biến này ra khỏi phiếu khảo sát. Ba biến còn lại là II.2.5, II.3.4 và II.4.4 tuy có hệ số Cronbach Alpha thấp nhưng chúng không làm hưởng đến độ tin cậy của thang đo nên chúng tôi giữ 3 biến này lại. Kết quả phân tích Cronbach Alpha sau khi loại bỏ 3 biến II.1.9, II.I.10 và II.3.5 cho kết quả cronbach Alpha bằng 0,903.
Như vậy, phiếu khảo sát có độ tin cậy cao, đồng thời hệ số tương quan của mỗi câu hỏi đối với toàn bộ các câu hỏi còn lại đạt giá trị khá tốt. Có 33/40 câu hỏi có hệ số tương quan đạt giá trị từ 0,308 đến 0,564. Điều đó chứng tỏ đa số các câu hỏi có tính đồng hướng, đo đúng cái cần đo, tức là các câu hỏi này đều có chất lượng tốt.
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt
46
- Ước tính phù hợp thống kê (Summary of item Estimates): giá trị Mean = 0,00 bằng với giá trị Mean điều kiện (bằng hoặc gần 0,00) và SD = 0,97 xấp xỉ SD điều kiện (bằng hoặc gần 1,00). Giá trị Mean của Infit Mean Square và Outfit Mean Square lần lượt là 1,00 và 1,02 gần bằng với giá trị Mean điều kiện (bằng hoặc gần 1,00); giá trị SD của Infit Mean Square và Outfit Mean Square lần lượt là 0,15 và
0,21 xấp xỉ với SD điều kiện (bằng hoặc gần 0,00). Do đó, ta có thể kết luận: dữ liệu phù hợp với mô hình Rasch.
- Ước tính trường hợp (Summary of case Estimates): Giá trị Mean của Infit Mean Square và Outfit Mean Square lần lượt là 1,01 và 1,02 gần bằng với giá trị Mean điều kiện (bằng hoặc gần 1,00); giá trị SD của Infit Mean Square và Outfit Mean Square là 0,37 lớn hơn SD điều kiện (bằng hoặc gần 0,00). Do đó, ta có thể
kết luận: dữ liệu phù hợp với mô hình Rasch.
Hình 2.3: Kết quả phân tích chất lượng phiếu khảo sát bằng phần mềm QUEST.
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngoài khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
47
Kiem dinh thang do ---
Item Fit 6/ 8/14 2:42
all on dulieu (N = 120 L = 40 Probability Level= .50) --- INFIT MNSQ .45 .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 1.80 2.00 ---+---+---+---+---+---+---+---+---+---+---+--- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * . 4 item 4 . * | . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . * | . 9 item 9 . | . * 10 item 10 . | . * 11 item 11 . | * . 12 item 12 . *| . 13 item 13 . | * . 14 item 14 . *| . 15 item 15 . | * . 16 item 16 . *| . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . | * . 20 item 20 . | . * 21 item 21 . |* . 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . | * . 25 item 25 . * | . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . *| . 29 item 29 . * | . 30 item 30 . * . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . * . 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . * | . ========================================================================================================================
Hình 2.4: Bản đồ thể hiện mức độ phù hợp của các câu hỏi
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra 3 biến ngoại lai (item 9, item 10 và item 20) nằm ra khỏi khoảng đồng bộ
cho phép và 3 biến đó là câu II.1.9, II.1.10 và II.3.5. Ba biến này cũng chính là ba
item làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS.
Kết quả chạy lại Quest sau khi đã loại bỏ 3 item trên cho thấy 37 biến trong bộ phiếu đã tạo thành 1 cấu trúc (37 biến này có INFIT MNSQ nằm trong khoảng 0,77 và 1,30) vì vậy 37 biến này có thể được sử dụng để khảo sát trong đợt điều tra
chính thức (phụ lục 7, trang 112).
Xem xét lại ba câu hỏi này, chúng tôi thấy đều là các tiêu chí khó đánh giá do tính định lượng không cao và sinh viên thường bỏ qua không đánh giá 3 câu này.
Nguyên nhân có thể do: thứ nhất, nội dung đánh giá nằm ngoài khả năng hiểu biết của sinh viên; thứ hai, nội dung khó định lượng. Cụ thể:
48
- Tiêu chí 1.9 (câu II.1.9) – Giảng viên có tham khảo, tiếp thu ý kiến đồng nghiệp, sinh viên và sử dụng kết quả kiểm tra, đánh giá giảng viên vào cải tiến nội dung, phương pháp giảng dạy và Tiêu chí 1.10 (câu II.1.10) – Giảng viên có đề xuất các ý kiến tham gia đóng góp phát triển chuyên ngành và hỗ trợ đồng nghiệp phát triển chuyên môn: Với hai nội dung này, sinh viên có thể đánh giá việc giảng viên có tiếp thu ý kiến của sinh viên và sử dụng kết quả kiểm tra, đánh giá giảng viên vào cải tiến nội dung, phương pháp giảng dạy thông qua hoạt động giảng dạy trên lớp nhưng việc giảng viên có tiếp thu ý kiến đồng nghiệp để cải tiến nội dung, phương pháp giảng dạy và đề xuất các ý kiến tham gia đóng góp phát triển chuyên ngành và hỗ trợ đồng nghiệp phát triển chuyên môn thì những hoạt động này ngoài lớp học nên sinh viên có thể không hiểu biết về những khía cạnh này.
- Tiêu chí 3.5 (câu II.3.5) – Giảng viên có kế hoạch cải tiến nội dung và phương pháp giảng dạy tích cực đối với các môn học chuyên ngành của CTTT: với nội dung này, chúng tôi cho nguyên nhân là do sinh viên phân vân giữa kế hoạch và việc thực hiện nên khó xác định được hoạt động cải tiến chuyên môn trước và sau khi được giảng dạy của giảng viên.
Xét mối tương quan và khả năng đánh giá của 3 tiêu chí trên, chúng tôi quyết định loại bỏ 3 tiêu chí 1.9, 1.10 và 3.5 vì 3 tiêu chí này nằm ngoài khả năng đánh giá của khách thể là sinh viên và không đóng góp vào độ tin cậy của thang đo, nằm ngoài khoảng đồng bộ cho phép INFIT MNSQ, cần phải loại bỏ 3 biến này ra khỏi phiếu khảo sát.
Như vậy, sau khi phân tích chất lượng bộ phiếu hỏi bằng phần mềm SPSS, phần mềm QUEST và xem xét nội dung câu hỏi, chúng tôi sử dụng 37 biến để tiến hành khảo sát chính thức.