10. Cấu trúc của luận văn
2.2.4.1. Điều tra thử nghiệm
Phiếu khảo sát sau khi hoàn thành sẽ đƣợc tiến hành khảo sát thử để đánh giá chất lƣợng bộ công cụ và trên cơ sở đó điều chỉnh bộ công cụ (nếu cần thiết).
- Mẫu điều tra thử nghiệm:
Phiếu khảo sát đƣợc thử nghiệm trên mẫu 75 SV các khóa tuyển sinh 2012, 2011 và 2010 các ngành đại học sƣ phạm hệ chính quy đang học tại Trƣờng. Phƣơng pháp chọn mẫu là chọn mẫu ngẫu nhiên không theo tỷ lệ (mỗi khóa lấy ngẫu nhiên 25 SV).
- Quy trình khảo sát:
Tác giả đến các lớp đƣợc chọn điều tra để hƣớng dẫn về mục đích, ý nghĩa của việc khảo sát này và giải thích ý nghĩa của từng câu hỏi, từng nhân tố trong phiếu hỏi cho SV. Cho sinh viên trả lời các phiếu khảo sát trong 30 phút sau đó thu lại. Cụ thể, tổng số phiếu khảo sát phát ra là 75 phiếu, tổng số phiếu thu về là 75 phiếu.
- Phân tích số liệu điều tra:
Các phiếu khảo sát thu về từ đợt khảo sát thử nghiệm sẽ đƣợc sử dụng để đánh giá chất lƣợng của bộ công cụ đo lƣờng. Việc đánh giá này đƣợc thực hiện qua 3 bƣớc:
Bƣớc 1: Xử lý thô các phiếu khảo sát thu thập đƣợc, số phiếu sau khi xử lý đạt yêu cầu là 75 phiếu.
49
Bƣớc 3: Phân tích số liệu: Sử dụng 2 phần mềm chuyên dụng trong phân tích xử lý số liệu khảo sát là SPSS và QUEST. Sử dụng phần mềm SPSS để xác định độ tin cậy của phiếu khảo sát và sự tƣơng quan giữa các câu hỏi. Sử dụng phần mềm QUEST để khẳng định lại độ tin cậy của phiếu khảo sát và sự phù hợp giữa các câu hỏi trong cấu trúc của phiếu.
- Kết quả phân tích số liệu thử nghiệm:
Sử dụng Cronbach Alpha để kiểm tra độ tin cậy của các mục hỏi trong bảng hỏi để tìm ra các hệ số sau:
- Hệ số Cronbach Alpha: thang đo đƣợc chấp nhận khi hệ số Cronbach Alpha đạt từ 0,6 trở lên (Nunnally, 1978; Peterson, 1994; Slater, 1995).
- Các biến quan sát có hệ số tƣơng quan biến tổng (Corrected Item-Total Correlation) nhỏ hơn 0,3 sẽ bị loại (Nunnaly 1994).
- Các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi (Alpha if Item Deleted) lớn hơn hệ số Cronbach’s Alpha sẽ bị loại (Hoàng Trọng 2008) [29].
Trong nghiên cứu này, thang đo năng lực tự học của sinh viên bao gồm 11 câu (từ câu 1 đến câu 11 đƣợc thiết kế theo thang đo Likert với 5 mức độ); các câu hỏi khác (từ câu 12 đến câu 15) phục vụ cho đánh giá mức độ ảnh hƣởng của các yếu tố bên trong và bên ngoài đến năng lực tự học của sinh viên. Do đó, việc phân tích chất lƣợng phiếu khảo sát bằng các phần mềm đƣợc thực hiện đối với 11 câu hỏi đầu tiên của phiếu khảo sát. Cụ thể, tác giả sử dụng phần mềm SPSS 16.0 để tính toán hệ số Cronbach Alpha cho toàn thang đo và giá trị Cronbach Alpha nếu nhƣ loại bỏ bớt một mục hỏi nào đó.
Kết quả phân tích cho thấy phiếu khảo sát (11 câu với 50 biến) có độ tin cậy Cronbach's Alpha = 0.890. Hệ số Cronbach's Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng từ 0.856 đến 0.896. Nhƣ vậy có thể thấy, trong số 50 biến tiến hành khảo sát có những biến không đóng góp độ tin cậy cho phiếu khảo sát.
Cần xem xét những biến nào không đóng góp vào độ tin cậy của thang đo để điều chỉnh hoặc loại bỏ ra khỏi phiếu khảo sát. Bảng phân tích Crobach Alpha (chi tiết tại phụ lục 2) cho thấy các biến 25, 29, 34 làm cho độ tin cậy của thang đo tăng
50
lên khi loại bỏ các biến này đi. Cụ thể là khi loại bỏ biến 25 độ tin cậy của thang đo sẽ là 0.905, loại bỏ biến 29 độ tin cậy của toàn thang đo sẽ là 0.897 và khi loại bỏ biến 34 sẽ làm độ tin cậy của toàn thang đo tăng lên là 0.895. Ba biến này không đóng góp gì cho độ tin cậy của thang đo nên cần loại bỏ ba biến này ra khỏi phiếu khảo sát. Kết quả phân tích Cronbach Alpha sau khi loại bỏ 3 biến này cho kết quả cronbach Alpha bằng 0.907. Nhƣ vậy, phiếu khảo sát có độ tin cậy cao.
Kiểm tra tƣơng quan giữa tổng điểm của từng ngƣời và điểm của từng mục hỏi của phiếu khảo sát (sau khi đã loại bỏ 3 biến 25, 29, 34) cho thấy hệ số tƣơng quan này dao động trong khoảng từ 0.311 đến 0.642.
Từ kết quả phân tích bằng phần mềm SPSS có thể thấy các câu hỏi trong phiếu khảo sát (đã loại bỏ 3 biến 25, 29, 34) có mối tƣơng quan tốt, tất cả các câu hỏi đều đóng góp vào độ tin cậy của kết quả khảo sát và các câu hỏi cũng giúp phân biệt đƣợc những sinh viên có năng lực tự học tốt và những sinh viên có năng lực học tập yếu, kém.
Tác giả sử dụng phần mềm QUEST để phân tích chất lƣợng bộ công cụ khảo sát nhằm khẳng định lại độ tin cậy của phiếu khảo sát.
Trong Tập bài giảng Môn hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST năm 2011 (trang số 43 và 44) của Tiến sĩ Phạm Xuân Thanh chỉ rõ để dữ liệu phù hợp với mô hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST giá trị mean trong Summary of item Estimates phải bằng hoặc gần bằng 0,00, giá trị SD phải bằng hoặc gần bằng 1,00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0 [22].
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu đƣợc qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy giá trị mean trong Summary of item Estimates là0,00, giá trị SD bằng 0,92 và giá trị mean trong Infit Mean Square đạt 1,00 và mean trong Outfit Mean Square 1,01. Độ tin cậy Reability of estimates bằng 0,94. Với kết quả này có thể kết luận dữ liệu khảo sát phù hợp với mô hình Rasch.
51
Bảng 2.2.4.1.1.Kết quả phân tích chất lượng phiếu khảo sát bằng phần mềm QUEST.
Summary of item Estimates ========================= Mean .00 SD .92 SD (adjusted) .91 Reliability of estimate .94 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean 1.00 Mean 1.01 SD .14 SD .19
Summary of case Estimates ========================= Mean -.41 SD .93 SD (adjusted) .92 Reliability of estimate .92 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean 1.05 Mean 1.02 SD .39 SD .43 Infit t Outfit t Mean .08 Mean -.06 SD 1.75 SD 1.51
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì đƣợc giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngoài khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
Kết quả phân tích cho thấy các câu hỏi có mối tƣơng quan tốt, nhƣng đã phát hiện ra 3 biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là biến “25, 29, 34”. Ba biến này cũng chính là ba item làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS. Bản đồ “Map” do phần mềm QUEST tạo ra cho phép xem xét kết quả một cách nhanh chóng.
52
PHAN TICH PHIEU KHAO SAT TEST LVTA ---
Item Fit 13/ 2/13 18:42
all on PTICHTEST (N = 75 L = 50 Probability Level= .50) --- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 ---+---+---+---+---+---+---+---+---+---+---+---+- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . *| . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 . * | . 11 item 11 . * | . 12 item 12 . * | . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . | * . 22 item 22 . |* . 23 item 23 . | * . 24 item 24 . | * . 25 item 25 * . | . 26 item 26 . * | . 27 item 27 . | * . 28 item 28 . | * . 29 item 29 . | . * 30 item 30 . * | . 31 item 31 . | * . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . | . * 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . | * . 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . * | . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . | * . 44 item 44 . * | . 45 item 45 . | * . 46 item 46 . * | . 47 item 47 . * | . 48 item 48 . * | . 49 item 49 . * | . 50 item 50 . * | . ==========================================================================================================================
Hình 2.2.4.1.1. Bản đồ thể hiện mức độ phù hợp của các câu hỏi
Cần xem xét lại ba câu hỏi này, tìm ra lý do mà các câu hỏi này nằm trong khoảng đồng bộ cho phép từ đó có ra quyết định điều chỉnh hay loại bỏ những câu hỏi này ra khỏi phiếu điều tra.
Biến 25: “Đặt câu hỏi cho giáo viên ngay khi phát hiện vấn đề trong bài giảng” (Kĩ năng nghe giảng)
Biến 29: “Ghi vào một vở riêng” (Kĩ năng ghi bài giảng)
Biến 34: “Bảo vệ đến cùng ý kiến của mình” (Kĩ năng làm việc nhóm) Có thể giải thích lý do 3 item này nằm ngoài khoảng đồng bộ cho phép nhƣ sau:
53
Đối với biến 25: Biến này không đồng nhất khía cạnh đánh giá về kĩ năng nghe giảng với các biến còn lại trong câu hỏi số 6. Trong khi 4 biến còn lại trong thang đo này tập trung vào nội dung cần phải chú ý khi nghe giảng, thì biến 25 lại đề cập đến việc SV đặt câu hỏi cho GV khi phát hiện vấn đề.
Đối với biến 29: Biến này không đồng nhất khía cạnh đánh giá về kĩ năng ghi bài giảng với 04 biến còn lại trong câu hỏi số 7. Trong khi 4 biến còn lại trong thang đo này tập trung vào nội dung cần phải ghi, thì biến 25 lại đề cập đến công cụ mà SV dùng để ghi bài.
Đối với biến 34: Biến này không đồng nhất khía cạnh đánh giá về kĩ năng làm việc nhóm với 05 biến còn lại trong câu hỏi số 8. Trong khi 5 biến còn lại trong thang đo này đều thể hiện các hành vi tích cực trong kĩ năng làm việc nhóm thì biến này lại đƣa ra một hành vi tiêu cực trái với các biến còn lại trong nhóm.
Trên cơ sở những phân tích này, tác giả quyết định loại bỏ 3 biến này ra khỏi phiếu khảo sát. Phiếu khảo sát chuyển từ 50 biến xuống còn 47 biến. Chạy lại chƣơng trình Quest để đánh giá mức độ phù hợp của các câu hỏi sau khi đã loại bỏ 3 biến (25, 29, 34). Kết quả chạy lại phần mềm QUEST nhƣ sau:
PHAN TICH PHIEU KHAO SAT TEST LVTA ---
Item Fit 13/ 2/13 19:50
all on PTICHTEST (N = 75 L = 50 Probability Level= .50) --- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 ---+---+---+---+---+---+---+---+---+---+---+---+- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . *| . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 . * | . 11 item 11 . * | . 12 item 12 . * | . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . | * .