1. 2.2 Quá trình phát triển của tính tích cực
2.4. Khảo sát thử nghiệm và đánh giá độ tin cậy của công cụ đo lường
Phiếu khảo sát sau khi hoàn thành sẽ được ti ến hành khảo sát thử nghiệm để đánh giá chất lượng thang đo và độ tin cậy của bảng hỏi, theo đó có thể căn cứ vào kết quả khảo sát thử nghiệm để thay đổi hoặc điều chỉnh bộ công cụ đo lường (nếu cần thiết).
Mẫu khảo sát thử nghiệm:
Phiếu khảo sát được thử nghiệm trên mẫu là 120 SV năm thứ nhất và năm thứ ba ngành Xã hội học, hệ chính quy của Trường ĐH Khoa học xã hội và Nhân văn - HCM. Phương pháp chọn mẫu là chọn mẫu ngẫu nhiên theo tỷ lệ (căn cứ vào số lượ ng của mỗi lớp chọn ngẫu nhiên 60 sinh viên mỗi khóa theo cơ cấu 30 sinh viên nam : 30 sinh viên nữ).
Phân tích số liệu khảo sát thử nghiệm:
Các phiếu khảo sát thu được sẽ sử dụng để đánh giá chất lượng của bộ công cụ đo lường. Việc đánh giá này được thực hiện qua 3 bước:
Bước 1: Xử lý thô các phiếu khảo sát thu thập được, số phiếu sau khi xử lý đạt yêu cầu là 120 phiếu.
Bước 2: Mã hóa các thông tin và nhập số liệu vào phần mềm SPSS;
Bước 3: Phân tích số liệu: Sử dụng 2 phần mềm chuyên dụng trong phân tích xử lý số liệu khảo sát là SPSS và QUEST. Sử dụng phần mềm SPSS để xác định độ tin cậy của phiếu khảo sát và sự tương quan giữa các câu hỏi. Sử dụng phần mềm QUEST để khẳng định lại độ tin cậy của phiếu khảo sát và sự phù hợp giữa các câu hỏi trong cấu trúc của phiếu.
Các biến quan sát trong bảng hỏi này được thiết kế theo 2 biểu hiện chính là thể hiện tính tích cực trong học tập và biểu hiện tiêu cực. Để thang đo có tính đồng nhất trong tất các các câu hỏi với độ tin cậy cao và có thể sử dụng cho các phép thống kê, so sánh, kiểm định, tác giả đề xuất thay đổi điểm số bằng cách
đảo chiều các mức điểm trong thang đo Likert 5 mức độ đối với các câu hỏi C6, C9, C10, C15, C17 và C32, cụ thể như sau:
Bảng 2.2 Ý nghĩa và mức độ trong thang đo nghiên cứu
Ý nghĩa Mức độ
Biến tích cực Biến tiêu cực
Không bao giờ / Hoàn toàn không đồng ý 1 5
Ít khi / Không đồng ý 2 4
Thỉnh thoảng / Phân vân 3 3
Thường xuyên / Đồng ý 4 2
Rất thường xuyên / Rất đồng ý 5 1
Kết quả phân tích số liệu thử nghiệm:
Sử dụng Cronbach Alpha để kiểm tra độ tin cậy của các mục hỏi trong bảng hỏi để tìm ra các hệ số sau:
- Hệ số Cronbach Alpha: thang đo được chấp nhận khi hệ số Cronbach Alpha đạt từ 0,6 trở lên (Nunnally 1978; Peterson 1994; Slater 1995).
- Các biến quan sát có hệ số tương quan biến tổng (Corrected Item-Total Correlation), là hệ số cho biến mức độ “liên kết” giữa một biến quan sát trong nhân tố với các biến còn lại. Nó phản ánh mức độ đóng góp vào giá trị khái niệm của nhân tố của một biến quan sát cụ thể. Tiêu chuẩn để đánh giá một biến có thực sự đóng góp giá trị vào nhân tố hay không là hệ số tương quan biến tổng phải lớn hơn0.3. Nếu biến quan sát có hệ số tương quan biến tổng nhỏ hơn 0.3 thì phải loại nó ra khỏi nhân tố đánh giá(Nunnaly 1994).
- Các biến quan sát có hệ số Alpha nếu bỏ đi (Alpha if Item Deleted) có giá trị lớn hơn hệ số Cronbach’s Alpha sẽ bị loại (Hoàng Trọng 2008).
Trong nghiên cứu này, thang đo các nội dung liên quan đến TTC học tập của sinh viên được thiết kế theo thang đo Likert với 5 mức độ. Các câu hỏi được phân bố theo mức độ học tập tích cực trong lớp (từ câu 01 đến câu 10); hoạt động ngoài giờ lên lớp (từ câu 11 đến câu 22) và ý nghĩa của học tâp đối với bản thân
sinh viên (từ câu 23 đến câu 32). Các câu hỏi khác (từ câu 33 đến câu 37), phản ánh mức độ ảnh hưởng của điều kiện cơ sở vật chất của nhà trường đến hoạt động học tập của sinh viên. Do đó, để đánh giá chất l ượng của bảng khảo sát và chất lượng của thang đo, việc phân tích chỉ thực hiện đối với 32 câu hỏi đầu tiên của khảo sát. Bằng phần mềm SPSS 20, tác giả tiến hành tính toán hệ số Cronbach Alpha cho toàn thang đo và xem xét các câu hỏi để hệ số Cronbach Alpha đạt giá trị cao nhất.
Kết quả phân tích bằng SPSS cho thấy, độ tin cậy thống kê của các biến là 32 câu hỏi đầu tiên trong bảng khảo sát có hệ số Cronbach’s Alpha là 0,867.
Bảng 2.3 Độ tin cậy thống kê của bảng hỏi
Hệ số Cronbach's Alpha Hệ số Cronbach's
Alpha chuẩn Tổng số biến
.867 .870 32
Hệ số Cronbach's Alpha nếu loại bất kỳ một biến nào đó sẽ dao động trong khoảng từ 0,858 đến 0,869. Như vậy có thể thấy, trong số 32 biến tiến hành khảo sát có những biến không đóng góp độ tin cậy cho phiếu khảo sát.
Cần xem xét những biến nào không đóng góp vào độ tin cậy của thang đo để điều chỉnh hoặc loại bỏ ra khỏi phiếu khảo sát. Từ kết quả phân tích Crobach Alpha (chi tiết tại phụ lục 4) cho thấy các biến C9, C25 và C28 làm cho độ tin cậy của thang đo tăng lên khi loại bỏ các biến này. Cụ thể, nếu loại bỏ các biến C9, C28 thì giá trị hệ số Cronbach’s Alpha sẽ tăng lên tương ứng là 0.868; nếu loại bỏ biến C25 sẽ làm độ tin cậy của toàn thang đo tăng lên là 0.869 . Các biến này đóng góp không nhiều cho độ tin cậy của thang đo nên cần xem xét điều chỉnh hoặc loại bỏ ra khỏi phiếu khảo sát.
Khi xét đến hệ số tương quan biến tổng , ta thấy ngoài các biến C9, C25, C28 thì còn có biến C32 có giá trị nhỏ hơn 0,3 (từ 0,169 đến 0,262) nên sẽ bị loại ra khỏi nhóm nhân tố đánh giá.
Ngoài ra, câu hỏi C3 và C5 trong bảng khảo sát có nội dung với các chỉ báo là tương đồng nhau về ý nghĩa nên chỉ cần giữ lại một câu hỏi là C3 và loại C5 khi tiến hành khảo sát chính thức.
Phân tích Cronbach’s Alpha sau khi loại bỏ các câu hỏi có xu hướng tiêu cực là C9, C25, C28, C32 và C5 thì hệ số Cronbach’s Alpha có giá trị mới bằng 0.869. Từ kết quả này cho thấy các câu hỏi còn lại (27 biến) có mối tương quan tốt, đều đóng góp vào độ tin cậy của kết quả khảo sát.
Tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ công cụ khảo sát nhằm khẳng định lại độ tin cậy của phiếu khảo sát.
Theo Phạm Xuân Thanh (2011), để dữ liệu phù hợp với mô hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST thì giá trị Mean trong
Summary of item Estimates phải bằng hoặc gần bằng 0,00, giá trị SD phải bằng hoặc gần bằng 1,00. Giá trị Mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy giá trị mean trong
Summary of item Estimates là 0,00, giá trị SD bằng 0,55 và giá trị Mean trong Infit Mean Square đạt 1,00 và mean trong Outfit Mean Square 1,03. Độ tin cậy Reability of estimates bằng 0,87. Với kết quả này có thể kết luận dữ liệu khảo sát phù hợp với mô hình Rasch.
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau trong biểu đồ Item Fit (phụ lục 6) với mỗi item biểu thị bằng dấu “*”. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngoài khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là item 19, biến này có giá trị INFIT MNSQ bằng 0.76.
Xét item 19, kết quả phân tích bằng phần mềm Quest cho thấy câu hỏi có độ phân biệt khá cao (Disc = 0.66), hệ số tương quan (Pt-Biserial từ -0.26 đến 0.33) và ngưỡng để vượt qua, thực chất là độ khó của câu hỏi (Thresholds có giá trị từ -2.19 đến 2.55). Do đây không phải là một câu hỏi trắc nghiệm và thang đo để đánh giá được dùng theo thang Likert 5 mức độ nhằm đánh giá mức độ dành thời gian cho việc học (C21) của nam và nữ sinh viên. Hơn nữa, mức độ phù hợp của câu hỏi có INFIT MNSQ có giá trị bằng 0.76, không quá bé so với khoảng phù hợp là (0.77 – 1.30). Do vậy, tác giả vẫn tiếp tục giữ lại item 19 này để khảo sát trong đợt điều tra chính thức.
Sau khi phân tích chất lượng bộ phiếu hỏi bằng phần mềm SPSS và phần mềm QUEST có thể kết luận phiếu khảo sát có độ tin cậy đạt yêu cầu các thông tin thu được khi sử dụng bộ công cụ này là đáng tin cậy, có thể được sử dụng để tiến hành khảo sát chính thức.