- Có các bài viết/ công trình nghiên cứu đăng báo, tạp chí Có ít nhất một công trình nghiên cứu mỗi năm
2.3.1.tin cậy và độ hiệu lực của công cụ đo thử nghiệm 1 GVTĐG
2.3.1.1. GVTĐG
Sử dụng phần mềm thống kê SPSS
Bảng 2.3 cho biết hệ số Cronbach's Alpha là 0,769. Theo đánh giá của các nhà nghiên cứu thì hệ số này từ 0,7 tới 1 là bộ thang đo sử dụng tốt. Cũng có nhà nghiên cứu khác đề nghị rằng hệ số này từ 0,6 trở lên là có thể sử dụng được trong trường hợp khái niệm đang đo lường là mới hoặc mới đối với người trả lời trong bối cảnh nghiên cứu. Như vậy qua thử nghiệm có thể kết luận thang đo là hoàn toàn phù hợp.
Bảng 2.3 – Độ tin cậy của công cụ đo thử nghiệm dành cho GV
Reliability Statistics
Cronbach's Alpha N of Items
.769 12
Bảng 2.4 cho thấy hệ số tương quan của 9/12 câu hỏi có giá trị nằm trong khoảng từ 0,435 đến 0,747), 3/12 câu còn lại có giá trị khá cách biệt.
39
Bảng 2.4- Hệ số tƣơng quan của bộ câu hỏi dành cho GVTĐG (thử nghiệm) Item-Total Statistics Scale Mean if Item Deleted Scale Variance if Item Deleted Corrected Item-Total Correlation Cronbach's Alpha if Item Deleted Xây dựng mục tiêu môn
học phản ánh kỳ vọng cao đối với tất cả NH
37.92 11.964 .719 .705
Thể hiện sự hiểu biết về
nội dung môn học 37.58 14.193 .634 .727
Thể hiện kỹ năng lập kế
hoạch giảng dạy 37.56 16.797 .687 .758
Áp dụng công nghệ vào
giảng dạy 38.33 15.543 .396 .754
Tạo môi trường lớp học
thân thiện và tôn trọng 37.83 14.314 .600 .731
Thiết lập văn hóa học
tập cho NH 37.53 14.256 .651 .726
Xác định các tiêu chuẩn, tiêu chí đánh giá phù hợp, rõ ràng
37.56 13.511 .747 .712
Áp dụng đa dạng các loại hình kiểm tra, đánh giá
38.92 16.364 .233 .769
Sử dụng kết quả kiểm tra, đánh giá vào cải tiến môn học
37.42 15.507 .435 .751
Duy trì thái độ và hành
vi chuyên nghiệp 37.61 14.302 .597 .731
Thể hiện tinh thần cầu (adsbygoogle = window.adsbygoogle || []).push({});
thị 37.97 16.542 .617 .721
Tham gia đóng góp
40
Cụ thể:
- Câu 4 “Áp dụng công nghệ vào giảng dạy” có giá trị 0,396
- Câu 12 “Tham gia đóng góp phát triển chuyên ngành” có giá trị 0,282 Nếu bỏ 2 câu này, độ tin cậy của công cụ đo sẽ giảm vì vậy cần giữ lại. - Câu 8 “Áp dụng đa dạng các loại hình kiểm tra, đánh giá” có giá trị 0,233 nhưng nếu loại câu này thì độ tin cậy của công cụ vẫn giữ nguyên 0,769 vì thế vẫn có thể giữ lại.
Nhìn chung các câu hỏi có tính đồng hướng, bộ câu hỏi có chất lượng tốt, độ tin cậy khá cao.
Sử dụng phầm mềm QUEST và mô hình RASCH
Kết quả ƣớc tính phù hợp thống kê:
Summary of item Estimates
========================= Mean .03 SD 1.02 SD (adjusted) 1.00 Reliability of estimate .91 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean .96 Mean 1.00 SD .39 SD .44
Summary of case Estimates
========================= Mean 1.17 SD 1.12 SD (adjusted) 1.09 Reliability of estimate .89 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean 1.00 Mean 1.04 SD .75 SD .78
Ước tính phù hợp thống kê (Summary of item Estimates): giá trị Mean = 0.03 gần bằng với giá trị Mean điều kiện (bằng hoặc gần 0.00) và SD = 1.02 xấp xỉ với SD điều kiện (bằng hoặc gần 1.00). Giá trị Mean của Infit Mean Square là 0.96 và Outfit Mean Square là 1.00 gần bằng với giá trị Mean điều
41
kiện (bằng hoặc gần 1.00); giá trị SD của Infit Mean Square là 0.39 và Outfit Mean Square là 0.44 xấp sỉ với SD điều kiện (bằng hoặc gần 0.00). Riêng độ tin cậy của tính toán đạt 89%, khá gần với tiêu chuẩn . Như vậy dữ liệu thu được sau khi xử lý các kết quả trả lời phiếu hỏi là phù hợp với mô hình Rasch.
Ước tính trường hợp (Summary of case Estimates): Giá trị Mean của Infit Mean Square là 1.00 và Outfit Mean Square là 1.04 gần bằng với giá trị Mean điều kiện (bằng hoặc gần 1.00); giá trị SD của Infit Mean Square là 0.75và Outfit Mean Square là 0.78 lớn hơn SD điều kiện (bằng hoặc gần 0.00 có thể sai lệch 20% nếu mẫu nhỏ). Do đó, ta có thể kết luận: dữ liệu phù hợp với mô hình Rasch. Như vậy, có thể khẳng định rằng toàn bộ câu hỏi có Mean và SD đáp ứng đủ điều kiện cần thiết cho việc thiết lập mô hình đáp ứng với lý thuyết mô hình Rasch. Do đó, dữ liệu hoàn toàn phù hợp với mô hình Rasch.
Mức độ phù hợp của các câu hỏi
Sử dụng phần mềm QUEST trên dữ liệu kết quả điều tra 36 GVTĐG, một trong những đại lượng thu được là Infit Mean Square, cho ta thông tin về sự phù hợp của mỗi câu hỏi với toàn bộ phiếu hỏi. Theo tính toán thì một câu hỏi được coi là phù hợp khi giá trị INFIT MNSQ nằm trong khoảng 0,77 đến 1,30. Các câu hỏi có Infit Mean Square nhỏ hơn 0,77 hoặc lớn hơn 1,30 đều cần loại bỏ hoặc chỉnh sửa cho phù hợp.
Quan sát bản đồ 2.1 có thể thấy câu 4 nằm ngoài khoảng đồng bộ, tuy nhiên khoảng cách của nó so với khoảng đồng bộ rất gần nên thay vì bỏ đi ta có thể điều chỉnh cho phù hợp.
GVTN --- ---
Item Fit
all on gvtn (N =36 L = 12 Probability Level= .50) ---
INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40
1.50 1.60
42 1 item 1 . * | . 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . | .* 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . | *. 9 item 9 . * | . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . * | . (adsbygoogle = window.adsbygoogle || []).push({});
Hình 2.1- Bản đồ thể hiện mức độ phù hợp của các câu hỏi với nhau (phiếu GVTĐG, thử nghiệm)
Sau khi tham khảo ý kiến của một số GV trong nhóm 36 GV thử nghiệm, chúng tôi nhận ra hoạt động thứ 5 “yêu cầu NH sử dụng công nghệ” còn mờ nghĩa (công nghệ gì? Sử dụng trong trường hợp nào? ) và chính sự mờ nghĩa đó khiến cho nhiều GV nghĩ rằng chỉ có sinh viên khoa Công nghệ thông tin mới đáp ứng được yêu cầu này. Chúng tôi điều chỉnh lại như sau: Nội dung câu 4 Áp dụng công nghệ vào giảng dạy (nằm trong các phương án lựa chọn của câu 3, Phụ lục 1, trang 82 ) trước khi chỉnh sửa:
sử dụng giáo án điện tử
trao đổi thông tin với NH qua mạng
khai thác nguồn tư liệu liên quan đến môn học trên internet
sử dụng phòng học đa chức năng
yêu cầu người học sử dụng công nghệ Sau khi chỉnh sửa (tham khảo Phụ lục 2, trang 84):
sử dụng giáo án điện tử
trao đổi thông tin với NH qua mạng
khai thác nguồn tư liệu liên quan đến môn học trên internet
sử dụng phòng học đa chức năng
43
giải quyết một số nhiệm vụ học tập (thuyết trình, xử lý số liệu điều tra,…) Nội dung chỉnh sửa này cũng được đưa vào phiếu dành cho TBM trước khi khảo sát.