Có 100% thí sinh trả lời sai câu hỏi này, độ nhiễu của các lựa chọn khác chiếm tỉ lệ khá đồng đều, do đó đây là câu hỏi không phù hợp, cần thay thế hoặc sửa đổi.
Điểm 0,5: 2 SV Điểm 1: 10 SV Điểm 1,5: 10 SV
Điểm 1,75: 6 SV Điểm 2: 2 SV
+ Phần thi nói: Điểm tối đa là 2,5 điểm trong đó Điểm 1: 14 SV
Điểm 1,5: 7 SV Điểm 1,75: 6 SV
Điểm 2: 2 SV Điểm 2,25: 1 SV
Qua kết quả điểm thi nói và viết trong lần thử nghiệm 1 cho thấy: điểm số của các em giảm đi nhiều so với lần thử nghiệm ở trình độ sơ cấp.Có sinh viên chỉ đạt được 0,5 điểm do vốn từ vựng cịn q ít. Đa số các em chỉ đạt điểm ở mức độ trung bình.
* Thử nghiêm trình độ trung cấp lần 2:
Trong lần thử nghiệm 2, đề tài tiến hành cho sinh viên làm lại bài thi ở lần thử nghiệm 1, đề tài thu được kết quả như sau:
Bảng 2.18.Sự phù hợp của câu hỏi (thử nghiệm trình độ trung cấp lần 2)
.63 .71 .77 .83 1.00 1.20 1.33 1.40 1.60 --------------+---------+---------+---------+---------+---------+-------- 1 . |* . 2 . | * . 3 . *| . 4 * . | . 5 . * | . 6 . * . 7 . * . 8 . * . 9 . * . 10 . *| . 11 . * | . 12 . * | . 13 . *| . 14 . * | . 15 . |* . 16 . | * . 17 . | * . 18 . * . 19 . * | . 20 . | * . 21 . * | . 22 . | * . 23 . |* . 24 . * | . 25 . | * . -------------------------------------------------------------------------
Có 24 câu hỏi trong đề thi thử nghiệm đều phù hợp với mơ hình Rasch với các giá trị Infit MNSQ (bình phương giá trị trung bình) nằm trong khoảng
từ 0.77 đến 1.3. Đặc biệt, tác giả cũng thu được kết quả ở câu hỏi 4 hoàn toàn trùng khớp với kết quả ở lần thử nghiệm thứ nhất là khơng phù hợp với mơ hình, vì vậy cần phải thay thế hoặc sửa đổi câu hỏi 4. Cho thấy có 24/25 câu hỏi trong đề thi thử nghiệm đều phù hợp.
Độ tin cậy (Thử nghiệm trình độ trung cấp lần 2)
Bảng 2.19. Độ tin cậy
Cronbach's Alpha N of Items
.617 25
Reliability Statistics
Scale Mean if Item Deleted Scale Variance if Item
Deleted Cronbach's Alpha if Item Deleted
Cau1 72.80 34.648 .606 Cau2 74.47 34.947 .624 Cau3 74.53 32.878 .605 Cau4 74.70 36.838 .665 Cau5 72.97 35.344 .619 Cau6 73.93 28.892 .559 Cau7 73.17 35.109 .631 Cau8 73.10 35.955 .625 Cau9 74.63 31.757 .586 Cau10 73.83 29.385 .553 Cau11 74.53 34.051 .620 Cau12 73.93 34.064 .615 Cau13 73.13 35.154 .632 Cau14 72.70 36.079 .621 Cau15 72.97 35.137 .616 Cau16 74.47 34.395 .609 Cau17 72.93 32.892 .596 Cau18 75.17 32.420 .604 Cau19 73.67 34.782 .608 Cau20 72.93 31.168 .569 Cau21 72.70 35.183 .612 Cau22 73.03 32.792 .598 Cau23 72.90 31.748 .577 Cau24 73.13 34.878 .618 Cau25 72.87 31.361 .570
Với Cronbach’s Alpha là 0.617 thì đề thi thử nghiệm có giá trị đủ điều kiện được dùng làm cơng cụ đo lường năng lực thí sinh. Các câu hỏi số 2, 5, 7, 8, 11, 13,14, 24 có giá trị Cronbach’s Alpha nếu xóa biến (Cronbach's Alpha if Item Deleted) lớn hơn độ tin cậy của cả bài (Cronbach’s Alpha =
0.617). Tuy nhiên, so với các chuẩn đánh giá khác, những câu hỏi này chưa xuất hiện vấn đề gì, hơn nữa giá trị lớn hơn cũng khơng đáng kể, do vậy vẫn có thể sử dụng các câu hỏi này.
Riêng câu hỏi số 4, tương tự như kết quả trong lần thử nghiệm thứ nhất, hệ số của câu hỏi số 4 là 0.665,lớn hơn độ tin cậy Cronbach Alpha khá nhiều nên cần thiết loại bỏ khỏi bài thi.
Thang năng lực của thí sinh và độ khó của câu hỏi
Bảng 2.20. Thang năng lực của thí sinh và độ khó của câu hỏi
Kết luận:
Kết quả phân tích điểm thi của sinh viên cho thấy bài Test đánh giá được hầu hết năng lực (từ thấp đến cao) của các thí sinh tham gia trả lời. Tuy nhiên, đề thi thử nghiệm cịn khá dễ với một vài thí sinh, một vài thí sinh có năng lực cao nhưng lại khơng có câu hỏi nào để đo nhưng số lượng này khơng đáng kể. Một kết quả hồn tồn trùng khớp với kết quả phân tích trong lần thử nghiệm thứ nhất là câu hỏi số 4 không xuất hiện trong biểu đồ, nghĩa là câu hỏi này khơng xác định được tương quan giữa độ khó và năng lực thí sinh.
RẤT KHĨ
NĂNG LỰC THẤP
NĂNG LỰC CAO
Do đó, cần điều chỉnh lại các câu hỏi trong đề thi thử nghiệm để tăng độ khó và thay thế hoặc sửa đổi câu hỏi số 4.
Phân tích câu hỏi số 4
Kết quả tỷ lệ chọn được phần mềm Conquest xử lý như sau
Bảng 2.21. ITEM 4 ANALYSIS
Kết quả phân tích cho thấy 100% thí sinh khơng chọn được đáp án đúng đối với câu hỏi này, do đó đây là câu hỏi khơng phù hợp, cần thay thế hoặc sửa đổi.
+ Phần thi viết: Điểm tối đa là 2,5 điểm trong đó Điểm 1: 12 SV
Điểm 1,5: 8 SV
Điểm 1,75: 8 SV Điểm 2: 2 SV
+ Phần thi nói: Điểm tối đa là 2,5 điểm trong đó Điểm 1: 13 SV Điểm 1,5: 7 SV Điểm 1,75: 5 SV Điểm 2: 2 SV Điểm 2,25: 2 SV Điểm 2,5: 1 SV
Qua kết quả điểm thi nói và viết trong lần thử nghiệm 2 cho thấy: điểm số của các em cao hơn so với lần thử nghiệm 1 nhưng khơng đáng kể.
* Thử nghiệm trình độ cao cấp lần 1:
Bảng 2.23. Sự phù hợp của câu hỏi (thử nghiệm trình độ cao cấp lần 1)
.63 .71 .77 .83 1.00 1.20 1.33 1.40 1.60 --------------+---------+---------+---------+---------+---------+-------- 1 . * . 2 . * . 3 . * . 4 . * . 5 . * . 6 . * . 7 . * | . 8 . *| . 9 . | . * 10 . | . * 11 . * . 12 . |* . 13 . * . 14 . * .
15 . *| . 16 . | * . 17 . * . 18 . | * . 19 . | * . 20 . |* . 21 . | * . 22 . * . 23 . * | . 24 . | * . 25 . | * . ------------------------------------------------------------------------ Có 23 câu hỏi trong đề thi thử nghiệm lần thứ nhất đều phù hợp với mơ hình Rasch với các giá trị Infit MNSQ (bình phương giá trị trung bình) nằm trong khoảng 0.77 đến 1.33 là phù hợp với mơ hình Rasch. Riêng câu hỏi 9 và câu 10 nằm ngoài hai đường chấm là khơng phù hợp với mơ hình thì phải thay thế hoặc sửa đổi. Chứng tỏ 23/25 câu hỏi trong đề thi thử nghiệm này đều phù hợp.
Độ tin cậy (Thử nghiệm trình độ cao cấp lần 1)
Bảng 2.24. Độ tin cậy
Cronbach's Alpha N of Items
.756 25
Reliability Statistics
Scale Mean if Item Deleted Scale Variance if Item
Deleted Cronbach's Alpha if Item Deleted
Cau1 67.00 57.172 .738 Cau2 67.57 57.013 .746 Cau3 68.23 56.530 .746 Cau4 69.07 60.409 .758 Cau5 66.90 56.093 .735 Cau6 67.33 58.230 .752 Cau7 68.07 54.823 .745 Cau8 67.53 54.464 .731 Cau9 67.90 59.197 .793 Cau10 68.47 61.085 .797 Cau11 68.47 61.085 .774 Cau12 68.83 60.971 .746 Cau13 67.63 52.792 .729 Cau14 67.03 55.206 .733 Cau15 67.33 52.575 .724 Cau16 68.93 59.926 .758 Cau17 67.27 52.892 .726 Cau18 68.83 60.971 .753 Cau19 69.27 62.685 .755 Cau20 67.67 60.368 .751 Cau21 67.03 56.723 .736 Cau22 67.10 53.748 .723 Cau23 68.93 60.271 .756 Cau24 66.93 59.099 .751 Cau25 67.87 63.361 .707
Với giá trị Cronbach’s Alpha là 0.756 thì đề thi thử nghiệm có giá trị đủ điều kiện được dùng làm cơng cụ đo lường năng lực thí sinh. Các câu hỏi số 4, 11, 16 có giá trị Cronbach’s Alpha nếu xóa biến (Cronbach's Alpha if Item Deleted) lớn hơn độ tin cậy của cả bài (Cronbach’s Alpha = 0.756).
Tuy nhiên, so với các chuẩn đánh giá khác, những câu hỏi này chưa xuất hiện vấn đề gì, hơn nữa giá trị lớn hơn cũng không đáng kể, do vậy vẫn có thể sử dụng các câu hỏi này.
Đặc biệt câu hỏi số 9 và 10 có giá trị lần lượt 0.793 và 0.797,lớn hơn độ tin cậy Cronbach’s Alpha khá nhiều nên cần thiết loại bỏ khỏi bài thi.
Thang năng lực của thí sinh và độ khó của câu hỏi
Bảng 2.25. Thang năng lực của thí sinh và độ khó của câu hỏi
RẤT KHĨ
NĂNG LỰC THẤP
NĂNG LỰC CAO
Kết luận:
Kết quả phân tích điểm thi của sinh viên cho thấy bài Test đánh giá được hầu hết năng lực (từ thấp đến cao) của các thí sinh tham gia trả lời. Các câu hỏi tự động nhóm lại với nhau trên thang năng lực thành các nhóm câu hỏi cùng đo một năng lực nhất định. Tuy nhiên, đề thi thử nghiệm cịn khá dễ với một số thí sinh, có những thí sinh có năng lực cao nhưng lại khơng có câu hỏi nào để đo, đặc biệt câu hỏi số 9 và 10 không xuất hiện trong biểu đồ, nghĩa là câu hỏi này không xác định được tương quan giữa độ khó và năng lực thí sinh. Do đó, cần điều chỉnh lại các câu hỏi trong đề thi thử nghiệm bằng cách bổ sung thêm câu khó và thay thế hoặc sửa đổi câu hỏi số 9 và 10.
Phân tích câu hỏi số 9 và 10
Nội dung câu hỏi
Câu hỏi 9: Trong điều kiện tự nhiên, nước tồn tại dưới mấy dạng? A. Tồn tại dưới 2 dạng.
B. Tồn tại dưới 3 dạng. C. Tồn tại dưới 4 dạng. D. Tồn tại một cách vơ hình.
Câu hỏi 10:Một chu kỳ nước gồm 4 giai đoạn. Giai đoạn đầu tiên và cuối cùng nước tồn tại dưới dạng nào?
A. Tồn tại dưới dạng rắn. B. Tồn tại dưới dạng khí. C. Tồn tại dưới dạng lỏng. D.Tồn tại dưới cả 3 dạng trên. Kết quả tỷ lệ chọn như sau