CHƢƠNG 3 : KẾT QUẢ THỰC NGHIỆM
3.2 Thử nghiệm bộ công cụ lần 1
Bộ công cụ sẽ đƣợc mang chạy thử với 50 học sinh lớp 12 trƣờng trung học phổ thông Thực nghiệm.
Dữ liệu thu thập đƣợc xử lý theo mơ hình IRT, thơng qua phần mềm CONQUEST. Chất lƣợng từng câu hỏi và chất lƣợng bài test đƣợc đánh giá theo 5 tiêu chí độ khó, độ phân biệt, độ tin cậy, độ giá trị và phù hợp mơ hình IRT. Từ đó, điều chỉnh lại để đƣợc bộ cơng cụ lần 2 đảm bảo đáp ứng yêu cầu cần thiết và sẽ đo cho học sinh lớp 12 trƣờng THPT Hồi Đức A.
Bảng 3.1. Tiêu chí đánh giá chất lượng câu hỏi và bài test theo mơ hình IRT
1 Độ khó
- Độ khó câu hỏi tính theo cơng thức: , trong đó là hàm xác suất của đối số năng lực , b là độ khó câu hỏi
- Yêu cầu: các câu hỏi cần đủ khó để những thí sinh khơng đáp ứng chuẩn sẽ trả lời sai, nhƣng đủ dễ để những thí sinh đáp ứng chuẩn sẽ trả lời đúng (-2.5 † 2.5)
- Câu hỏi rất dễ và rất khó khơng giúp phân biệt đƣợc khả năng của học sinh; câu hỏi có độ khó trung bình (0 ±SD) đánh giá tối đa năng lực tiềm ẩn của học sinh
2 . Độ phân biệt
- Độ phân biệt câu hỏi là độ chênh % số câu trả lời đúng giữa hai nhóm học sinh có năng lực cao và thấp, tính theo cơng thức:
, a là độ phân biệt
- Yêu cầu: tỷ lệ phân biệt càng gần 1 càng tốt: lý tƣởng là 0.5; từ 0.35 chấp nhận đƣợc; dƣới 0.2 thì cần chỉnh sửa; < 0 thì cần loại bỏ
3 . Độ
- Độ tin cậy thể hiện sự nhất quán giữa các câu hỏi trong đề và khơng ảnh hƣởng bởi yếu tố bên ngồi.
60
tin cậy - Độ tin cậy đƣợc tính theo Cronback anpha: , n là tổng số câu hỏi, là phƣơng sai câu hỏi i, là phƣơng sai tổng điểm bài test.
Hệ số Cronbach Alpha xem xét tƣơng quan của việc thực hiện 1 câu hỏi với toàn bài thi: trả lời đúng câu hỏi này có khả năng trả lời đúng các câu hỏi khác
- Yêu cầu: : < 0.5 không nhất quán; 0.5 0.6 thấp; 0.6 < 0.7
chấp nhận đƣợc; 0.7 0.9 tốt; ≥ 0.9 rất cao
- Những yếu tố ảnh hƣởng độ tin cậy: tính rõ ràng; phù hợp với nội dung kiến thức và độ khó; số lƣợng câu hỏi nhiều; độ phân biệt tăng; độ phổ rộng về năng lực; và sự đồng nhất các câu hỏi cao;
4 . Độ giá trị
- Đây là đặc tính đƣợc suy luận dựa trên điểm thi: đo chính xác cái cần đo
- Các tham số về độ giá trị cần xem xét:
biến ẩn (năng lực): tƣờng minh khi thiêt kế bài thi nội dung: đủ đại diện và bao phủ các mục đích thi
kết quả: đáp ứng mục đích thi qua hàm thơng tin , p‟() là đạo hàm của p(), q(+ = 1- p()
phỏng đoán điểm thực qua bài test: 5
. Phù hợp với mơ hình
- Với câu hỏi cần đáp ứng: ngƣời có năng lực cao sẽ có xác suất trả lời đúng cao hơn ngƣời có năng lực thấp; Với một thí sinh cần đáp ứng: câu khó có xác suất trả lời đúng thấp hơn câu dễ‟
- Chỉ số: MNSQ (Mean Square) càng gần 1 càng tốt; và |T| ≤ 2
Dựa vào thử nghiệm lần 1 này, tác giả đã xác định đƣợc mơ hình phù hợp cho bộ cơng cụ để có thể đánh giá đƣợc năng lực đọc hiểu của học sinh cuối cấp phổ thông. Qua lần chạy thử đầu tiên, những lỗi kỹ thuật trong việc xây dựng bộ công cụ cũng đƣợc phát hiện, giúp tác giả có thể chỉnh sửa cũng nhƣ hoàn thiện đề kiểm tra để tiến hành thực nghiệm chính thức tại trƣờng trung học phổ thơng Hồi Đức A.
61
3.3 Thực nghiệm tại trƣờng trung học phổ thơng Hồi Đức A
3.3.1 Tiến trình thƣ̣c nghiê ̣m
Để quá trình thực nghiệm đạt đƣợc mục đích đề ra, tác giả đã lập kế hoạch chi tiết cho cả quá trình thực nghiệm và tiến hành thực nghiệm theo từng bƣớc, cụ thể nhƣ sau:
- Trƣớc khi tổ chức thực nghiệm sƣ phạm, chúng tôi đã gặp giáo viên Ngữ Văn của tổ Văn trƣờng Trung Học Phổ Thơng Hồi Đức A để giới thiệu và trao đổi về bộ công cụ đã xây dựng, đồng thời thu thập ý kiến nhận xét của GV, cũng nhƣ những góp ý chun mơn về nội dung hình thức và chất lƣợng của bộ công cụ này.
- Sau khi tiến hành thực nghiệm sƣ phạm, chúng tôi thu thập những thông tin cần thiết, xử lý kết quả thực nghiệm để rút ra kết luận.
3.3.2 Phƣơng pháp thƣ̣c nghiê ̣m
* Đối tƣợng thực nghiệm sƣ phạm
- Địa điểm tổ chức: Trƣờng Trung Học Phổ Thơng Hồi Đức A.
- Thời gian thực nghiệm: Chúng tôi tiến hành thực nghiệm trong 2 ngày 6-7/5/2016.
- Đối tƣợng: Học sinh lớp 12 của trƣờng. * Vài nét về nhà trƣờng
Trƣờng THPT Hoài Đức A, tiền thân là trƣờng cấp III Hoài Đức đƣợc thành lập từ năm 1966. Ban đầu trƣờng nằm trên địa bàn xã Sơn Đờng- huyện Hồi Đức, từ năm 1969 trƣờng chuyển về địa bàn xã Kim Chung – huyện Hoài Đức – Thành phố Hà Nội. Đến nay, sau gần nửa thế kỉ xây dựng và phát triển, Trƣờng THPT Hoài Đức A đã và đang xứng đáng là “cái nơi văn hóa” của địa phƣơng .
Gần 50 năm xây dựng và phát triển, dƣới dự lãnh đạo, quan tâm sát sao của Đảng và nhà nƣớc, trƣờng THPT Hoài Đức A không ngừng lớn mạnh, trƣởng thành về quy mô, chất lƣợng giáo dục. Mái trƣờng đơn sơ, thiếu thốn, thƣờng xuyên dột nát nay đã khang trang, sạch sẽ.với 3 dãy nhà: Nhà A- Khu
62
nhà hiệu bộ, nhà B, nhà C gờm 35 phịng học dành cho học sinh. Đội ngũ cán bộ, giáo viên (gờm khoảng 115 CBGV) có chất lƣợng, ln mang trong mình nhiệt huyết, lịng u nghề, sãn sàng thực hiện nhiệm vụ của ngƣời giáo viên nhân dân.
Riêng về chất lƣợng giáo dục toàn diện, nhà trƣờng chú trọng ba hoạt động chủ yếu là giáo dục đạo đức chính trị, giáo dục văn hóa và giáo dục hƣớng nghiệp. Nhờ sự phối hợp chỉ đạo của Chi bộ Đảng, BGH nhà trƣờng, Cơng đồn trƣờng, Đồn trƣờng…cơng tác giáo dục toàn diện đã đem lại hiệu quả thiết thực, nhà trƣờng đã trở thành nơi hun đúc, rèn luyện, trau dời cho thế hệ trẻ Hồi Đức trở thành những thanh niên có kiến thức văn hóa, có hiểu biết khoa học kỹ thuật, có sức khỏe và lịng nhiệt tình cách mạng, sẵn sàng đáp ứng mọi yêu cầu của đất nƣớc.
*Thông tin học sinh tham dự thực nghiệm
Để đảm bảo không sai số trong quá trình phân tích, tác giả lựa chọn 200 học sinh lớp 12 của trƣờng.
Với danh sách học sinh lớp 12 có đƣợc, tác giả đƣa vào phần mềm SPSS và chọn lệnh chọn ra 200 học sinh bất kì trong danh sách đó để thực hiện làm bài kiểm tra đọc hiểu. Nhƣ vậy các học sinh đƣợc chọn là hoàn toàn ngẫu nhiên đảm bảo đƣợc sự cân bằng và tránh sai số khi xử lí dữ liệu.
*Cách tiến hành thực nghiệm
Với sự giúp đỡ của nhà trƣờng, các em học sinh đƣợc chọn tham gia thử nghiệm sẽ đƣợc chia tập trung và chia làm 5 lớp, mỗi lớp 40 em, để cùng làm bài kiểm tra. Mỗi em sẽ đƣợc phát cho tờ đề đƣợc in sẵn, trong đó đã có đầy đủ các thơng tin nhƣ tên, mã ID (tƣơng ứng với số thứ tự trong danh sách) và các em sẽ điền vào. Bài kiểm tra đƣợc tiến hành trong 60 phút, và mỗi lớp sẽ có 1 giáo viên của trƣờng tham gia coi thi.
Bài thi sau khi đƣợc thực hiện, tác giả sẽ thu lại để tiến hành các bƣớc phân tích tiếp theo.
63
*Nơ ̣i dung thƣ̣c nghiê ̣m
- Cho học sinh khối 12 làm đề kiểm tra đã xây dựng. Sau khi kiểm tra xong, chúng tôi tổ chức chấm theo đáp án và thang điểm đã đƣa ra. Kết quả đƣợc nhập vào phần mềm SPSS và dùng phần mềm CONQUEST xử lý kết quả thống kê để đƣa ra những kết luận.
3.4 Kết quả thực nghiệm tại trƣờng trung học phổ thơng Hồi Đức A
3.4.1 Chỉ số thống kê bài test đo lƣờng năng lực đọc hiểu
Dữ liệu sau khi thu thập, đƣợc mã hóa/ chấm điểm (chỉ với câu hỏi tự luận, còn câu hỏi trắc nghiệm khách quan chấm tự động qua chƣơng trình xử lý và phân tích dữ liệu), đƣợc nhập (số hóa) và làm sạch trƣớc khi phân tích. Sau đó phân tích và xử lý theo mơ hình IRT thơng qua phần mềm CONQUEST.
Bảng 3.2 biểu thị: cột “item” là các câu hỏi trong bài test; hai cột tiếp theo là thống kê độ khó và sai số của các câu hỏi; các cột cuối cùng là các chỉ số phù hợp của câu hỏi với mơ hình IRT. Yêu cầu kỹ thuật cho các loại chỉ số này đã nêu ở bảng 3.1.
64
Bảng 3.2 Ước lượng độ khó, sai số, chỉ số phù hợp của các câu hỏi
Item Estimate Error UNWEIGHTED FIT WEIGHTED FIT
MNSQ CI t MNSQ CI t 1 -0.16 0.097 0.89 ( 0.86, 1.14) -1.5 0.93 ( 0.86, 1.14) -0.9 2 -3.001 0.125 1.76 ( 0.86, 1.14) 8.5 0.97 ( 0.45, 1.55) 0 3 1.367 0.091 1.13 ( 0.86, 1.14) 1.7 1.07 ( 0.89, 1.11) 1.2 4 -1.567 0.111 1.73 ( 0.86, 1.14) 8.2 0.99 ( 0.75, 1.25) -0.1 5 -0.942 0.104 0.85 ( 0.86, 1.14) -2.1 0.92 ( 0.81, 1.19) -0.8 6 -0.996 0.105 1.27 ( 0.86, 1.14) 3.4 1.06 ( 0.81, 1.19) 0.6 7 0.28 0.094 0.87 ( 0.86, 1.14) -1.9 0.97 ( 0.88, 1.12) -0.4 8 0.647 0.093 1.15 ( 0.86, 1.14) 2 1.09 ( 0.88, 1.12) 1.4 9 -0.258 0.098 1.63 ( 0.86, 1.14) 7.2 1.16 ( 0.86, 1.14) 2.1 10 -0.045 0.096 1.03 ( 0.86, 1.14) 0.5 1.01 ( 0.87, 1.13) 0.1 11 0.662 0.093 0.93 ( 0.86, 1.14) -0.9 0.92 ( 0.88, 1.12) -1.4 12 -0.579 0.101 1.39 ( 0.86, 1.14) 4.8 1.08 ( 0.84, 1.16) 0.9 13 -0.426 0.099 0.67 ( 0.86, 1.14) -5 0.83 ( 0.85, 1.15) -2.3 14 -0.261 0.098 0.62 ( 0.86, 1.14) -6 0.81 ( 0.86, 1.14) -2.8 15 -0.323 0.098 0.63 ( 0.86, 1.14) -5.8 0.86 ( 0.85, 1.15) -2 16 0.446 0.094 1.43 ( 0.86, 1.14) 5.1 1.18 ( 0.88, 1.12) 2.7 17 1.193 0.091 1.03 ( 0.86, 1.14) 0.4 0.99 ( 0.89, 1.11) -0.2 18 -1.206 0.107 1.5 ( 0.86, 1.14) 5.9 0.99 ( 0.79, 1.21) -0.1 19 0.062 0.096 1.02 ( 0.86, 1.14) 0.3 1 ( 0.87, 1.13) 0.1 20 0.787 0.092 0.77 ( 0.86, 1.14) -3.4 0.83 ( 0.88, 1.12) -3.1 21 0.134 0.095 0.91 ( 0.86, 1.14) -1.3 0.97 ( 0.87, 1.13) -0.5 22 1.902 0.092 0.92 ( 0.86, 1.14) -1.1 0.88 ( 0.89, 1.11) -2.2 23 2.059 0.092 1 ( 0.86, 1.14) 0 1 ( 0.89, 1.11) 0.1 24 0.17 0.095 1.23 ( 0.86, 1.14) 2.9 1.16 ( 0.87, 1.13) 2.4 25 -1.087 0.106 0.9 ( 0.86, 1.14) -1.4 0.95 ( 0.80, 1.20) -0.5
65
Item Estimate Error UNWEIGHTED FIT WEIGHTED FIT
26 0.82 0.092 1.43 ( 0.86, 1.14) 5.2 1.33 ( 0.88, 1.12) 5 27 0.311 0.094 0.98 ( 0.86, 1.14) -0.3 1.02 ( 0.88, 1.12) 0.4 28 -0.696 0.102 0.74 ( 0.86, 1.14) -3.8 0.99 ( 0.83, 1.17) -0.1 29 0.661 0.093 0.99 ( 0.86, 1.14) -0.2 0.97 ( 0.88, 1.12) -0.4 30 0.046 0.53 0.87 ( 0.86, 1.14) -1.8 0.97 ( 0.87, 1.13) -0.5
Nhìn vào bảng trên, ta thấy đề có khá nhiều câu là dễ (có độ khó âm). Căn cứ vào chỉ số fit, các câu hỏi 1, 3, 5, 7, 8, 10, 11,17, 19, 21, 22, 23, 25, 27, 29, 30 có độ phù hợp tƣơng đối tốt với mơ hình đã lựa chọn (0.85MNSQ1.15). Có một số câu hỏi độ phù hợp không tốt nhƣ câu 14 (MNSQ0.62), 15 (MNSQ0.63), 4 (MNSQ1.73), 2 (MNSQ1.76). Ngoài ra, do số lƣợng học sinh tham gia thử nghiệm ít (200 học sinh) nên sai số ƣớc tính khá cao đối với tất cả các câu hỏi trong đề kiểm tra (Error0.091).
- Các câu hỏi có độ khó từ -3 đến 3,23 logit; bài test đều có những câu trải đều trên thang đo, tuy nhiên bài test thiếu vắng những câu dễ (từ -1,13 trở lên, ngoại trừ câu 27 có độ khó là -2,04);
- Hầu hết các câu hỏi đều phù hợp với mơ hình đo lƣờng biến ẩn „Năng lực đọc hiểu‟.
Biểu đờ biểu diễn độ khó của các câu hỏi trong đề kiểm tra đƣợc cho ở hình 3.1
-4 -3 -2 -1 0 1 2 3 2 4 18 25 6 5 28 12 13 15 14 9 1 10 30 19 21 24 7 27 16 8 29 11 20 26 17 3 22 23
66
Hình 3.1 Biểu đồ độ khó của các câu hỏi
3.4.2 Bản đờ phân bố độ khó và năng lực của học sinh
Hình 3.2 là bản đờ cân bàng năng lực học sinh và độ khó các nhiệm vụ/ câu hỏi mà học sinh đã hoàn thành trên cùng thang đo logit: Đầu tiên là thang đo Logit; khối tiếp theo thể hiện phân bố vị trí năng lực học sinh; Khối cuối cùng là phân bố vị trí độ khó của 30 câu hỏi ở bài test.
Những học sinh có vị trí ngang với câu hỏi thì xác suất trả lời đúng câu hỏi đó là 0,5. Khi học sinh có vị trí cao hoặc thấp hơn câu hỏi thì xác suất trả lời đúng câu hỏi đó sẽ cao hơn hoặc thấp hơn 0,5.
Bản đờ phân bố độ khó câu hỏi thi và năng lực thí sinh cho thấy mức độ phù hợp của đề thí đối với thí sinh dự thi. Có thể là đề thi q dễ, q khó hoặc rất phù hợp. Bản đờ phân bố cho thấy đề thi đo đƣợc hầu hết năng lực của thí sinh hay cịn có những khoảng trống cần bổ sung một số câu hỏi để đo và phân biệt đƣợc năng lực của các thí sinh ở đó.
67
Hình 3.2 Bản đồ phân bố năng lực đọc hiểu của học sinh và độ khó của câu hỏi
Có thể thấy tổng thể 30 câu hỏi của bộ cơng cụ có độ khó trải đều tất cả các trình độ phát triển năng lực của học sinh. Tuy nhiên có câu hỏi số 2 quá dễ bởi các học sinh đều ở vị trí cao hơn item này và cần đƣợc chỉnh sửa hoặc thay thế bằng câu hỏi khác.
Nhìn chung bài test là phù hợp với học sinh và mơ hình đã lựa chọn, và có thể sử dụng để đo lƣờng năng lực đọc hiểu của học sinh sau khi chỉnh sửa và hoàn thiện lại.
3.4.3 Đánh giá chất lƣợng, độ tin cậy đề kiểm tra
Độ tin cậy của bài kiểm tra theo CONQUEST tính tốn là 0.876 (phị hợp với mơ hình đã đƣa ra). Sau đây, ta xét đến đƣờng cong đặc trƣng và đƣờng cong thông tin của bài kiểm tra thử nghiệm bằng cách sử dụng phàn mềm CONQUEST (hình 3.3 và hình 3.4)
68
Hình 3.3 Đường cong đặc trưng của bài kiểm tra
Hình 3.4 Đường cong thơng tin của để kiểm tra
Độ tin cậy của đề kiểm tra là 0.876 chứng tỏ đây là một bài kiểm tra tƣơng đối tốt. Nhìn vào đƣờng cong thơng tin và đƣờng cong đặc trƣng của đề kiểm tra, ta có thể thấy đây là một bài kiểm tra phù hợp đối với học trò và bài kiểm tra này thu đƣợc nhiều thông tin nhất trong dải năng lực từ -1.0 đến 1.0. Độ khó của các câu hỏi trong đề kiểm tra cũng đã đƣợc rải đều (từ -3.001 đến 2.059).
3.5 Điểm xác xuất của ho ̣c sinh
Theo lý thuyết ứng đáp câu hỏi (IRT), đối với mỗi thí sinh có năng lực
đứng trƣớc câu hỏi có độ khó là thì xác suất trả lời đúng câu hỏi của thí sinh này là: ( ) ( ) ( ) 1 e P e
Căn cứ cơng thức này, chúng ta có thể đi tính điểm (theo xác suất) của tất cả thí sinh đối với từng câu hỏi và tổng điểm của mỗi thí sinh. Sau khi tính điểm của từng câu hỏi, tổng điểm (theo xác suất) của mỗi thí sinh đƣợc sắp xếp theo thứ tự giảm dần, ví dụ nhƣ bảng 3.3 miêu tả mơ ̣t số ho ̣c sinh ở dƣới đây:
Bảng 3.3 Tổng điểm của thí sinh theo xác suất
STT Sốcâu đúng Số câu đã làm Tổng điểm Năng lực Sai số Tổng điểm
69 110 30 30 30 4.6000 1.4869 29.5323 113 30 30 30 4.6000 1.4869 29.5323 133 30 30 30 4.6000 1.4869 29.5323 135 30 30 30 4.6000 1.4869 29.5323 154 30 30 30 4.6000 1.4869 29.5323 161 30 30 30 4.6000 1.4869 29.5323 166 30 30 30 4.6000 1.4869 29.5323 187 30 30 30 4.6000 1.4869 29.5323 188 30 30 30 4.6000 1.4869 29.5323
70
Kết luâ ̣n chƣơng 3
Qua việc tiến hành thực nghiệm và xử lí kết quả thực nghiệm bằng phần mềm CONQUEST kết quả làm bài kiểm tra của học sinh, chúng tơi có một vài nhận xét sau:
- Bài test đo lƣờng năng lực mà chúng tôi đã xây dựng đã đảm bảo phù hợp với mức độ năng lực mà tác giả đã đƣa ra.
- Sử dụng bài test này có thể đo lƣờng đƣợc năng lực đọc hiểu mơn ngữ văn ở học sinh.
Những kết quả thu đƣợc trong quá trình thực nghiệm sƣ phạm cho phép khẳng định giả thuyết khoa học là đúng đắn; vận dụng kết quả vào thực tiễn dạy học và đánh giá ở trƣờng Trung học Phổ Thơng hiện này là có tính khả thi. Tuy nhiên, để đảm bảo hiệu quả, cần trang bị kiến thức về đánh giá một cách bài bản đối với cán bộ quản lí và giáo viên của trƣờng học.