CHƯƠNG 2 PHƯƠNG PHÁP NGHIÊN CỨU
2.2.4.4.Phân tích chất lượng câu hỏi tự luận
2.2. Xây dựng bộ công cụ đánh giá
2.2.4.4.Phân tích chất lượng câu hỏi tự luận
Bằng việc sử dụng phương pháp chuyên gia và dựa trên câu trả lời của HS ở 17 câu hỏi tự luận cho thấy, khơng có HS nào bỏ trống việc trả lời ở tất cả số câu hỏi tự luận và cũng khơng có HS nào khơng nhận được điểm ở bất kỳ câu hỏi tự luận nào. Câu 29 có ít HS (6,7% trên tổng số HS làm bài) nhận được mức điểm cao nhất (mã điểm 3); tuy nhiên ở các mã điểm thấp hơn (mã điểm 2 và 1) thì tỷ lệ này lần lượt là 40% và 46,7%. Nhìn chung, các câu hỏi tự luận đưa ra có độ khó nằm ở mức trung bình cao, phân hóa được trình độ HS và có khả năng sử dụng cho khảo sát chính thức.
2.2.4.5. Kết luận về bộ cơng cụ khảo sát chính thức
Thơng qua kết quả thử nghiệm bộ cơng cụ, có thể thấy cả 36 câu hỏi trong bài kiểm tra NL GQVĐ của HS tiểu học đều đạt yêu cầu để phục vụ cho khảo sát chính thức. Một số phương án nhiễu trong các câu hỏi trắc nghiệm khách quan có rất ít HS lựa chọn; tuy nhiên, do điều kiện hạn chế về thời gian và nguồn lực, việc chọn mẫu thử nghiệm bộ công cụ chỉ giới hạn trên 30 HS tiểu học, đồng thời bộ công cụ ĐG NL GQVĐ của Nguyễn Lộc và cộng sự (2016) đã tiến hành thử nhỏ qua hai giai đoạn với cỡ mẫu lớn hơn để phục vụ cho mục đích chuẩn hóa, nên đề tài quyết định giữ nguyên bộ công cụ đề xuất để phục vụ cho khảo sát chính thức.
2.3. Phương pháp thực nghiệm khoa học
Đề tài sử dụng phương pháp thực nghiệm khoa học nhằm nghiên cứu về thực trạng NL GQVĐ của HS ở một số trường tiểu học trên địa bàn tỉnh Nghệ An thông qua bộ công cụ đo lường NL GQVĐ đã được chuẩn hóa.
2.3.1. Mẫu nghiên cứu
số HS tham gia làm bài kiểm tra NL GQVĐ là 145 em. Tại thời điểm khảo sát chính thức, các lớp 5 được chọn đang gần hồn thành chương trình GD mơn Tốn học kì I; đồng thời, các câu hỏi của bài kiểm tra đều bao phủ những nội dung, kiến thức mà đối tượng khảo sát đã được học. Bảng sau thống kê một số thông tin về nhân khẩu học của đối tượng HS tham gia khảo sát chính thức.
Bảng 2.6. Thơng tin nhân khẩu học của đối tượng HS tham gia khảo sát chính thức
Thơng tin Thống kê Số lượng Tỷ lệ (%) Giới tính Nam 78 53,8 Nữ 67 46,2 Tổng 145 100,0 Dân tộc Kinh 108 74,5 Dân tộc thiểu số 37 25,5 Tổng 145 100,0
2.3.2. Thu thập và xử lý dữ liệu khảo sát chính thức
2.3.2.1. Thu thập dữ liệu
Khảo sát diễn ra trong 2 ngày; với sự giám sát và hỗ trợ chặt chẽ từ cơ sở GD địa phương trong khâu tổ chức đo lường. Các HS tham gia làm bài kiểm tra được đánh số báo danh theo thứ từ 001 đến 145. Thời gian làm bài diễn ra trong 90 phút theo quy định chung của bài kiểm tra. Sau khi kết thúc thời gian, các bài làm của HS lập tức được đóng gói cẩn thận để bảo đảm sự khách quan, và chuyển về cho người nghiên cứu chính để thực hiện các cơng việc tiếp theo liên quan đến xử lý và phân tích dữ liệu.
2.3.2.2. Xử lý dữ liệu a) Kiểm tra các sản phẩm a) Kiểm tra các sản phẩm
Các sản phẩm khảo sát tại các trường sau khi thu về được tiến hành làm sạch bằng tay bao gồm: kiểm đếm số lượng phiếu, số lượng các câu hỏi chưa hoàn thành, đánh số thứ tự ở phiếu.
b) Phần mềm xử lý và phân tích dữ liệu
Việc phân tích dữ liệu được thực hiện chủ yếu bằng phần mềm Conquest. Ngồi ra, có kết hợp thêm sử dụng phần mềm Access và Excel để thuận tiện trong việc nhập dữ liệu và xuất các file dữ liệu có định dạng phù hợp với phần mềm Conquest.
c) Chấm điểm
- Đối với câu hỏi tự luận, HS có thể đạt mức điểm là "3", "2" hoặc "1" tùy theo các tiêu chí quy định sẵn ở một số câu hỏi. Dựa vào đáp án trả lời của HS và các tiêu chí sẵn có của từng câu, HS sẽ nhận được mức điểm tương ứng. VD: Đối với câu 12 liên quan đến Tiêu thụ điện, HS sẽ nhận được mã 1 nếu tính được các tỷ lệ % thuế giá trị gia tăng về giá điện nhưng chưa hoàn chỉnh; HS nhận được mã 2 nếu tính tốn đúng được số tiền thuế giá trị gia tăng về giá điện nhưng đáp số chưa chính xác; HS nhận được mã 3 (tối đa) nếu có lời giải hồn chỉnh và đúng đáp số về tổng số tiền điện hộ gia đình phải thanh tốn. Những HS trả lời sai hồn tồn nội dung câu hỏi thì nhận mã "0", bỏ trống khơng trả lời thì nhận mã "9".
- Đối với câu hỏi trắc nghiệm khách quan, HS được đánh mã từ "1", "2", "3" và "4" tương ứng với lựa chọn A, B, C và D; việc xem xét tính đúng sai trong việc trả lời loại câu hỏi này của HS sẽ được thực hiện hoàn toàn trên phần mềm Conquest dựa theo mã đáp án đúng được thiết lập sẵn. Những HS khơng lựa chọn phương án nào thì nhận mã "9".
d) Viết các form nhập dữ liệu
- Sau khi hoàn thành, form nhập sẽ được nhập thử 05 phiếu để kiểm tra form (sự đầy đủ của các biến so với bộ phiếu, sự phù hợp của kiểu biến, giá trị được gán cho các biến,…).
e) Nhập dữ liệu
Sau khi hoàn thành việc kiểm tra làm sạch phiếu bằng tay, tiến hành nhập dữ liệu được bắt đầu thực hiện trên phần mềm Access để đảm bảo kiểm soát được dữ liệu đầu vào, tránh tình trạng nhập nhanh dẫn đến sai sót.
g) Các kết quả đầu ra
- Kết quả NL chung của HS;
- Kết quả các kỹ năng thành phần của HS;
- Xây dựng các mức độ phát triển NL GQVĐ dựa trên kết quả xử lý dữ liệu và bản đặc tả bài kiểm tra (xem Bảng 2.2). Từ đó, xác định các điểm cắt giữa các mức độ phát triển NL của HS để đưa ra tỷ lệ % (thống kê mô tả) HS đạt được theo từng mức.
2.3.2.3. Các loại điểm số được sử dụng khi phân tích dữ liệu
Có hai loại điểm dùng để ĐG kết quả học tập là điểm NL (logit) và điểm chuẩn hóa CFEB.
a) Điểm NL (logit)
NL của HS được tính tốn dựa theo mơ hình Rasch, được cho bởi cơng thức (adsbygoogle = window.adsbygoogle || []).push({});
1( ) 1 ( ) 1 b P e = − −
+ , trong đó, e là hằng số Nepe, b là độ khó câu hỏi và là mức NL HS tham gia trả lời câu hỏi đó, thường gọi là điểm logit. Mở rộng cơng thức trên về độ phân biệt a của câu hỏi là ( ) 1( )
1 a b
P
e
= − −
+ .
Phản ứng của HS với bài kiểm tra được nhập liệu bằng phần mềm Access và được xử lý bằng phần mềm Conquest. Bằng những thuật toán phức tạp, Conquest đã gán được cho mỗi HS một giá trị NL trên thang logit (được tính bằng cách logarit cơ
đo đó. Nếu một HS và một câu hỏi có cùng vị trí trên thang logit thì xác suất để HS trả lời đúng câu hỏi đó là 0,5; nếu HS có vị trí cao hơn/ thấp hơn câu hỏi thì xác suất để HS trả lời đúng câu hỏi đó cao hơn/ thấp hơn 0,5.
b) Điểm chuẩn hóa CFEB
Khi báo cáo kết quả đo lường, người ta thường dùng điểm quy chuẩn để dễ hiểu. Có nhiều loại điểm chuẩn hóa khác nhau, chẳng hạn như điểm Z (trung bình là 0, độ lệch chuẩn là 1), điểm 10 (trung bình là 5, độ lệch chuẩn là 1,5), điểm CFEB (trung bình là 500, độ lệch chuẩn là 100),...
Trong đề tài này, người nghiên cứu dùng điểm CFEB, là loại điểm được sử dụng phổ biến trong các ĐG GD. Nó được tính tốn cho NL chung cũng như từng kỹ năng thành phần/ tiểu nội dung của bài kiểm tra sẽ trình bày ở Chương tiếp theo.
2.4. Tiểu kết chương 2
Toán học được xem là mơn học có nhiều cơ hội để phát triển NL GQVĐ cho HS phổ thông qua hầu hết các nội dung về Số học và đại số, Hình học và đo lường, Thống kê và xác suất. Các cơ hội phát triển NL GQVĐ có thể được thể hiện qua các tình huống dạy tốn – dạy khái niệm tốn học, dạy định lý toán học, dạy giải bài tập tốn học và khi ơn tập, luyện tập, khi thực hành tốn học. Để có thể tìm kiểm các cơ hội phát triển NL này qua nội dung mơn Tốn, đề tài đã sử dụng bảng đặc tả đề xuất với nhiều mạch thuộc chương trình mơn Tốn. Bài kiểm tra được thiết kế nhiều câu hỏi, giải quyết nhiều vấn đề khác nhau, trong cùng một nhiệm vụ tổng quát. Mỗi nhiệm vụ được thiết kế/ định vị theo ba trục: i) Kiểu tình huống thực tiễn (là cuộc sống cá nhân, nhà trường, cộng đồng hay khoa học); ii) Ý tưởng bao quát/ nội dung toán học (chủ đề nào của mạch Số học và đại số, Hình học và đo đại lượng; Thống kê và xác suất); iii) Mức độ NL cần đo. Đầu tiên là các lĩnh vực, mạch nội dung, hoặc chủ đề thuộc môn học. Ứng với mỗi mạch nội dung là các kĩ năng thành tố của NL, đại diện cho sự phát triển của HS trong mạch nội dung đó. Ứng với mỗi thành tố là các chỉ số hành để giúp xác định bằng chứng về thành tố. Mỗi hành vi lại đòi hỏi HS phải thực hiện tốt thế nào, vì vậy cần có các mẫu cơng việc mà HS phải đáp ứng. Mỗi câu hỏi trong bài kiểm tra nhằm đo lường một chỉ số hành vi được nêu trong Bảng đặc tả đề kiểm tra.
CHƯƠNG 3. KẾT QUẢ NGHIÊN CỨU
Nghiên cứu này đã ước tính NL nói chung của HS thơng qua phân tích đáp ứng của HS đối với các câu hỏi của đề kiểm tra. Còn bốn kỹ năng thành phần được ước tính dựa vào mơ hình đáp ứng câu hỏi đa chiều (Multidimensional Item Response Models): xem xét sự phù hợp với độ khó trung bình giữa các thành phần cũng như độ khó giữa các câu hỏi trong từng kỹ năng thành phần.
3.1. Kết quả về năng lực giải quyết vấn đề của một số học sinh
Bảng 3.1 thống kê điểm logit của 10 HS có điểm NL chung cao nhất và cùng với điểm NL ở bốn kỹ năng thành phần. HS mã số 004 có điểm NL chung cao nhất (1,62) trong số các HS được liệt kê điểm; trong đó, hai kỹ năng thành phần đạt điểm logit thấp nhất và cao nhất của HS này lần lượt là Thiết lập không gian vấn đề (0,53) và ĐG và phản ánh giải pháp (2,46). HS mã số 098 có điểm NL chung thấp nhất (0,83) trong số 10 HS được liệt kê; trong đó, kỹ năng thành phần đạt điểm logit cao nhất và thất nhất của HS này lần lượt là Nhận biết và tìm hiểu vấn đề (0,88) và Thiết lập không gian vấn đề (-0,54).
Bảng 3.1. Năng lực giải quyết vấn đề của HS ở từng kỹ năng thành phần (thang điểm logit)
Mã HS NL GQVĐ Nhận biết và tìm hiểu vấn đề Thiết lập khơng gian vấn đề Lập kế hoạch và thực hiện giải pháp ĐG và phản ánh giải pháp 004 1,62 2,32 0,53 1,18 2,46 002 1,27 1,54 2,49 0,53 -2,91 121 1,20 0,96 2,37 0,16 -1,17 118 1,12 2,46 1,56 0,35 -3,42 143 1,12 1,92 2,04 0,30 -0,71 032 1,10 0,60 0,28 0,98 -1,28 094 0,98 1,92 1,88 0,31 -2,70
104 0,89 0,02 1,08 0,40 -0,37
084 0,87 -0,03 0,93 0,72 0,13
098 0,83 0,88 -0,54 0,78 -0,73
Công thức chuyển điểm logit sang điểm CFEB là Điểm CFEB =
*100 +500, trong đó Xi là điểm logit của HS, 𝑋̅𝑖 và SD lần lượt là điểm trung bình
và độ lệch chuẩn của mẫu. Chẳng hạn, cơng thức tính tốn điểm CFEB về NL GQVĐ của HS mã số 004 như sau:
Với Xi = 1,62; 𝑋̅𝑖 = -0,46; và SD = 0.88 thì ta có: HS004CFEB = 1,62− (−0,46)
0.88 ∗ 100 + 500 = 737,43
Bảng dưới đây thể hiện giá trị quy đổi từ thang điểm logit sang điểm CFEB của 10 HS đã đề cập ở trên. Điểm số cụ thể của toàn bộ 145 HS tham gia khảo sát được trình bày ở Phụ lục 2.
Bảng 3.2. NL GQVĐ của HS ở từng kỹ năng thành phần (điểm CFEB) (adsbygoogle = window.adsbygoogle || []).push({});
Mã HS NL GQVĐ Nhận biết và tìm hiểu vấn đề Thiết lập không gian vấn đề Lập kế hoạch và thực hiện giải pháp ĐG và phản ánh giải pháp 004 737,43 703,07 544,84 702,99 603,90 002 697,10 637,08 686,57 641,96 300,19 121 688,93 588,28 677,69 606,37 398,89 118 680,70 715,66 619,12 624,41 271,54 143 680,70 669,46 654,28 619,57 424,88 032 678,17 557,27 527,30 684,44 392,57 094 663,84 669,90 642,49 620,93 312,09 SD Xi - Xi
084 651,74 504,15 573,96 659,68 472,32
098 647,01 581,53 468,12 665,33 423,79
3.2. Nhận xét chung về năng lực học sinh và độ khó câu hỏi
3.2.1. Về năng lực chung và độ khó câu hỏi
Hình 3.1 thể hiện sự phân bố NL của các HS với độ khó của các câu hỏi đo lường NL GQVĐ. Những câu hỏi khó và những HS có trình độ NL cao được phân bố tiến dần lên phía trên (0,0), cịn những câu hỏi dễ và những HS có khả năng thấp được phân bố tiến dần theo chiều đi xuống phía dưới (0,0). Đầu tiên là thang đo logit, với 0 là giá trị trung bình; những ký hiệu x (mỗi x tương ứng với 1 HS) tiếp theo thể hiện cho vị trí của HS trên thang NL, dao động từ khoảng -2,3 đến 1,3 (thang logit); cuối cùng là vị trí độ khó của câu hỏi trên thang logit. Ta thấy dễ nhất là câu hỏi 22 và khó nhất là câu hỏi 10, 11 và 24.
Nhìn vào đồ thị thì thấy, những câu hỏi có độ khó trải khắp NL của HS. Điều này rút ra kết luận rằng, bài kiểm tra hoàn toàn phù hợp với khả năng của HS.
Những HS có NL lớn hơn 0 một chút có vị trí ngang bằng với câu 36, 33 tức là: họ có thể trả lời đúng những câu hỏi này với xác suất xấp xỉ 0,5; họ có xác suất trả lời đúng càng cao với những câu càng ở phía dưới câu 36, 33 (như câu 22, 1, 31, 34,...); và xác suất trả lời đúng càng thấp hơn với những câu ở phía trên và cách càng xa câu 10, 11 và 24.
Hình 3.1. Phân bố NL GQVĐ của HS
Theo Bảng 3.3, độ khó của câu hỏi 26 có p = 0,45 nằm trong khoảng có giá trị 0,25-0,75, có khoảng 45% HS trả lời đúng câu hỏi này; độ phân biệt rất tốt khi giá trị D = 0,30 (lớn hơn 0,2), câu hỏi có giá trị phân biệt nhóm HS có NL cao và nhóm HS có NL thấp; hệ số tương quan (Pt Bis) cho ta thấy các phương án nhiễu có chỉ số âm, phương án đúng có chỉ số dương cho thấy các phương án này có giá trị trong việc ĐG NL của HS. Tương tự như vậy, đối với câu hỏi 27, giá trị độ khó = 0,57 có nghĩa là khoảng 57% HS trả lời đúng câu hỏi này; độ phân biệt rất tốt khi giá trị D = 0,32 cho thấy khả năng phân biệt các nhóm HS có trình độ khác nhau; hệ số Pt Bis ở các phương án nhiễu đều có chỉ số âm, như vậy các phương án nhiễu đưa ra đều có giá trị nhất định trong việc ĐG NL của HS.
Bảng 3.3. Chỉ số thống kê của một số câu hỏi thi được tạo ra từ Conquest
Kết quả phân tích ở trên cũng có thể được khẳng định thơng qua đường cong đặc trưng của câu hỏi, đường cong thực tế của câu hỏi (đường nét đứt) bám sát đường cong kỳ vọng của câu hỏi, xuất phát từ điểm xác suất gần gốc tọa độ đi lên, cho thấy câu hỏi thiết kế phù hợp để kiểm tra NL của HS (xem Hình 3.2).
Hình 3.2. Đường cong đặc trưng của một số câu hỏi
3.2.2. Về các kỹ năng thành phần
Hình dưới gồm 4 cột biểu hiện phân bố NL của HS ở 4 kỹ năng thành phần của NL GQVĐ của HS. Trong đó các ký hiệu ‘x’ đại diện cho vị trí của HS trên