skkn sử DỤNG PHẦN mềm QUEST, CONQUEST để PHÂN TÍCH đề THI tự LUẬN

SÁNG KIẾN KINH NGHIỆM SỬ DỤNG PHẦN MỀM QUEST, CONQUEST ĐỂ PHÂN TÍCH ĐỀ THI TỰ LUẬN Người thực hiện: VÕ LONG Lĩnh vực nghiên cứu: - Phương pháp dạy học bộ môn:  - Lĩnh vực khác: Đánh giá

SỞ GIÁO DỤC VÀ ĐÀO TẠO ĐỒNG NAI

Phòng KT&KĐCLGD

Mã số:

SÁNG KIẾN KINH NGHIỆM

SỬ DỤNG PHẦN MỀM QUEST, CONQUEST

ĐỂ PHÂN TÍCH ĐỀ THI TỰ LUẬN

Người thực hiện: VÕ LONG

Lĩnh vực nghiên cứu:

- Phương pháp dạy học bộ môn: 

- Lĩnh vực khác: (Đánh giá đề thi) 

Có đính kèm: Các sản phẩm không thể hiện trong bản in SKKN

(các phim, ảnh, sản phẩm phần mềm)

Năm học: 2015-2016

SƠ LƯỢC LÝ LỊCH KHOA HỌC

9 Đơn vị công tác: Phòng KT&KĐCLGD-Sở GD&ĐT Đồng Nai

II TRÌNH ĐỘ ĐÀO TẠO

- Học vị (hoặc trình độ chuyên môn, nghiệp vụ) cao nhất: Thạc sĩ

- Năm nhận bằng: 2014

- Chuyên ngành đào tạo: Đo lường và đánh giá chất lượng giáo dục

III KINH NGHIỆM KHOA HỌC

- Lĩnh vực chuyên môn có kinh nghiệm: Giảng dạy tin học

Số năm có kinh nghiệm: 10 năm

- Các sáng kiến kinh nghiệm đã có trong 5 năm gần đây:

+ Xây dựng chương trình chấm thi thực hành Word

+ Sử dụng phần mềm Quest, Conquest để phân tích câu hỏi trắc nghiệm khách quan

Tên SKKN: SỬ DỤNG PHẦN MỀM QUEST, CONQUEST ĐỂ PHÂN TÍCH ĐỀ THI TỰ LUẬN

và cho bản thân học sinh, để học sinh học tập đạt kết quả tốt hơn.

Việc ra đề kiểm tra đánh giá kết quả học tập của người học là việc làm thường xuyên trong công tác giảng dạy Đây là phương pháp nhằm đánh giá học lực, giám sát quá trình học tập của người học, quá trình giảng dạy của người dạy và quá trình quản lý đào tạo của nhà trường Tuy được sử dụng rộng rãi và có tầm quan trọng, song thực tế rất

ít người dạy được đào tạo cơ bản về vấn đề này.Đa số người dạy thường dựa vào kinh nghiệm chủ quan của mình để thực hiện hoạt động này, cho nên dẫn đến việc đánh giá học sinh không đúng như mục tiêu của môn học.

Trong kiểm tra đánh giá ở các trường THPT hiện nay đa số sử dụng phương pháp đánh giá kết quả học tập của học sinh thông qua các dạng đề thi: tự luận, trắc nghiệm và

số ít kết hợp cả trắc nghiệm và tự luận Với mỗi dạng thức ra đề như vậy đều có những

ưu và nhược điểm, tuy nhiên việc xây dựng hệ thống các câu hỏi (ngân hàng câu hỏi) đối với đề thi trắc nghiệm và đánh giá các nội dung của đề thi tự luận theo năng lực của học sinh (thông qua kết quả làm bài) là một vấn đề rất cần thiết cho mỗi kỳ thi từ đó có thể sửa đổi hoặc loại bỏ các câu, các ý không phù hợp Chính vì vậy việc sử dụng các phần mềm nhằm đánh giá đề thi là tự luận là rất cần thiết.

II CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN

1 Mục đích của đề tài:

Nghiêncứu sửdụngphần mềm QUEST, CONQUEST để đánhgiáchấtlượngđề thi tự luận, năng lực của học sinh và sự phù hợp của chúng.

2 Đối tượ ng và phạm vi nghiên cứu:

Nội dung chương trình kiểm tra môn toán1 tiết lớp 11 ban cơ bản.

Kết quả thi của 100 HS khối 11lấy theo kết quả kiểm tra của 2 lớpmôn Toán, với dạng thức đề thi tự luận (gồm 4 câu, được chia thành 10 ý nhỏ) của trường trung học phổ thông chất lượng cao Trấn Biên -Biên Hòa-Đồng Nai.

3 Phương pháp (PP) nghiên cứu:

Trong quá trình tiến hành nghiên cứu làm đề tài, chúng tôi đã sử dụng các PP nghiên cứu sau đây: PP Nghiên cứu lý thuyết, PP lấy ý kiến chuyên gia, PP thực nghiệm sư phạm, phương pháp thống kê.

III NỘI DUNG NGHIÊN CỨU

1 Giới thiệu về lý thuyết đáp ứng câu hỏi (IRT-Item Response theory)

Để xây dựng hệ thống các đề thi tự luận dùng trong kiểm tra đánh ,việc sử dụng trong các kỳ thi đạt yêu cầu của mục tiêu dạy học thì phải nắm vững qui trình viết và phân tích thống kê từng ý trong các câu hỏi thi,cũng như trên cả bài thi tự luận Nguyên tắc chung để phân tích các Item, một bài tự luận là chúng ta thường so sánh câu trả lời của học s inh ( HS) ở mỗi Item với điểm số chung của toàn bài với mong muốn có nhiều

HS khá giỏi làm được, đồng thời có ít HS yếu làm được Item đó, nghĩa là phổ các điểm của một lớp HS trải càng rộng càng tốt.Việc phân tích thống kê Item trong câu tự luận nhằm xác định các chỉ số như: độ khó, độ phân biệt, hệ số độ tin cậy của Item.

Từ sau thập niên 70 đến nay một lý thuyết phân tích câu hỏi trắc nghiệm hiện đại

ra đời dựa trên thu yết đáp ứng câu hỏi của Georg Rasch thường gọi là lý thuyết IRT Thuyết IRT được phát triển rất nhanh nhờ khả năng tính toán bằng máy vi tính.

Để khắc phục nhược điểm nêu trên, Hội đồng nghiên cứu giáo dục Australia dựa trên thuyết IRT đã xây dựng phần mềm Quest để phân tích số liệu thống kê của câu hỏi thi Thuyết đáp ứng câu hỏi của Rasch mô hình hoá mối liên hệ giữa mức độ khả năng của người làm bài và đáp ứng của người ấy với một câu Item Mỗi ý trong câu được mô

tả bằng một thông số (độ khó) ký hiệu là δ và mỗi người làm bài được mô tả cũng bằng một thông số (khả năng) ký hiệu là β Mỗi khi một người cố gắng làm bài, các thông số

độ khó và khả năng tác động lẫn nhau, để cho một xác suất đáp ứng của người làm bài

ấy Dạng toán học của mô hình này là:

Trong đó Pnil là xác suất của một người với khả năng βn làm đúng Item đó có độ khó δ.

Pnil = exp(βn−δi)

1+exp(βn−δi)

2 Xử lý số liệu bằng phần mềm QUEST; CONQUEST:

Sau khi thi xong, bài thi được chấm theo thang điểm quy định Những người trực tiếp tham gia vào tổ chấm thi phải chấm theo đúng đáp án và thang điểm đã đưa ra Chấm chính xác đến từng ý nhỏ của câu.Sau đó, kết quả chấm sẽ được nhập vào máy tính (từ phiếu chấm) Dữ liệu sẽ được xử lý bằng phần mềm Quest và Conquest và cho ta các kết quả như: mức độ phù hợp của các câu hỏi với mô hình Rasch, năng lực của thí so với độ khó của Item, độ tin cậy của đề thi và các chỉ số đặc trưng cho từng câu hỏi như : độ khó, độ phân biệt, hệ số tương quan giữa câu hỏi thi với toàn bài, độ tin cậy, sai số.

Bảng 1: Các chỉ số thống kê các Item trong đề thi:

Item 2: item 2 Infit MNSQ = 1.02 Disc = 62

Categories 0 1 2 3 9 missing Count 3 10 35 52 0 0

Categories 0 1 2 3 9 missing Count 92 8 0 0 0 0

Trongđó: Item: ý số trong biểu chấm; Categories: Điểm đạt được của ý; Count: Số

HS đạt được điểm tương ứng Percent (%): Phần trăm số HS đạt điểm tương ứng; biserial =Rpbis: Độ phân biệt, P-Value: Độ tin cậy thống kê của độ phân biệt; Đáp án 0:

Pt-Số HS không làm được bài.

- Với Item 2 có rất nhiều học sinh làm được (52% đạt điểm tối đa, chỉ có 3% học sinh là ko làm được), ngượ c lại với Item 10 thì đây là câu hỏi rất khó đối với học sinh (có đến 92% học sinh không làm được).

Bài thi này có điểm trung bình là 6,7- Độ tin cậy của đề thi 0,90

* Mức độ phù hợp với mô hình Rasch:

Khi dữ liệu liệu phù hợp với mô hình Rasch thì trị số kỳ vọng của bình phương trung bình (mean square) xấp xỉ bằng 1 và độ lệch chuẩn SD xấp xỉ bằng 0

Summary of item Estimates

=========================

của đề thi rất đáng tin cậy là 0.9.

* Phân bố độ khó câu hỏi và năng lực của học sinh:

Sơ đồ phân bố độ khó câu hỏi và năng lực thí sinh cho thấy mức độ phù hợp của

đề thi đối với học sinh dự thi.Kết quả xử lý bằng phần mềm QUEST cho một bản đồ phân bố năng lực học sinh và độ khó câu hỏi thi.

PHAN TICH DE THI TOAN HKI_2012

-Item Estimates (Thresholds) 5/ 9/13 11: 2

all on toan_tl (N = 100 L = 10 Probability Level= 50)

|

| 3.3 XXXXXXXXXXXXXXXX |

|

| XXXXXXXXXXXXX | 2.3 8.2

XXXXXXXXXX | 9.1

|

| XXXXXX |

NĂNG LỰC CAO

RẤT KHÓ NĂNG

LỰC CAO 29%

NĂNG LỰC TƯƠNG ĐỐI 29%

NĂNG LỰC TRUNG BÌNH 20%

XXXXXXXX | 4 7.2

| 2.2

| 5.2 -1.0 XXXX |

1 tiết và cần ra đề thi phù hợp với đối tượng học sinh có năng lực thấp hơn.

Chú ý: Sơ đồ trên cho thấy thang đo chia làm 4 mức rõ ràng, ứng với các mức độ năng lực: Năng lực cao (29% học sinh), năng lực tương đối ( 29% học sinh), năng lực trung bình (20% học sinh), năng lực thấp (22% học sinh) Do đó, học sinh cũng chưa làm

4 nhóm rõ ràng.

Ngoài ra, dựa vào điểm cực đại củ a hình 1 của đường công đề thi thu được khi

phân tích bằng Conquest ta có thể thấy đề thi đề thi thể hiện sự tương đồng đều giữa các nhóm.

Hình 1: Đường công đặc trưng thông tin của cả bài thi

Đồ thị biểu thị xác suất trả lời đúng câu hỏi với năng lực của học sinh khi phân tích

bằng Conquest ở hình 2 dưới đây cho thấy Item 2 khá dễ (với đường màu xanh đậm (0): học

NĂNG LỰC THẤP

RẤT DỄ

NĂNG LỰC THẤP 22%

sinh không làm được bài, đường xanh lá (1): học sinh làm được 0,5 điểm, đường xanh da trời

(2): học sinh làm được 1 điểm, đường hồng (3): học s inh làm được 1,5 điểm)

Từ đồ thị của Item 2 ta thấy, Năng lực của học sinh tỷ lệ thuận với điểm của câu hỏi,

tỷ lệ đạt điểm tối đa (3) của câu hỏi này tăng dần theo năng lực, tuy nhiên với mức năng lực

tương ứng số học sinh trên vẫn chưa đạt điểm tối đa do nhiều lý do: phương pháp trình bày

cũng như chưa chi tiết với các điều kiện khi giải toán, vì thế số học sinh làm không được câu

này rất ít, được thể hiện cụ thể qua đường cong đặc trưng Hình 3.

Hình 2: Biểu diễn mối tương quan xác suất trả lời đúng Item 2 và năng lực

Item này đánh giá tốt đối với nhóm học sinh có năng lực tương đối thấp, đa số các học sinh có năng lực từ trung bình trở lên đều làm được thể hiện qua điểm cực trị của đồ thị qua hình sau:

Hình 3: Đường cong đặc trưng thông tin Item 2

Đánh giá từng mức điểm cho từng ý của câu hỏi (ứng với mỗi mức được đánh số là 1,2,3 tương ứng với điểm đạt được là: 0.5,1,1.5)

KẾT LUẬN

Chúng ta có thể sử dụng rất nhiều phần mềm chuyên dụng phục vụ cho việc đánh giá đề thi, tuy nhiên 2 phần mềm Quest và Conquest được sử dụng khá phổ biến và cung cấp hầu như tất cả các chỉ số cũng như bảng biểu phục vụ cho công việc đánh giá đề thi.

Công việc biên soạn, thiết kế đề thi là giai đoạn hết sức quan trọng trong quy trình thiết kế đề thi, thực tế ở các trường phổ thông hầu như giáo viên thiếu kinh nghiệm ra đề thi, giáo viên ít xác định mục tiêu đánh giá hoặc chưa phù hợp với mục tiêu đề ra.Việc xây dựng bảng trọng số chưa hợp lý và chưa được coi trọng đúng mức Đề thi chưa bao phủ hết nội dung chương trình giảng dạy cũng như chưa phù hợp với mục tiêu đề ra.

Việc ra đề thi tự luận là một công việc hết sức khó khăn nếu như giáo viên không xác định trước, lập kế hoạt cũng như xác định nội dung kiến thức sẽ dễ dẫn đến việc không thể đánh giá đúng năng lực của học sinh cũng như phát hiện những học sinh có năng lực cao cụ thể.

Từ đề thi trên sử dụng phần mềm để nhận xét có thể thấy đề thi là tương đối phù hợp với năng lực của học sinh, độ tin cậy của đề thi cao tuy nhiên vẫn có rất nhiều học sinh được đánh giá thấp đối với đề thi này (có 22% ) vì vậy cần xem xét chỉnh sửa lại đề thi để phù hợp hơn (ví dụ Item 10).

TÀI LIỆU THAM KHẢO

1 Phân tích dữ liệu nghiên cứu với SPSS, Đại học kinh tế Tp.Hồ Chí Minh, Hoàng Trọng-Châu Nguyễn Mộng Ngọc tập 1, tập 2

học Sư Phạm, GS.TSKH Lâm Quang Thiệp.

3 Xử lý và phân tích số liệu nghiên cứu với phần mềm SPSS, PGS.TS.

Nguyễn Công Khanh

4 Website:

https://sites.google.com/a/moet.edu.vn/danhgiachatluonggiaoduc/home

5 Bài giảng lý thuyết đánh giá cổ điển và hiện đại của TS Phạm Xuân Thanh.

6 APPLYING THE RASCH MODEL TO PSYCHO-SOCIAL

MEASUREMENTA PRACTICAL APPROACH-Margaret Wu & Ray Adams

PHỤ LỤC

1 File Ctl chạy trong chương trình Quest

Header PHAN TICH DE THI TOAN HKI_2012

set width =132 ! page

set logon >- toan_TL.log

show ! scale=toan_TL >- toan_TL.map

show cases!scale=toan_TL;form=export; delimiter=tab >-toan_TL.cas

itanal ! scale=toan_TL >- toan_TL.ita

quit

2 File Cqc chạy trong chương trình ConQuest:

Title PHAN TICH DE THI TOAN HKI_2012;

3 File kết quả đánh giá đề thi bằng Quest:

PHAN TICH DE THI TOAN HKI_2012

all on toan_tl (N = 100 L = 10 Probability Level= 50)

Data File = toan_TL.dat

-Data Format = items (t1,10a1)

Log file = toan_TL.log

Maximum number of cases set at 60000

VALID DATA CODES 0 1 2 3 9

DELETED AND ANCHORED CASES:

No case deletes or anchors

DELETED AND ANCHORED ITEMS:

No item deletes or anchors

all on toan_tl (N = 100 L = 10 Probability Level= 50)

Summary of item Estimates

0 items with zero scores

0 items with perfect scores

========================================================================== PHAN TICH DE THI TOAN HKI_2012

all on toan_tl (N = 100 L = 10 Probability Level= 50)

Summary of case Estimates

SD 1.03 SD .67

0 cases with zero scores

1 cases with perfect scores

============================================================================= PHAN TICH DE THI TOAN HKI_2012

Item Estimates (Thresholds) 5/ 9/13 11: 2 all on toan_tl (N = 100 L = 10 Probability Level= 50)

XXXXXXXXXXXXXX |

|

| 9.2

|

| XXXXXXXXXXXXX | 2.0 |

|

| 3.3 XXXXXXXXXXXXXXXX |

|

| XXXXXXXXXXXXX |

| 2.3 8.2 1.0 | 6.2

XXXXXXXXXX | 9.1

|

| XXXXXX |

|

| 0 XXXX | 3.2

|

| XXXXXXXX |

| XXXXXXXX | 4 7.2

| 2.2

| 5.2 -1.0 XXXX |

Each X represents 1 students

-====================================================================

PHAN TICH DE THI TOAN HKI_2012

-Item Fit 5/ 9/13 11: 2 all on toan_tl (N = 100 L = 10 Probability Level= 50)

-INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60

+ -+ -+ -+ -+ -+ -+ -+ -+ -+ -+-1 item + -+ -+ -+ -+ -+ -+ -+ -+ -+ -+-1 * |

2 item 2 | *

3 item 3 | *

4 item 4 * |

5 item 5 | *

6 item 6 | *

7 item 7 * |

8 item 8 * |

9 item 9 * |

10 item 10 * |

=================================================== PHAN TICH DE THI TOAN HKI_2012

-Item Analysis Results for Observed Responses 5/ 9/13 11: 2 all on toan_tl (N = 100 L = 10 Probability Level= 50)

-Item 1: item 1 Infit MNSQ = 90 Disc = 48 Categories 0 1 2 3 9 missing Count 12 88 0 0 0 0

Percent (%) 12.0 88.0 .0 .0 .0

Pt-Biserial -.48 .48 NA NA NA p-value .000 000 NA NA NA Mean Ability -.33 1.35 NA NA NA NA Step Labels 1

Thresholds -1.22 Error 34

Item 2: item 2 Infit MNSQ = 1.02 Disc = 62 Categories 0 1 2 3 9 missing Count 3 10 35 52 0 0

-all on toan_tl (N = 100 L = 10 Probability Level= 50)

Item 4: item 4 Infit MNSQ = 81 Disc = 60Categories 0 1 2 3 9 missing

all on toan_tl (N = 100 L = 10 Probability Level= 50)

Item 10: item 10 Infit MNSQ = 90 Disc = 36

VÕ LONG

Đồng Nai, ngày 25 tháng 05 năm 2016

PHIẾU NHẬN XÉT, ĐÁNH GIÁ SÁNG KIẾN KINH NGHIỆM

Năm học: 2015-2016

–––––––––––––––––

Tên sáng kiến kinh nghiệm: SỬ DỤNG PHẦN MỀM QUEST, CONQUEST ĐỂ PHÂN TÍCH ĐỀ THI TỰ LUẬN

Họ và tên tác giả: VÕ LONG Chức vụ: Chuyên viên

Đơn vị: Phòng Khảo thí và Kiểm định chất lượng giáo dục

Lĩnh vực: (Đánh dấu X vào các ô tương ứng, ghi rõ tên bộ môn hoặc lĩnh vực khác)

- Quản lý giáo dục  - Phương pháp dạy học bộ môn: 

- Phương pháp giáo dục  - Lĩnh vực khác:  Sáng kiến kinh nghiệm đã được triển khai áp dụng: Tại đơn vị  Trong Ngành 

1 Tính mới (Đánh dấu X vào 1 trong 3 ô dưới đây)

- Đề ra giải pháp thay thế hoàn toàn mới, bảo đảm tính khoa học, đúng đắn 

- Đề ra giải pháp thay thế một phần giải pháp đã có, bảo đảm tính khoa học, đúng đắn 

- Giải pháp mới gần đây đã áp dụng ở đơn vị khác nhưng chưa từng áp dụng ở đơn vị mình, nay tác giả tổ chức thực hiện và có hiệu quả cho đơn vị 

2 Hiệu quả (Đánh dấu X vào 1 trong 5 ô dưới đây)

- Giải pháp thay thế hoàn toàn mới, đã được thực hiện trong toàn ngành có hiệu quả cao 

- Giải pháp thay thế một phần giải pháp đã có, đã được thực hiện trong toàn ngành có hiệu quả cao 

- Giải pháp thay thế hoàn toàn mới, đã được thực hiện tại đơn vị có hiệu quả cao 

- Giải pháp thay thế một phần giải pháp đã có, đã được thực hiện tại đơn vị có hiệu quả 

- Giải pháp mới gần đây đã áp dụng ở đơn vị khác nhưng chưa từng áp dụng ở đơn vị mình, nay tác giả tổ chức thực hiện và có hiệu quả cho đơn vị 

3 Khả năng áp dụng (Đánh dấu X vào 1 trong 3 ô mỗi dòng dưới đây)

- Cung cấp được các luận cứ khoa học cho việc hoạch định đường lối, chính sách:

Trong Tổ/Phòng/Ban  Trong cơ quan, đơn vị, cơ sở GD&ĐT  Trong ngành 

- Đưa ra các giải pháp khuyến nghị có khả năng ứng dụng thực tiễn, dễ thực hiện và dễ đi vào cuộc sống: Trong Tổ/Phòng/Ban  Trong cơ quan, đơn vị, cơ sở GD&ĐT  Trong ngành 

- Đã được áp dụng trong thực tế đạt hiệu quả hoặc có khả năng áp dụng đạt hiệu quả trong phạm vi rộng: Trong Tổ/Phòng/Ban  Trong cơ quan, đơn vị, cơ sở GD&ĐT  Trong ngành 

Xếp loại chung: Xuất sắc  Khá  Đạt  Không xếp loại 

Cá nhân viết sáng kiến kinh nghiệm cam kết và chịu trách nhiệm không sao chép tài liệu của

người khác hoặc sao chép lại nội dung sáng kiến kinh nghiệm cũ của mình.

Tổ trưởng và Thủ trưởng đơn vị xác nhận đã kiểm tra và ghi nhận sáng kiến kinh nghiệm này

đã được tổ chức thực hiện tại đơn vị, được Hội đồng chuyên môn trường xem xét, đánh giá; tác

giả không sao chép tài liệu của người khác hoặc sao chép lại nội dung sáng kiến kinh nghiệm cũ của chính tác giả.

Phiếu này được đánh dấu X đầy đủ các ô tương ứng, có ký tên xác nhận của tác giả và người

có thẩm quyền, đóng dấu của đơn vị và đóng kèm vào cuối mỗ i bản sáng kiến kinh nghiệm.

NGƯỜI THỰC HIỆN SKKN

(Ký tên và ghi rõ họ tên)

VÕ LONG

XÁC NHẬN CỦA LÃNH ĐẠO PHÒNG

NGUYỄN VĂN HẢI