UBND TỈNH QUẢNG NAM TRƯỜNG Đ Ạ I H ỌC QUẢNG NAM Đề tài: ĐÁNH GIÁ CHẤT LƯỢNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN ĐÃ SỬ DỤNG TẠI TRƯỜNG ĐẠI HỌC QUẢNG NAM Chủ nhiệm : GVC Ths Lê Phước Thành Năm 20 12 1 MỞ ĐẦU 1 Lý do chọn đề tài Trong những năm gần đây, Bộ Giáo dục và Đào tạo đã, đang thực hiện các chủ trương đổi mới nội dung chương trình giảng dạy, cải tiến phương pháp thi, kiểm tra đánh giá kết quả học tập của học sinh, sinh viên từ phổ thông đến đạ i học Phương pháp trắc nghiệm khách quan nhiều chọn lựa ( gọi tắt là Trắc nghiệm khách quan_ TNKQ) được đưa vào trong các kỳ kiểm tra, thi học kỳ, tuyển sinh, tốt nghiệp v v… nên sự quan tâm của các giảng viên và các cơ quan quản lý giáo dục ngày càng nhiều P hương pháp này đã th ể hi ệ n nhi ề u tính năng ưu vi ệ t vư ợ t tr ộ i hơn nh ữ ng phương pháp khác như: ki ể m tra đư ợ c nhi ề u ki ế n th ứ c hơn, đ ả m b ả o chính xác, khách quan công b ằ ng hơn, ti ế t ki ệ m hơn và t ố n ít th ờ i gian làm bài c ủ a thí sinh cũng như th ờ i gian ch ấ m b ài Thực tế hiện nay việc xây dựng các bộ đề thi trắc nghiệm khách quan được giao cho các nhóm giảng viên phụ trách môn học thực hiện Các giảng viên xây dựng bộ đề hầu hết đều theo kinh nghiệm chủ quan của mình, chưa được trang bị đầy đủ về kiến thức , k ỹ năng , khoa học về đo lường và đánh giá thiết kế đề thi trắc nghiệm Các đề thi do giảng viên viên soạn thảo được đưa vào ứng dụng trực tiếp, không qua quá trình thử nghiệm và đánh giá, chưa đánh giá c âu hỏi thông qua việc phân tích độ k hó, độ phân biệt c ủa câu hỏi; độ tin cậy, độ giá trị của đề thi và dãy phân bố điểm thi Từ đó việc đánh giá kết quả của thí sinh không chí nh xác: đ úng năng lực thí sinh và mục tiêu dạy và học Một số môn học đã có ngâ n hàng đề thi trắc nghiệm nhưng thực chất là “kho câu hỏ i” vì các câu hỏi chưa mang các tham số về độ khó, độ phân biệt, đánh giá đề thi theo cách định tính Một thực trạng (khó kiểm soát) hiện nay là Phòng Khảo thí và Đảm bảo chất lượng không nắm bắt khâu biên soạn đề thi Đây là khâu rất quan trọng từ việc l ập kế hoạch ngân hàng đề thi, triển khai, ma trận kiến thức, duyệt nội dung ngân hàng đề thi…đây là những yếu tố cơ bản ảnh hưởng đến chất lượng đề thi Như vậy để có một ngân hàng đề thi trắc nghiệm thật sự, công việc đầu tiên là các câu hỏi phải nhận đượ c tham số câu hỏi , định cỡ ( Calibration) đề thi trắc nghiệm, từ đó loại bỏ những câu hỏi không đạt chất lượng , cập nhật và chỉnh sửa câu hỏi trong ngân hàng … Xuất phát từ yêu cầu đó, cũng như lâu dài có một ngân hàng đề thi trắc nghiệm thật sự, bản thân c họn đề tài: “ Đ ánh giá chất lượng câu hỏi trắc nghiệm khách quan đã sử dụng tại trường Đại học Quảng Nam” Đề tài đặc biệt chú trọng đến cách tiếp cận khoa học lý thuyết ứng đáp câu hỏi IRT (Item Response Theory) , một khoa học đã được nghiên cứu và ứng dụn g nhiều trên thế giới, đảm bảo độ chính xác trong việc xây dựng thang đo và độ chính xác trong đo lường Đề tài thể hiện hướng nghiên cứu mới làm cơ sở cho việc đánh giá lại toàn bộ ngân hàng câu hỏi đã sử dụng cũng như tạo điều kiện cho các giảng viên đán h giá lại những câu hỏi đã sử dụng từng bước xây dựng ngân hàng đề thi hoàn chỉnh 2 2 Mục tiêu nghiên cứu của đề tài 2 1 Nghiên cứu về khoa học đo lường: + Lý thuyết trắc nghiệm cổ điển (Classical Test Theory - CTT) + Lý thuyết trắc nghiệm hiện đại (Mode rn Test Theory - MTT) hay còn gọi là lý thuyết ứng đáp câu hỏi IRT (Item Response Theory) Căn cứ vào lý thu yết nhằm xác định các tham số câu hỏi, đánh giá chất lượng câu hỏ i trắc nghiệm và đề trắc nghiệm như độ khó, độ phân biệt, độ tin cậy độ giá trị 2 2 Nghiên cứu về bộ công cụ đặc tả về khoa học đo lường Sử dụng p hần mềm thống kê EXCEL, SPSS, QUEST và VITESTA để xử lý, phân tích và trình bày kết quả, trên cơ sở đó đánh giá chất lượng của câu hỏi trắc nghiệm và đề trắc nghiệm: - Đề thi có phù hợp với nă ng lực của nhóm thí sinh dự thi hay không? Nếu chưa phù hợp thì cần điều chỉnh như thế nào? - Có câu hỏi nào trong đề không phù hợp và cần chỉnh sửa hay loại bỏ hay không? Những phân tích này là cơ sở để đánh giá, cho điểm bài thi/kiểm tra và lựa chọn câ u hỏi đạt chất lượng xây dựng ngân hàng câu hỏi thi Đồng thời đưa ra khuyến cáo cho công tác viết câu hỏi trắc nghiệm trong những lần ra đề sau này đạt chất lượng được tốt nhất, đề xuất một số gợi ý đối với cấp quản lý giáo dục và giảng viên về vấn đề kiể m tra, đánh giá 3 Đối tượng nghiên cứu và phạm vi nghiên cứu 3 1 Đối tượng nghiên cứu Các câu hỏi trong các đề thi trắc nghiệm đã được sử dụng, trong mỗi câu hỏi nghiên cứu về: độ khó, độ phân biệt Các đề thi trắc nghiệm đã sử dụng, mỗi đề thi nghiên c ứu về: Độ khó đề thi, độ tin cậy, độ giá trị 3 2 Phạm vi nghiên cứu Các câu hỏi trong các đề thi trắc nghiệm đã sử dụng : Ngân hàng đề thi môn: - Cơ sở Văn hóa Việt Nam - ThS Nguyễn Văn Hào (ĐH Ngữ văn, GDTH, Việt Nam học) - Pháp luật đại cương - ThS Lê Như Th ơ (Tất cả các ngành Đại học) 4 Phương pháp nghiên cứu - Phư ơng pháp chuyên gia: Cán bộ làm đề trắc nghiệm nhằm đánh giá và điều chỉnh ngân hàng câu hỏi - Nghiên cứu về lý thuyết đo lường trong giáo dục 3 - Phương pháp thống kê toán học : Thu thập, xử lý và phân t ích dữ liệu bằng các phần mềm chuyên dụng: Excel, SPSS, QUEST, VITESTA 4 NỘI DUNG Chương 1: Đo lường trong giáo dục và Lý thuyết trắc nghiệm cổ điển 1 1 Đo lường trong giáo dục Bất cứ một quá trình giáo dục nào mà một ngư ời tham gia cũng nhằm tạo ra những biến đổi nhất định trong con người đó, đây là một thuộc tính của tư duy, mà tư duy không thể quan sát trực tiếp được (đại lượng ẩn) Muốn biết những biến đổi đó xảy ra ở mức độ nào phải đánh giá hành vi của người đó trong một tình huống nhất định, chẳng hạn: để biết một sinh viên có nắm được nội dung của môn học hay không sau khi học xong môn học đó, một bài thi/ kiểm tra có thể cho chúng ta biết một cách chính xác sinh viên đó hiểu biết đến mức độ nào Một vấn đề đặt ra là công cụ đo lường (bài kiểm tra/ thi) phải được thiết kế cẩn thận, được kiểm định, đạt chất lượng, có tin cậy không trước khi sử dụng Trên cơ sở những phân tích về đo lường, những chuyên gia sẽ có những đánh giá nhằm đưa ra những nhận định nhằm cải tiến công cụ đo để tăng độ chính xác của phép đo Khi việc đo lường được chính xác, kết quả của phép đo giúp chúng ta xác định được mục tiêu giáo dục đã đặt ra có phù hợp hay không phù hợp, việc giảng dạy có thành công hay không, người học có tiến bộ hay không Khi thực hiện một phép đo, đầu tiên là xây dựng thang đo, đó là việc xác định các tham số câu hỏi, gọi là việc định cỡ Với thang đo đó, tiếp theo là xây dựng thước đo, đó là đề thi trắc nghiệm Cuối cùng là việc áp thước đo vào đối tượng cần đo và đọc kết quả, nghĩa là thực hiện công việc thi và xác định kết quả cho thí sinh Một điều quan trọng trong phép đo đó là độ chính xác của phép đo, độ chính xác này phải đảm bảo hai điều kiện: (i) Một là quá trình định cỡ (khắc độ cho thước đo) phải đủ độ tin cậy, đặc biệt là các mẫu thử khác nhau không ảnh hưởng lên kết quả định cỡ Nghĩa là khi định cỡ (xác định độ khó của câu hỏi) câu hỏi trắc nghiệm , dù mẫu thí sinh giỏi hay yếu cũng không ảnh hưởng lên độ khó của câu hỏi (ii) Hai là dù đo bằng thước đo n ào có cùng cỡ thì kết quả đo phải như nhau (tất nhiên với sai số chấp nhận được) Nghĩa là có thể thiết kế nhiều đề thi trắc nghiệm tương đương (không phải việc thay đổi thứ tự câu hỏi và trật tự đáp án, thực chất chỉ một đề thi) vẫn đánh giá đúng năng lực (điểm số) của thí sinh 1 2 Giới thiệu về lý thuyết trắc nghiệm cổ điển Việc học và thi trên thế giới đã diễn ra hàng nghìn năm trước đây, nhưng một khoa học về đo lường trong giáo dục thật sự có thể xem như bắt đầu cách đây chỉ khoảng hơn một thế kỉ Tr ong thế kỉ XX, khoa học này phát triển xuất phát từ châu Âu nhưng tăng tốc mạnh 5 mẽ khi du nhập vào Hoa Kì Cho đến thập niên 1970 thì khoa học này phát triển tương đối hoàn chỉnh trong khuôn khổ một lí thuyết được gọi là Lí thuyết Trắc nghiệm cổ điển (Clas sical Test Theory – CTT) Lý thuyết trắc nghiệm cổ điển được xây dựng dựa trên thống kê học, hay gọi là nghiên cứu định lượng Bất kỳ một sự vật, hiện tượng nào đều có những tham số đặc trưng nhằm xác định mối quan hệ / vị trí của nó với các sự vật hiện tư ợng khác Một câu hỏi trắc nghiệm hay một đề trắc nghiệm khi được soạn thảo hoàn toàn chưa biết được độ lớn của các tham số ấy Chúng chỉ được xác định bằng phương pháp thống kê từ kết quả trả lời của thí sinh đối với các câu hỏi Sau đây là những tham số đặc trưng của câu hỏi và đề trắc nghiệm theo lý thuyết trắc nghiệm cổ điển 1 2 1 Độ khó của câu hỏi trắc nghiệm (dificulty) và đề thi trắc nghiệm a Độ khó của câu hỏi trắc nghiệm - Độ khó p của câu hỏi thứ i là tỷ lệ (hoặc tỷ số phần trăm) giữa số lượn g thí sinh trả lời đúng câu hỏi thứ i với tổng số thí sinh tham gia trả lời câu hỏi - Giá trị của độ khó: 0 1 p - Các câu hỏi của một đề thi trắc nghiệm thường có độ khó khác nhau, khi giá trị p càng bé thì câu hỏi càng khó và ngư ợc lại - Giả sử 100 thí sinh tham gia trả lời 1 câu hỏi nào đó và có 80 thí sinh trả lời đúng Khi đó giá trị p = 80/100 = 0 80, cho biết có 80% thí sinh trả lời đúng Nếu có 300 thí sinh nhưng chỉ có 225 thí sinh trả lời đúng thì giá trị p = 0 75 (vì 22 5/300 = 0 75) - Theo các chuyên gia : Đ ộ khó của câu hỏi nên nằm trong khoảng: 0 25 – 0 75 Câu hỏi có độ khó lớn hơn 0 75 là quá dễ và nhỏ hơn 0 25 là quá khó Nếu để tuyển sinh hoặc chọn lọc thí sinh, nên thêm một số câu có độ khó> 75% Nếu chỉ để đánh giá đạt hay không đạt có thể dùng một số câu có độ khó < 10% - Độ khó trung bình của câu hỏi: Độ khó trung bình (tính bằng %) của câu hỏi được xác định bằng điểm giữa của việc trả lời đúng (100%) và chọn may rủi (câu có 4 phương án, chọn may rủi là 1/ 4), như vậy độ khó trung bình của câu hỏi là : (100%+25%)/2=62 5% b Độ khó của bài thi trắc nghiệm - Được xác định bằng cách đối chiếu giữa điểm trung bình bài thi trắc nghiệm (lấy điểm trung bình của tất cả các bài thi quan sát được) và điểm trung bình lý tưởng - Điểm trung bình lý tưởng là điểm giữa của điểm tối đa mà thí sinh làm được với điểm chọn theo may rủi Chẳng hạn đề thi có 50 câu, mỗi câu có 5 phương án trả lời, mỗi câu 6 đúng là 1 điểm Điểm tối đa là 50 điểm, điểm may rủi cho một câu là: 50* 1/5= 10 điểm Vì vậy điểm trung bình lý tưởng là: (50+10)/2=30 - Dựa vào dãy phân bố điểm thô của các bài thi, nếu nếu điểm trung bình quan sát bài thi trắc nghiệm vượt xa với điểm trung bình lý tưởng thì đề thi quá dễ và ngược lại - Dãy phân phối điểm thi càng rộng càng tốt, càng phân loại được thí sinh hơn - Độ khó hoàn toàn phụ thuộc vào mẫu (sample dependence), điều này có nghĩa nếu mẫu dùng để xác định độ khó sẽ phụ thuộc vào mức năng lực của thí sinh Nếu mẫu có nhiều thí sinh khá, giỏi thì độ k hó sẽ cao và ngược lại c Sử dụng giá trị độ khó p để phân tích câu hỏi thi/ kiểm tra - Đối với các câu hỏi có độ khó lớn hơn 0 8 hoặc nhỏ hơn 0 2 nên xem xét hoặc loại bỏ - Giá trị độ khó p cũng nên được tính cho các phương án trả lời, nhằm biết được chất lượng của các câu hỏi gây nhiễu/ mồi nhử, chẳng hạn theo thống kê phương án trả lời của một câu hỏi nào đó như sau: Phương án trả lời A B C* D Bỏ sót Tổng Số lượng 28 17 197 41 3 286 Giá trị p 0 10 0 06 0 69 0 14 *: ký hiệu phương án trả lời đú ng Câu hỏi này có độ khó của đáp án được chấp nhận, song phương án B không thu hút nhiều thí sinh được chọn, gây nhiễu hầu như không tác dụng (lộ liễu) Vì vậy nên viết lại phương án nhiễu - Cũng có thể dùng độ khó p dùng dự đoán khả năng nhầm đáp án Nhầm đáp án là trường hợp đa số thí sinh tham gia làm bài chọn phương án khác với đáp án Trường hợp nhầm đáp án có thể xảy ra bởi các nguyên nhân: có thể do người viết câu hỏi có sự nhầm lẫn, cũng có thể do phần lớn thí sinh tham gia làm bài hiểu sai câu hỏi hoặc được dạy sai kiến thức, cũng có thể do câu hỏi quá khó khiến thí sinh đoán mò và trùng hợp là phần đông thí sinh đoán mò trùng một phương án (trường hợp này xác xuất xảy ra là rất thấp) Tốt nhất nên chia thành 2 nhóm thí sinh (tỷ lệ mỗi nhóm 27%) , nhóm có điểm toàn bài cao và thấp sau đó tính độ khó p Chẳng hạn, có bảng thống kê như sau: PhuongAn A B * C D Bỏ A B C D Bỏ Dap án XemLai Câu hỏi Nhóm điểm cao (27%) Nhóm điểm thấp (27%) i 10 8 1 2 0 9 3 0 9 0 B A, B Hãy xem lại B có phải là đáp án thật sự hay là A mới là đáp án, vì cả nhóm điểm cao và điểm thấp đều có số lượng cho phương án A nhiều hơn d P hân tích độ khó của bài thi trắc nghiệm Có hai cách để xác định độ khó của đề thi trắc nghiệm theo lý thuyết trắc nghiệm cổ điển Cách 1: T ìm dãy phân bố độ khó của câu hỏi 7 Giả sử đề thi trắc nghiệm gồm 50 câu hỏi, sau khi tính độ khó của từng câu, lập biểu đồ tần suất phân bố độ khó, sau đó căn cứ vào phần trăm độ khó như sau: + 0