các bước xây dựng bài kiểm tra bằng trắc nghiệm khách quan

Để nâng cao chất lượng giáo dục ở các bậc học thì việc cải tiến hệ thống kiểm tra, đánh giá kết quả của học sinh đóng vai trò hết sức quan trọng. Bên cạnh việc sử dụng phương pháp truyền thống mà từ trước đến nay chúng ta vấn áp dụng để kiểm tra bằng phương pháp tự luận, nhưng thực tế không phải lúc nào nó cũng mang lại kết quả khả quan. Các phương pháp đánh giá kết quả học tập rất đa dạng, mọi phương pháp đều có những ưu điểm, nhược điểm của nó, không có phương pháp đều có những ưu, nhược điểm của nó, không có phương pháp nào là hoàn mỹ với mọi mục tiêu giáo dục. Tuỳ theo mục tiêu cụ thể mà lựa chọn phương pháp đánh giá cho thích hợp. Trên tinh thần hiện nay là chúng ta đang thực hiện chương trình đổi mới phương pháp giảng dạy vì vậy trong bài khoá luận này chúng tôi mạnh dạn đưa một phương pháp đánh giá bài thi đó là đánh giá bằng phương pháp trắc nghiệm khách quan. Đây là một phương pháp hết sức mới mẻ với nền giáo dục nước ta nhưng nó lại đánh giá tương đối chính xác và khách quan. Phương pháp đánh giá bài thi bằng trắc nghiệm tự luận mà chúng ta vẫn đang sử dụng hiện nay đang chiếm ưu thế, nhưng không có nghĩa là nó là phương pháp tối ưu, nó vẫn có những hạn chế nhất định mà phương pháp trắc nghiệm khách quan đã ra đời và khảng định được những ưu thế vượt trội. Tiếc thay một phương pháp hay như vậy được thế giới hiện nay sử dụng rất rộng rãi trong các kỳ thi tuyển sinh đại học mà lại có vẻ rất mơ hồ với cả những chuyên gia về giáo dục nước ta. Đội ngũ cán bộ giảng dậy và những người biết về phương pháp này lại rất mỏng. Vậy vấn đề đặt ra là chúng ta đổi mới phương pháp giảng dạy thì nên chăng đổi mới phương pháp kiểm tra đánh giá bài thi là cần thiết ? Xuất phát từ nhu cầu đó, chúng tôi xin biên soạn chủ đề về việc kiểm tra đánh giá thành quả học tập bằng phương pháp trắc nghiệm khách quan. Mục đích của việc nghiên cứu phương pháp đánh giá bằng trắc nghiệm khách quan đầu tiên giới thiệu cho mọi người cùng biết cơ bản thế nào là phương pháp trắc nghiệm khách quan. Chúng tôi muốn khẳng định ưu thế khi dùng phương pháp trắc nghiệm khách quan so với việc dùng phương pháp tự luận. Cuối cùng chúng tôi sẽ thực hiện thí điểm cho học sinh làm bài thi bằng các câu hỏi dạng trắc nghiệm khách quan. Đối tượng và khách thể nghiên cứu của đề tài là chúng tôi sẽ xây dựng bộ câu hỏi trắc nghiệm trên nền tảng kiến thức bộ môn hoá lớp 10. Đối tượng nghiên cứu là học sinh lớp 10 khối chuyên hoá trường trung học phổ thông Hai Bà Trưng Hà Nội. Nếu việc thử nghiệm cho học sinh làm đề thi bằng trắc nghiệm khách quan của chúng tôi thành công thì qua phân tích kết quả chúng tôi sẽ khẳng định ưu thế của việc dùng phương pháp trắc nghiệm khách quan là hoàn toàn có cơ sở khoa học. Nhiệm vụ khi nghiên cứu về đề tài này của chúng tôi là trước tiên xây dựng được bộ các câu hỏi trắc nghiệm khách quan môn hoá lớp 10, thứ hai là thực hiện thí điểm đề thi bằng trắc nghiệm khách quan và từ đó chúng tôi sẽ phân tích các kết quả như tính độ khó, độ tin cậy … và cuối cùng tổng kết lại liệu phương pháp này có đạt được mục tiêu giáo dục đề ra hay không. Việc xây dựng bộ câu hỏi trắc nghiệm chỉ trong chương trình kiến thức lớp dự định đề thi trong 30 phút và 1 đề thi sẽ gồm khoảng 30 câu. Phạm vi nghiên cứu là học sinh lớp 10 chuyên hoá trường phổ thông trung học Hai Bà Trưng. Phương pháp chúng tôi dùng khi nghiên cứu đề tài đó là phương pháp quan sát, phương pháp điều tra, kiểm tra và cuối cùng là thống kê sau khi đã dùng trắc nghiệm khách quan làm thí điểm trên học sinh. Chúng tôi nghĩ với sự chuẩn bị kỹ lưỡng hệ thống các câu hỏi và việc thử nghiệm thành công thì sẽ khẳng định được những ưu điểm của phương pháp trắc nghiệm khách quan là hoàn toàn có cơ sở khoa học. Cấu trúc của khoá luận nghiên cứu của chúng tôi được cụ thể như sau: -Mục lục -Mở đầu -Chương 1 Tổng quan về phương pháp trắc nghiệm khách quan -Chương 2 các bước xây dựng bài kiểm tra bằng trắc nghiệm khách quan -Chương 3 Phân tích kết quả nghiên cứu đề tài

Mục lục Mở đầu Chơng I: Tổng quan phơng pháp trắc nghiệm khách quan I.1 I.1.1 I.1.1.1 I.1.1.2 I.1.1.3 I.1.2 I.1.2.1 I.1.2.2 I.1.2.3 I.1.2.4 I.1.3 Dại cơng phơng pháp trắc nghiệm khách quan Phân loại phơng pháp trắc nghiệm Phơng pháp quan sát Phơng pháp vấn đáp Phơng pháp trắc nghiệm viết Các dạng câu hỏi trắc nghiệm khách quan Câu mở (Opendended) Câu điền khuyết (Supply items) Loại câu sai (true flase) Loại câu hỏi nhiều lựa chọn (Multiple choice-MCQ) Ưu điểm phơng pháp trắc nghiệm khách quan với ph- 4 5 5 5 6 I.1.3.1 ¬ng pháp tự luận Câu hỏi trắc nghiệm khách quan đánh giá khách quan I.1.3.2 câu hỏi tự luận Câu hỏi trắc nghiệm khách quan kiểm tra đợc lợng học sinh lớn I.1.3.3 câu hỏi tự luận lần thi Câu hỏi trắc nghiệm khách quan Ýt chƯch tđ h¬n, Ýt may rđi h¬n I.2 câu dạng tự luận Những yếu tố đặc trng để đánh giá kiểm tra hay thi I.2.1 I.2.1.1 I.2.1.2 I.2.2 I.2.2.1 I.2.2.2 I.3 I.3.1 I.3.2 I.3.3 I.3.4 I.3.4.1 I.3.4.2 I.3.5 I.4 I.4.1 b»ng tr¾c nghiệm khách quan Độ khó, độ phân biệt câu trắc nghiệm Độ khó câu trắc nghiệm Độ phân biệt câu trắc nghiệm Độ tin cậy độ giá trị trắc nghiệm Độ tin cậy trắc nghiệm Độ giá trị trắc nghiệm Các loại điểm trắc nghiệm Điểm thô Điểm tiêu chuẩn tuyệt đối Điểm tơng đối dựa vào phân bố chuẩn Các loại điểm khác Điểm trắc nghiệm tiêu chuẩn hoá ETS Điểm trắc nghiệm trí thông minh Thang điểm đợc sử dụng nớc ta Lý thuyết ứng đáp câu hỏi mô hình Rasch Lý thut øng dơng c©u hái 8 10 10 11 12 12 12 13 14 14 14 14 14 14 I.4.1.1 Kh¸i niƯm chung vỊ lý thut đáp ứng câu hỏi I.4.1.2 Các thao tác tiến hành để xây dựng thuyết ứng đáp câu hỏi I.4.2 Mô hình Rasch I.4.2.1 Giả thiết Rasch việc ứng đáp câu hỏi I.4.2.2 Hàm ứng đáp câu hỏi theo Rasch I.4.2.3 ứng dụng mô hình Rasch Chơng II : bớc xây dựng kiểm tra TNKQ II.1 Các bớc xây dựng kiểm tra TNKQ II.1.1 Phân tích nội dung phác thảo trắc nghiệm II.1.2 Viết lại câu hỏi trắc nghiệm II.1.3 Duyệt lại câu hỏi trắc nghiệm II.1.4 Lu ý chung viết câu hỏi khách quan II.2 Bản đặc trng chiều II.2.1 Sơ lợc kiến thức chơng trình hoá 10 II.2.1.1 Cấu trúc chơng trình II.2.1.1 Nội dung kiến thức II.3 Phơng pháp đánh giá trắc nghiệm II.3.1 Các mức độ mục tiêu lĩnh vực nhận thức II.3.2 Yêu cầu thi trắc nghiệm khách quan II.3.2.1 Yêu cầu nội dung II.3.2.2 Yêu cầu mức kỹ II.3.2.3 Yêu cầu cách tổ chức để kiểm tra Chơng III: Phân tích kết nghiên cứu III.1 Các bớc tiến hành thí nghiệm III.2 Phân tích kết thực tế III.2.1 Kết chung III.2.2 Phân tích câu trắc nghiệm III.3 Xây dựng mô hình Rasch số liệu thực III.3.1 Sự phù hợp câu hỏi III.3.2 Sự phù hợp thí sinh III.3.3 Phân bố khả trả lời thí sinh độ khó câu hỏi III.3.4 Phân tích kết câu hỏi III.3.5 Sơ đồ biểu diễn lực độ khó câu hỏi thang đo 14 15 16 16 16 17 18 18 19 19 20 21 21 21 22 26 26 29 29 30 31 33 33 33 34 37 37 38 40 41 43 Ch¬ng IV: KÕt luận IV.1 Khoa học đo lờng đánh giá giáo dục giới nớc 47 ta IV.1.1 Trên giới IV.1.2 Nớc ta IV.2 Giải pháp phát triển phơng hớng khoa học đo lờng nớc ta Tài liệu tham khảo 47 47 48 Mở đầu Để nâng cao chất lợng giáo dục bậc học việc cải tiến hệ thống kiểm tra, đánh giá kết học sinh đóng vai trò quan trọng Bên cạnh việc sử dụng phơng pháp truyền thống mà từ trớc đến vấn áp dụng để kiểm tra phơng pháp tự luận, nhng thực tế lúc mang lại kết khả quan Các phơng pháp đánh giá kết học tập đa dạng, phơng pháp có u điểm, nhợc điểm nó, phơng pháp có u, nhợc điểm nó, phơng pháp hoàn mỹ với mục tiêu giáo dục Tuỳ theo mục tiêu cụ thể mà lựa chọn phơng pháp đánh giá cho thích hợp Trên tinh thần thực chơng trình đổi phơng pháp giảng dạy khoá luận mạnh dạn đa phơng pháp đánh giá thi đánh giá phơng pháp trắc nghiệm khách quan Đây phơng pháp mẻ với giáo dục nớc ta nhng lại đánh giá tơng đối xác khách quan Phơng pháp đánh giá thi trắc nghiệm tự luận mà vÉn ®ang sư dơng hiƯn ®ang chiÕm u thế, nhng nghĩa phơng pháp tối u, có hạn chế định mà phơng pháp trắc nghiệm khách quan đà đời khảng định đợc u vợt trội Tiếc thay phơng pháp hay nh đợc giới hiƯn sư dơng rÊt réng r·i c¸c kú thi tuyển sinh đại học mà lại mơ hồ với chuyên gia giáo dục nớc ta Đội ngũ cán giảng dậy ngời biết phơng pháp lại mỏng Vậy vấn đề đặt đổi phơng pháp giảng dạy nên đổi phơng pháp kiểm tra đánh giá thi cần thiết ? Xuất phát từ nhu cầu đó, xin biên soạn chủ đề việc kiểm tra đánh giá thành học tập phơng pháp trắc nghiệm khách quan Mục đích việc nghiên cứu phơng pháp đánh giá trắc nghiệm khách quan giới thiệu cho ngời biết phơng pháp trắc nghiệm khách quan Chúng muốn khẳng định u dùng phơng pháp trắc nghiệm khách quan so với việc dùng phơng pháp tự luận Cuối thực thí điểm cho học sinh làm thi câu hỏi dạng trắc nghiệm khách quan Đối tợng khách thể nghiên cứu đề tài xây dựng câu hỏi trắc nghiệm tảng kiến thức môn hoá lớp 10 Đối tợng nghiên cứu học sinh lớp 10 khối chuyên hoá trờng trung học phổ thông Hai Bµ Trng Hµ Néi NÕu viƯc thư nghiƯm cho học sinh làm đề thi trắc nghiệm khách quan thành công qua phân tích kết khẳng định u việc dùng phơng pháp trắc nghiệm khách quan hoàn toàn có sở khoa học Nhiệm vụ nghiên cứu đề tài trớc tiên xây dựng đợc câu hỏi trắc nghiệm khách quan môn hoá lớp 10, thứ hai thực thí điểm đề thi trắc nghiệm khách quan từ phân tích kết nh tính độ khó, độ tin cậy cuối tổng kết lại liệu phơng pháp có đạt đợc mục tiêu giáo dục đề hay không Việc xây dựng câu hỏi trắc nghiệm chơng trình kiến thức lớp dự định đề thi 30 phút đề thi gồm khoảng 30 câu Phạm vi nghiên cứu học sinh lớp 10 chuyên hoá trờng phổ thông trung học Hai Bà Trng Phơng pháp dùng nghiên cứu đề tài phơng pháp quan sát, phơng pháp điều tra, kiểm tra cuối thống kê sau đà dùng trắc nghiệm khách quan làm thí điểm học sinh Chúng nghĩ với chuẩn bị kỹ lỡng hệ thống câu hỏi việc thử nghiệm thành công khẳng định đợc u điểm phơng pháp trắc nghiệm khách quan hoàn toàn có sở khoa học Cấu trúc khoá luận nghiên cứu đợc cụ thể nh sau: -Mục lục -Mở đầu -Chơng Tổng quan phơng pháp trắc nghiệm khách quan -Chơng bớc xây dựng kiểm tra trắc nghiệm khách quan -Chơng Phân tích kết nghiên cứu đề tài -Chơng :kết luận 10.Kế hoạch nghiên cứu -Thảo luận nhóm phản biện mục tiêu giáo dục, tiến trình hình thức hoạt động -Chuẩn bị hệ thống câu hỏi phân công nhiệm vụ nhóm -Viết câu hỏi dạng trắc nghiệm khách quan -Phản biện câu hỏi nhóm (có điều chỉnh bổ sung) -Chuẩn bị dạng câu hỏi trắc nghiệm tơng tơng để thử nghiệm -Trắc nghiệm thử -Phân tích câu hỏi Chơng I : Tổng quan phơng pháp trắc nghiệm khách quan I.1 Đại cơng phơng pháp trắc nghiệm khách quan I.1.1.Phân loại phơng pháp trắc nghiệm Trắc nghiệm phép lợng giá cụ thể mức độ khả thể hành vi lĩnh vực ngời cụ thể (thí sinh).Phơng pháp trắc nghiệm đợc chia làm ba loại lớn: loại quan sát, loại vấn đáp loại viết đợc minh hoạ qua sơ đồ dới đây: Các phương pháp TN nghi nghiê cc nghiệm Quan sát Viết Trắc nghiệm khách quan Trắc nghiệm tự luận Tiểu luận Ghép đôi Điền khuyết Vấn đáp Trả lời ngắn Cung cấp thông tin Đúng sai Nhiều lựa chọn I.1.1.1 Phơng pháp quan sát: Là phơng pháp giúp định thái độ, phản ứng vô ý thức, cách giải vấn đề tình đợc nghiên cứu I.1.1.2.Phơng pháp vấn đáp: Thờng thích hợp với trẻ em, có lợi nêu câu hỏi cách tự phát tình cần kiểm tra I.1.1.3.Phơng pháp trắc nghiệm viết: Là phơng pháp thờng đợc sử dụng nhiều có số u điểm sau : -Kiểm tra đợc nhiều học sinh lần thi -Cung cấp ghi rõ ràng câu trả lêi cđa häc sinh ®Ĩ dïng cho viƯc chÊm ®iĨm -Dễ quản lý thân ngời chấm không tham gioa vào bối cảnh kiểm tra I.1.2.Các dạng câu hỏi trắc nghiệm khách quan I.1.2.1.Câu mở (Open endecl): Loại câu đòi hỏi học sinh phải nhớ lại kiến thức nhận biết Ví dụ: Ngời vợ thứ ba Henry VIII ? Hoặc có câu có chỗ trống để điền vào có hớng dẫn để học sinh cung cấp thông tin đáp ứng với câu dẫn nh Bên cạnh tên nớc danh mục này, hÃy viết tên thủ đô nớc I.1.2.2.Câu điền khuyết (Supply items): Học sinh phải nhớ lại kiến thức trả lời hay mét sè tõ cho mét c©u hái trùc tiÕp hay câu nhận định cha đầy đủ Các loại câu gọi loại câu hỏi điền vào chỗ trèng (com pletion items).VÝ dơ: Tªn cđa mét dơng dùng để đo nhiệt độ gì? Loại câu hỏi có u loại câu hỏi khách quan khác chỗ đòi hỏi học sinh phải tìm kiếm câu trả lời nhận câu trả lời thông tin đà cho I.1.2.3.Loại câu sai (true False): Đó phát biểu đợc đánh giá sai chúng câu hỏi trực tiếp để trả lời có hay không Các phơng án trả lời thích hợp để gợi nhớ lại kiến thức khối lợng kiến thức đáng kể đợc kiểm tra cách nhanh chóng Tuy nhiên câu dẫn loại câu hỏi phải thật hoàn toàn rõ ràng để trả lời dứt khoát có hay không Điều tạo khó khăn áp dụng loại câu hỏi để kiểm tra trình độ hiểu biết cao hơn, không tạo hội cho học sinh phân biệt sắc thái tinh tế có ý nghĩa hay nhiều cách trả lời khác trình độ cao I.1.2.4.Loại câu hỏi nhiều lựa chọn (Multiple choice-MCQ): Loại thờng có hình thức câu phát biểu không đầy đủ hay câu hỏi dẫn đợc nối tiếp số câu trả lời mà học sinh phải chọn.: - Trả lời rõ rệt -Câu trả lời tốt nhiều câu chọn hợp lý, -Câu trả lời hay câu trả lời liên quan nhất, hay có nhiều câu trả lời thích hợp Những câu trả lời không đợc gọi câu nhiễu (distracter) Câu dẫn có dới dạng sơ đồ hay đồ thị không thiết tuý lời Loại câu MCQ cần đợc xây dựng cách thận trọng để tránh chỗ không rõ nghĩa, nhng chúng đợc dùng để kiểm tra trình độ cao nhận thức tiện loại câu hỏi khách quan khác I.1.3.Ưu điểm phơng pháp trắc nghiệm khách quan với phơng pháp tự luận Loại câu hỏi tự luận thờng đòi hỏi học sinh phait viết nhiều câu để trả lời, câu trả lời haty kiểu trả lời Để đánh giá đợc cách xác có chất lợng, tự luận phải đợc chÊm bëi mét ngêi cã kinh nghiƯm vµ hiĨu biÕt lĩnh vực môn học tơng ứng Bài trắc nghiệm tự luận đánh giá cách tuyệt ®èi lµ ®óng hay lµ sai Nh vËy u ®iĨm câu hỏi khách quan so với dạng câu hỏi tự luận đợc thể bảng sau : Vấn đề tốn công đề Đánh giá đợc khả diễn đạt, đặc biệt diễn đạt t trừu tợng Việc sáng tạo trả lời không bị hạn chế khung câu hỏi sẵn §Ị thi phru kÝn néi dung m«n häc Ýt may rđi trung tđ, trËt tđ Ýt tèn c«ng chÊm thi Khách quan chấm thi áp dụng đợc công nghệ việc nâng cao chất lợng đề thi, giữ bí mật đề thi, hạn chế quay cóp thi, hạn chế tiêu cực chấm thi giúp phân tích kết thi Ưu thuộc phơng pháp Trắc nghiệm Tự luận x x x x x x x x I.1.3.1.Câu hỏi trắc nghiệm khách quan đánh giá khách quan câu hỏi tự luận Bởi câu hỏi khách quan có đáp án xác, rõ ràng nên việc chấm điểm thờng xác Kể ngời không hiểu chuyên môn chấm điểm đợc nh cho sẵn đáp án Việc chấm điểm câu hỏi loại đợc sử dụng vào quét máy tính vừa nhanh mà xác Còn việc chấm câu hỏi tự luận phụ thuộc chủ quan vào ngời chấm Những yếu tố chủ quan nh tình cảm, thời tiết ảnh hởng tới điểm thi Nên thi nhng ngời chấm cho số điểm khác thời điểm khác I.1.3.2.Câu hỏi trắc nghiệm khách quan kiểm tra đợc lợng học sinh lớn câu hỏi tự luận lần thi Xuất phát từ lý dạng câu hỏi tự luận chấm điểm dễ dàng hơn, chấm đợc hàng nghìn thi khoảng thời gian ngắn cách sử dụng máy chấm nên cần kiểm tra lợng lớn học sinh phơng pháp dùng câu trắc Nội dung yếu tố quan trọng để đánh giá mét bµi häc hay mät bµi kiĨm tra cã tèt hay không Mục đích học học sinh cần nắm phần quan trọng nhất, cần nhớ nhất, nội dung học Còn đề kiểm tra vậy, phải tự đặt đầu câu hỏi đề thi gồm nội dung quan trọng nhất, phần bắt buộc học sinh phải nhấn sâu cho nhiều câu hỏi vào Điều quan trọng nội dung câu hỏi có ăn khớp với nội dung học sinh đà đợc học lớp cha ? Tránh trờng hợp nội dung câu hỏi hay nhng không liên quan đến kiến thức cần kiểm tra nh dẫn đến hậu nghiêm trọng không đo đợc mục tiêu giáo dục ®· ®Ị Víi thêi gian vµ ®iỊu kiƯn cho phép, câu hỏi mà đà biên soạn gần nh bao phủ đợc toàn chơng trình lớp 10 nhng trọng tâm số câu hỏi rơi vào nhiêù chơng: oxi hoá khử, phân nhóm nhóm VIIA, phân nhóm VIA Ngoài câu hỏi học sinh học tính chất hoá học, có số câu đòi hỏi học sinh thuộc tính chất vật lý, phơng pháp điều chế II.3.2.2.Yêu cầu mức kỹ Nh đà giới thiệu để đánh giá chất lợng đề thi đo đợc mục tiêu giảng dậy phải đặt yêu cầu mức độ nhận thức câu hỏi Với trình độ học sinh lớp 10 chủ yếu mức kỹ cần đạt mức kỹ (nhớ), kỹ (hiểu) mức kỹ (áp dụng) tơng đối đạt yêu cầu chơng trình giảng dạy Nên đa số cấu hỏi trắc nghiệm đạt mức độ 1,2,3 mà chủ định biên soạn Nhng đề kiểm tra mà dừng lại mức kỹ cha đạt đợc mục tiêu phân chia nhận thức khác học sinh học sinh giỏi Chính đề thi phải có số câu hỏi (thờng ít) yêu cầu học sinh cấp độ cao Vì câu mức kỹ cao đánh giá phân biệt đợc khả t hai trình độ khácnhau chất lợng làm phân chia rõ ràng Ngoài câu khó đánh giá đợc số điểm đối tợng tơng ứng với trình độ học sinh Thờng học sinh khá, giỏi sẽ trả lời đợc câu hỏi khó để đạt điểm 9, 10 học sinh trung bình đạt số điểm thờng 5,6 Nhng tránh câu khó, hay đề thi có nhiều câu đòi hỏi cấp độ cao làm cho hầu hết thí sinh không trả lời đợc (kể thí sinh giỏi) đề thi không phân cấp đợc khả làm học sinh thuộc nhóm nhóm giỏi Theo chúng tôi, số lợng câu hỏi mức độ khó phải chiếm khoảng 20-30%, số câu mức độ khó phải nhỏ 10% hợp lý Nh câu hỏi đợc nằm mức độ Rất dễ (gần nh làm đợc ), dễ trung bình, khó, khó Và đó, nhận thấy để đạt đợc điểm tốt (9,10) học sinh phải thực có lực để trả lời câu hỏi khó II.3.2.3.Yêu câu cách tổ chức Thờng kiểm tra TNKQcó thể kiểm tra đồng thời số lợng học sinh tơng đối lớn, nên khâu tổ chức triển khai không tốt, dù sơ suất nhỏ dẫn đến hậu xuất phản ứng xà hội bất lợi Do để triển khai kỳ thi với quy mô lớn ngời ta phải chuẩn bị cẩn thận đề thi, quy trình thi, thể thức chấm điểm, cách công bố kết Các câu hỏi đề thi câu đà đợc thử nghiệm, phân tích cân nhắc trau chuốt định cỡ ( xác định độ khó, độ phân biệt, độ tin cậy độ giá trị bài) Để đạt đợc kỳ thi hay kiểm tra, theo tiến hành theo bớc sau đây: *Xác định môn thi nội dung tổng quát với môn Đồng thời định yêu cầu mức kỹ năng: nhớ, hiểu, biết vận dụng, phân tích, tổng hợp, đánh giá Để thực khâu nµy thêng ngêi ta lËp mét ma trËn chiỊu: dòng phân theo nội dung chính, cột phân theo mức kỹ tơng ứng ô ghi số câu hỏi cần thiết phần nội dung mức kỹ *Trao đổi tổ chuyên môn, phát sửa chữa câu sai mà thân ngời đề không cảm thấy *Biên tập đa câu trắc nghiệm vào ngân hàng câu hỏi lu máy tính phụ trách biên tập phải ngời am hiểu chuyên môn lẫn kỹ thuật viết trắc nghiệm *Lập đề thi tổ chøc thi thư trªn mét sè nhãm thÝ sinh *Chấm thi phân tích thống kê kết thi thử từ xác định đợc đặc trng câu trắc nghiệm nh độ khó, độ phân biệtqua xác định đợc độ tin cậy trắc nghiệm, phân loại chất lợng câu trắc nghiệm *Ra đề thi thức vào dàn (phân bố câu theo nội dung mức độ kỹ tơng ứng vơí đặc trng hai chiều) Từ đề thi gốc, nhờ phần mềm tin học tạo đề thi tơng ứng có nội dung nhng khác hình thức cách đảo lộn thứ tự câu hỏi đảo phơng án trả lời A,B.C,D *In tổ chức thi: đề thi đợc in sẵn, thí sinh đề riêng *Chấm phân tích kết thi *Công bố kết Ưu điểm lớn kỳ thi đại trà trắc nghiệm khách quan là: Nhờ thông tin thu đợc qua việc phân tích thống kê toàn làm thí sinh qua kỳ thi số liệu quý báu để đánh giá định lợng tình hình giáo dục tõng khu vùc, tõng céng ®ång, tõng nhãm thÝ sinh đánh giá xu phát triển chất lợng giáo dục theo thời gian Chơng III: Phân tích kết nghiên cứu chơng I chơng II đà giới thiệu kiến thức để xây dựng đề thi hay đề kiểm tra cầu hỏi trăc nghiệm khách quan lý thuyết tài liệu đặc trng để đánh giá đề thi trắc nghiệm khách quan đà xây dựng để kiểm tra phơng pháp trắc nghiệm đà tiÕn hµnh thư nghiƯm cho kiĨm tra mét tiÕt víi học sinh lớp 10 Sau đà nhập đáp ¸n tr¶ lêi cđa häc sinh xư lý sè liƯu chơng trình Quest Chúng xin giới thiệu sơ lợc trình làm thí nghiệm kết có phơng án trả lời: ABCD Trong đó, có phơng án trả lời trả lời sau phân tích đợc sau III.1 Các bớc tiến hành thí nghiệm Xây dựng câu hỏi dạng trắc nghiệm, câu hỏi có phơng án lựa chọn Xây dựng đề thi gồm 30 câu hỏi trắc nghiệm lấy từ "ngân hàng" câu hỏi Tham khảo nội dung câu hỏi với ngời chuyên môn, có chỉnh sửa, bổ sung thay câu cha đạt yêu cầu Hình thành đề gốc sau bảo vị trí câu vị trí đáp án trả lời câu hỏi nhờ phần mềm tin học In cho kiểm tra thử thực tế kiểm tra đà tạo đợc tâm lý vững cho học sinh để thí sinh coi trắc nghiệm thật lấy điểm tiết để học sinh có tinh thần làm nghiêm túc, để phép thử đạt yêu cầu Cuối cùng, nhập số liệu xử lý kết làm học sinh phần mềm tin học III.2 Phân tích kÕt qu¶ thùc tÕ III 2.1 KÕt qu¶ chung - Số lợng câu đề thi: 30 câu (30items) - Số thí sinh làm trắc nghiệm: 100 thí sinh (100Cases) - Mỗi câu hỏi - Đáp án ®Ị gèc: CCDCCCDBAACCCACACAACCADCADACCA Summary of item Estimates (Tãm lỵc lực câu trắc nghiệm ) Mean: 00 SD: 1.01 SD (adjusted): 98 Reliability of estimate: 94 (®é tin cậy trắc nghiệm) Giải thích: Mean: 00 nghĩa số trung bình 0.00 SD: 1.01 nghĩa độ lệch chuẩn so với lực Kết xấp xỉ tơng đối tốt Độ ổn định trắc nghiệm 0,94 kết tơng đối tốt hoàn toàn chấp nhận đợc Infit Mean Square Out fit Mean Square Mean: 1.00 Mean: 1.01 SD: 09 SD: 18 O items with zero scores and O items with perfect scores: NghÜa lµ: câu bỏ trống câu thí sinh trả lời hoàn toàn III.2.2 Phân tích câu trắc nghiệm Để đánh giá chất lợng trắc nghiệm, đánh giá câu hỏi Mỗi câu hỏi lại đợc đánh giá qua tiêu chí nh: độ khó, độ phân biệt, phơng án phơng án nhiều câu hỏi Sau phân tích hai câu trắc nghiệm để minh hoạ: Ví dụ 1: Item (c©u sè 1) Néi dung c©u hái: Cho 8, gam MnO tác dụng với dung dịch HCl d thể tích khí Cl2 (đktc) thu đợc lµ: A 2,24 (l) B 11,2 (l) C 4,48 (l) D 22,4 (l) Kết phân tích câu 1: Item 1: item (key = C) Categories A B C* D Missing Count 11 12 59 17 Percent (%) 11,1 12,1 59,6 17,2 Pt-Biserial -.25 - 24 35 -.05 P- Value 007 009 000 322 Phân tích: đán án câu phơng án C lựa chọn A, B, C, D Cout số sinh tham gia trả lời phơng án Thấy phơng án A có 11 thí sinh lựa chọn, B cã 12, C cã 59, D cã 17 ngêi lựa chọn, có ngời không làm câu (missing) Percent (%) số phần trăm thí sinh tham gia trả lời phơng án phơng án C (phơng ¸n ®óng) cã 59,6% thÝ sinh lùa chän Pt - Biserial tơng quan điểm nhị phân hay độ phân biệt câu hỏi Với phơng án C độ phân biệt dơng (0,35 > 0,2) tơng đối lớn phơng án nhiễu có độ phân biệt âm nên nói câu hỏi tơng ®èi tèt VÝ dơ 2: Item 18 (c©u 18) A Hợp chất với kim loại với Hiđrô chúng có số ôxi hoá -1 B Có số Ôxi hoá + C Có số Ôxihoa + D Cả A, B, C sai Kết câu 18: Item 18: item 18 (key = A) Categories A* B C* D Missing Count 29 52 Percent (%) 30,9 5,3 8.5 55,3 Pt-Biserial 11 -.20 - 18 0,8 NghÜa lµ víi câu 18 ta thấy số thí sinh lựa chọn phơng án 29 (chiếm 30,9%) nhng lại chọn phơng án nhiễu D 52 học sinh (55,35) lớn nhiều so với phơng án Đối với câu hỏi phải phơng án A cha phải phơng án nhng ta đà nhằm gán cho phơng án phải phơng án D phơng án có hai khả làm cho học sinh lựa chọn phơng án nhiễu D nhiều hẳn so với phơng án thứ trình giảng dạy đà tạo nên nhầm lẫn chăng, thứ hai học sinh không hiểu rõ yêu cầu câu hỏi gây nhầm lẫn điều cần xem lại cách diễn đạt câu trắc nghiệm Nh câu độ phân biệt thấp (0,11< 0,2) nên cần điều chỉnh phơng án nhiễu D hay thay câu khác III.3 Xây dựng mô hình Rasch số liệu thực III.3.1 Sự phù hợp câu hái Run One: Hoa hoc 10 -Item Fit 14/ 5/2004 20:29 all on hoa10 (N = 100 L = 30) -INFIT MNSQ 63 71 83 1.00 1.20 1.40 1.60 + -+ -+ -+ -+ -+ item *| item * | item | * 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 item item item item item item item item item item item item item item item item item item item item item item item item item item item 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 * * | | * | |* | * *| * * * | | * * | * | | * * | | * |* *| | * * * | |* * | | * * | |* | * * | Hình Qua hình ta thấy 30 câu hỏi trắc nghiệm thử mà đà làm thí nghiệm hợp lý, nằm ngỡng cho phép mô hình Rasch III.3.2 Sự phù hợp thí sinh (Hình 2): Run One: Hoa hoc 10 Case Fit In input Order 14/ 5/2004 20:29 all on hoa10 (N = 100 L = 30) -INFIT MNSQ 63 71 83 1.00 1.20 1.40 1.60 + -+ -+ -+ -+ -+ -+ 09 | * 18 | * 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 21 23 24 35 42 45 47 55 59 65 66 74 78 79 80 84 26 98 14 17 22 28 30 34 37 50 51 54 56 57 64 69 75 76 77 81 90 99 02 10 12 16 19 20 25 31 36 41 * * * * | | * | * | *| *| | | | * * | | * | * * | * | * | * | * | | * * * | | | * | * | | * | * | | | * | | * | * | | | * | * | * * | * | | * | * | * | * | * | | * | * * * * * .* * * * * Qua hình đa số thí sinh n»m ngìng cho phÐp chØ cã mét sè trêng hợp vựot khỏi giới hạn Nh số liệu thực tế tơng đối phù hợp với mô hình Rasch III.3.3 Phân bố khả trả lời thí sinh độ câu hỏi Run One: Hoa hoc 10 Item Estimates (Thresholds) 14/ 5/2004 20:29 all on hoa10 (N = 100 L = 30) 4.0 | | X | | | 3.0 X | | | 2.0 | 25 | | XXX | X | | 23 X | X | 13 20 27 1.0 X | 18 XXXXXXX | XXX | XXXXXX | 29 XXX | 19 26 XXXXXXXXXX | 16 XXXXXXXXXXX | 10 15 XXXXXXX | XXXXXXXX | XXXXXX | 12 24 XXXXXX | 30 XXXXXXXXX | 22 28 XXXX | 21 X | XX | -1.0 XX | X | 11 | | XXX | 14 | 17 | X | -2.0 | | X | | -3.0 | Each X represents students Hình Mỗi dấu X đại diện cho thí sinh tham gia làm trắc nghiệm Qua hình ta thấy lợng thí sinh tập trung mức độ lực trung bình O lớn nhất, chiếm số đông vùng từ - 1,0 đến + 1,0, số lợng câu khó mức độ trung bình tơng đối nhiều Câu 25 câu khó có thí sinh làm câu câu dễ hầu nh trả lời Do vậy, mô hình chung cho thấy kết thu đợc tơng đối tốt III.3.4 Phân tích kết câu hỏi mét B¶ng Run One: Hoa hoc 10 -Item Estimates (Thresholds) In input Order 14/ 5/2004 20:29 all on hoa10 (N = 100 L = 30) ITEM NAME |SCORE MAXSCR| THRSH | INFT OUTFT INFT OUTFT | | | MNSQ MNSQ t t item | 59 99 | -.34 | 99 1.24 -.2 1.4 | | 22| | | | item | 42 87 | 15 | 92 87 -1.3 -.8 | | 23| | | | item | 37 91 | 46 | 1.22 1.20 2.8 1.2 | | 23| | | | item | 77 99 | -1.27 | 85 71 -1.1 -1.2 | | 25| | | | item | 39 90 | 35 | 84 78 -2.5 -1.5 | | 23| | | | item | 76 96 | -1.35 | 95 1.20 -.3 | | 26| | | | item | 88 95 | -2.61 | 1.01 87 -.1 | | 40| | | | item | 27 92 | 99 | 1.10 1.39 1.9 | | 24| | | | item | 42 98 | 40 | 99 97 -.1 -.1 | | 22| | | | 10 item 10 | 42 91 | 25 | 1.00 95 -.3 | | 22| | | | 11 item 11 | 73 99 | -1.04 | 1.00 89 -.4 | | 24| | | | 12 item 12 | 52 94 | -.18 | 89 85 -1.7 -1.0 | | 22| | | | 13 item 13 | 24 86 | 1.04 | 1.07 1.15 | | 26| | | | 14 item 14 | 81 99 | -1.52 | 96 98 -.2 | | 27| | | | 15 item 15 | 43 90 | 14 | 94 90 -1.0 -.6 | | 22| | | | 16 item 16 | 40 91 | 32 | 1.07 1.12 1.0 | | 22| | | | 17 item 17 | 82 100 | -1.55 | 95 1.05 -.2 | | 27| | | | 18 item 18 | 29 94 | 96 | 1.09 1.28 1.5 | | 24| | | | ========================================================================== *****Output Continues**** Run One: Hoa hoc 10 -Item Estimates (Thresholds) In input Order 14/ 5/2004 20:29 all on hoa10 (N = 100 L = 30) -ITEM NAME |SCORE MAXSCR| THRSH | INFT OUTFT INFT OUTFT | | | MNSQ MNSQ t t -19 item 19 | 37 91 | 46 | 1.01 95 -.2 | | 23| | | | 20 item 20 | 26 91 | 1.05 | 98 1.12 -.2 | | 25| | | | 21 item 21 | 60 93 | -.59 | 1.08 1.07 1.0 | | 23| | | | 22 item 22 | 58 94 | -.47 | 1.00 95 -.2 | | 22| | | | 23 item 23 | 22 94 | 1.36 | 93 82 -.4 -.8 | | 26| | | | 24 item 24 | 54 96 | -.22 | 1.01 1.18 1.1 | | 22| | | | 25 item 25 | 13 89 | 1.98 | 88 69 -.5 -1.0 | | 32| | | | 26 item 26 | 40 97 | 44 | 1.13 1.24 1.8 1.5 | | 22| | | | 27 item 27 | 28 96 | 1.02 | 93 88 -.6 -.6 | | 24| | | | 28 item 28 | 61 97 | -.50 | 1.02 1.00 | | 22| | | | 29 item 29 | 33 89 | 61 | 1.09 1.05 1.1 | | 23| | | | 30 item 30 | 54 92 | -.36 | 95 91 -.7 -.5 | | 22| Mean | | 00 | 1.00 1.01 SD | | 1.01 | 09 18 1.0 ========================================================================== B¶ng cho thÊy đại lợng đặc trng có liên quan đến câu trắc nghiệm bất kỳ: Score số thí sinh làm đúng, Maxscr tổng số thí sinh tham gia trả lời câu hỏi, Infit Outfit nhận giá trị xấp xỉ kết tốt III.3.5 Khả trả lời thí sinh câu hái XÐt mét vÝ dơ thĨ sau: - K Candidate: 09 group: all scale: all I D M A P -ability: 68 fit: 1.23 % score: 63.33 Harder Achieved Harder Not Achieved -| | | | | | | | | | | | | | | | | | | | | | | | 25 | | | | | | | | | | 23(C) | | 20 13 | | 18(D) 27(C) | | |XXX| 29 | | | | 3(B) 19(D) 26(B) 16 10 | | 15(D) | | | | 12(D) 24 | | 1(D) 30(B) 28 22 | | 21 | | | | | | 11 | | | | | | 6(B) | | 17 14 | | | | | | | | | | | | Easier Achieved Easier Not Achieved -========================================================================== ability: lực thí sinh fit: phù hợp với mô hình Rasch % Score: Phần trăm trả lời số câu trắc nghiệm với thí sinh 09 này, lực 0,69 phụ hợp với mô hình Rasch 1,23, phần trăm số câu làm 63,33% nghĩa làm thí sinh tơng đối tốt Các đặc trng cho trả lời thí sinh trắc nghiệm đợc tổng kết bảng dới Run One: Hoa hoc 10 Case Estimates In input Order 14/5/2004 20:29 all on hoa10 (N = 100 L = 30) -NAME |SCORE MAXSCR | ESTIMATE ERROR | INFIT OUTFT INFTOUTFT | | | MNSQ MNSQ t t -1 09 | 19 30 | 68 41 | 1.23 1.27 1.42 84 18 | 17 21 | 1.62 60 | 1.13 90 47 09 21 | 18 30 | 51 41 | 95 86 -.29 37 23 | 13 29 | -.26 41 | 72 65 -1.88 1.28 24 | 13 26 | 02 44 | 81 73 -1.15 84 35 | 16 30 | 19 40 | 82 74 -1.24 90 42 | 10 30 | -.81 43 | 98 84 -.02 38 45 | 22 30 | 1.22 44 | 98 1.23 -.02 64 47 | 15 30 | 03 40 | 1.24 1.23 1.58 85 10 55 | 16 29 | 27 41 | 1.25 1.67 1.62 1.96 11 59 | 16 28 | 35 42 | 1.03 94 27 07 12 65 | 10 26 | -.56 44 | 83 75 -.91 72 13 66 | 12 27 | -.22 43 | 1.06 1.02 43 16 14 74 | 25 | -1.05 49 | 1.09 1.13 43 44 15 78 | 30 | -1.41 47 | 93 1.21 -.18 60 16 79 | 10 28 | -.71 44 | 89 80 -.54 53 17 80 | 12 30 | -.46 41 | 97 88 -.12 31 18 84 | 13 29 | -.23 41 | 87 78 -.76 73 19 26 | 15 30 | 03 40 | 95 90 -.32 28 20 98 | 28 30 | 3.00 75 | 1.18 1.91 48 1.02 21 14 | 20 30 | 85 42 | 1.01 90 11 17 22 17 | 14 28 | -.03 42 | 90 85 -.61 46 23 22 | 13 30 | -.29 41 | 77 69 -1.54 1.11 24 28 | 17 29 | 44 41 | 1.16 1.19 1.06 67 25 30 | 16 30 | 19 40 | 1.09 1.10 68 43 26 34 | 12 29 | -.40 42 | 1.25 1.24 1.43 83 27 37 | 11 30 | -.63 42 | 1.27 1.27 1.45 90 28 50 | 12 30 | -.46 41 | 93 91 -.35 21 29 51 | 16 30 | 19 40 | 90 81 -.69 60 30 54 | 18 30 | 51 41 | 1.32 1.31 2.00 1.00 31 56 | 10 29 | -.77 43 | 1.14 1.12 75 46 32 57 | 12 30 | -.46 41 | 1.41 1.41 2.20 1.33 33 64 | 13 20 | 45 51 | 1.07 93 39 03 34 69 | 16 25 | 59 46 | 1.12 1.04 72 23 35 75 | 10 19 | 22 50 | 1.64 1.90 3.08 2.26 36 76 | 12 17 | 79 58 | 1.61 2.13 2.11 1.75 37 77 | 14 30 | -.13 40 | 1.11 1.06 75 31 38 81 | 30 | -1.41 47 | 1.04 1.21 26 58 39 90 | 13 29 | -.23 41 | 1.36 1.54 2.07 1.68 40 99 | 29 30 | 3.76 1.03 | 1.00 56 31 22 41 02 | 20 30 | 85 42 | 94 82 -.28 39 42 10 | 19 30 | 68 41 | 88 78 -.74 60 43 12 | 16 30 | 19 40 | 77 69 -1.66 1.11 44 16 | 11 24 | -.38 45 | 92 93 -.44 14 45 19 | 17 30 | 35 40 | 84 76 -1.13 75 46 20 | 17 30 | 35 40 | 91 83 -.58 50 47 25 | 17 30 | 35 40 | 88 80 -.84 61 48 31 | 17 30 | 35 40 | 85 84 -1.03 46 49 36 | 14 30 | -.13 40 | 1.11 1.11 72 48 50 41 | 16 30 | 19 40 | 1.04 1.00 34 09 51 58 | 14 23 | 34 47 | 96 86 -.19 30 52 71 | 16 30 | 19 40 | 88 80 -.85 64 53 72 | 16 30 | 19 40 | 88 80 -.83 64 54 73 | 20 30 | 85 42 | 85 75 -.90 61 55 83 | 12 30 | -.46 41 | 95 95 -.24 07 ... kiến thức để xây dựng đề thi hay đề kiểm tra cầu hỏi trăc nghiệm khách quan lý thuyết tài liệu đặc trng để đánh giá đề thi trắc nghiệm khách quan đà xây dựng để kiểm tra phơng pháp trắc nghiệm đÃ... II : bớc xây dựng kiểm tra TNKQ II.1 Các bớc xây dựng kiểm tra TNKQ II.1.1 Phân tích nội dung phác thảo trắc nghiệm II.1.2 Viết lại câu hỏi trắc nghiệm II.1.3 Duyệt lại câu hỏi trắc nghiệm II.1.4... I.2.2 Độ tin cậy độ giá trị trắc nghiệm I.2.2.1.Độ tin cậy trắc nghiệm Ngời ta tính độ tin cậy trắc nghiệm cách sau: -Phơng pháp trắc nghiệm -trắc nghiệm lại Tức dùng trắc nghiệm cho nhóm thí sinh