ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN

ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC –––––––––––––––––––––– NGUYỄN TRƯỜNG SƠN ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN Chuyên ngành: Đo lường đánh giá Giáo dục (Chuyên ngành đào tạo thí điểm) TÓM TẮT LUẬN VĂN THẠC SĨ Hà Nội - 2010 Công trình hoàn thành tại: Viện Đảm bảo chất lượng giáo dục, Đại học Quốc gia Hà Nội Người hướng dẫn khoa học: PGS TS LÊ ĐỨC NGỌC Phản biện 1: ……………………………………………… Phản biện 2: ……………………………………………… Luận văn bảo vệ trước Hội đồng chấm Luận văn Thạc sĩ họp tại: Viện Đảm bảo chất lượng giáo dục, Đại học Quốc gia Hà Nội Vào hồi … … ngày … tháng … năm 2010 Có thể tìm hiểu luận văn tại: - Viện Đảm bảo chất lượng Giáo dục - ĐHQGHN - Trung tâm thông tin - Thư viện, ĐHQGHN MỤC LỤC quy trình kỹ thuật xây dựng câu hỏi TNKQ, GV tự thiết kế Trang đề thi TNKQ theo quy trình đảm bảo chất lượng đề thi Đồng thời giúp GV đọc kết phân tích xử lý kết MỞ ĐẦU thi, dựa kết đó, GV có điều chỉnh để nâng cao Lý chọn đề tài chất lượng đề thi nói riêng chất lượng dạy học nói chung Mục đích nghiên cứu đề tài Nhiệm vụ nghiên cứu đề tài mục đích, nhiệm vụ nghiên cứu giả thuyết bước đầu Giới hạn, phạm vi nghiên cứu kiểm nghiệm Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài KIẾN NGHỊ Khách thể đối tượng nghiên cứu Phương pháp nghiên cứu Cấu trúc luận văn CHƯƠNG CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 1.1 Lịch sử vấn đề nghiên cứu 1.2 Các khái niệm đo lường đánh giá GD TNKQ, lý thuyết khảo thí đại nói riêng lý thuyết đánh giá nói 1.3 Phương pháp trắc nghiệm kiểm tra đánh giá 13 chung, qua hình thành đội ngũ GV có trình độ kiến thức, kỹ 1.4 Quy trình xây dựng đề thi NHCH TNKQ 19 kinh nghiệm lĩnh vực khoa học 1.5 Kỹ thuật xây dựng câu hỏi TNKQ 23 1.6 Phân tích đánh giá câu hỏi trắc nghiệm 33 xây dựng ngân hàng câu hỏi TNKQ, tiếp tục tổ chức lớp tập huấn 1.7 Kết luận chương 44 thiết kế đề thi để nâng cao hiệu chất lượng thiết kế đề thi CHƯƠNG THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ cho GV cách phân tích kết thi cách nghiêm túc TNKQ TẠI TRƯỜNG ĐẠI HỌC KHOA HỌC – ĐHTN 45 khoa học 2.1 Vài nét trường Đại học Khoa học – ĐHTN 45 2.2 Thông tin chung giảng viên tham gia khảo sát 46 2.3 Thực trạng quy trình thiết kế đề thi TNKQ đơn vị 47 2.4 Kết luận chương 64 Từ kết thử nghiệm khẳng định luận văn thực Từ kết luận nêu trên, đề xuất số kiến nghị để nâng cao hiệu biên soạn thiết kế đề thi TNKQ sau: Tiếp tục nâng cao nhận thức cho cán bộ, giảng viên sinh viên tầm quan trọng việc KTĐG thông qua hình thức thi TNKQ Tạo điều kiện cho GV học tập bồi dưỡng phương pháp Trường nên có kế hoạch đầu tư cho giảng viên việc 24 CHƯƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG 1.2 Về mặt thực tiễn Luận văn làm sáng tỏ thực trạng quy trình thiết kế đề thi TNKQ ĐẠI HỌC KHOA HỌC - ĐHTN 65 trường Đại học Khoa học - Đại học Thái Nguyên, từ rút 3.1 Nguyên tắc đề xuất biện pháp 65 số kết luận sau: - Thực trạng biên soạn, thiết kế đề thi TNKQ đơn vị 3.2 Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ đơn vị 65 3.3 Tổ chức thử nghiệm biện pháp 66 3.4 Đánh giá chung GV tính khả thi hiệu nhiều bất cập, chưa đảm bảo độ tin cậy nhiều lý khác nhau: đề thi thiết kế chưa đảm bảo chất lượng GV chưa có thiếu kinh nghiệm đề GV xác định mục tiêu đánh giá chưa phù hợp với mục tiêu đề Việc xây dựng bảng trọng số chưa hợp lý biện pháp triển khai 80 chưa coi trọng mức Đề thi chưa bao phủ hết nội dung 3.5 Kết luận chương 82 chương trình đào tạo, chí có đề thi không phù hợp KẾT LUẬN VÀ KIẾN NGHỊ 84 mục tiêu đề TÀI LIỆU THAM KHẢO 87 - Kết điều tra cho thấy thực trạng trường PHỤ LỤC 90 ĐHKH phần lớn giảng viên sau đề, chấm thi xong không phân tích xử lý kết thi Đồng thời, có nhiều GV chưa MỞ ĐẦU bồi dưỡng việc biên soạn đề thi TNKQ cách phân tích, xử lý kết thi Họ mong muốn nhà trường tổ chức tập Lý chọn đề tài huấn bồi dưỡng cho họ vấn đề Hiện chất lượng giáo dục trở thành mối quan tâm chung toàn xã hội, đặc biệt chất lượng giáo dục đại học Trong nguồn lực sở đào tạo hạn chế, chưa đủ đáp ứng kịp thời việc tăng nhanh quy mô loại hình đào tạo vấn đề chất Từ thực trạng thấy cần phải có biện pháp cụ thể để nâng cao chất lượng biên soạn thiết kế đề thi TNKQ, góp phần đổi nâng cao chất lượng đào tạo Nhà trường lượng đào tạo giáo dục đại học điểm nóng cần quan tâm Một nội dung quan trọng nhằm nâng cao chất lượng giáo dục đại học việc đổi phương pháp giảng dạy, cao chất lượng hiệu việc thiết kế đề thi TNKQ có việc đổi phương pháp kiểm tra đánh giá kết học tập người học Công đổi phương pháp giảng dạy trường cao nhận thức tầm quan trọng hình thức thi TNKQ, nắm rõ 23 Với thực trạng trên, Luận văn đề xuất biện pháp nhằm nâng tiến hành thử nghiệm thành công Với kết thử nghiệm, biện pháp giúp cho GV nâng 3.5 Kết luận chương Dựa vào nguyên tắc bản, tác giả đưa biện pháp nhằm nâng cao hiệu quy trình thiết kế đề thi TNKQ đơn vị: Biện pháp 1: Nâng cao nhận thức GV tầm quan trọng việc KTĐG thông qua hình thức thi TNKQ Biện pháp 2: Bồi dưỡng GV quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi Biện pháp 3: Tổ chức cho GV tự xây dựng thử nghiệm đề thi TNKQ cho SV Sau đề xuất biện pháp, tiến hành thử nghiệm nhằm kiểm tra tính khả thi biện pháp đề xuất Qua tổ chức thử nghiệm thấy việc tổ chức cho giảng viên tự xây dựng đề thi TNKQ sau thử nghiệm đề thi GV tự biên soạn cần thiết KẾT LUẬN VÀ KIẾN NGHỊ đại học đặc biệt quan tâm, giảng viên tập huấn đổi phương pháp giảng dạy, phương pháp kiểm tra đánh giá, nhiên hiệu chưa cao Sử dụng ngân hàng câu hỏi thi trắc nghiệm khách quan trường khuyến khích, nhiên đa số câu hỏi trắc nghiệm khách quan giảng viên tự biên soạn chưa theo quy trình, đặc biệt câu hỏi sau sử dụng không phân tích, đánh giá nên đề thi/ kiểm tra chưa chuẩn chất lượng không cao Trước tình vậy, chọn đề tài luận văn: “Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan Khoa Khoa học Tự nhiên Xã hội (nay trường Đại học Khoa học) - Đại học Thái Nguyên” Kết nghiên cứu luận văn tài liệu cần thiết góp phần vào trình nâng cao chất lượng hiệu việc biên soạn thiết kế đề thi trắc nghiệm khách quan đơn vị, đồng thời giúp đưa giải pháp nhằm nâng cao kỹ giảng viên việc thiết kế câu hỏi KẾT LUẬN Mục đích nghiên cứu đề tài 1.1 Về mặt lý luận • Đánh giá quy trình hiệu việc thiết kế sử dụng đề Luận văn tổng hợp hệ thống phần vấn đề nghiên cứu đo lường đánh giá giáo dục nói chung Lịch sử vấn đề nghiên cứu giới Việt Nam trình bày theo giai đoạn phát triển ngành khoa học Luận văn hệ thống hóa vấn đề lý luận có liên quan như: khái niệm bản, mục đích ý nghĩa khoa học đo lường đánh giá; phương pháp kỹ thuật xây dựng công cụ ĐLĐG thông qua hình thức TNKQ; quy trình xây dựng thiết kế đề thi TNKQ chuẩn cách phân tích, xử lý đánh giá trắc nghiệm 22 thi trắc nghiệm khách quan Nhà trường; • Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan • Đưa giải pháp nhằm nâng cao kỹ thiết kế đề thi TNKQ giảng viên Nhiệm vụ nghiên cứu đề tài Để thực mục đích trên, đề tài có nhiệm vụ sau: - Khảo sát thực trạng quy trình, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường - Phân tích câu hỏi trắc nghiệm khách quan đề thi sử dụng (căn vào kết trả lời trắc nghiệm SV) - Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan Giới hạn, phạm vi nghiên cứu • Đề tài nghiên cứu phương pháp, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường; • Nghiên cứu, đánh giá câu hỏi trắc nghiệm khách quan số đề thi TNKQ sử dụng Trường, từ đề xuất quy trình chuẩn thiết kế đề thi TNKQ Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài yêu cầu tiêu chuẩn kỹ thuật, độ phù hợp với mô hình, độ khó, độ phân biệt, độ giá trị test… 3.4 Đánh giá chung GV tính khả thi hiệu biện pháp triển khai Sau thử nghiệm, so sánh đề thi TNKQ thử nghiệm với đề thi TNKQ GV tự thiết kế trước đây, tiến hành khảo sát lấy ý kiến GV tính khả thi việc áp dụng quy trình chuẩn để thiết kế đề thi TNKQ, kết thu được: 100% giảng viên cho cần phải có quy trình chuẩn để biên soạn thiết kế đề thi TNKQ; 100% giảng viên cho cần phải tập huấn đầy đủ thử nghiệm thiết kế đề thi; 5.1 Câu hỏi nghiên cứu • Hiện giảng viên Trường thiết kế đề thi TNKQ sở nào? Theo quy trình nào? • Các giảng viên có nắm quy trình thiết kế đề thi TNKQ? • Đề thi giảng viên có đáp ứng yêu cầu kiểm tra đánh giá thành học tập hay không? 92% giảng viên cho cần phải xác định mục đích kỳ thi/ kiểm tra cần phải xây dựng bảng trọng số thiết kế đề thi TNKQ; 74% giảng viên khẳng định kỹ thiết kế đề thi TNKQ họ nâng lên rõ rệt sau tập huấn; 70% giảng viên cho họ tự xây dựng đề thi TNKQ cho 5.2 Giả thuyết nghiên cứu học phần mà họ giảng dạy theo quy trình chuẩn tập huấn; • Việc thiết kế đề thi TNKQ Nhà trường hoàn toàn theo tính chủ quan giảng viên • Chất lượng câu hỏi, đề thi TNKQ giảng viên biên soạn không cao, không đánh giá xác lực sinh viên 35% giảng viên cho việc phân tích đề thi cần thiết phải thực liên tục; 100% giảng viên Khoa Sinh học cho rằng: đề thi TNKQ xây dựng theo quy trình chuẩn vừa thử nghiệm đảm Khách thể đối tượng nghiên cứu bảo yêu cầu thống kê phân tích trên; bảo đảm bao trùm 6.1 Khách thể nghiên cứu nội dung môn học mà giảng viên giảng dạy, có khả chống • Các giảng viên giảng dạy Trường áp dụng hình tượng học tủ, học lệch, gian lận thi cử; đề thi có thời gian thức thi TNKQ cho kỳ thi Nhà trường hợp lý, phù hợp với trình độ sinh viên đảm bảo tính khách quan, công chấm thi; 21 Tuy nhiên có số câu cần xem lại phương án lựa chọn (vì • Các thi TNKQ (kết thi TNKQ sinh viên) số thí sinh lựa chọn phương án nhiễu ít, chí 6.2 Đối tượng nghiên cứu thí sinh lựa chọn), cụ thể sau: • Nghiên cứu cách thức, quy trình thiết kế đề thi TNKQ + Câu nên viết lại bỏ câu lựa chọn số 4; + Câu 10 nên viết lại bỏ lựa chọn số 2, 3; + Câu 12 nên viết lại bỏ lựa chọn số 1, 2; + Câu 20 nên viết lại bỏ lựa chọn số 1; Kết luận câu sửa phương án nhiễu có câu hỏi tốt, đồng thời độ tin cậy test tăng lên c Dựa vào độ giá trị trắc nghiệm Nói đến độ giá trị trắc nghiệm nói đến độ giá trị mặt nội dung nó, nghĩa câu hỏi trắc nghiệm có khả bao trùm nội dung môn học Đề thi bao gồm 50 giảng viên Trường Phương pháp nghiên cứu 7.1 Nghiên cứu lý thuyết • Nghiên cứu tài liệu đo lường đánh giá giáo dục 7.2 Nghiên cứu thực nghiệm • Quan sát: quan sát trình thực đổi KTĐG giảng viên, trình thử nghiệm xây dựng ngân hàng câu hỏi TNKQ • Điều tra: phiếu hỏi vấn để tìm hiểu quy trình thiết kế đề thi TNKQ giảng viên Trường câu hỏi phân bổ chương môn học với mục • Phân tích tổng kết kinh nghiệm tiêu thể bảng trọng số, điều chứng tỏ đề thi đạt 7.3 Phương pháp Toán học độ giá trị • Sử dụng phần mềm SPSS phân tích số liệu thống kê Bước 10: Tập hợp câu hỏi thi: • Sử dụng phần mềm chuyên dụng Quest, ConQuest Sau phân tích đề xuất chỉnh sửa số câu hỏi, GV Cấu trúc luận văn khoa Sinh học đồng ý cần phải chỉnh sửa câu hỏi để Mở đầu câu hỏi tốt Chương Cơ sở lý luận tổng quan Sau xây dựng thử nghiệm đề thi TNKQ học phần Sinh lý Chương Thực trạng quy trình thiết kế đề thi TNKQ trường Đại học Khoa học - Đại học Thái Nguyên thực vật cho sinh viên, rút số kết luận sau: - Qua tập huấn, GV bám sát vào mục tiêu môn học để biên Chương Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ trường Đại học Khoa học - ĐHTN soạn 50 câu hỏi trắc nghiệm đa lựa chọn Bộ câu hỏi bao trùm toàn nội dung học phần Sinh lý thực vật - Đề thi TNKQ cho học phần Sinh lý thực vật thiết kế thử nghiệm thành công Qua phân tích, câu hỏi TNKQ đạt 20 Kết luận kiến nghị Tài liệu tham khảo Phụ lục CHƯƠNG CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN Những câu có độ khó < 20% câu khó, dùng để đo thí sinh có lực cao, đề thi có câu câu 14 41 (tương 1.1 Lịch sử vấn đề nghiên cứu ứng với P = 15.3% P = 10.2%) 1.1.1 Trên giới Bước 8: Xem lại câu hỏi thi lần 2: Khi có số liệu phân tích cần 1.1.2 Việt Nam kiểm tra lại câu hỏi xem có vấn đề không? Nếu câu hỏi chưa 1.2 Các khái niệm đo lường đánh giá giáo dục tốt cần chỉnh sửa loại bỏ • Đo lường (Measurement) Bước 9: Chỉnh sửa câu hỏi: • Đánh giá (Evaluation) - Xác định câu hỏi cần sửa chữa đề xuất cách sửa: • Lượng giá (Assessment) a Dựa vào độ phân biệt: • Kiểm tra (Testing) Dựa vào độ phân biệt (Disc) xác định câu hỏi cần sửa chữa sau: Disc < 0.2: có câu (chiếm 16%) • Thi (Examination) • Kết học tập (Study achievement): 1.3 Phương pháp trắc nghiệm kiểm tra đánh giá 1.3.1 Kiểm tra đánh giá kết học tập 1.3.2 Mục đích, ý nghĩa việc kiểm tra, đánh giá KQHT 1.3.3 Phương pháp trắc nghiệm kiểm tra đánh giá 1.4 Quy trình xây dựng đề thi ngân hàng câu hỏi TNKQ 1.4.1 Quy trình xây dựng đề thi TNKQ Bước 1: Xác định mục đích sử dụng đề thi/ kiểm tra Bước 2: Chọn mẫu Bước 3: Xác định mục tiêu, phân tích nội dung chi tiết xây dựng bảng trọng số Bước 4: Viết câu hỏi thi Bước 5: Xem lại câu hỏi thi lần Bước 6: Thử nghiệm Bước 7: Phân tích câu hỏi thi Bước 8: Xem lại câu hỏi thi lần Bước 9: Chỉnh sửa câu hỏi Các câu phần lớn rơi vào câu khó khó, để lập ngân hàng đề thi cần phải sử dụng câu hỏi nên không cần loại bỏ b Dựa vào độ khó câu hỏi: Phân tích độ khó câu trắc nghiệm cho ta thấy giá trị P câu chưa khẳng định câu hỏi tốt hay không, nói lên độ khó tương đối câu hỏi số thí sinh tham gia làm trắc nghiệm Những câu có độ khó < 20% câu khó, dùng để đo thí sinh có lực cao, đề thi có câu câu 14 41 (tương ứng với P = 15.3% P = 10.2%) Như phân tích nên câu hỏi khó dễ giữ lại để đo thí sinh có lực khác Do câu hỏi đề nhìn chung đảm bảo yêu cầu độ khó nên không cần chỉnh sửa 19 Độ khó câu hỏi đặc tính quan trọng câu hỏi nói lên độ tin cậy độ giá trị câu hỏi thi/ kiểm tra Đồng thời cho phép so sánh độ khó câu hỏi so với lực thí sinh Để phân tích độ khó câu hỏi phần mềm Quest cung cấp cho ma trận (biểu đồ) so sánh lực thí sinh với độ khó câu hỏi trắc nghiệm Nhận xét: Ma trận cho thấy phân bố độ khó câu hỏi với lực thí sinh phân bố chuẩn hay độ khó câu hỏi phù hợp với hầu hết lực thí sinh - Các thí sinh có lực mức khác c Các số thống kê khác - Độ phân biệt: Có 18% (9/50) câu hỏi có độ phân biệt Disc ≥ 0.4, câu tốt, bao gồm câu hỏi số 7, 24, 27, 28, 35, 36, 38, 43, 49 Có gần 60% (29/50) câu hỏi có Disc ≥ 0.2, câu tốt tốt, thỏa mãn độ phân biệt - Độ khó: Những câu có độ khó P > 70% câu trắc nghiệm dễ Trong đề thi có 10 câu (5, 9, 10, 12, 15, 16, 18, 20, 31, 43), chiếm 20% nhiên không cần điều chỉnh lại câu có số thí sinh có lực thấp Bước 10: Tập hợp câu hỏi thi 1.4.2 Ngân hàng câu hỏi TNKQ 1.5 Kỹ thuật xây dựng câu hỏi TNKQ 1.5.1 Loại - sai (True or False) 1.5.2 Loại ghép đôi (Matching items) 1.5.3 Loại điền khuyết (Supply item) 1.5.4 Loại nhiều lựa chọn (Multi choice questions) 1.5.5 So sánh trắc nghiệm khách quan trắc nghiệm tự luận 1.6 Phân tích đánh giá câu hỏi trắc nghiệm khách quan 1.6.1 Mục đích phân tích câu hỏi trắc nghiệm khách quan 1.6.2 Phương pháp phân tích câu hỏi theo lý thuyết khảo thí đại 1.6.3 Một số yêu cầu thống kê câu hỏi TNKQ • Độ khó độ phân biệt câu trắc nghiệm • Độ tin cậy • Độ giá trị • Độ phù hợp với mô hình trắc nghiệm khách quan 1.7 Kết luận chương Trong chương trình bày vấn đề sau: - Khái quát vấn đề nghiên cứu giới Việt Nam; - Một số vấn đề lý luận đo lường đánh giá GD; - Quy trình xây dựng đề thi TNKQ; - Các kỹ thuật xây dựng câu hỏi TNKQ; - Cách phân tích đánh giá câu hỏi thi TNKQ Những câu có độ khó vừa phải (40% ≤ P ≤ 70%), gồm 27 câu hỏi Những câu có độ khó P < 40% câu trắc nghiệm khó, đề thi có câu, chiếm 12% (là câu 4, 22, 27, 32, 37, 39) 18 CHƯƠNG THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐẠI HỌC KHOA HỌC - ĐHTN - Thời gian làm trung bình 1,2 phút/ 01 câu - Câu trả lời tính theo thang điểm quy định, câu trả lời sai điểm Phân tích, đánh giá câu hỏi thi trắc nghiệm Sau thu lại toàn làm thí sinh, tiến hành 2.1 Vài nét trường Đại học Khoa học - Đại học Thái Nguyên 2.2 Thông tin chung giảng viên tham gia khảo sát 2.3 Thực trạng quy trình thiết kế đề thi TNKQ đơn vị 2.3.1 Thực trạng sử dụng phương pháp KTĐG Về số lượng phương pháp: Theo kết điều tra từ giảng viên, để kiểm tra đánh giá KQHT sinh viên trường, giảng viên sử dụng phương pháp KTĐG để đánh giá KQHT sinh viên như: Viết (tự luận), vấn đáp, thực hành, tiểu luận trắc nghiệm khách quan Trong tổng số 163 đề thi kết thúc học phần khảo sát có tới 129 đề thi giảng viên sử dụng phương pháp thi tự luận vấn đáp (chiếm 79%, đó: tự luận 46,6%, vấn đáp 32,4%) Một số giảng viên sử dụng phương pháp trắc nghiệm khách quan (gần 10%) để đánh giá KQHT cho sinh viên Nhận thức GV hiệu phương pháp: Tất GV cho họ lựa chọn phương pháp KTĐG có liên quan đến nội dung mục tiêu môn học mà làm bước sau: - Nhập số liệu vào SPSS - Làm số liệu: kiểm tra lại xem có nhập sai bỏ sót số liệu hay không - Lựa chọn phần mềm chuyên dụng: Sử dụng phần mềm QUEST Phân tích liệu mô hình Rasch: Sau sử dụng phần mềm Quest, ta có báo cáo thống kê đặc tính test sau: a Độ phù hợp với mô hình câu hỏi độ tin cậy test - Độ phù hợp với mô hình: Một dẫn chứng quan trọng để nói câu hỏi GV biên soạn tốt xác định tất câu hỏi tạo thành cấu trúc Kết phân tích phần mềm Quest dựa mô hình Rasch cho thấy tất câu hỏi có Infit MNSQ nằm khoảng từ 0.77 đến 1.30 họ đảm nhận họ nhận thức hiệu phương pháp đó, Kiểm tra phù hợp thống kê với mô hình Rasch muốn đánh giá kỹ người học nên chọn phương pháp thực câu hỏi (Fit statistics) Infit Mean Square có Mean = 1.00 (Rất tốt) hành; muốn kết đánh giá khách quan, chấm nhanh, xử lý kết SD = 08 (Tốt) thuận lợi đề thi bao phủ chương trình học sử dụng phương pháp TNKQ; muốn đánh giá khả diễn giải đề tự luận… 2.3.2 Thực trạng quy trình thiết kế đề thi TNKQ Để biết thực trạng thiết kế đề thi TNKQ nào, ta cần nghiên Kết luận: Dựa vào số liệu thu bảng 3.3 hình 3.2 rút kết luận rằng, liệu 50 câu hỏi trắc nghiệm hoàn toàn phù hợp với mô hình Rasch độ tin cậy đề thi đạt yêu cầu (0.87) b Độ khó câu hỏi cứu vấn đề sau: 17 Bước 1: Xác định mục đích sử dụng đề thi/ kiểm tra: Bước 3: Xác định mục tiêu, phân tích nội dung chi tiết xây dựng bảng trọng số: Các GV khoa Sinh học xây dựng cấu trúc đề thi trắc nghiệm học phần Sinh lý thực vật gồm 50 câu hỏi bao phủ nội dung chương học phần Thời gian thi dự kiến 60 phút (trung bình 1,2 phút/ câu) với thang điểm 10 (tương đương 0,2 điểm/ câu) Bước 4: Viết câu hỏi thi: Bước 5: Xem lại câu hỏi thi lần 1: Bước 6: Thử nghiệm: Tổ chức thử nghiệm đề thi, yêu cầu: - 59 sinh viên chia làm 02 phòng, phòng có 02 cán coi thi giám sát việc làm thí sinh - Những quy định yêu cầu làm thi cán coi thi hướng dẫn cụ thể, rõ ràng Xác định mục tiêu đánh giá, phân tích nội dung xây dựng bảng trọng số Có nhiều GV không xác định rõ mục tiêu đề thi/ kiểm tra học phần dạy Nói cách khác, GV thường không lập bảng trọng số mục tiêu kiến thức nội dung học phần để đề thi, dẫn đến có nội dung đề cập nhiều ngược lại, làm ảnh hưởng đến độ giá trị đề thi Phỏng vấn sâu GV biết, họ xác định mục tiêu đánh giá xây dựng bảng trọng số trước viết câu hỏi thi, GV cho điều không cần thiết trình dạy học biên soạn đề họ biết phần quan trọng Có nhiều GV cho rằng, việc xây dựng bảng trọng số cần thiết GV trẻ, kinh nghiệm Về độ bao phủ, độ khó, độ phân biệt, độ tin cậy, độ giá trị thời gian thi, kiểm tra - Mỗi sinh viên bố trí ngồi bàn phát đề trắc nghiệm phiếu trả lời Trong thi kiểm tra, câu hỏi thường mức độ nhận thức biết hiểu chính, câu hỏi mức độ vận dụng ít, lại có - Hết thi, toàn đề phiếu trả lời thu nhằm tránh bị lộ thi có câu hỏi lại thường đánh giá người học mức độ vận dụng nhiều Bởi việc ĐGKQHT chưa thật khoa học Bước 7: Phân tích câu hỏi thi: công bằng, đồng thời độ xác không cao Bài thi với - Với số lượng 50 câu hỏi cho thấy số lượng câu hỏi vừa đủ lớn để câu hỏi mức độ vận dụng mà câu hỏi mức độ biết đảm bảo độ tin cậy hợp lý hiểu, sinh viên đạt kết không cao không đánh giá - Số lượng câu hỏi phân bố cho tất chương tất xác khả lực sinh viên có đạt mục tiêu kiến mục tiêu cần đánh giá Sinh viên xem nhẹ phần nào, thức kỹ học phần đề hay không? Nếu GV thiết kế học tủ, học lệch câu hỏi đo mức độ nhớ hiểu sinh viên học tủ - Số lượng câu hỏi phạm vi kiến thức rộng nên sinh viên hội thời gian quay cóp trao đổi thi học theo kiểu ghi nhớ máy móc điểm cao, sinh viên học theo kiểu tư lại điểm trung bình - Đề phát cho SV, không cho SV nhìn trao đổi 16 Theo kết điều tra có nhiều GV nhận thức việc biên soạn đề thi TNKQ cho kết đánh giá khách quan công bằng, nhiên lý khác mà GV sử dụng phương pháp TNKQ để đánh giá KQHT sinh viên Lý GV sử dụng phương pháp TNKQ CHƯƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐHKH - ĐHTN 3.1 Nguyên tắc đề xuất biện pháp - GV gặp khó khăn thiết kế câu hỏi TNKQ đạt yêu cầu kỹ thuật 3.2 Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi GV Khoa khác gặp khó khăn biên soạn câu hỏi TNKQ đơn vị TNKQ chuẩn khác Có 66% GV khoa gặp khó khăn Trong khuôn khổ luận văn đề xuất số biện pháp sau: 34% GV không gặp khó khăn biên soạn câu hỏi TNKQ chuẩn Biện pháp 1: Nâng cao nhận thức GV tầm quan trọng - GV chưa bồi dưỡng cách xây dựng đề thi TNKQ việc KTĐG thông qua hình thức thi TNKQ Thực tế nhà trường chưa tổ chức buổi tập huấn cho GV Biện pháp 2: Bồi dưỡng GV quy trình kỹ thuật xây dựng đề kỹ thuật xây dựng đề thi TNKQ, qua phiếu điều tra vấn thi TNKQ, cách xử lý kết thi Biện pháp 3: Tổ chức cho GV tự xây dựng thử nghiệm đề thi TNKQ cho SV 3.3 Tổ chức thử nghiệm biện pháp sâu cho thấy tập huấn tiếp cận với hình thức thi TNKQ sớm họ áp dụng hình thức thi để ĐGKQHT cho SV Mặt khác, có nhiều GV trẻ trường công tác, chưa có kiến thức kinh nghiệm nhiều nên lý mà GV không lựa chọn phương pháp TNKQ - Thiếu thời gian soạn câu hỏi TNKQ Phần lớn GV cho để biên soạn đề thi TNKQ cần nhiều thời gian, có khoảng 21% GV cho có thời gian biên soạn câu hỏi TNKQ Giải thích cho tỷ lệ đề thi TNKQ bao gồm nhiều câu hỏi, câu hỏi đòi hỏi bao phủ toàn nội dung chương trình môn học, nữa, để soạn câu hỏi TNKQ, GV phải nắm vững kỹ thuật viết: cách lựa chọn dạng câu hỏi, độ khó, độ phân biệt, thời gian thi… cho phù hợp với nội dung chương trình học phần Bởi để soạn đề thi TNKQ nhiều công sức thời gian - Thiếu kỹ phân tích, ngại thay đổi: 10 Tiến trình thử nghiệm cụ thể sau: Thứ nhất: Nâng cao nhận thức GV tầm quan trọng việc KTĐG thông qua hình thức thi TNKQ (biện pháp 1): Thứ hai: Bồi dưỡng GV quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi (biện pháp 2) - Tổ chức bồi dưỡng cho 12 CBGV Khoa Toán Tin, Sinh học, Khoa học môi trường (xem chi tiết phụ lục 3.1) Thứ ba: Tổ chức cho GV tự xây dựng thử nghiệm đề thi TNKQ cho SV (biện pháp 3) Tổ chức cho giảng viên Khoa Sinh học xây dựng thử nghiệm câu hỏi TNKQ cho học phần “Sinh lý thực vật” (phụ lục 3.2) Để thiết kế đề thi TNKQ chuẩn cần phải đảm bảo quy trình (xem mục 1.4.1), gồm 10 bước sau: 15 lớn, không đạt Reliability of estimate = 0.63 thấp Infit Mean Square có SD = 0.28 không tốt Một số GV cho họ kỹ phân tích đề thi phân tích kết thi Một số GV khác lại có tâm lý ngại thay Căn vào phân bố 50 câu hỏi cho thấy: có 15/50 câu hỏi đổi, họ cho đề thi tự luận họ hoàn toàn không mô hình chúng không tạo thành cấu trúc Các đánh giá xác lực SV nên họ không muốn không câu hỏi có độ khó nằm khoảng -3.5 đến 3.2 thang logit cần phải thiết kế đề thi TNKQ… lực thí sinh nằm khoảng -0.8 đến 2.8 thang logit Có GV tự nghiên cứu xây dựng đề thi TNKQ, Có 19 câu hỏi: 3, 15, 21, 2, 6, 10, 30, 7, 8, 16, 48, 12, 40, 36, 34, 23, chưa có kinh nghiệm thiết kế nên họ không chắn vào 28, 46 dễ so với lực thí sinh (chiếm 38%)) Cần chất lượng biên soạn đề thi bổ sung thêm câu hỏi có độ khó nằm khoảng từ đến 1.8 thang logit (vì có nhiều thí sinh có lực khoảng này.) Qua việc phân tích đề thi TNKQ học phần Khoa học môi trường đại cương lý thuyết khảo thí đại, thấy đề thi chưa phù hợp với lực thí sinh, câu hỏi thi chưa tạo thành cấu trúc có nhiều cá thể ngoại lai Độ tin cậy đề thi không cao, dẫn đến độ giá trị đề thi thấp, hay nói cách khác, đề thi chưa đạt yêu cầu đề thi TNKQ 2.4 Kết luận chương Việc phân tích thực trạng quy trình thiết kế đề thi TNKQ trường ĐHKH tồn vấn đề sau: - Đề thi khó có khả bao phủ chương trình học, tiêu chí đánh giá chưa rõ ràng, quy trình chấm điểm chưa đảm bảo Thậm chí có đề thi chưa phù hợp với chương trình học (về nội dung, độ khó, thời gian thi…) - Các đề thi biên soạn phần lớn dựa theo kinh nghiệm chủ quan cá nhân, chưa theo quy trình - Chưa trọng đến chất lượng đề thi 14 Như vậy, qua phân tích thấy với quy trình thiết kế đề thi TNKQ phần lớn khoa môn trường ĐHKH không đánh giá xác lực SV 2.3.3 Thực trạng phân tích xử lý kết thi • Phân tích kết thi Kết điều tra cho thấy khoảng 34% GV cho họ có phân tích câu hỏi thi sau chấm 66% không phân tích Đây điều đáng quan tâm sau chấm thi GV không quan tâm xem đề thi có phù hợp với mục tiêu học phần đề hay không? Có bao phủ nội dung chương trình đào tạo? Có đảm bảo khách quan công phù hợp với lực SV không? Thực trạng cho thấy việc đề việc kiểm tra đánh giá cho SV nhiều bất cập • Phân tích độ khó Có tới 70% GV không phân tích độ khó sau thi, tương ứng với 30% GV thường xuyên phân tích độ khó đề thi Điều chứng tỏ GV coi nhẹ việc phân tích đề thi, họ cho việc làm không cần thiết tốn thời gian • Phân tích độ phân biệt Có khoảng 60% giáo viên không phân tích độ phân biệt đề thi Điều giải thích chấm thi 11 xong GV thường không quan tâm xem với SV giỏi SV trung bình yếu có kết thi Kết hợp với vấn sâu thu số lý sau: Thứ nhất, GV phải dạy nhiều Thứ hai, số GV cho đề thi họ chắn đạt chất lượng nên không cần phải phân tích đề thi Thứ ba, số GV cho việc quy định nên họ không làm • Phân tích, xử lý câu hỏi thi Kết điều tra cho thấy thực trạng đa số GV trường ĐHKH sau đề, coi thi, chấm thi xong không phân tích câu hỏi thi thi Nguyên nhân vấn đề chưa đào tạo, bồi dưỡng kiến thức, mặt khác vấn đề thời gian kinh phí cho vấn đề 2.3.4 Thực trạng chất lượng đề thi không khó nhiên nội dung nhiều, thời gian làm không đủ Có thể kết luận thời gian thi không phù hợp với số lượng nội dung câu hỏi thi Với sinh viên có lực cao làm 70% số lượng câu hỏi thi hết thời gian làm Đề thi học phần Giải tích A1: Với 20 câu hỏi TNKQ dạng MCQ, đề thi học phần Giải tích A1 có thời gian làm 90 phút (xem thông tin chi tiết phụ lục 2.3) Kết phân tích cho thấy đa số sinh viên cho đề thi vừa phải, nhiên thời gian làm tương đối nhiều (90 phút) nên hầu hết sinh viên làm hết câu hỏi thi Điều cho thấy thời gian thi không cân độ khó số lượng câu hỏi (4,5 phút/1 câu) Có 60% sinh viên đạt điểm (7 đến điểm), 18% sinh viên đạt Để biết chất lượng đề thi nào, việc nghiên cứu điểm giỏi (9 đến 10 điểm) có 22% sinh viên đạt điểm trung đề thi sử dụng, cần phân tích kết làm SV Trong bình (5 điểm) Điểm thấp sinh viên học phần khuôn khổ luận văn này, tập trung nghiên cứu phân tích điểm điểm cao 10 điểm Kết cho thấy đề thi có vài đề thi TNKQ để phần minh họa chất lượng đề thi nhiều câu dễ không đánh giá lực sinh trường viên giỏi không phân loại sinh viên Đề thi Xã hội học đại cương: Theo kết thi TNKQ, học phần Xã hội học đại cương với 60 Phân tích đề thi TNKQ học phần “Khoa học môi trường đại cương” lý thuyết khảo thí đại: câu hỏi MCQ với thời gian thi 60 phút (xem thông tin chi tiết Đây đề thi TNKQ giảng viên Khoa Khoa học Môi trường tự Phụ lục 2.2) với lớp 50 thí sinh Trung bình thời gian trả lời câu biên soạn để đánh giá KQHT sinh viên năm thứ ngành Cử hỏi 1phút/ 1câu Theo kết thu được, có 26% sinh viên đạt điểm nhân KHMT, học kỳ II năm học 2008-2009 trung bình 66% sinh viên đạt điểm trung bình Có sinh viên Đề thi kết thúc học phần Khoa học môi trường đại cương bao gồm đạt điểm thấp điểm có sinh viên đạt điểm cao 50 câu hỏi, thời gian thi 60 phút (xem chi tiết phụ lục 2.4) Sau điểm Như thấy đề thi không phù hợp so với chấm thi, nhập số liệu phân tích kết phần mềm Quest, lực sinh viên Điều phù hợp với thông tin thu tiến vào mục 1.6.3 chương 1, thấy rằng: SD = 1.53 hành vấn sâu sinh viên, sinh viên cho đề thi 12 13 [...]... trạng quy trình thi t kế đề thi TNKQ tại trường ĐHKH đã tồn tại những vấn đề cơ bản sau: - Đề thi khó có khả năng bao phủ chương trình học, tiêu chí đánh giá chưa rõ ràng, quy trình chấm điểm chưa đảm bảo Thậm chí có đề thi còn chưa phù hợp với chương trình học (về nội dung, độ khó, thời gian thi ) - Các đề thi được biên soạn phần lớn dựa theo kinh nghiệm chủ quan cá nhân, chưa đúng theo quy trình. .. để đánh giá KQHT của sinh viên Lý do GV hiếm khi sử dụng phương pháp TNKQ CHƯƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THI T KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐHKH - ĐHTN 3.1 Nguyên tắc đề xuất biện pháp - GV gặp khó khăn khi thi t kế câu hỏi TNKQ đạt yêu cầu kỹ thuật 3.2 Một số biện pháp nâng cao hiệu quả quy trình thi t kế đề thi GV ở mỗi Khoa khác nhau gặp khó khăn khi biên soạn câu hỏi TNKQ tại. .. trong học phần này khuôn khổ luận văn này, chúng tôi tập trung nghiên cứu và phân tích là 5 điểm và điểm cao nhất là 10 điểm Kết quả trên cho thấy đề thi có một vài đề thi TNKQ để phần nào minh họa chất lượng đề thi hiện quá nhiều câu dễ cho nên không đánh giá được năng lực của các sinh nay ở trường viên khá giỏi và không phân loại được sinh viên Đề thi Xã hội học đại cương: Theo kết quả thi TNKQ, học. .. mục tiêu kiến thức và nội dung của học phần để ra đề thi, dẫn đến có những nội dung đề cập nhiều và ngược lại, làm ảnh hưởng đến độ giá trị của đề thi Phỏng vấn sâu các GV được biết, họ ít khi xác định mục tiêu đánh giá và xây dựng bảng trọng số trước khi viết câu hỏi thi, các GV cho rằng điều đó là không cần thi t vì trong quá trình dạy học và biên soạn đề họ đã biết được phần nào quan trọng hơn Có... lượng của đề thi 14 Như vậy, qua các phân tích ở trên chúng ta có thể thấy rằng với quy trình thi t kế đề thi TNKQ như hiện nay ở phần lớn các khoa bộ môn trong trường ĐHKH sẽ không đánh giá chính xác được năng lực của SV 2.3.3 Thực trạng phân tích và xử lý kết quả thi • Phân tích kết quả thi Kết quả điều tra cho thấy rằng khoảng 34% GV cho rằng họ có phân tích câu hỏi thi sau khi chấm bài và 66% không... phân tích đề thi TNKQ học phần Khoa học môi trường đại cương bằng lý thuyết khảo thí hiện đại, chúng tôi thấy rằng đề thi này chưa phù hợp với năng lực của các thí sinh, các câu hỏi thi chưa tạo thành một cấu trúc do có quá nhiều cá thể ngoại lai Độ tin cậy của đề thi này không cao, dẫn đến độ giá trị của đề thi thấp, hay nói cách khác, đề thi này chưa đạt yêu cầu của một đề thi TNKQ 2.4 Kết luận chương... kết quả thi TNKQ, học phần Xã hội học đại cương với 60 Phân tích đề thi TNKQ của học phần Khoa học môi trường đại cương” bằng lý thuyết khảo thí hiện đại: câu hỏi MCQ với thời gian thi là 60 phút (xem thông tin chi tiết trong Đây là đề thi TNKQ do giảng viên Khoa Khoa học Môi trường tự Phụ lục 2.2) với một lớp 50 thí sinh Trung bình thời gian trả lời câu biên soạn để đánh giá KQHT của sinh viên năm... tầm quan trọng của việc KTĐG thông qua hình thức thi TNKQ (biện pháp 1): Thứ hai: Bồi dưỡng GV về quy trình và kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết quả thi (biện pháp 2) - Tổ chức bồi dưỡng cho 12 CBGV của các Khoa Toán Tin, Sinh học, Khoa học môi trường (xem chi tiết phụ lục 3.1) Thứ ba: Tổ chức cho GV tự xây dựng và thử nghiệm đề thi TNKQ cho SV (biện pháp 3) Tổ chức cho các giảng viên Khoa. .. đạt kết quả không cao thì chúng ta không đánh giá - Số lượng câu hỏi đã phân bố đều cho tất cả các chương và ở tất chính xác khả năng và năng lực của sinh viên có đạt mục tiêu về kiến cả các mục tiêu cần đánh giá Sinh viên không thể xem nhẹ phần nào, thức và kỹ năng của học phần đề ra hay không? Nếu GV thi t kế các không thể học tủ, học lệch câu hỏi chỉ đo mức độ nhớ và hiểu thì nếu sinh viên nào học. .. Biện pháp 2: Bồi dưỡng GV về quy trình và kỹ thuật xây dựng đề về kỹ thuật xây dựng đề thi TNKQ, qua phiếu điều tra và phỏng vấn thi TNKQ, cách xử lý kết quả thi Biện pháp 3: Tổ chức cho GV tự xây dựng và thử nghiệm đề thi TNKQ cho SV 3.3 Tổ chức thử nghiệm biện pháp sâu cho thấy rằng nếu được tập huấn và tiếp cận với hình thức thi TNKQ sớm thì họ sẽ áp dụng hình thức thi này để ĐGKQHT cho SV Mặt khác,