Một trong những nội dung quan trọng nhằm nâng cao chất lượng giáo dục đại học chính là việc đổi mới phương pháp giảng dạy, trong đó có việc đổi mới về phương pháp kiểm [r]
(1)ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC
NGUYỄN TRƢỜNG SƠN
ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN
TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN
LUẬN VĂN THẠC SĨ
(2)ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC
NGUYỄN TRƢỜNG SƠN
ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN
TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN
Chuyên ngành: Đo lƣờng đánh giá giáo dục
(Chuyên ngành đào tạo thí điểm)
LUẬN VĂN THẠC SĨ
Người hướng dẫn khoa học: PGS.TS Lê Đức Ngọc
(3)LỜI CẢM ƠN
Với lòng biết ơn sâu sắc, xin chân thành cảm ơn thầy giáo – PGS.TS Lê Đức Ngọc, người định hướng khoa học giúp đỡ suốt trình thực luận văn
Tơi xin bày tỏ lịng biết ơn tới:
Ban giám đốc Viện Đảm bảo chất lượng Giáo dục, thầy giáo tham gia giảng dạy khóa đào tạo Thạc sỹ Đo lường Đánh giá Giáo dục, anh chị bạn công tác học tập Viện Đảm bảo chất lượng Giáo dục – Đại học Quốc gia Hà Nội;
Ban giám hiệu trường Đại học Khoa học – Đại học Thái Nguyên, các giảng viên Khoa, Bộ môn, bạn bè đồng nghiệp;
Người thân gia đình ln giúp đỡ, động viên tơi hồn thành luận văn
Hà Nội, ngày 30 tháng 05 năm 2010
Tác giả
(4)LỜI CAM ĐOAN Tôi là: Nguyễn Trường Sơn
Là học viên lớp cao học Đo lường Đánh giá giáo dục Khóa 2006 – 2009 (theo Quyết định công nhận học viên cao học số 1803/SĐH ngày 7/11/2006 Giám đốc Đại học Quốc gia Hà Nội)
Tôi xin cam đoan danh dự công trình khoa học tơi Nếu sai tơi xin hồn tồn chịu trách nhiệm
Hà Nội, ngày 30 tháng 05 năm 2010
Tác giả
(5)i
MỤC LỤC
Trang
MỞ ĐẦU
1 Lý chọn đề tài
2 Mục đích nghiên cứu đề tài
3 Nhiệm vụ nghiên cứu đề tài
4 Giới hạn, phạm vi nghiên cứu
5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài
5.1 Câu hỏi nghiên cứu
5.2 Giả thuyết nghiên cứu
6 Khách thể đối tƣợng nghiên cứu
6.1 Khách thể nghiên cứu
6.2 Đối tượng nghiên cứu
7 Phƣơng pháp nghiên cứu
7.1 Nghiên cứu lý thuyết
7.2 Nghiên cứu thực nghiệm
7.3 Phương pháp Toán học
8 Cấu trúc luận văn
CHƢƠNG CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN
1.1 Lịch sử vấn đề nghiên cứu
1.1.1 Trên giới
1.1.2 Việt Nam
1.2 Các khái niệm đo lƣờng đánh giá giáo dục 1.3 Phƣơng pháp trắc nghiệm kiểm tra đánh giá 13
1.3.1 Kiểm tra đánh giá kết học tập 13 1.3.2 Mục đích, ý nghĩa việc kiểm tra, đánh giá KQHT 14 1.3.3 Phương pháp trắc nghiệm kiểm tra đánh giá 15 1.4 Quy trình xây dựng đề thi ngân hàng câu hỏi TNKQ 19
(6)ii
1.4.2 Ngân hàng câu hỏi TNKQ 23
1.5 Kỹ thuật xây dựng câu hỏi TNKQ 23
1.5.1 Loại – sai (True or False) 24
1.5.2 Loại ghép đôi (Matching items) 25
1.5.3 Loại điền khuyết (Supply item) 26
1.5.4 Loại nhiều lựa chọn (Multi choice questions - MCQ) 28 1.5.5 So sánh trắc nghiệm khách quan trắc nghiệm tự luận 31 1.6 Phân tích đánh giá câu hỏi trắc nghiệm 33
1.6.1 Mục đích phân tích câu hỏi trắc nghiệm 33 1.6.2 Phương pháp phân tích câu hỏi theo lý thuyết khảo thí đại 33 1.6.3 Một số yêu cầu thống kê câu hỏi TNKQ 40
1.7 Kết luận chƣơng 44
CHƢƠNG THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ
TẠI TRƢỜNG ĐẠI HỌC KHOA HỌC – ĐHTN 45
2.1 Vài nét trƣờng Đại học Khoa học – Đại học Thái Nguyên 45 2.2 Thông tin chung giảng viên tham gia khảo sát 46 2.3 Thực trạng quy trình thiết kế đề thi TNKQ đơn vị 47 2.3.1 Thực trạng sử dụng phương pháp KTĐG 47 2.3.2 Thực trạng quy trình thiết kế đề thi TNKQ 49 2.3.3 Thực trạng phân tích xử lý kết thi 54
2.3.4 Thực trạng chất lượng đề thi 57
2.4 Kết luận chƣơng 64
CHƢƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƢỜNG ĐẠI HỌC KHOA HỌC - ĐHTN 65
3.1 Nguyên tắc đề xuất biện pháp 65
3.2 Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ
tại đơn vị 65
(7)iii
3.4 Đánh giá chung GV tính khả thi hiệu
biện pháp triển khai 80
3.5 Kết luận chƣơng 3 82
KẾT LUẬN VÀ KIẾN NGHỊ 84
TÀI LIỆU THAM KHẢO 87
(8)iv
CÁC CHỮ CÁI VIẾT TẮT TRONG LUẬN VĂN
CNTT Công nghệ thông tin
Disc Chỉ số độ phân biệt
ĐHKH Đại học Khoa học
ĐHQG HN Đại học Quốc gia Hà Nội
ĐHTN Đại học Thái Nguyên
ĐLĐG Đo lường đánh giá
ĐBCLĐT&NCPTGD Đảm bảo chất lượng đào tạo nghiên cứu phát triển giáo dục
GV Giảng viên
GD&ĐT Giáo dục Đào tạo
IRT Lý thuyết hồi đáp
IRF Hàm đáp ứng câu hỏi
KĐCL Kiểm định chất lượng
KHKT Khoa học kỹ thuật
KQHT Kết học tập
KT, ĐG Kiểm tra, đánh giá
MCQ Câu hỏi nhiều lựa chọn
NCKH Nghiên cứu khoa học
NHCH Ngân hàng câu hỏi
NXB Nhà xuất
TL Tự luận
TNKQ Trắc nghiệm khách quan
(9)v
DANH MỤC CÁC BẢNG
Tên bảng Trang
Bảng chƣơng
Bảng 1.1 Bảng trọng số cho nội dung cần đánh giá 22 Bảng 1.2 So sánh phương pháp TNKQ TNTL 32 Bảng chƣơng
Bảng 2.1 Tỷ lệ phương pháp mà GV sử dụng 48 Bảng 2.2 Nhận thức GV hiệu phương pháp KTĐG 49
Bảng 2.3 Tỷ lệ GV phân tích độ khó 55
Bảng 2.4 Tỷ lệ GV phân tích độ phân biệt 56 Bảng 2.5 Thơng tin kết tính tốn câu hỏi học phần
KHMTĐC 61
Bảng 2.6 Thông tin kết tính tốn lực thí sinh 61 Bảng chƣơng
Bảng 3.1 Bảng trọng số học phần “Sinh lý thực vật” 68 Bảng 3.2 Kết thi thử nghiệm học phần “Sinh lý thực vật” 70 Bảng 3.3 Thơng tin kết tính tốn câu hỏi 73 Bảng 3.4 Thông tin kết tính tốn lực thí sinh 76
(10)vi
DANH MỤC CÁC HÌNH
Tên hình Trang
Hình chƣơng
Hình 1.1 Tóm lược phương pháp trắc nghiệm 16
Hình 1.2 Quy trình xây dựng đề thi TNKQ 20
Hình 1.3 Các loại câu hỏi TNKQ 24
Hình 1.4 Hàm đáp ứng câu hỏi (IRF) 36
Hình 1.5 Đường cong trả lời theo mơ hình Rasch 38 Hình chƣơng
Hình 2.1 Số lượng tỷ lệ giảng viên tham gia khảo sát 46 Hình 2.2 Số năm kinh nghiệm giảng dạy giảng viên 47 Hình 2.3 Khó khăn thiết kế câu hỏi TNKQ chuẩn 52
Hình 2.4 Thời gian soạn câu hỏi TNKQ 53
Hình 2.5 Tỷ lệ GV phân tích câu hỏi thi 55
Hình 2.6 Tỷ lệ GV bồi dưỡng phân tích câu hỏi thi 56 Hình 2.7 Sự phân bố lực chuẩn 50 thí sinh 58 Hình 2.8 Kết thi học phần Xã hội học đại cương 58 Hình 2.9 Kết thi học phần Giải tích A1 59 Hình 2.10 Sự phân bố lực thí sinh với độ khó câu
hỏi tốt 60
Hình 2.11 Sự phân bố 50 câu hỏi học phần KHMTĐC 62 Hình 2.12 Ma trận so sánh lực thí sinh với độ khó câu
hỏi thi 63
Hình chƣơng
Hình 3.1 Kết thi thử nghiệm học phần “Sinh lý thực vật” 70 Hình 3.2 Sự phân bố 50 câu hỏi đo lực thí sinh
học phần “Sinh lý thực vật” 72
(11)vii
DANH MỤC CÁC PHỤ LỤC
Tên phụ lục Trang
Phụ lục chƣơng
Phụ lục 2.1 Phiếu điều tra khảo sát thực trạng quy trình thiết kế
đề thi TNKQ 90
Phụ lục 2.2 Đề thi kết thúc học phần Xã hội học đại cương 93 Phụ lục 2.3 Đề thi kết thúc học phần Giải tích A1 101 Phụ lục 2.4 Đề thi kết thúc học phần Khoa học môi trường đại
cương 105
Phụ lục chƣơng Phụ lục 3.1
Danh sách báo cáo viên CBGV tham dự bỗi dưỡng quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi
112
Phụ lục 3.2 Danh sách nhóm GV tham gia xây dựng thiết kế
(12)1 MỞ ĐẦU 1 Lý chọn đề tài
Hiện chất lượng giáo dục trở thành mối quan tâm chung toàn xã hội, đặc biệt chất lượng giáo dục đại học Trong nguồn lực sở đào tạo hạn chế, chưa đủ đáp ứng kịp thời việc tăng nhanh quy mơ loại hình đào tạo vấn đề chất lượng đào tạo giáo dục đại học điểm nóng cần quan tâm
Một nội dung quan trọng nhằm nâng cao chất lượng giáo dục đại học việc đổi phương pháp giảng dạy, có việc đổi phương pháp kiểm tra đánh giá kết học tập người học Có thể nói việc kiểm tra đánh giá hoạt động thiếu q trình dạy học Thơng qua kiểm tra đánh giá trình độ nhận thức, kỹ năng, kỹ xảo người học phát sai sót, lỗ hổng kiến thức… từ giúp giáo viên học sinh tự điều chỉnh hoạt động dạy hoạt động học
Theo cách thức thực hệ thống câu hỏi trình dạy học, lý luận giáo dục xem xét kiểm tra đánh nhóm phương pháp dạy học Từ xưa tới kiểm tra đánh giá kết học tập người học nói chung thường sử dụng hình thức thi chủ yếu là: thi viết (tự luận) thi vấn đáp Thực tế, hai hình thức chưa kiểm tra, đánh giá đầy đủ kiến thức học người học cách nhanh gọn, toàn diện khách quan Thi viết (tự luận) thi vấn đáp, phạm vi đề hạn chế kiến thức, kỳ thi học kỳ thi tốt nghiệp nội dung đề khơng thâu tóm, khơng bao qt hết chương trình mơn học khơng đánh giá xác lực người học Mặt khác, hai hình thức thi cịn hạn chế tính khách quan, giáo viên thường huy động kiến thức một chương để đề thi, dễ dẫn đến học sinh học tủ, học lệch, quay cóp…
(13)2
hố hoạt động học tập người học… Trên sở nắm kiến thức đo lường đánh giá giáo dục, cần tiến hành xây dựng ngân hàng câu hỏi trắc nghiệm (gồm câu hỏi TNKQ tự luận) chuẩn hố cho mơn học Sử dụng ngân hàng này, người học tự ơn tập kiểm tra kiến thức, giáo viên sử dụng để kiểm tra đánh giá học sinh Để làm điều này, phải việc đào tạo đội ngũ chuyên gia đánh giá giáo dục bồi dưỡng kiến thức khoa học đo lường đánh giá giáo dục cho giáo viên cấp học, bậc học
Công đổi phương pháp giảng dạy trường đại học đặc biệt quan tâm, giảng viên tập huấn đổi phương pháp giảng dạy, phương pháp kiểm tra đánh giá, nhiên hiệu chưa cao Sử dụng ngân hàng câu hỏi thi trắc nghiệm khách quan trường khuyến khích, nhiên đa số câu hỏi trắc nghiệm khách quan giảng viên tự biên soạn chưa theo quy trình, đặc biệt câu hỏi sau sử dụng khơng phân tích, đánh giá nên đề thi/ kiểm tra chưa chuẩn chất lượng khơng cao
Trước tình vậy, tơi chọn đề tài luận văn: “Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan Khoa Khoa học Tự nhiên Xã hội (nay trƣờng Đại học Khoa học) – Đại học Thái Nguyên” Kết nghiên cứu luận văn tài liệu cần thiết góp phần vào q trình nâng cao chất lượng hiệu việc biên soạn thiết kế đề thi trắc nghiệm khách quan đơn vị, đồng thời giúp đưa giải pháp nhằm nâng cao kỹ giảng viên việc thiết kế câu hỏi TNKQ dùng để kiểm tra đánh giá kết học tập sinh viên
2 Mục đích nghiên cứu đề tài
Đánh giá quy trình hiệu việc thiết kế sử dụng đề thi trắc nghiệm khách quan Nhà trường;
Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan
(14)3 3 Nhiệm vụ nghiên cứu đề tài
Để thực mục đích trên, đề tài có nhiệm vụ sau:
- Khảo sát thực trạng quy trình, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường
- Phân tích câu hỏi trắc nghiệm khách quan đề thi sử dụng (căn vào kết trả lời trắc nghiệm sinh viên)
- Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan 4 Giới hạn, phạm vi nghiên cứu
Đề tài nghiên cứu phương pháp, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường;
Nghiên cứu, đánh giá câu hỏi trắc nghiệm khách quan số đề thi TNKQ sử dụng Trường, từ đề xuất quy trình chuẩn thiết kế đề thi TNKQ
5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài
5.1 Câu hỏi nghiên cứu
Hiện giảng viên Trường thiết kế đề thi TNKQ sở nào? Theo quy trình nào?
Các giảng viên có nắm quy trình thiết kế đề thi TNKQ hay khơng?
Đề thi giảng viên có đáp ứng yêu cầu kiểm tra đánh giá thành học tập hay không?
5.2 Giả thuyết nghiên cứu
Việc thiết kế đề thi TNKQ Nhà trường hồn tồn theo tính chủ quan giảng viên
Chất lượng câu hỏi, đề thi TNKQ giảng viên biên soạn khơng cao, khơng đánh giá xác lực sinh viên
6 Khách thể đối tƣợng nghiên cứu
6.1 Khách thể nghiên cứu
(15)4
Các thi TNKQ (kết thi TNKQ sinh viên làm)
6.2 Đối tượng nghiên cứu
Nghiên cứu cách thức, quy trình thiết kế đề thi TNKQ giảng viên Trường
7 Phƣơng pháp nghiên cứu
7.1 Nghiên cứu lý thuyết
Nghiên cứu tài liệu đo lường đánh giá giáo dục
7.2 Nghiên cứu thực nghiệm
Quan sát: quan sát trình thực đổi kiểm tra đánh giá giảng viên, trình thử nghiệm xây dựng ngân hàng câu hỏi TNKQ
Điều tra: phiếu hỏi vấn để tìm hiểu quy trình thiết kế đề thi TNKQ giảng viên Trường
Phân tích tổng kết kinh nghiệm
7.3 Phương pháp Toán học
Sử dụng phần mềm SPSS phân tích số liệu thống kê
Sử dụng phần mềm chuyên dụng Quest, ConQuest 8 Cấu trúc luận văn
Mở đầu
Chương Cơ sở lý luận tổng quan quy trình thiết kế đề thi
Chương Thực trạng quy trình thiết kế đề thi TNKQ trường Đại học Khoa học – Đại học Thái Nguyên
Chương Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ trường Đại học Khoa học
(16)5
DANH MỤC TÀI LIỆU THAM KHẢO A Tiếng Việt
1 Nguyễn Đức Chính (2002), Kiểm định chất lượng giáo dục đại học, Nhà xuất Đại học Quốc gia Hà Nội
2 Nguyễn Phụng Hoàng, Võ Ngọc Lan (1997), Phương pháp trắc nghiệm
kiểm tra đánh giá thành học tập, Nhà xuất Giáo dục
3 Nguyễn Công Khanh (2004), Đánh giá đo lường khoa học xã hội, NXB Chính trị Quốc gia Hà Nội
4 Nguyễn Công Khanh (2006), Thống kê mô tả, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
5 Nguyễn Công Khanh (2006), Thống kê suy luận, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
6 Nguyễn Phương Nga (2005), Giáo dục đại học, chất lượng đánh giá, Nhà xuất Đại học Quốc gia Hà Nội
7 Nguyễn Phương Nga, Nguyễn Quý Thanh (2007), Giáo dục đại học, số
thành tố chất lượng, Nhà xuất Đại học Quốc gia Hà Nội
8 Nguyễn Phương Nga, Lê Đức Ngọc (2007), Thiết kế đề thi đo lường kết
học tập, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
9 Lê Đức Ngọc (2004), Giáo dục đại học (Quan điểm giải pháp), Nhà xuất Đại học Quốc gia Hà Nội
10.Lê Đức Ngọc (2006), Lý thuyết đo lường xử lý số đo, Nhà xuất Đại học Quốc gia Hà Nội
11.Lê Đức Ngọc (2005), Đo lường đánh giá giáo dục, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
12.Lê Đức Ngọc (2005), Xây dựng cấu trúc đề thi biểu điểm, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
(17)6
14.Nguyễn Quý Thanh (2007), Đánh giá chương trình dự án, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
15.Phạm Xuân Thanh (2007), Lý thuyết đánh giá, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
16.Phạm Xuân Thanh (2006), Đo lường đánh giá giáo dục: Mơ hình
Rasch phân tích kết học tập, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
17.Phạm Xuân Thanh (2007), Thuyết mơ hình đáp ứng phân tích liệu
bằng phần mềm Quest, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục
18.Lâm Quang Thiệp (2000), Giáo dục học đại học, Nhà xuất Đại học Quốc gia Hà Nội
19.Lâm Quang Thiệp (1994), Những sở kỹ thuật trắc nghiệm, Nhà xuất Đại học Quốc gia Hà Nội
20.Dương Thiệu Tống (1995), Trắc nghiệm đo lường thành học tập, NXB Đại học Tổng hợp Thành phố Hồ Chí Minh
21.Dương Thiệu Tống (2005), Trắc nghiệm & đo lường thành học tập
(Phương pháp thực hành), NXB Khoa học xã hội
22.Dương Thiệu Tống (2000), Thống kê ứng dụng nghiên cứu khoa học
giáo dục, Nhà xuất ĐHQG Hà Nội
23.Trung tâm đảm bảo chất lượng đào tạo Nghiên cứu phát triển giáo dục (2003), Giáo dục đại học chất lượng đánh giá, NXB Quốc gia Hà Nội
B Tiếng Anh
24.Benjamin D Wright, Mark H Stone - Best Test Design (1979)- SMESA PRESSA, Chicago
25.Grondund, N.E (1998), Asseessment of student achievement Boston: Allyn and Bacorn
(18)7
27.Raymond J Adams, Siek-Toon Khoo (1993) - QUEST, The Interactive Test Analysis System - ACER, Australia
28.Ronald K Hambleton, H Swaminathan, H Jane Rogers (1991),