Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan tại khoa Khoa học Tự nhiên và Xã hội Đại học Thái Nguyên

Một trong những nội dung quan trọng nhằm nâng cao chất lượng giáo dục đại học chính là việc đổi mới phương pháp giảng dạy, trong đó có việc đổi mới về phương pháp kiểm [r]

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC

NGUYỄN TRƢỜNG SƠN

ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN

TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN

LUẬN VĂN THẠC SĨ

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC

NGUYỄN TRƢỜNG SƠN

ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN

TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN

Chuyên ngành: Đo lƣờng đánh giá giáo dục

(Chuyên ngành đào tạo thí điểm)

LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học: PGS.TS Lê Đức Ngọc

LỜI CẢM ƠN

Với lòng biết ơn sâu sắc, xin chân thành cảm ơn thầy giáo – PGS.TS Lê Đức Ngọc, người định hướng khoa học giúp đỡ suốt trình thực luận văn

Tơi xin bày tỏ lịng biết ơn tới:

Ban giám đốc Viện Đảm bảo chất lượng Giáo dục, thầy giáo tham gia giảng dạy khóa đào tạo Thạc sỹ Đo lường Đánh giá Giáo dục, anh chị bạn công tác học tập Viện Đảm bảo chất lượng Giáo dục – Đại học Quốc gia Hà Nội;

Ban giám hiệu trường Đại học Khoa học – Đại học Thái Nguyên, các giảng viên Khoa, Bộ môn, bạn bè đồng nghiệp;

Người thân gia đình ln giúp đỡ, động viên tơi hồn thành luận văn

Hà Nội, ngày 30 tháng 05 năm 2010

Tác giả

LỜI CAM ĐOAN Tôi là: Nguyễn Trường Sơn

Là học viên lớp cao học Đo lường Đánh giá giáo dục Khóa 2006 – 2009 (theo Quyết định công nhận học viên cao học số 1803/SĐH ngày 7/11/2006 Giám đốc Đại học Quốc gia Hà Nội)

Tôi xin cam đoan danh dự công trình khoa học tơi Nếu sai tơi xin hồn tồn chịu trách nhiệm

Hà Nội, ngày 30 tháng 05 năm 2010

Tác giả

i

MỤC LỤC

Trang

MỞ ĐẦU

1 Lý chọn đề tài

2 Mục đích nghiên cứu đề tài

3 Nhiệm vụ nghiên cứu đề tài

4 Giới hạn, phạm vi nghiên cứu

5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài

5.1 Câu hỏi nghiên cứu

5.2 Giả thuyết nghiên cứu

6 Khách thể đối tƣợng nghiên cứu

6.1 Khách thể nghiên cứu

6.2 Đối tượng nghiên cứu

7 Phƣơng pháp nghiên cứu

7.1 Nghiên cứu lý thuyết

7.2 Nghiên cứu thực nghiệm

7.3 Phương pháp Toán học

8 Cấu trúc luận văn

CHƢƠNG CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN

1.1 Lịch sử vấn đề nghiên cứu

1.1.1 Trên giới

1.1.2 Việt Nam

1.2 Các khái niệm đo lƣờng đánh giá giáo dục 1.3 Phƣơng pháp trắc nghiệm kiểm tra đánh giá 13

1.3.1 Kiểm tra đánh giá kết học tập 13 1.3.2 Mục đích, ý nghĩa việc kiểm tra, đánh giá KQHT 14 1.3.3 Phương pháp trắc nghiệm kiểm tra đánh giá 15 1.4 Quy trình xây dựng đề thi ngân hàng câu hỏi TNKQ 19

ii

1.4.2 Ngân hàng câu hỏi TNKQ 23

1.5 Kỹ thuật xây dựng câu hỏi TNKQ 23

1.5.1 Loại – sai (True or False) 24

1.5.2 Loại ghép đôi (Matching items) 25

1.5.3 Loại điền khuyết (Supply item) 26

1.5.4 Loại nhiều lựa chọn (Multi choice questions - MCQ) 28 1.5.5 So sánh trắc nghiệm khách quan trắc nghiệm tự luận 31 1.6 Phân tích đánh giá câu hỏi trắc nghiệm 33

1.6.1 Mục đích phân tích câu hỏi trắc nghiệm 33 1.6.2 Phương pháp phân tích câu hỏi theo lý thuyết khảo thí đại 33 1.6.3 Một số yêu cầu thống kê câu hỏi TNKQ 40

1.7 Kết luận chƣơng 44

CHƢƠNG THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ

TẠI TRƢỜNG ĐẠI HỌC KHOA HỌC – ĐHTN 45

2.1 Vài nét trƣờng Đại học Khoa học – Đại học Thái Nguyên 45 2.2 Thông tin chung giảng viên tham gia khảo sát 46 2.3 Thực trạng quy trình thiết kế đề thi TNKQ đơn vị 47 2.3.1 Thực trạng sử dụng phương pháp KTĐG 47 2.3.2 Thực trạng quy trình thiết kế đề thi TNKQ 49 2.3.3 Thực trạng phân tích xử lý kết thi 54

2.3.4 Thực trạng chất lượng đề thi 57

2.4 Kết luận chƣơng 64

CHƢƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƢỜNG ĐẠI HỌC KHOA HỌC - ĐHTN 65

3.1 Nguyên tắc đề xuất biện pháp 65

3.2 Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ

tại đơn vị 65

iii

3.4 Đánh giá chung GV tính khả thi hiệu

biện pháp triển khai 80

3.5 Kết luận chƣơng 3 82

KẾT LUẬN VÀ KIẾN NGHỊ 84

TÀI LIỆU THAM KHẢO 87

iv

CÁC CHỮ CÁI VIẾT TẮT TRONG LUẬN VĂN

CNTT Công nghệ thông tin

Disc Chỉ số độ phân biệt

ĐHKH Đại học Khoa học

ĐHQG HN Đại học Quốc gia Hà Nội

ĐHTN Đại học Thái Nguyên

ĐLĐG Đo lường đánh giá

ĐBCLĐT&NCPTGD Đảm bảo chất lượng đào tạo nghiên cứu phát triển giáo dục

GV Giảng viên

GD&ĐT Giáo dục Đào tạo

IRT Lý thuyết hồi đáp

IRF Hàm đáp ứng câu hỏi

KĐCL Kiểm định chất lượng

KHKT Khoa học kỹ thuật

KQHT Kết học tập

KT, ĐG Kiểm tra, đánh giá

MCQ Câu hỏi nhiều lựa chọn

NCKH Nghiên cứu khoa học

NHCH Ngân hàng câu hỏi

NXB Nhà xuất

TL Tự luận

TNKQ Trắc nghiệm khách quan

v

DANH MỤC CÁC BẢNG

Tên bảng Trang

Bảng chƣơng

Bảng 1.1 Bảng trọng số cho nội dung cần đánh giá 22 Bảng 1.2 So sánh phương pháp TNKQ TNTL 32 Bảng chƣơng

Bảng 2.1 Tỷ lệ phương pháp mà GV sử dụng 48 Bảng 2.2 Nhận thức GV hiệu phương pháp KTĐG 49

Bảng 2.3 Tỷ lệ GV phân tích độ khó 55

Bảng 2.4 Tỷ lệ GV phân tích độ phân biệt 56 Bảng 2.5 Thơng tin kết tính tốn câu hỏi học phần

KHMTĐC 61

Bảng 2.6 Thông tin kết tính tốn lực thí sinh 61 Bảng chƣơng

Bảng 3.1 Bảng trọng số học phần “Sinh lý thực vật” 68 Bảng 3.2 Kết thi thử nghiệm học phần “Sinh lý thực vật” 70 Bảng 3.3 Thơng tin kết tính tốn câu hỏi 73 Bảng 3.4 Thông tin kết tính tốn lực thí sinh 76

vi

DANH MỤC CÁC HÌNH

Tên hình Trang

Hình chƣơng

Hình 1.1 Tóm lược phương pháp trắc nghiệm 16

Hình 1.2 Quy trình xây dựng đề thi TNKQ 20

Hình 1.3 Các loại câu hỏi TNKQ 24

Hình 1.4 Hàm đáp ứng câu hỏi (IRF) 36

Hình 1.5 Đường cong trả lời theo mơ hình Rasch 38 Hình chƣơng

Hình 2.1 Số lượng tỷ lệ giảng viên tham gia khảo sát 46 Hình 2.2 Số năm kinh nghiệm giảng dạy giảng viên 47 Hình 2.3 Khó khăn thiết kế câu hỏi TNKQ chuẩn 52

Hình 2.4 Thời gian soạn câu hỏi TNKQ 53

Hình 2.5 Tỷ lệ GV phân tích câu hỏi thi 55

Hình 2.6 Tỷ lệ GV bồi dưỡng phân tích câu hỏi thi 56 Hình 2.7 Sự phân bố lực chuẩn 50 thí sinh 58 Hình 2.8 Kết thi học phần Xã hội học đại cương 58 Hình 2.9 Kết thi học phần Giải tích A1 59 Hình 2.10 Sự phân bố lực thí sinh với độ khó câu

hỏi tốt 60

Hình 2.11 Sự phân bố 50 câu hỏi học phần KHMTĐC 62 Hình 2.12 Ma trận so sánh lực thí sinh với độ khó câu

hỏi thi 63

Hình chƣơng

Hình 3.1 Kết thi thử nghiệm học phần “Sinh lý thực vật” 70 Hình 3.2 Sự phân bố 50 câu hỏi đo lực thí sinh

học phần “Sinh lý thực vật” 72

vii

DANH MỤC CÁC PHỤ LỤC

Tên phụ lục Trang

Phụ lục chƣơng

Phụ lục 2.1 Phiếu điều tra khảo sát thực trạng quy trình thiết kế

đề thi TNKQ 90

Phụ lục 2.2 Đề thi kết thúc học phần Xã hội học đại cương 93 Phụ lục 2.3 Đề thi kết thúc học phần Giải tích A1 101 Phụ lục 2.4 Đề thi kết thúc học phần Khoa học môi trường đại

cương 105

Phụ lục chƣơng Phụ lục 3.1

Danh sách báo cáo viên CBGV tham dự bỗi dưỡng quy trình kỹ thuật xây dựng đề thi TNKQ, cách xử lý kết thi

112

Phụ lục 3.2 Danh sách nhóm GV tham gia xây dựng thiết kế

1 MỞ ĐẦU 1 Lý chọn đề tài

Hiện chất lượng giáo dục trở thành mối quan tâm chung toàn xã hội, đặc biệt chất lượng giáo dục đại học Trong nguồn lực sở đào tạo hạn chế, chưa đủ đáp ứng kịp thời việc tăng nhanh quy mơ loại hình đào tạo vấn đề chất lượng đào tạo giáo dục đại học điểm nóng cần quan tâm

Một nội dung quan trọng nhằm nâng cao chất lượng giáo dục đại học việc đổi phương pháp giảng dạy, có việc đổi phương pháp kiểm tra đánh giá kết học tập người học Có thể nói việc kiểm tra đánh giá hoạt động thiếu q trình dạy học Thơng qua kiểm tra đánh giá trình độ nhận thức, kỹ năng, kỹ xảo người học phát sai sót, lỗ hổng kiến thức… từ giúp giáo viên học sinh tự điều chỉnh hoạt động dạy hoạt động học

Theo cách thức thực hệ thống câu hỏi trình dạy học, lý luận giáo dục xem xét kiểm tra đánh nhóm phương pháp dạy học Từ xưa tới kiểm tra đánh giá kết học tập người học nói chung thường sử dụng hình thức thi chủ yếu là: thi viết (tự luận) thi vấn đáp Thực tế, hai hình thức chưa kiểm tra, đánh giá đầy đủ kiến thức học người học cách nhanh gọn, toàn diện khách quan Thi viết (tự luận) thi vấn đáp, phạm vi đề hạn chế kiến thức, kỳ thi học kỳ thi tốt nghiệp nội dung đề khơng thâu tóm, khơng bao qt hết chương trình mơn học khơng đánh giá xác lực người học Mặt khác, hai hình thức thi cịn hạn chế tính khách quan, giáo viên thường huy động kiến thức một chương để đề thi, dễ dẫn đến học sinh học tủ, học lệch, quay cóp…

2

hố hoạt động học tập người học… Trên sở nắm kiến thức đo lường đánh giá giáo dục, cần tiến hành xây dựng ngân hàng câu hỏi trắc nghiệm (gồm câu hỏi TNKQ tự luận) chuẩn hố cho mơn học Sử dụng ngân hàng này, người học tự ơn tập kiểm tra kiến thức, giáo viên sử dụng để kiểm tra đánh giá học sinh Để làm điều này, phải việc đào tạo đội ngũ chuyên gia đánh giá giáo dục bồi dưỡng kiến thức khoa học đo lường đánh giá giáo dục cho giáo viên cấp học, bậc học

Công đổi phương pháp giảng dạy trường đại học đặc biệt quan tâm, giảng viên tập huấn đổi phương pháp giảng dạy, phương pháp kiểm tra đánh giá, nhiên hiệu chưa cao Sử dụng ngân hàng câu hỏi thi trắc nghiệm khách quan trường khuyến khích, nhiên đa số câu hỏi trắc nghiệm khách quan giảng viên tự biên soạn chưa theo quy trình, đặc biệt câu hỏi sau sử dụng khơng phân tích, đánh giá nên đề thi/ kiểm tra chưa chuẩn chất lượng khơng cao

Trước tình vậy, tơi chọn đề tài luận văn: “Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan Khoa Khoa học Tự nhiên Xã hội (nay trƣờng Đại học Khoa học) – Đại học Thái Nguyên” Kết nghiên cứu luận văn tài liệu cần thiết góp phần vào q trình nâng cao chất lượng hiệu việc biên soạn thiết kế đề thi trắc nghiệm khách quan đơn vị, đồng thời giúp đưa giải pháp nhằm nâng cao kỹ giảng viên việc thiết kế câu hỏi TNKQ dùng để kiểm tra đánh giá kết học tập sinh viên

2 Mục đích nghiên cứu đề tài

 Đánh giá quy trình hiệu việc thiết kế sử dụng đề thi trắc nghiệm khách quan Nhà trường;

 Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan

3 3 Nhiệm vụ nghiên cứu đề tài

Để thực mục đích trên, đề tài có nhiệm vụ sau:

- Khảo sát thực trạng quy trình, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường

- Phân tích câu hỏi trắc nghiệm khách quan đề thi sử dụng (căn vào kết trả lời trắc nghiệm sinh viên)

- Đưa quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan 4 Giới hạn, phạm vi nghiên cứu

 Đề tài nghiên cứu phương pháp, cách thức thiết kế đề thi trắc nghiệm khách quan giảng viên Trường;

 Nghiên cứu, đánh giá câu hỏi trắc nghiệm khách quan số đề thi TNKQ sử dụng Trường, từ đề xuất quy trình chuẩn thiết kế đề thi TNKQ

5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu đề tài

5.1 Câu hỏi nghiên cứu

 Hiện giảng viên Trường thiết kế đề thi TNKQ sở nào? Theo quy trình nào?

 Các giảng viên có nắm quy trình thiết kế đề thi TNKQ hay khơng?

 Đề thi giảng viên có đáp ứng yêu cầu kiểm tra đánh giá thành học tập hay không?

5.2 Giả thuyết nghiên cứu

 Việc thiết kế đề thi TNKQ Nhà trường hồn tồn theo tính chủ quan giảng viên

 Chất lượng câu hỏi, đề thi TNKQ giảng viên biên soạn khơng cao, khơng đánh giá xác lực sinh viên

6 Khách thể đối tƣợng nghiên cứu

6.1 Khách thể nghiên cứu

4

 Các thi TNKQ (kết thi TNKQ sinh viên làm)

6.2 Đối tượng nghiên cứu

 Nghiên cứu cách thức, quy trình thiết kế đề thi TNKQ giảng viên Trường

7 Phƣơng pháp nghiên cứu

7.1 Nghiên cứu lý thuyết

 Nghiên cứu tài liệu đo lường đánh giá giáo dục

7.2 Nghiên cứu thực nghiệm

 Quan sát: quan sát trình thực đổi kiểm tra đánh giá giảng viên, trình thử nghiệm xây dựng ngân hàng câu hỏi TNKQ

 Điều tra: phiếu hỏi vấn để tìm hiểu quy trình thiết kế đề thi TNKQ giảng viên Trường

 Phân tích tổng kết kinh nghiệm

7.3 Phương pháp Toán học

 Sử dụng phần mềm SPSS phân tích số liệu thống kê

 Sử dụng phần mềm chuyên dụng Quest, ConQuest 8 Cấu trúc luận văn

Mở đầu

Chương Cơ sở lý luận tổng quan quy trình thiết kế đề thi

Chương Thực trạng quy trình thiết kế đề thi TNKQ trường Đại học Khoa học – Đại học Thái Nguyên

Chương Một số biện pháp nâng cao hiệu quy trình thiết kế đề thi TNKQ trường Đại học Khoa học

5

DANH MỤC TÀI LIỆU THAM KHẢO A Tiếng Việt

1 Nguyễn Đức Chính (2002), Kiểm định chất lượng giáo dục đại học, Nhà xuất Đại học Quốc gia Hà Nội

2 Nguyễn Phụng Hoàng, Võ Ngọc Lan (1997), Phương pháp trắc nghiệm

kiểm tra đánh giá thành học tập, Nhà xuất Giáo dục

3 Nguyễn Công Khanh (2004), Đánh giá đo lường khoa học xã hội, NXB Chính trị Quốc gia Hà Nội

4 Nguyễn Công Khanh (2006), Thống kê mô tả, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

5 Nguyễn Công Khanh (2006), Thống kê suy luận, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

6 Nguyễn Phương Nga (2005), Giáo dục đại học, chất lượng đánh giá, Nhà xuất Đại học Quốc gia Hà Nội

7 Nguyễn Phương Nga, Nguyễn Quý Thanh (2007), Giáo dục đại học, số

thành tố chất lượng, Nhà xuất Đại học Quốc gia Hà Nội

8 Nguyễn Phương Nga, Lê Đức Ngọc (2007), Thiết kế đề thi đo lường kết

học tập, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

9 Lê Đức Ngọc (2004), Giáo dục đại học (Quan điểm giải pháp), Nhà xuất Đại học Quốc gia Hà Nội

10.Lê Đức Ngọc (2006), Lý thuyết đo lường xử lý số đo, Nhà xuất Đại học Quốc gia Hà Nội

11.Lê Đức Ngọc (2005), Đo lường đánh giá giáo dục, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

12.Lê Đức Ngọc (2005), Xây dựng cấu trúc đề thi biểu điểm, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

6

14.Nguyễn Quý Thanh (2007), Đánh giá chương trình dự án, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

15.Phạm Xuân Thanh (2007), Lý thuyết đánh giá, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

16.Phạm Xuân Thanh (2006), Đo lường đánh giá giáo dục: Mơ hình

Rasch phân tích kết học tập, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

17.Phạm Xuân Thanh (2007), Thuyết mơ hình đáp ứng phân tích liệu

bằng phần mềm Quest, Tài liệu giảng khóa đào tạo Thạc sĩ Đo lường Đánh giá giáo dục

18.Lâm Quang Thiệp (2000), Giáo dục học đại học, Nhà xuất Đại học Quốc gia Hà Nội

19.Lâm Quang Thiệp (1994), Những sở kỹ thuật trắc nghiệm, Nhà xuất Đại học Quốc gia Hà Nội

20.Dương Thiệu Tống (1995), Trắc nghiệm đo lường thành học tập, NXB Đại học Tổng hợp Thành phố Hồ Chí Minh

21.Dương Thiệu Tống (2005), Trắc nghiệm & đo lường thành học tập

(Phương pháp thực hành), NXB Khoa học xã hội

22.Dương Thiệu Tống (2000), Thống kê ứng dụng nghiên cứu khoa học

giáo dục, Nhà xuất ĐHQG Hà Nội

23.Trung tâm đảm bảo chất lượng đào tạo Nghiên cứu phát triển giáo dục (2003), Giáo dục đại học chất lượng đánh giá, NXB Quốc gia Hà Nội

B Tiếng Anh

24.Benjamin D Wright, Mark H Stone - Best Test Design (1979)- SMESA PRESSA, Chicago

25.Grondund, N.E (1998), Asseessment of student achievement Boston: Allyn and Bacorn

7

27.Raymond J Adams, Siek-Toon Khoo (1993) - QUEST, The Interactive Test Analysis System - ACER, Australia

28.Ronald K Hambleton, H Swaminathan, H Jane Rogers (1991),