Đánh giá các yếu tố ảnh hưởng đến quá trình xây dựng bộ đề thi trắc nghiệm khách quan tại khoa công nghệ thông tin đh thái nguyên

ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC _ Nguyễn Anh Tuấn ĐÁNH GIÁ CÁC YẾU TỐ ẢNH HƢỞNG ĐẾN QUÁ TRÌNH XÂY DỰNG CÁC BỘ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA CÔNG NGHỆ THÔNG TIN - ĐH THÁI NGUYÊN LUẬN VĂN THẠC SĨ Hà Nội – 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI VIÊN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC Nguyễn Anh Tuấn ĐÁNH GIÁ CÁC YẾU TỐ ẢNH HƢỞNG ĐẾN QUÁ TRÌNH XÂY DỰNG CÁC BỘ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA CÔNG NGHỆ THÔNG TIN - ĐH THÁI NGUYÊN Chuyên ngành: Đo lƣờng đánh giá giáo dục (Chuyên ngành đào tạo thí điểm) LUẬN VĂN THẠC SĨ Ngƣời hƣớng dẫn khoa học: PGS.TS Nguyễn Công Khanh Hà Nội - 2010 LỜI CAM ĐOAN Tôi xin cam đoan phần nghiên cứu thực Các số liệu, kết luận nghiên cứu trình bày luận văn chưa công bố nghiên cứu khác Tôi xin chịu trách nhiệm nghiên cứu mình! Thái Nguyên, ngày 20 tháng năm 2009 Tác giả Nguyễn Anh Tuấn LỜI CẢM ƠN Tác giả xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS Nguyễn Công Khanh hướng dẫn chu đáo, nhiệt tình suốt trình thực luận văn Xin chân thành cảm ơn thầy, cô giáo Trung tâm Đảm bảo chất lượng đào tạo & Nghiên cứu phát triển giáo dục - Đại học Quốc gia Hà Nội tạo điều kiện thuận lợi cho tác giả thời gian học tập nghiên cứu trường Xin chân thành cảm ơn Lãnh đạo Khoa Công nghệ thông tin - Đại học Thái Nguyên, đồng nghiệp tạo điều kiện thuận lợi cho tác giả trình tiến hành thực nghiệm đề tài Xin chân thành cảm ơn người thân gia đình, bạn bè, đồng nghiệp giúp đỡ, động viên tác giả trình thực hoàn thành luận văn! MỤC LỤC Trang Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục chữ viết tắt Danh mục bảng .6 Danh mục hình MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu Giới hạn nghiên cứu Phương pháp nghiên cứu .9 Chƣơng CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 1.1 Các khái niệm chất lượng đề thi trắc nghiệm 11 1.1.1 Các công cụ đo lường đánh giá kết học tập 11 1.1.2 Trắc nghiệm vấn đề liên quan 13 1.1.3 Độ tin cậy câu hỏi trắc nghiệm 19 1.1.4 Độ giá trị (hiệu lực) câu hỏi trắc nghiệm 24 1.2 Quy trình xây dựng đề thi trắc nghiệm khách quan 26 1.2.1 Các quy tắc viết câu hỏi trắc nghiệm nhiều lựa chọn 26 1.2.2 Xây dựng bảng trọng số môn học 31 1.2.3 Xây dựng ngân hàng đề thi trắc nghiệm môn học 32 Chƣơng PHƢƠNG PHÁP NGHIÊN CỨU 2.1 Những định hướng, trọng tâm nghiên cứu 34 2.1.1 Chuyên đề nghiên cứu thứ 34 2.1.2 Chuyên đề nghiên cứu thứ hai 34 2.1.3 Chuyên đề nghiên cứu thứ ba 35 2.2 Thiết kế mẫu phiếu điều tra giáo viên 35 Chƣơng XỬ LÝ SỐ LIỆU KẾT QUẢ THI TRẮC NGHIỆM 3.1 Xử lý số liệu kết thi TNKQ 39 3.1.1 Phân tích độ khó item 39 3.1.2 Phân tích độ phân biệt item 40 3.1.3 Đánh giá độ tin cậy trắc nghiệm 42 3.1.4 Xử lý số liệu đề thi mô hình QUEST 48 3.1.5 Kết luận độ giá trị đề 52 3.2 Xử lý số liệu mẫu phiếu hỏi giảng viên 52 3.2.1 Đánh giá độ tin cậy công cụ đo (mẫu phiếu hỏi) 52 3.2.2 Đánh giá độ giá trị công cụ đo phù hợp mô hình yếu tố ảnh hưởng đến chất lượng đề thi TNKQ qua xử lý phiếu hỏi 62 3.3 Kết luận yếu tố ảnh hưởng đến việc xây dựng đề TNKQ 62 KẾT LUẬN, ĐỀ XUẤT GIẢI PHÁP, KIẾN NGHỊ 4.1 Kết luận 71 4.2 Đề xuất giải pháp 73 TÀI LIỆU THAM KHẢO 74 PHỤ LUC Phụ lục File liệu mon01.Itn 75 Phụ lục File liệu mon01.map 77 Phụ lục Mẫu phiếu hỏi khảo sát giảng viên 81 DANH MỤC CÁC CHỮ VIẾT TẮT VIẾT TẮT TT ĐỌC LÀ ĐHTN Đại học Thái Nguyên GD Giáo dục GD – ĐT Giáo dục - đào tạo GV Giảng viên HS Học sinh KT – ĐG Kiểm tra đánh giá MCQ Câu hỏi nhiều lựa chọn NXB Nhà xuất SV Sinh viên 10 TNKQ Trắc nghiệm khách quan DANH MỤC BẢNG Trang Bảng 1.1: Ví dụ bảng trọng số đề thi hết học phần gồm 60 câu trắc nghiệm 32 Bảng 3.1: Kết phân tích độ tin cậy (Reliability Analysis Alpha) toàn trắc nghiệm đề số 44 Bảng 3.2: Các thông số độ tin cậy (Reliability Statistics) 46 Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s 50 đề trắc nghiệm 46 Bảng 3.4: Phân bố tương quan độ khó đề lực học sinh 49 Bảng 3.5: Phân bố item khoảng cho phép (infit mean square) 50 Bảng 3.6: Các thông số đo lường item file mon1.itn 51 Bảng 3.7: Hệ số tin cậy item mẫu 50 giáo viên (N = 50) 55 Bảng 3.8: Ma trận tương quan item qua xử lý phiếu hỏi 57 Bảng 3.9: Ma trận phân bố item phiếu hỏi file Phieu.map 60 Bảng 3.10: Phân bố item phiếu hỏi khoảng cho phép (infit mean square) 61 DANH MỤC HÌNH Trang Hình 1.1: Sơ đồ phương pháp kiểm tra - đánh giá 12 Hình 3.1: Thủ tục Analyze \ Scale \ Reliability file SPSS.sav 54 Hình 3.2: Phân bố thống kê biến “diem.ptn” 64 Hình 3.3: Biểu đồ phân chia mức Recode biến “diem.ptn” 65 Hình 3.4: Thủ tục Transform \ Recode \ Into Same Variables 66 Hình 3.5: Thủ tục Transform \ Recode \ Into Same Variables nhóm biến 65 Hình 3.6: Biểu đồ phân bố biến “chl.de” mẫu kết thi 50 đề TNKQ 66 Hình 3.7: Phân bố mức biến “chl.de” sau Recode 67 Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs) 68 Hình 3.9: Kết bảng chéo Crosstabs hai biến“diem.ptn.nhom” “chl.de.nhom” 70 MỞ ĐẦU Lý chọn đề tài Để nâng cao chất lượng giảng dạy đại học, việc đánh giá xác kết học tập sinh viên vấn đề quan trọng Trong thực trạng giáo dục đại học nhiều tiêu cực bất cập nay, việc áp dụng hình thức thi, kiểm tra trắc nghiệm khách quan biện pháp có hiệu cho phép đánh giá tương đối xác kết học tập sinh viên Khoa Công nghệ thông tin - Đại học Thái Nguyên trường đại học khác tích cực áp dụng hình thức thi trắc nghiệm khách quan cho khoảng 40% tổng số môn học, coi biện pháp nhằm đổi phương pháp kiểm tra đánh giá, nâng cao chất lượng giáo dục Tuy nhiên thực tế xảy chất lượng đề thi trắc nghiệm khách quan chưa bảo đảm độ giá trị độ tin cậy Do lựa chọn đề tài “Đánh giá yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm khách quan Khoa Công nghệ thông tin - Đại học Thái Nguyên” Thực tế việc xây dựng đề thi trắc nghiệm khách quan giao cho nhóm giáo viên phụ trách môn học thực Các giáo viên xây dựng đề hầu hết theo kinh nghiệm chủ quan mình, chưa trang bị đầy đủ kiến thức kỹ thiết kế đề thi trắc nghiệm Các đề thi giáo viên soạn thảo đưa vào ứng dụng trực tiếp, không qua trình thử nghiệm đánh giá Chính phân bố điểm thi tính chuẩn, có nhiều câu hỏi chất lượng Như biết, chưa có công trình nghiên cứu cụ thể vấn đề Vì chưa có kết luận xác độ tin cậy, độ giá trị đề thi trắc nghiệm khách quan yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Thực đề tài này, mong muốn đánh giá thực chất độ giá trị, độ tin cậy đề thi trắc nghiệm khách quan Nhà trường yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm, từ giải pháp khắc phục Mục đích nghiên cứu đề tài Nghiên cứu hướng đến mục tiêu sau: - Đánh giá độ tin cậy đề thi trắc nghiệm khách quan - Đánh giá độ giá trị đề thi trắc nghiệm khách quan - Nghiên cứu yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Giới hạn nghiên cứu đề tài Đề tài giới hạn việc nghiên cứu, đánh giá độ tin cậy, độ giá trị 50 đề thi trắc nghiệm khách quan sử dụng Khoa CNTT - ĐHTN Nghiên cứu yếu tố ảnh hưởng đến việc xây dựng đề thi trắc nghiệm 50 giáo viên thông qua xử lý phiếu điều tra ý kiến kết hợp xử lý số liệu kết thi môn học tương ứng Phƣơng pháp nghiên cứu Câu hỏi nghiên cứu / giả thiết nghiên cứu Câu hỏi nghiên cứu đặt là: “Những yếu tố ảnh hưởng đến trình xây dựng đề trắc nghiệm” Các giả thiết nghiên cứu đặt yếu tố ảnh hưởng trực tiếp đến chất lượng đề: 1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo viên dùng để nghiên cứu tài liệu biên soạn đề thi, quỹ thời gian nhà trường dành cho việc 2- Động người thực hiện: Là yếu tố say mê, hứng thú cá nhân giáo viên hay đơn giản phải hoàn thành nhiệm vụ 3- Mức độ người đề trang bị kỹ thuật thiết kế đề trắc nghiệm: Thể mức độ tập huấn, tự nghiên cứu kỹ thuật xây dựng đề thi trắc nghiệm 4- Sự quan tâm nhà trường: Thể khuyến khích, động viên tinh thần hay vật chất cụ thể 5- Tính chất nhóm môn học: Là đặc thù nhóm môn học đến việc đề trắc nghiệm (phù hợp hay khó thực hiện) Khách thể đối tượng nghiên cứu Khách thể nghiên cứu số liệu kết thi 50 đề trắc nghiệm khách quan Khoa CNTT giáo viên trực tiếp xây dựng đề Đối tượng nghiên cứu yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm Phương pháp tiếp cận nghiên cứu Phương pháp khảo cứu lý thuyết: Nghiên cứu quy định triển khai thực việc thi trắc nghiệm xây dựng ngân hàng thi trắc nghiệm Bộ GD&ĐT; Các lý thuyết đo lường đánh giá giáo dục Phương pháp điều tra khảo sát: Thực qua hai bước nghiên cứu sơ nghiên cứu thức - Nghiên cứu sơ bộ: Thực thông qua phương pháp định tính, sử dụng kỹ thuật thảo luận nhóm để bổ sung mô hình - Nghiên cứu thức: Thực thông qua phương pháp nghiên cứu định lượng, sử dụng kỹ thuật thu thập thông tin qua việc vấn, lấy phiếu điều tra đối tượng giáo viên Mục đích nghiên cứu để sàng lọc biến quan sát, xác định thành phần giá trị độ tin cậy thang đo kiểm định mô hình lý thuyết 3 Phương pháp lấy ý kiến chuyên gia: Tham khảo ý kiến chuyên gia có kinh nghiệm giáo dục đại học đo lường đánh giá giáo dục Phương pháp thống kê toán học: Thu thập xử lý số liệu (gồm kết môn thi trắc nghiệm phiếu điều tra giáo viên đề thi trắc nghiệm) trình nghiên cứu phần mềm SPSS QUEST TÀI LIỆU THAM KHẢO Tiếng Việt 1- Nguyễn Phụng Hoàng (2003), Phương pháp trắc nghiệm kiểm tra đánh giá thành học tập NXB Giáo dục 2- Phạm Viết Vượng (2006), Giáo dục học NXB ĐHQGHN 3- Nguyễn Công Khanh (2004), Đánh giá đo lường khoa học xã hội NXB Chính trị quốc gia 4- Nguyễn Công Khanh (2001), Ứng dụng SPSS FOR WINDOWS: Xử lý phân tích liệu NXB ĐHQGHN 5- Lê Đức Ngọc (2003), Bài giảng đo lường đánh giá thành học tập giáo dục Đại học Quốc gia Hà Nội 6- Phạm Minh Hạc, Trần Kiều, Đặng Bá Lãm, Nghiêm Đình Vỹ (2002), Giáo dục giới vào kỉ XXI, NXB Chính trị Quốc gia - Dương Thiệu Tống (2004), Phương pháp nghiên cứu khoa học giáo dục tâm lí, NXB Giáo dục Tiếng Anh 8- Taylo & Francis Grup (2003), Quality in Higher Education 9- Jemes H.McMillan (2001), Classroom assessment, Virginia Commonwealth University 10- Norman E Grounlund (2003), Constructing Achivement Tets 11- Peggy O’Neill (2009), Guide to College Writing Assessment, Utah State University Press 12- Claire Wyatt – Smith (2009), Assessment in the 21 st century, Griffith University Australia [...]... - Đánh giá độ giá trị của bộ đề thi trắc nghiệm khách quan - Nghiên cứu các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm 3 Giới hạn nghiên cứu của đề tài Đề tài giới hạn trong việc nghiên cứu, đánh giá độ tin cậy, độ giá trị của 50 bộ đề thi trắc nghiệm khách quan đã được sử dụng tại Khoa CNTT - ĐHTN Nghiên cứu các yếu tố ảnh hưởng đến việc xây dựng đề thi trắc nghiệm của 50 giáo viên thông qua... hiện đề tài này, chúng tôi mong muốn sẽ đánh giá được thực chất về độ giá trị, độ tin cậy của các bộ đề thi trắc nghiệm khách quan của Nhà trường cũng như các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm, từ đó chỉ ra được các giải pháp khắc phục 2 Mục đích nghiên cứu của đề tài Nghiên cứu này hướng đến những mục tiêu như sau: - Đánh giá độ tin cậy của bộ đề thi trắc nghiệm khách quan - Đánh. .. tinh thần hay vật chất cụ thể 5- Tính chất các nhóm môn học: Là đặc thù của nhóm môn học đến việc ra đề trắc nghiệm (phù hợp hay khó thực hiện) Khách thể và đối tượng nghiên cứu Khách thể nghiên cứu là số liệu kết quả thi của 50 bộ đề trắc nghiệm khách quan tại Khoa CNTT và các giáo viên trực tiếp xây dựng các bộ đề đó Đối tượng nghiên cứu là các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm. .. lý số liệu kết quả thi của các môn học tương ứng 4 Phƣơng pháp nghiên cứu Câu hỏi nghiên cứu / giả thi t nghiên cứu Câu hỏi nghiên cứu được đặt ra là: “Những yếu tố nào ảnh hưởng đến quá trình xây dựng các bộ đề trắc nghiệm Các giả thi t nghiên cứu được đặt ra là các yếu tố ảnh hưởng trực tiếp đến chất lượng các bộ đề: 1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo viên dùng để... học và đo lường đánh giá trong giáo dục 4 Phương pháp thống kê toán học: Thu thập và xử lý số liệu (gồm kết quả các môn thi trắc nghiệm và phiếu điều tra đối với giáo viên ra đề thi trắc nghiệm) trong quá trình nghiên cứu bằng các phần mềm SPSS và QUEST TÀI LIỆU THAM KHẢO Tiếng Việt 1- Nguyễn Phụng Hoàng (2003), Phương pháp trắc nghiệm trong kiểm tra và đánh giá thành quả học tập NXB Giáo dục 2- Phạm... tài liệu và biên soạn đề thi, quỹ thời gian của nhà trường dành cho việc này 2- Động cơ của người thực hiện: Là các yếu tố như sự say mê, hứng thú của cá nhân các giáo viên hay đơn giản là phải hoàn thành nhiệm vụ 3- Mức độ người ra đề được trang bị kỹ thuật thi t kế đề trắc nghiệm: Thể hiện ở mức độ được tập huấn, tự nghiên cứu về kỹ thuật xây dựng đề thi trắc nghiệm 4- Sự quan tâm của nhà trường:... nghiên cứu 1 Phương pháp khảo cứu lý thuyết: Nghiên cứu các quy định về triển khai thực hiện việc thi trắc nghiệm và xây dựng ngân hàng thi trắc nghiệm của Bộ GD&ĐT; Các lý thuyết về đo lường đánh giá trong giáo dục 2 Phương pháp điều tra khảo sát: Thực hiện qua hai bước chính là nghiên cứu sơ bộ và nghiên cứu chính thức - Nghiên cứu sơ bộ: Thực hiện thông qua phương pháp định tính, sử dụng kỹ thuật thảo... hiện thông qua phương pháp nghiên cứu định lượng, sử dụng kỹ thuật thu thập thông tin qua việc phỏng vấn, lấy phiếu điều tra trên các đối tượng giáo viên Mục đích nghiên cứu này là để sàng lọc các biến quan sát, xác định thành phần cũng như giá trị độ tin cậy của thang đo và kiểm định mô hình lý thuyết 3 Phương pháp lấy ý kiến chuyên gia: Tham khảo ý kiến của các chuyên gia có kinh nghiệm trong giáo... (2006), Giáo dục học NXB ĐHQGHN 3- Nguyễn Công Khanh (2004), Đánh giá và đo lường trong khoa học xã hội NXB Chính trị quốc gia 4- Nguyễn Công Khanh (2001), Ứng dụng SPSS FOR WINDOWS: Xử lý và phân tích dữ liệu NXB ĐHQGHN 5- Lê Đức Ngọc (2003), Bài giảng đo lường và đánh giá thành quả học tập trong giáo dục Đại học Quốc gia Hà Nội 6- Phạm Minh Hạc, Trần Kiều, Đặng Bá Lãm, Nghiêm Đình Vỹ (2002), Giáo dục... Chính trị Quốc gia 7 - Dương Thi u Tống (2004), Phương pháp nghiên cứu trong khoa học giáo dục và tâm lí, NXB Giáo dục Tiếng Anh 8- Taylo & Francis Grup (2003), Quality in Higher Education 9- Jemes H.McMillan (2001), Classroom assessment, Virginia Commonwealth University 10- Norman E Grounlund (2003), Constructing Achivement Tets 11- Peggy O’Neill (2009), Guide to College Writing Assessment, Utah State ... CHẤT LƢỢNG GIÁO DỤC Nguyễn Anh Tuấn ĐÁNH GIÁ CÁC YẾU TỐ ẢNH HƢỞNG ĐẾN QUÁ TRÌNH XÂY DỰNG CÁC BỘ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA CÔNG NGHỆ THÔNG TIN - ĐH THÁI NGUYÊN Chuyên... cứu hướng đến mục tiêu sau: - Đánh giá độ tin cậy đề thi trắc nghiệm khách quan - Đánh giá độ giá trị đề thi trắc nghiệm khách quan - Nghiên cứu yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Giới... nghiệm khách quan chưa bảo đảm độ giá trị độ tin cậy Do lựa chọn đề tài Đánh giá yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm khách quan Khoa Công nghệ thông tin - Đại học Thái Nguyên