đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm tại khoa công nghệ thông tin

báo cáo về đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm tại khoa công nghệ thông tin

LỜI CAM ĐOAN Tôi xin cam đoan phần nghiên cứu thực Các số liệu, kết luận nghiên cứu trình bày luận văn chưa công bố nghiên cứu khác Tôi xin chịu trách nhiệm nghiên cứu mình! Thái Nguyên, ngày 20 tháng năm 2009 Tác giả Nguyễn Anh Tuấn LỜI CẢM ƠN Tác giả xin bày tỏ lịng biết ơn sâu sắc đến PGS.TS Nguyễn Cơng Khanh hướng dẫn chu đáo, nhiệt tình suốt trình thực luận văn Xin chân thành cảm ơn thầy, cô giáo Trung tâm Đảm bảo chất lượng đào tạo & Nghiên cứu phát triển giáo dục - Đại học Quốc gia Hà Nội tạo điều kiện thuận lợi cho tác giả thời gian học tập nghiên cứu trường Xin chân thành cảm ơn Lãnh đạo Khoa Công nghệ thông tin - Đại học Thái Nguyên, đồng nghiệp tạo điều kiện thuận lợi cho tác giả trình tiến hành thực nghiệm đề tài Xin chân thành cảm ơn người thân gia đình, bạn bè, đồng nghiệp giúp đỡ, động viên tác giả q trình thực hồn thành luận văn! MỤC LỤC Trang Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục chữ viết tắt Danh mục bảng Danh mục hình MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu Giới hạn nghiên cứu Phương pháp nghiên cứu Chương CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 1.1 Các khái niệm chất lượng đề thi trắc nghiệm 11 1.1.1 Các công cụ đo lường đánh giá kết học tập 11 1.1.2 Trắc nghiệm vấn đề liên quan 13 1.1.3 Độ tin cậy câu hỏi trắc nghiệm 19 1.1.4 Độ giá trị (hiệu lực) câu hỏi trắc nghiệm 24 1.2 Quy trình xây dựng đề thi trắc nghiệm khách quan 26 1.2.1 Các quy tắc viết câu hỏi trắc nghiệm nhiều lựa chọn 26 1.2.2 Xây dựng bảng trọng số môn học 31 1.2.3 Xây dựng ngân hàng đề thi trắc nghiệm môn học 32 Chương PHƯƠNG PHÁP NGHIÊN CỨU 2.1 Những định hướng, trọng tâm nghiên cứu 34 2.1.1 Chuyên đề nghiên cứu thứ 34 2.1.2 Chuyên đề nghiên cứu thứ hai 34 2.1.3 Chuyên đề nghiên cứu thứ ba 35 2.2 Thiết kế mẫu phiếu điều tra giáo viên 35 Chương XỬ LÝ SỐ LIỆU KẾT QUẢ THI TRẮC NGHIỆM 3.1 Xử lý số liệu kết thi TNKQ 39 3.1.1 Phân tích độ khó item 39 3.1.2 Phân tích độ phân biệt item 40 3.1.3 Đánh giá độ tin cậy trắc nghiệm 42 3.1.4 Xử lý số liệu đề thi mơ hình QUEST 48 3.1.5 Kết luận độ giá trị đề 52 3.2 Xử lý số liệu mẫu phiếu hỏi giảng viên 52 3.2.1 Đánh giá độ tin cậy công cụ đo (mẫu phiếu hỏi) 52 3.2.2 Đánh giá độ giá trị công cụ đo phù hợp mơ hình yếu tố ảnh hưởng đến chất lượng đề thi TNKQ qua xử lý phiếu hỏi 62 3.3 Kết luận yếu tố ảnh hưởng đến việc xây dựng đề TNKQ 62 KẾT LUẬN, ĐỀ XUẤT GIẢI PHÁP, KIẾN NGHỊ 4.1 Kết luận 71 4.2 Đề xuất giải pháp 73 TÀI LIỆU THAM KHẢO 74 PHỤ LUC Phụ lục File liệu mon01.Itn 75 Phụ lục File liệu mon01.map 77 Phụ lục Mẫu phiếu hỏi khảo sát giảng viên 81 DANH MỤC CÁC CHỮ VIẾT TẮT TT VIẾT TẮT ĐỌC LÀ ĐHTN Đại học Thái Nguyên GD Giáo dục GD – ĐT Giáo dục - đào tạo GV Giảng viên HS Học sinh KT – ĐG Kiểm tra đánh giá MCQ Câu hỏi nhiều lựa chọn NXB Nhà xuất SV Sinh viên 10 TNKQ Trắc nghiệm khách quan DANH MỤC BẢNG Trang Bảng 1.1: Ví dụ bảng trọng số đề thi hết học phần gồm 60 câu trắc nghiệm 32 Bảng 3.1: Kết phân tích độ tin cậy (Reliability Analysis Alpha) toàn trắc nghiệm đề số 44 Bảng 3.2: Các thông số độ tin cậy (Reliability Statistics) 46 Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s 50 đề trắc nghiệm 46 Bảng 3.4: Phân bố tương quan độ khó đề lực học sinh 49 Bảng 3.5: Phân bố item khoảng cho phép (infit mean square) 50 Bảng 3.6: Các thông số đo lường item file mon1.itn 51 Bảng 3.7: Hệ số tin cậy item mẫu 50 giáo viên (N = 50) 55 Bảng 3.8: Ma trận tương quan item qua xử lý phiếu hỏi 57 Bảng 3.9: Ma trận phân bố item phiếu hỏi file Phieu.map 60 Bảng 3.10: Phân bố item phiếu hỏi khoảng cho phép (infit mean square) 61 DANH MỤC HÌNH Trang Hình 1.1: Sơ đồ phương pháp kiểm tra - đánh giá 12 Hình 3.1: Thủ tục Analyze \ Scale \ Reliability file SPSS.sav 54 Hình 3.2: Phân bố thống kê biến “diem.ptn” 64 Hình 3.3: Biểu đồ phân chia mức Recode biến “diem.ptn” 65 Hình 3.4: Thủ tục Transform \ Recode \ Into Same Variables 66 Hình 3.5: Thủ tục Transform \ Recode \ Into Same Variables nhóm biến 65 Hình 3.6: Biểu đồ phân bố biến “chl.de” mẫu kết thi 50 đề TNKQ 66 Hình 3.7: Phân bố mức biến “chl.de” sau Recode 67 Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs) 68 Hình 3.9: Kết bảng chéo Crosstabs hai biến“diem.ptn.nhom” “chl.de.nhom” 70 MỞ ĐẦU Lý chọn đề tài Để nâng cao chất lượng giảng dạy đại học, việc đánh giá xác kết học tập sinh viên vấn đề quan trọng Trong thực trạng giáo dục đại học nhiều tiêu cực bất cập nay, việc áp dụng hình thức thi, kiểm tra trắc nghiệm khách quan biện pháp có hiệu cho phép đánh giá tương đối xác kết học tập sinh viên Khoa Công nghệ thông tin - Đại học Thái Nguyên trường đại học khác tích cực áp dụng hình thức thi trắc nghiệm khách quan cho khoảng 40% tổng số môn học, coi biện pháp nhằm đổi phương pháp kiểm tra đánh giá, nâng cao chất lượng giáo dục Tuy nhiên thực tế xảy chất lượng đề thi trắc nghiệm khách quan chưa bảo đảm độ giá trị độ tin cậy Do tơi lựa chọn đề tài “Đánh giá yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm khách quan Khoa Công nghệ thông tin - Đại học Thái Nguyên” Thực tế việc xây dựng đề thi trắc nghiệm khách quan giao cho nhóm giáo viên phụ trách môn học thực Các giáo viên xây dựng đề hầu hết theo kinh nghiệm chủ quan mình, chưa trang bị đầy đủ kiến thức kỹ thiết kế đề thi trắc nghiệm Các đề thi giáo viên soạn thảo đưa vào ứng dụng trực tiếp, khơng qua q trình thử nghiệm đánh giá Chính phân bố điểm thi khơng thể tính chuẩn, cịn có nhiều câu hỏi chất lượng Như biết, chưa có cơng trình nghiên cứu cụ thể vấn đề Vì chưa có kết luận xác độ tin cậy, độ giá trị đề thi trắc nghiệm khách quan yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Thực đề tài này, mong muốn đánh giá thực chất độ giá trị, độ tin cậy đề thi trắc nghiệm khách quan Nhà trường yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm, từ giải pháp khắc phục Mục đích nghiên cứu đề tài Nghiên cứu hướng đến mục tiêu sau: - Đánh giá độ tin cậy đề thi trắc nghiệm khách quan - Đánh giá độ giá trị đề thi trắc nghiệm khách quan - Nghiên cứu yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Giới hạn nghiên cứu đề tài Đề tài giới hạn việc nghiên cứu, đánh giá độ tin cậy, độ giá trị 50 đề thi trắc nghiệm khách quan sử dụng Khoa CNTT ĐHTN Nghiên cứu yếu tố ảnh hưởng đến việc xây dựng đề thi trắc nghiệm 50 giáo viên thông qua xử lý phiếu điều tra ý kiến kết hợp xử lý số liệu kết thi môn học tương ứng Phương pháp nghiên cứu Câu hỏi nghiên cứu / giả thiết nghiên cứu Câu hỏi nghiên cứu đặt là: “Những yếu tố ảnh hưởng đến trình xây dựng đề trắc nghiệm” Các giả thiết nghiên cứu đặt yếu tố ảnh hưởng trực tiếp đến chất lượng đề: 1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo viên dùng để nghiên cứu tài liệu biên soạn đề thi, quỹ thời gian nhà trường dành cho việc 2- Động người thực hiện: Là yếu tố say mê, hứng thú cá nhân giáo viên hay đơn giản phải hoàn thành nhiệm vụ 3- Mức độ người đề trang bị kỹ thuật thiết kế đề trắc nghiệm: Thể mức độ tập huấn, tự nghiên cứu kỹ thuật xây dựng đề thi trắc nghiệm 4- Sự quan tâm nhà trường: Thể khuyến khích, động viên tinh thần hay vật chất cụ thể 5- Tính chất nhóm mơn học: Là đặc thù nhóm mơn học đến việc đề trắc nghiệm (phù hợp hay khó thực hiện) Khách thể đối tượng nghiên cứu Khách thể nghiên cứu số liệu kết thi 50 đề trắc nghiệm khách quan Khoa CNTT giáo viên trực tiếp xây dựng đề Đối tượng nghiên cứu yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm Phương pháp tiếp cận nghiên cứu Phương pháp khảo cứu lý thuyết: Nghiên cứu quy định triển khai thực việc thi trắc nghiệm xây dựng ngân hàng thi trắc nghiệm Bộ GD&ĐT; Các lý thuyết đo lường đánh giá giáo dục Phương pháp điều tra khảo sát: Thực qua hai bước nghiên cứu sơ nghiên cứu thức - Nghiên cứu sơ bộ: Thực thông qua phương pháp định tính, sử dụng kỹ thuật thảo luận nhóm để bổ sung mơ hình - Nghiên cứu thức: Thực thông qua phương pháp nghiên cứu định lượng, sử dụng kỹ thuật thu thập thông tin qua việc vấn, lấy phiếu điều tra đối tượng giáo viên Mục đích nghiên cứu để sàng lọc biến quan sát, xác định thành phần giá trị độ tin cậy thang đo kiểm định mơ hình lý thuyết Phương pháp lấy ý kiến chuyên gia: Tham khảo ý kiến chuyên gia có kinh nghiệm giáo dục đại học đo lường đánh giá giáo dục Phương pháp thống kê toán học: Thu thập xử lý số liệu (gồm kết môn thi trắc nghiệm phiếu điều tra giáo viên đề thi trắc nghiệm) trình nghiên cứu phần mềm SPSS QUEST 10 Ta có biểu đồ phân bố biến “chl.de” với thông số “mean”, “ Std.dev” hình vẽ chl.de 12 10 Frequency Mean = 0.642 Std Dev = 0.16596 N = 50 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00 chl.de Hình 3.6: Biểu đồ phân bố biến “chl.de” mẫu kết thi 50 đề TNKQ Từ đồ thị phân bố biến “chl.de” ta nhận thơng số - Giá trị trung bình (mean) = 0.642 lấy tròn 0.64 - Độ lệch chuẩn (Standar Devian) = 0.165 lấy tròn 0.16 - Mức thấp biến có giá trị nhỏ 0.64 – 0.16 = 0.48 - Mức cao biến có giá trị lớn 0.64 + 0.16 = 0.80 67 - Mức trung bình nằm hai giá trị 0.48 0.80 Như ta có phân bố mức Recode lại biến “chl.de” theo hình sau Hình 3.7: Phân bố mức biến “chl.de” sau Recode Sau dùng thủ tục Transform \ Recode \ Into Same Variables nhóm biến Ta có biến “chl.de.nhom” - Chất lượng đề nhóm Sau Recode biến, ta quay lại bảng số liệu SPSS để khai báo lại biến - Trong Sheet Variable chọn Variable view Chọn biến “chl.de.nhom” - Trong mục giá trị (cột Values), kích vào nút bên phải, xuất bảng Values Labels Khai báo thuộc tính nhãn - Ơ value: Nhập 1, Value Label nhập nhãn: “Nhóm đề chất lượng ” \ Add - Ơ value: Nhập 2, Value Label nhập nhãn: “Nhóm đề chất lượng trung bình” \ Add - Ơ value: Nhập 1, Value Label nhập nhãn: “Nhóm đề chất lượng cao” \ Ok 68 Bằng cách phân nhóm khai báo lại nhãn cho biến ta có hai biến mang đặc trưng hai biến ban đầu phân bố theo nhóm điểm số thang đo Vấn đề đặt tìm mối quan hệ giãư hai biến theo phân bố nhóm Áp dụng thủ tục Bảng chéo (Crosstabulation) SPSS ta có kết luận mối tương quan Từ menu chọn Statistics \ Summaries \ Crosstabs Sau nhấn nút reset để phục hồi mặc định hộp thoại chọn: Row : “diem.ptn.nhom” Colum : “chl.de.nhom” Statistic… Tích vào hộp Chi – square hộp Crrelations Cell Counts tích vào hộp Observed hộp Total Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs) 69 Trong Output thủ tục ta có bảng chéo Crosstabs Hình 3.9: Kết bảng chéo Crosstabs hai biến “diem.ptn.nhom” “chl.de.nhom” Nhìn vào bảng ta kết luận: - Trong 50 mẫu phiếu hỏi có 10 mẫu phiếu cho điểm số thấp, chiếm 20%, đó: + 03 phiếu ứng với người có đề chất lương kém, chiếm 30% nhóm + 03 phiếu ứng với người có đề chất lượng vừa, chiếm 30% nhóm + 04 phiếu ứng với người có chất lượng đề cao, chiếm 40% nhóm - Trong 50 mẫu phiếu có 30 mẫu cho điểm số trung bình, chiếm 60% tổng số mẫu, đó: 70 + 05 phiếu ứng với người có chất lượng đề kém, chiếm 16,7% nhóm + 21 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% nhóm + 04 phiếu ứng với người có chất lượng đề cao, chiếm 13,3% nhóm - Trong 50 mẫu phiếu hỏi có 10 mẫu cho điểm số cao, chiếm 20% nhóm mẫu, đó: + 07 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% nhóm + 03 phiếu ứng với người có chất lượng đề tốt, chiếm 30% nhóm Kết luận: - Bảng chéo Crosstabs cho ta thấy mối quan hệ tương đối nhóm hai mẫu biến “chl.de.nhom” “diem.ptn.nhom” - Các phân tích tương quan thuận hai biến “chl.de” “diem.ptn” - Một số phân bố không theo quy luật “điểm phiếu trắc nghiệm thấp lại người có đề chất lượng cao” Điều giải thích số lượng mẫu nghiên cứu chưa đủ lớn (50 mẫu), có người trả lời phiếu trắc nghiệm không trung thực (điều xảy thực tế) yếu tố chủ quan khách quan 71 KẾT LUẬN VÀ ĐỀ NGHỊ A KẾT LUẬN Với nghiên cứu phân tích trên, chúng tơi kết luận - Chất lượng đề thi TNKQ đánh giá nhiều yếu tố theo nhiều góc độ xem xét khác Tuy nhiên, yếu tố mang tính định lượng có ý nghĩa đặc trưng dùng để đánh giá chất lượng trắc nghiệm “độ tin cậy” tính hệ số Cronbach’s Alpha Các trắc nghiệm cho hệ số tin cậy Cronbach’s Alpha lớn có chất lượng tốt ngược lại - Mơ hình yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm mà luận văn đưa mẫu phiếu hỏi giáo viên phù hợp Trắc nghiệm cho độ tin cậy chung cao tương quan item phiếu hỏi mức đáng tin cậy - Điểm lượng hoá phiếu hỏi (sau Recode biến) đặc trưng cho thuận lợi yếu tố ảnh hưởng đến người đề Qua phân tích, ta thấy điểm phiếu hỏi cao tương ứng với giáo viên có yếu tố thuận lợi cho việc đề thi TNKQ ngược lại, điểm phiếu hỏi thấp ứng với giáo viên có yếu tố thuận lợi cho việc đề - Có tương quan chặt chẽ điểm số phiếu hỏi với chất lượng đề thi nghiệm thể (trừ số trường hợp ngoại lệ) Điều cho thấy qua phân tích phiếu hỏi dự đốn xác chất lượng đề thi mà cá nhân chịu trách nhiệm biên soạn - Qua đánh giá yếu tố ảnh hưởng đến chất lượng đề thi TNKQ, thấy yếu tố ảnh hưởng lớn đến chất lượng đề thi việc trang bị kỹ thuật đề thi TNKQ cho giáo viên (16 item / tổng số 30 item phiếu hỏi) 72 B ĐỀ NGHỊ Từ nghiên cứu phân tích chúng tơi mạnh dạn đề xuất số giải pháp nhằm nâng cao chất lượng đề thi TNKQ sau - Đầu tư thời gian, kinh phí tập huấn cho đội ngũ giáo viên Bộ môn lý thuyết đo lường, đánh giá kết học tập, trọng đến kỹ thuật soạn thảo câu hỏi TNKQ - Triển khai xây dựng ngân hàng câu hỏi TNKQ theo quy trình thống tồn trường, có quản lý giám sát phận chun trách - Tăng cường cơng tác khảo thí, xây dựng đội ngũ cán khảo thí có chun mơn vững làm nhiệm vụ tư vấn xây dựng đánh giá trực tiếp chất lượng ngân hàng đề thi TNKQ nhà trường - Nhanh chóng áp dụng phần mềm đề thi tự động, phần mềm thi TNKQ trực tiếp máy tính Áp dụng kỹ thuật xử lý số liệu có trợ giúp máy tính phân tích, đánh giá chất lượng đề thi - Xây dựng môi trường tương tác làm việc (trên mạmg internet) phận khảo thí với giáo viên mơn cho giáo viên dễ dàng đánh giá đề thi cập nhật sửa đổi ngân hàng câu hỏi thi TNKQ có quản lý trung tâm khảo thí - Nhà trường cần có quan tâm thích đáng vật chất tinh thần giáo viên có áp dụng thi TNKQ, coi việc đổi phương pháp kiểm tra đánh giá khâu nhằm đổi phương pháp giảng dạy, nâng cao chất lượng đào tạo 73 TÀI LIỆU THAM KHẢO Tiếng Việt 1- Nguyễn Phụng Hoàng (2003), Phương pháp trắc nghiệm kiểm tra đánh giá thành học tập NXB Giáo dục 2- Phạm Viết Vượng (2006), Giáo dục học NXB ĐHQGHN 3- Nguyễn Công Khanh (2004), Đánh giá đo lường khoa học xã hội NXB Chính trị quốc gia 4- Nguyễn Công Khanh (2001), Ứng dụng SPSS FOR WINDOWS: Xử lý phân tích liệu NXB ĐHQGHN 5- Lê Đức Ngọc (2003), Bài giảng đo lường đánh giá thành học tập giáo dục Đại học Quốc gia Hà Nội 6- Phạm Minh Hạc, Trần Kiều, Đặng Bá Lãm, Nghiêm Đình Vỹ (2002), Giáo dục giới vào kỉ XXI, NXB Chính trị Quốc gia - Dương Thiệu Tống (2004), Phương pháp nghiên cứu khoa học giáo dục tâm lí, NXB Giáo dục Tiếng Anh 8- Taylo & Francis Grup (2003), Quality in Higher Education 9- Jemes H.McMillan (2001), Classroom assessment, Virginia Commonwealth University 10- Norman E Grounlund (2003), Constructing Achivement Tets 11- Peggy O’Neill (2009), Guide to College Writing Assessment, Utah State University Press 12- Claire Wyatt – Smith (2009), Assessment in the 21st century, Griffith University Australia 74 PHỤ LỤC Phụ lục 1: File liệu mon01.Itn QUEST: The Interactive Test Analysis System Item Analysis Results for Observed Responses 21/12/ 14:30 all on mon01 (N = 52 L = 60 Probability Level= 50) Item 1: item Infit MNSQ = 1.06 Disc = 19 Categories missing Count 47 Percent (%) 9.6 90.4 Pt-Biserial -.18 18 p-value 097 097 Mean Ability 66 1.14 NA Step Labels Thresholds -1.32 Error 48 Item 2: item Infit MNSQ = 1.02 Disc = 14 Categories missing Count 50 Percent (%) 3.8 96.2 Pt-Biserial -.14 14 p-value 161 161 Mean Ability 59 1.12 NA Step Labels Thresholds -2.32 Error 73 Item 3: item Infit MNSQ = 1.22 Disc = 00 Categories missing Count 24 28 Percent (%) 46.2 53.8 Pt-Biserial 00 00 p-value 499 499 Mean Ability 1.08 1.11 NA Step Labels Thresholds 92 Error 29 Item 4: item Infit MNSQ = 1.07 Disc = 19 Categories missing Count 15 37 Percent (%) 28.8 71.2 Pt-Biserial -.19 19 p-value 086 086 Mean Ability 90 1.18 NA Step Labels Thresholds 10 Error 32 Item 5: item Infit MNSQ = 95 Disc = 36 Categories missing Count 43 Percent (%) 17.3 82.7 Pt-Biserial -.36 36 p-value 005 005 75 Mean Ability 54 1.21 NA Step Labels Thresholds -.61 Error 38 Item 6: item Infit MNSQ = 1.05 Disc = 22 Categories missing Count 19 33 Percent (%) 36.5 63.5 Pt-Biserial -.22 22 p-value 058 058 Mean Ability 85 1.24 NA Step Labels Thresholds 49 Error 30 Item 7: item Infit MNSQ = 97 Disc = 31 Categories missing Count 45 Percent (%) 13.5 86.5 Pt-Biserial -.31 31 p-value 013 013 Mean Ability 54 1.18 NA Step Labels Thresholds -.92 Error 42 Item 8: item Infit MNSQ = 1.40 Disc = -.28 Categories missing Count 35 17 Percent (%) 67.3 32.7 Pt-Biserial 28 -.28 p-value 023 023 Mean Ability 1.24 79 Step Labels NA Thresholds 1.88 Error 31 Item 9: item Infit MNSQ = 1.11 Disc = 12 Categories missing Count 44 Percent (%) 15.4 84.6 Pt-Biserial -.12 12 p-value 196 196 Mean Ability 85 1.14 NA Step Labels Thresholds -.76 Error 40 76 Phụ lục 2: File liệu mon01.map QUEST: The Interactive Test Analysis System -21/12/ 14:30 all on mon01 (N = 54 L = 60 Probability Level= 50) -Data File = MON01.DAT Data Format = NAME ITEMS 9-68 Log file = LOG not on Page Width = 132 Page Length = 65 Screen Width = 78 Screen Length = 24 Probability level = 50 Maximum number of cases set at 60000 VALID DATA CODES GROUPS all ( 54 cases ) : All cases SCALES all ( 60 items ) : All items mon01 ( 60 items ) : 1-60 DELETED AND ANCHORED CASES: No case deletes or anchors DELETED AND ANCHORED ITEMS: No item deletes or anchors RECODES -all on mon01 (N = 54 L = 60 Probability Level= 50) -Summary of item Estimates Mean 00 SD 1.05 SD (adjusted) 98 Reliability of estimate 87 Fit Statistics Infit Mean Square Outfit Mean Square Mean 1.00 Mean 95 SD 14 SD 24 Infit t Outfit t Mean 13 Mean -.04 SD 1.14 SD 90 items with zero scores items with perfect scores -all on mon01 (N = 54 L = 60 Probability Level= 50) -Summary of case Estimates Mean 1.10 SD 71 SD (adjusted) 63 Reliability of estimate 79 Fit Statistics Infit Mean Square Outfit Mean Square Mean 99 Mean 95 SD 19 SD 32 Infit t Outfit t Mean SD 09 1.20 Mean SD -.03 1.03 cases with zero scores cases with perfect scores ============================================================================================== 77 QUEST: The Interactive Test Analysis System -21/12/ 14:30 all on mon01 (N = 54 L = 60 Probability Level= 50) 3.0 | | | | NANG LUC CAO | DO KHO CAO X | | XX | XX | 44 2.0 | 15 37 48 XXXX | XX | 45 X | 23 XXXXXX | X | | | XXXXXXXXX | 30 53 1.0 XXX | XXX | 32 40 X | XXX | 14 22 26 35 XXXXXX | 24 XXX | | 21 50 54 | 49 57 | 20 36 X | 11 25 31 39 55 59 X | 13 | XX | 17 43 | 51 58 | 33 41 | 52 56 | 16 19 46 60 | X | -1.0 | | 18 28 29 34 38 47 | | 12 42 | | 27 | | | 10 -2.0 | | | NANG LUC THAP | DO KHO THAP | | | | | -3.0 | -Each X represents students QUEST: The Interactive Test Analysis System 78 Item Fit 21/12/ 14:30 all on mon01 (N = 54 L = 60 Probability Level= 50) -INFIT MNSQ 63 67 71 77 83 91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 + -+ -+ -+ -+ -+ -+ -+ -+ -+ item | * item | * item | * item | * item * | item | * item * | item | * item | * 10 item 10 * | 11 item 11 * | 12 item 12 * | 13 item 13 * | 14 item 14 | * 15 item 15 | * 16 item 16 |* 17 item 17 * | 18 item 18 * | 19 item 19 * | 20 item 20 * | 21 item 21 |* 22 item 22 | * 23 item 23 | * 24 item 24 *| 25 item 25 *| 26 item 26 * | 27 item 27 * | 28 item 28 |* 29 item 29 * 30 item 30 * | 31 item 31 * | 32 item 32 * | 33 item 33 * | 34 item 34 | * 35 item 35 * | 36 item 36 * | 37 item 37 | * 38 item 38 * | 39 item 39 * | 40 item 40 | * 41 item 41 * | 42 item 42 * | 43 item 43 * | 44 item 44 * | 45 item 45 | * 46 item 46 * | 47 item 47 * | 48 item 48 * | 49 item 49 * | 50 item 50 * | 51 item 51 | * 52 item 52 * | 53 item 53 * | 54 item 54 * | 55 item 55 * | 56 item 56 *| 57 item 57 | * 58 item 58 |* 59 item 59 | * 60 item 60 *| 79 Phụ lục 3: Mẫu phiếu khảo sát giảng viên đề thi PHIẾU KHẢO SÁT GIẢNG VIÊN RA ĐỀ THI TNKQ Họ tên giảng viên: Tuổi .Giới tính Thâm niên giảng dạy Môn học đảm nhiệm giảng dạy: Trình độ: Anh (Chị) đọc kỹ phát biểu đánh dấu X vào số phù hợp theo chọn lựa cá nhân = Hồn tồn khơng / hồn tồn khơng đồng ý = Cơ không / không đồng ý = Đúng phần / đồng ý phần/ phân vân = Cơ / đồng ý = Hoàn toàn / hoàn toàn đồng ý Mức độ Nội dung đánh giá Stt I Yếu tố thời gian dành cho công việc Tôi đầu tư nhiều thời gian cho việc đề thi TNKQ Nhà trường bố trí thời gian đủ cho giáo viên xây dựng đề thi TNKQ Tôi áp dụng thử đề thi trước thi kết thúc môn học II Động người thực Tôi thực hứng thú việc áp dụng phương pháp thi TNKQ Tơi dành thời gian tìm hiểu kỹ thi TNKQ Tôi chủ động áp dụng việc thi TNKQ mơn học giảng dạy Tôi cho thi TNKQ không cần thiết Tôi nhận thấy thi TNKQ tiện lợi khoa học III Mức độ nắm vững kỹ thuật đề TNKQ giảng viên Bộ đề thi TNKQ dùng để đánh giá SV thiết kế theo ma trận kiến thức môn học giảng dạy 10 Bộ đề thi TNKQ tơi thiết kế phân loại sinh viên theo lực học 11 Bộ đề thi TNKQ tơi thiết kế khơng q khó, phù hợp với lực học trung bình sinh viên 12 Tơi hiểu rõ câu hỏi trả lời câu hỏi đề thi mà khơng cần tới đáp án 13 Tơi tập huấn kiến thức kỹ thuật đề thi TNKQ 80 14 Các câu hỏi đề thi phù hợp với thời lượng nội dung đề cương chi tiết môn học 15 Số lượng câu hỏi đề thi phân bố nội dung bao quát chương trình mơn học 16 Tơi bỏ nhiều thời gian để tự nghiên cứu kỹ thuật đề thi TNKQ 17 Tôi trao đổi nội dung đề thi TNKQ nhóm giảng viên Bộ môn 18 Bộ đề thi TNKQ thiết kế chung cho nhóm mơn học Bộ môn 19 Sau lần thi thường đánh giá chất lượng đề (các đặc tính đo lường) để bổ sung chỉnh sửa đề thi 20 Tôi thiết kế đề thi TNKQ chủ yếu dựa kinh nghiêm cá nhân 21 Tôi chưa nắm kỹ thuật phân tích item 22 Tơi chưa nắm lý thuyết hồi đáp IRT 23 Tôi biết sử dụng phần mêm SPSS để đánh giá độ tin cậy 24 Tôi biết sử dụng phần mêm Quest Conquest để phân tích item IV Sự quan tâm nhà trường 25 Nhà trường khuyến khích việc áp dụng thi TNKQ 26 Xây dựng đề thi TNKQ coi tiêu chuẩn nhằm đánh giá đổi phương pháp giảng dạy 27 Nhà trường có hỗ trợ kinh phí thích đáng cho việc xây dựng đề thi TNKQ V Tính chất nhóm môn học 28 Môn học giảng dạy phù hợp với việc thi TNKQ 29 Tôi cho đề thi TNKQ phù hợp với số môn học 30 Tơi cho tính chất nhóm mơn học có ảnh hưởng đáng kể đến chất lượng đề thi TNKQ 31 Anh chị giảng dạy mơn học thuộc nhóm nào? a Nhóm Tốn, Lý, Hố c Nhóm Ngoại ngữ b Nhóm Văn, Chính trị xã hội d Nhóm mơn Kỹ thuật 32 Theo anh chị, yếu tố (trong nhóm yếu tố trên) có ảnh hưởng lớn đến trình đề thi TNKQ giảng viên? 33 Anh chị có kinh nghiệm đề thi TNKQ: ……………………………………………………………………………………… Xin chân thành cảm ơn! 81 ... độ giá trị độ tin cậy Do lựa chọn đề tài ? ?Đánh giá yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm khách quan Khoa Công nghệ thông tin - Đại học Thái Nguyên” Thực tế việc xây dựng đề thi trắc. .. giá độ tin cậy đề thi trắc nghiệm khách quan - Đánh giá độ giá trị đề thi trắc nghiệm khách quan - Nghiên cứu yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Giới hạn nghiên cứu đề tài Đề tài... vấn đề Vì chưa có kết luận xác độ tin cậy, độ giá trị đề thi trắc nghiệm khách quan yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Thực đề tài này, mong muốn đánh giá thực chất độ giá trị, độ tin