Nghiên cứu đặc tính câu hỏi dùng để kiểm tra đánh giá môn học mạng máy tính tại trường đại học kỹ thuật hậu cần CAND

ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC TRẦN ANH CHẤT NGHIÊN CỨU ĐẶC TÍNH CÂU HỎI DÙNG ĐỂ KIỂM TRA ĐÁNH GIÁ MÔN HỌC MẠNG MÁY TÍNH TẠI TRƯỜNG ĐH KỸ THUẬT - HẬU CẦN CAND LUẬN VĂN THẠC SĨ Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC TRẦN ANH CHẤT NGHIÊN CỨU ĐẶC TÍNH CÂU HỎI DÙNG ĐỂ KIỂM TRA ĐÁNH GIÁ MÔN HỌC MẠNG MÁY TÍNH TẠI TRƯỜNG ĐH KỸ THUẬT - HẬU CẦN CAND Chuyên ngành: Đo lường đánh giá giáo dục Mã số: 60140120 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: PGS.TS Hoàng Bá Thịnh Hà Nội - 2014 LỜI CẢM ƠN Lời cho phép em bầy tỏ lòng biết ơn tới thầy giáo PGS.TS Hồng Bá Thịnh người tận tình hướng dẫn em hoàn thành đề tài luận văn tốt nghiệp Đồng thời, em cảm ơn quý thầy, cô Viện Đảm bảo chất lượng – Đại học Quốc gia Hà Nội trang bị cho em kiến thức quý báu suốt thời gian học vừa qua với bảo nhiệt tình ý kiến đóng góp đáng q thầy, thời gian em thực luận văn tốt nghiệp Cuối cùng, xin gửi lời cảm ơn chân thành tới đồng nghiệp trường ĐH Kỹ thuật – Hậu cần CAND, bạn bè thân thiết đặc biệt gia đình em, người ln động viên, khích lệ em suốt q trình học tập chương trình cao học Đo lường Đánh giá giáo dục Một lần nữa, em xin trân trọng cảm ơn ! LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi thực Các số liệu, kết luận nghiên cứu trình bày luận văn trung thực chưa công bố nghiên cứu khác Tôi xin chịu trách nhiệm nghiên cứu Học viên Trần Anh Chất MỤC LỤC MỤC LỤC DANH MỤC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, BẢNG BIỂU PHẦN MỞ ĐẦU 1 Giới thiệu chung 1.1 Lý chọn đề tài 1.2 Mục đích nghiên cứu đề tài 1.3 Giới hạn nghiên cứu đề tài Phương pháp nghiên cứu 2.1 Câu hỏi giả thuyết nghiên cứu 2.2 Nhiệm vụ nghiên cứu 2.3 Khách thể đối tượng nghiên cứu 2.4 Phương pháp nghiên cứu 2.5 Phương pháp Toán học 2.6 Phạm vi thời gian khảo sát 2.7 Cấu trúc luận văn Chương 1: TỔNG QUAN VÀ CƠ SỞ LÝ LUẬN Tổng quan công trình nghiên cứu ngồi nước 1.1 Các nghiên cứu nước 1.2 Các nghiên cứu Việt Nam Một số khái niệm KTĐG 13 2.1 Khái niệm Đo lường – Đánh giá – Định giá trị 13 2.2 Khái niệm Thi - Kiểm tra 15 2.3 Kết học tập – Mục tiêu dạy học 16 2.4 Đánh giá kết học tập 17 Ý nghĩa việc kiểm tra – đánh giá 18 Trắc nghiệm vấn đề liên quan 18 4.1 Các công cụ đo lường kết học tập 18 4.2 Trắc nghiệm vấn đề liên quan 19 4.2 So sánh trắc nghiệm khách quan trắc nghiệm tự luận 31 4.3 Đánh giá trắc nghiệm khách quan loại câu hỏi nhiều lựa chọn 32 4.4 Qui trình tổ chức kiểm tra đánh giá 40 4.5 Chuẩn hoá câu hỏi trắc nghiệm phần mềm chuyên dụng QUEST 42 4.6.Cơ sở lý thuyết mơ hình Rasch Ngân hàng câu hỏi Trắc nghiệm khách quan kiểm tra đánh giá 5.1.Ngân hàng câu hỏi trắc nghiệm khách quan 5.2.Sử dụng ngân hàng câu hỏi trắc nghiệm khách quan Chương 2: CÁC ĐẶC TÍNH CÂU HỎI VÀ XÂY DỰNG NGÂN HÀNG CÂU HỎI TNKQ MƠN MẠNG MÁY TÍNH 1.Đặc tính câu hỏi 1.1.Các đặc tính chung câu hỏi trắc n 1.2.Đặc tính phần câu dẫn câu hỏi trắ 1.3.Đặc tính với câu lựa chọn câu 1.4.Các quy tắc để viết câu hỏi trắc nghiệm nhiều lựa chọn 1.5.Những gợi ý chuẩn bị câu hỏi 2.Thực trạng kiểm tra đánh giá trường Đại học Kỹ thuật – Hậu cần CA 2.1.Phương pháp nghiên cứu thực trạng 2.2.Thực trạng sử dụng TNKQ KT thuật – Hậu cần CAND 2.3.Kết luận Chương trình mơn Mạng máy tính 3.1.Chương trình mơn học: 3.2.Ma trận đề thi 4.Biên soạn câu hỏi Chương 3: KẾT QUẢ NGHIÊN CỨU 1.Dữ liệu để phân tích 2.Kết chạy chương trình 2.1.Sự phù hợp câu hỏi thi 2.2.Phân bố độ khó câu hỏi thi lự 2.3.Phân tích câu hỏi theo tiêu chí 3.Kết luận KẾT LUẬN 1.Kết luận khoa học 2.Đề xuất khuyến nghị 3.Hạn chế đề tài TÀI LIỆU THAM KHẢO PHỤ LỤC DANH MỤC TỪ VIẾT TẮT TNKQ : Trắc nghiệm khách quan TL : Tự luận CAND : Công an nhân dân THPT : Trung học phổ thông KTĐG : Kiểm tra đánh giá ĐH : Đại học TN : Trắc nghiệm TNTL : Trắc nghiệm tự luận SV :Sinh viên HV :Học viên DANH MỤC CÁC HÌNH VẼ, BẢNG BIỂU Hình 1: Các phương pháp kiểm tra – đánh giá 18 Hình 2: Hàm đáp ứng câu hỏi 44 Hình 3: Đồ thị đường cong đặc trưng 45 Hình 4:Đồ thị biểu thị xác suất trả lời câu hỏi 74 Hình 5:Biểu đồ biểu thị xác suất trả lời câu hỏi 34 74 Hình 6:Biểu đồ biểu thị xác suất trả lời câu hỏi 22 75 Bảng 1: So sánh trắc nghiệm khách quan trắc nghiệm tự luận 32 Bảng 2:Bảng thực trạng nhận thức việc sử dụng TNKQ KT-ĐG .56 Bảng 3:Bảng nhận thức mục đích sử dụng TNKQ kiểm tra đánh giá kết học tập học viên 57 Bảng 4: Ma trận đề thi phần trắc nghiệm 62 Bảng 5: Ma trận đề thi phần tự luận 63 Bảng 6: Hệ số tương quan 71 PHẦN MỞ ĐẦU Giới thiệu chung 1.1 Lý chọn đề tài Ngày chất lượng giáo dục trở thành mối quan tâm chung toàn xã hội Ngành giáo dục đặt yêu cầu cấp thiết để nâng cao chất lượng giáo dục hết tất ngành học bậc học Trong vai trị kiểm tra đánh giá tiến trình đổi giáo dục nhằm nâng cao chất lượng đào tạo khẳng định chiến lược, sách giáo dục quốc gia Thực tiễn trường công tác kiểm tra, đánh giá cho ta thấy tình trạng đánh đồng việc cho điểm với đánh giá lực người học; có xu hướng trọng kiến thức ghi nhớ rèn kỹ lực người học; công tác kiểm tra, đánh giá chịu sức ép thi cử bệnh thành tích; kết kiểm tra thường để xếp loại người học tìm điểm mạnh yếu người học để giúp người học tiến định hướng cho giáo viên việc cải tiến nội dung phương pháp giảng dạy; giáo viên nhà quản lý yếu lực đánh giá giáo dục Các giải pháp cải tiến thực trạng tập trung vào vấn đề lớn là: xây dựng chế đào tạo đội ngũ chuyên gia đánh giá giáo dục bồi dưỡng lực đánh giá cho giáo viên; tạo thay đổi mạnh mẽ nhận thức công tác kiểm tra đánh giá; cải tiến phương pháp kiểm tra đánh giá phù hợp với định hướng giáo dục Việt Nam Đánh giá giáo dục công cụ để xác định lực nhận thức người học, điều chỉnh trình dạy học Đổi phương pháp dạy học trọng để đáp ứng yêu cầu mục tiêu giáo dục nên việc kiểm tra, đánh giá phải chuyển biến mạnh theo hướng phát triển trí thơng minh, sáng tạo học viên, khuyến khích vận dụng linh hoạt kiến thức, kỹ học vào tình thực tế, làm bộc lộ khả người học Đánh giá không thực thời điểm cuối giai đoạn giáo dục mà trình giáo dục Hướng tới yêu cầu kiểm tra đánh giá công bằng, khách quan kết học tập người học, phương pháp đánh giá quan sát vấn đáp, phương pháp viết người ta bổ sung hình thức đánh giá khác đưa thêm dạng câu hỏi trắc nghiệm khách quan Việc kiểm tra đánh giá không đơn trọng vào kết học tập học viên, mà cịn có vai trị to lớn việc thúc đẩy động cơ, thái độ tích cực người học, hồn thiện q trình dạy học, kiểm định chất lượng, hiệu dạy học trình độ nghề nghiệp người dạy Trên sở nắm kiến thức đo lường đánh giá giáo dục, cần tiến hành xây dựng ngân hàng câu hỏi trắc nghiệm (gồm câu hỏi TNKQ TL) chuẩn hoá cho môn học Sử dụng ngân hàng này, người học tự ơn tập kiểm tra kiến thức, giáo viên sử dụng để kiểm tra đánh giá người học Để làm điều này, phải việc đào tạo đội ngũ chuyên gia đánh giá giáo dục bồi dưỡng kiến thức khoa học đo lường đánh giá giáo dục cho giáo viên Công đổi công tác kiểm tra đánh giá trường ngành giáo dục đặc biệt quan tâm, giáo viên tập huấn đổi phương pháp kiểm tra đánh giá, nhiên hiệu chưa cao Đa số giáo viên chưa có nhận thức đắn cơng tác kiểm tra đánh giá, phần lớn quan niệm kiểm tra điểm xếp hạng người học Các câu hỏi trắc nghiệm khách quan giáo viên soạn khơng phân tích, đánh giá nên đề kiểm tra giáo viên soạn chưa có hiệu Các trường có đội ngũ giáo viên đơng đảo giảng dạy mơn, có kiến thức chuyên môn sâu sắc cộng với kiến thức đo lường đánh giá, chắn việc góp phần thành lập ngân hàng câu hỏi trắc nghiệm dùng để kiểm Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item 18: item 18 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error *****Output Continues**** PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item A Categories A* -.19 Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item Categories A* Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error *****Output Continues**** 102 PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item Categories A Count Percent (%) 1.8 Pt-Biserial p-value Mean Ability -.29 Step Labels Thresholds Error Item Categories A Count Percent (%) 3.1 Pt-Biserial p-value Mean Ability -.30 Step Labels Thresholds Error Item Categories A Count Percent (%) 28.4 Pt-Biserial p-value Mean Ability Step Labels Thresholds Error PhanTichDeThiHienDai 7/ 10/14 10:54 all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item Categories A Count Percent (%) Pt-Biserial p-value 14.7 Mean Ability Step Labels Thresholds Error Item Categories A 103 Count Percent (%) 23.2 Pt-Biserial p-value Mean Ability 25 Step Labels Thresholds Error Item 27: item 27 Categories A Count Percent (%) 3.0 Pt-Biserial p-value Mean Ability Step Labels Thresholds Error PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item 28: item 28 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item 29: item 29 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item 30: item 30 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error -.13 104 *****Output Continues**** PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item A* Categories A Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item Categories A* Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error *****Output Continues**** PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item 34: item 34 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item 35: item 35 Infit MNSQ = 99 Disc = 31 105 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item 36: item 36 Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error *****Output Continues**** PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) -Item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds 106 Error 17 *****Output Continues**** PhanTichDeThiHienDai -Item Analysis Results for Observed Responses all on phantichdehiendai (N = 164 L = 40 Probability Level= 50) Item 40: item 40 Categories A Count Percent (%) Pt-Biserial p-value Mean Ability -.43 Step Labels Thresholds Error Mean test score Standard deviation Internal Consistency The individual item statistics are calculated using all available data The overall mean, standard deviation and internal consistency indices assume that missing responses are incorrect They should only be considered useful when there is a limited amount of missing data ============================================================================================== Phụ lục 2.2 : Thông số thống kê câu hỏi thi tạo từ CONQUEST =============================================================================== BAI TAP CUOI KY Th Jul 10 12:59 2014 SUMMARY OF THE ESTIMATION =============================================================================== Estimation method was: Gauss-Hermite Quadrature with 15 nodes Assumed population distribution was: Gaussian Constraint was: DEFAULT The Data File: chathiendai.dat The format: V1 1-6 responses 7-46 The regression model: Grouping Variables: The item model: item Sample size: 164 Final Deviance: 7027.33756 Total number of estimated parameters: 41 The number of iterations: 44 Termination criteria: Max iterations=1000, Parameter Change= 0.00010 Deviance Change= 0.00010 Iterations terminated because the deviance convergence criteria was reached Random number generation seed: 1.00000 Number of nodes used when drawing PVs: 2000 Number of nodes used when computing fit: 200 Number of plausible values to draw: Maximum number of iterations without a deviance improvement: 100 Maximum number of Newton steps in M-step: 10 Value for obtaining finite MLEs for zero/perfects: 0.30000 =============================================================================== 107 =============================================================================== BAI TAP CUOI KY Th Jul 10 12:59 2014 TABLES OF RESPONSE MODEL PARAMETER ESTIMATES =============================================================================== TERM 1: item VARIABLES UNWEIGHTED FIT WEIGHTED FIT - -item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T -1 2 3 4 5 6 7 8 9 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18 19 19 20 20 21 21 22 22 23 23 24 24 25 25 26 26 27 27 28 28 29 29 30 30 31 31 32 32 33 33 34 34 35 35 36 36 37 37 38 38 39 39 40 40 An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = Chi-square test of parameter equality = ^ Quick standard errors have been used =============================================================================== BAI TAP CUOI KY Th Jul 10 12:59 2014 TABLES OF POPULATION MODEL PARAMETER ESTIMATES =============================================================================== REGRESSION COEFFICIENTS Regression Variable CONSTANT 0.329 ( 0.039) An asterisk next to a parameter estimate indicates that it is constrained COVARIANCE/CORRELATION MATRIX Dimension Dimension Variance An asterisk next to a parameter estimate indicates that it is constrained RELIABILITY COEFFICIENTS Dimension: (Dimension 1) 108 MLE Person separation RELIABILITY: Unavailable WLE Person separation RELIABILITY: Unavailable EAP/PV RELIABILITY: =============================================================================== BAI TAP CUOI KY MAP OF LATENT DISTRIBUTIONS AND RESPONSE MODEL PARAMETER ESTIMATES =============================================================================== XXXXXXXXXXXXXXXXXXXXXXXXXXXXX| XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|30 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|39 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|8 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|7 13 19 28 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|23 35 -1 ======================================================================================= Each 'X' represents 0.3 cases 109 ================================================================================ BAI TAP CUOI KY Th Jul 10 12:59 2014 MAP OF LATENT DISTRIBUTIONS AND THRESHOLDS ================================================================================ Generalised-Item Thresholds -|5 34 | |24 | | | | | |11 X|20 | | | X| X| X|6 12 XX| XXX| XX| XXXX|26 XXXXX| XXX|3 XXXXXX| XXXXXX|17 25 XXXXX| XXXXXX| XXXXXXX| XXXXXXX|30 XXXXXXXXXX| XXXXXXXX|39 XXXXXXXXX| XXXXXXXXXX|8 XXXXXXXXXX| XXXXXXXX| XXXXXXXX|7 13 19 28 XXXXXXXXX|23 35 XXXXXXX|16 XXXX|37 XXXX|32 XXXX|1 XXX|2 36 XX| XX|10 XX| |14 15 X|9 29 | X|21 ================================================================================ Each 'X' represents 1.0 cases The labels for thresholds show the levels of item, and step, respectively ================================================================================ 110 Phụ lục 2.3: Phân tích đơn biến Stem-and-Leaf Plots Boxplots: - Kết Stem and Left Plots: nangluc Stem-and-Leaf Plot Frequency 4.00 1.00 10.00 5.00 13.00 14.00 18.00 28.00 16.00 25.00 6.00 5.00 3.00 8.00 4.00 3.00 1.00 Extremes (>=2.6) Stem width: Each leaf: - Boxplots 111 b) Bảng tóm tắt số thống kê (sử dụng HD slide 14, 15 để đưa kết tương tự slide 16) Descriptives Mean 95% Confidence Interva Mean 5% Trimmed Mean Median Variance nangluc Std Deviation Minimum Maximum Range Interquartile Range Skewness Kurtosis Percentiles Weighted Average(Definition 1) Tukey's Hinges 112 ... để kiểm tra, đánh giá kết học tập mơn Mạng máy tính trường Đại học Kỹ thuật – Hậu cần CAND Chỉ nghiên cứu thử nghiệm sử dụng vào việc kiểm tra đánh giá cho khóa đại học D1 trường Đại học Kỹ thuật. ..ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC TRẦN ANH CHẤT NGHIÊN CỨU ĐẶC TÍNH CÂU HỎI DÙNG ĐỂ KIỂM TRA ĐÁNH GIÁ MÔN HỌC MẠNG MÁY TÍNH TẠI TRƯỜNG ĐH KỸ THUẬT - HẬU CẦN CAND Chuyên... hàng câu hỏi TNKQ đa lựa chọn dùng việc kiểm tra đánh giá kết học tập học viên • Xây dựng ngân hàng câu hỏi TNKQ dùng để kiểm tra đánh giá kết học tập học viên trường Đại học Kỹ thuật - Hậu cần CAND