Thiết kế và giám sát chất lượng các công cụ đg trong DH

Kĩ thuật thiết kế giám sát chất lượng công cụ đánh giá dạy học (Bài giảng cho GV PT) PGS.TS Nguyễn Thúy Hồng Đánh giá đo lường giáo dục VN Công cụ Đề KT Tiêu chí Đo lường Chuẩn ĐG Đánh giá KQHT Đối tượng HS - CT Đo lường đo nào? Bộ công cụ Các câu hỏi Biến ẩn … n Biến đo lường Tiêu chí đo lường Minh chứng Nói Viết Khơng trực tiếp Trực tiếp quan sát quan sát Làm Sản phẩm Đánh giá Trực tiếp Gián tiếp ĐG trực tiếp – Học sinh sử dụng kiến thức kỹ để chứng minh chúng vận dụng điều học vào tình thực tế sống tạo sản phẩm hay áp dụng quy trình ĐG gián tiếp– Học sinh trả lời câu hỏi “cách thực hiện” không trực tiếp áp dụng kiến thức học để tạo sản phẩm hay áp dụng quy trình Các cơng cụ đánh giá đánh giá Gián tiếp đánh giá Trực tiếp Trắc nghiệm khách quan  Đúng-Sai  Câu hỏi có nhiều lựa chọn  Ghép đôi  Điền vào chỗ trống  Các tập thực hành   Được thực với Giấy-Bút Được thực với thiết bị cần thiết Các đề án có tính chất lâu dài Tập hồ sơ làm tốt học sinh (Portfolios) Câu trả lời ngắn Tự luận  Bài tự luận hạn chế  Bài tự luận mở rộng Thí nghiệm Nghiên cứu Thuyết minh Project: Các hoạt động học sinh thời gian dài có kết sản phẩm Portfolio: Tập hồ sơ làm tốt học sinh Portfolio –Môn họa Portfolio: Tập hồ sơ làm tốt học sinh Mơn tốn Giải vấn đề Chứng minh: Học sinh vận dụng kiến thức kỹ để thực công việc hướng dẫn Pha chế hóa chất theo cơng thức Kết nối xác mạch Sử dụng kỹ chơi Sử dụng thành thạo nhạc thể thao cụ Ưu điểm hình thức đánh giá Trực tiếp Tính thực tiễn Cuộc sống Kỹ năng/Kiến Kỹ năng/Kiến thức thức môn học thẩm mỹ Các yêu cầu Các nghiên đánh giá trực tiếp cứu độc lập Kiến thức/Kỹ giao tiếp Các kiến thức/kỹ liên kỹ giải vấn đề, Tư phê phán ngành môn học Sáng tạo, Khéo léo THIẾT KẾ CÔNG CỤ ĐÁNH GIÁ Định nghĩa (đề) kiểm tra • Bài kiểm tra phương pháp nhằm thu mẫu hành vi điều kiện kiểm sốt (Walsh & Betz, 1985) • Bài kiểm tra quy trình có hệ thống nhằm đo lường mẫu hành vi (Brown, 1983) Nội dung dạy học Đề Đề Đề ND Cốt lõi Đề Đề Mỗi đề KT đo tập nội dung học vấn Chuẩn bị kế hoạch tổ chức kỳ thi đề thi Xây dựng ma trận tiêu chí kỹ thuật đê Trông thi, chấm điểm báo cáo kết Đánh giá thẩm định ma trận Có đáp ứng tiêu chuẩn chất lượng hay không? K Báo cáo chất lượng kỳ thi Có Dự thảo câu hỏi phù hợp với ma trận chuẩn chương trình Chuyển báo cáo cho phận đề Thử nghiệm câu hỏi mẫu thực tế K Có đáp ứng tiêu chuẩn chất lượng hay Chỉ đưa câu hỏi đáp ứng yêu cầu thẩm định không? thống kê vào ngân hàng câu hỏi Có Thử nghiệm câu hỏi mẫu thực tế Đánh giá thống kê chất lượng câu hỏi Có đáp ứng tiêu chuẩn chất lượng khơng? Quy trình đề kiểm tra K Có Sắp xếp thứ tự câu hỏi in đề thi Quy trình giám sát Các bước thiết kế cơng cụ đánh giá (đề KT) • • • • • • • • • • • • • • Làm rõ mục đích việc đánh giá Xác định đối tượng cần đánh giá Xác định biến cần đo lường (nội dung kiểm tra) Xác định điều kiện đề kiểm tra Xây dựng tiêu chí kỹ thuật đề kiểm tra (ma trận) Bản mô tả mức độ cần đạt với nội dung tương ứng Xây dựng đề kiểm tra viết hướng dẫn cho điểm Thẩm định câu hỏi chỉnh sửa (lần 1) Chuẩn bị kiểm tra để thử nghiệm Phân tích item xử lí số liệu Chỉnh sửa lần Hồn thiện Tạo công cụ So sánh phân loại theo cấp độ tư phân loại theo thang Bloom Các cấp độ tư Thang Bloom 04 mức: Nhận biết Thông hiểu, Vận dụng mức độ mức độ 06 mức: Nhận biết, thơng hiểu, vận dụng, phân tích, tổng thấp, Vận dụng mức độ cao hợp, đánh giá Gắn với với lý thuyết tâm lý Dựa lý thuyết tâm lý năm 1940, 1950 Là cơng trình nghiên cứu giáo sư đánh giá người Ba Lan Là cơng trình nghiên cứu GS Benjamin Bloom Boleslaw Niemierko đồng nghiệp Dễ áp dụng công tác đánh giá thường xuyên thực Việc áp dụng phức tạp, đặc biệt mức phân tế tích, tổng hợp, đánh giá Gần với hoạt động đánh giá học sinh lớp Khó áp dụng việc đánh giá học sinh lớp 10 bước xây dựng ma trận/tiêu chí đề kiểm tra 10 Liệt kê nội dung cần kiểm tra Viết chuẩn chương trình cần kiểm tra ứng với cấp độ tư Tính % tổng điểm nội dung Quyết định tổng điểm kiểm tra Tính tốn số điểm với nội dung Quyết định tỉ lệ % điểm số nội dung với chuẩn Tính tốn số lượng điểm số cần thiết cho chuẩn Tính toán số lượng điểm số cấp độ tư Tính tỉ lệ % điểm số cho cấp độ tư Đánh giá tiêu chí kỹ thuật xây dựng để xác định liệu chúng có mong muốn Chỉnh sửa cần thiết Những tiêu chí để thẩm định chất lượng ma trận đề/tiêu chí kỹ thuật đề thi Ma trận đề chủ đề nội dung chương trình cần đánh giá khơng? Có/ Khơng Ma trận có giúp đánh giá liệu câu hỏi có phù hợp với nội dung chương trình đề khơng? Có/ Khơng Ma trận có nêu rõ nội dung kiến thức yêu cầu mà học sinh cần nắm khơng? Có/ Khơng Trong ma trận, nội dung quan trọng chuẩn chương trình có tỷ trọng điểm số cao tương ứng Có/ nội dung quan trọng có tỷ trọng điểm số thấp tương ứng hay khơng? Khơng Ma trận hình thức câu hỏi tương ứng với ô nội dung-cấp độ tư gợi ý cách Có/ thức đánh giá hiệu hay khơng? Khơng Bảng Các tiêu chí xem xét chất lượng câu hỏi có nhiều lựa chọn Hãy đặt câu hỏi câu hỏi mà anh/chị biên soạn Nếu câu hỏi có câu trả lời “khơng”, xem xét lại chất lượng câu hỏi mà anh/chị biên soạn Câu hỏi có đánh giá nội dung quan trọng mục tiêu chương trình giảng dạy hay khơng? Câu hỏi có phù hợp với tiêu chí đề kiểm tra mặt trình bày, trọng tâm cần nhấn mạnh số điểm hay không? Câu dẫn có đặt câu hỏi trực tiếp hay vấn đề cụ thể hay không? Cán đề sử dụng ngơn ngữ hình thức trình bày riêng để biên soạn câu hỏi hay đơn trích dẫn lời sách giáo khoa? Từ ngữ cấu trúc câu hỏi có rõ ràng dễ hiểu học sinh hay không? Mỗi phương án nhiễu (nền) có hợp lý học sinh khơng có kiến thức hay khơng? Nếu có thể, phương án sai có xây dựng dựa lỗi thông thường hay nhận thức sai lệch học sinh hay không? Đáp án câu hỏi có độc lập với đáp án câu hỏi khác kiểm tra hay không? Tất phương án đưa có đồng phù hợp với nội dung câu dẫn hay khơng? 10 Có hạn chế đưa phương án “Tất đáp án đúng” “khơng có phương án đúng” hay khơng? 11 Mỗi câu hỏi có đáp án đúng, xác hay khơng? Nguồn: Trích từ cuốn: Hướng dẫn giáo viên để đạt kết cao đánh giá học sinh lớp: Một cách thức tiếp cận đánh giá (trang 35)Tác giả: Giáo sư A J Nitko giáo sư T-C Hsu, 1987, Pittsburgh, PA: Viện thực hành Nghiên cứu giáo dục, Đại học Pittsburgh Bảng 2: Tiêu chí cho việc giám sát chất lượng câu hỏi tự luận Đối với câu hỏi tự luận đề kiểm tra, đặt câu hỏi sau đây, xem lại câu trả lời “không” với nhiều câu hỏi tự luận Câu hỏi có đánh giá nội dung quan trọng mục tiêu chương trình giảng dạy (kiến thức, kỹ năng…)? Câu hỏi có phù hợp với tiêu chí đề kiểm tra phương diện yêu cầu thực hiện, nội dung cần nhấn mạnh số điểm cho câu hỏi hay không? Bài luận có địi hỏi học sinh phải vận dụng kiến thức vào tình hay tình giả định hay khơng? Xét mối quan hệ với câu hỏi khác kiểm tra, câu hỏi tự luận nội dung cấp độ tư nêu rõ tiêu chí kiểm tra hay khơng? Nội dung câu hỏi có cụ thể khơng? Trong câu hỏi có nêu rõ yêu cầu hướng dẫn cụ thể đề rộng để câu trả lời đáp ứng được? Yêu cầu câu hỏi có nằm phạm vi kiến thức nhận thức phù hợp học sinh hay không? Để đạt điểm cao, học sinh có địi hỏi phải thể quan điểm nhờ lại khái niệm, thơng tin, ý kiến…đã đọc hay khơng? Câu hỏi có diễn đạt để học sinh dễ hiểu không bị lạc đề hay khơng? Câu hỏi có diễn đạt để học sinh hiểu yêu cầu về: Số lượng từ/độ dài luận? Mục đích luận? Thời gian để viết luận? Tiêu chí đánh giá câu trả lời? 10 Nếu câu hỏi yêu cầu học sinh cần nêu ý kiến chứng minh cho quan điểm vấn đề gây tranh cãi đó, câu hỏi có nêu rõ làm học sinh đánh giá dựa lập luận logic hợp lý cho quan điểm thay học sinh chọn theo quan điểm nào? ... thẩm mỹ Các yêu cầu Các nghiên đánh giá trực tiếp cứu độc lập Kiến thức/Kỹ giao tiếp Các kiến thức/kỹ liên kỹ giải vấn đề, Tư phê phán ngành môn học Sáng tạo, Khéo léo THIẾT KẾ CÔNG CỤ ĐÁNH GIÁ... lượng câu hỏi Có đáp ứng tiêu chuẩn chất lượng khơng? Quy trình đề kiểm tra K Có Sắp xếp thứ tự câu hỏi in đề thi Quy trình giám sát Các bước thiết kế cơng cụ đánh giá (đề KT) • • • • • • • • •... bị kế hoạch tổ chức kỳ thi đề thi Xây dựng ma trận tiêu chí kỹ thuật đê Trơng thi, chấm điểm báo cáo kết Đánh giá thẩm định ma trận Có đáp ứng tiêu chuẩn chất lượng hay khơng? K Báo cáo chất lượng