XÂY DỰNG CÔNG CỤ ĐÁNH GIÁ NĂNG LỰC THIẾT KẾ CÔNG CỤ ĐÁNH GIÁ NĂNG LỰC CỦA SINH VIÊN SƯ PHẠM

HNUE JOURNAL OF SCIENCE Educational Sciences, 2019, Volume 64, Issue 9, pp 177-187 This paper is available online at http://stdb.hnue.edu.vn DOI: 10.18173/2354-1075.2019-0123 XÂY DỰNG CÔNG CỤ ĐÁNH GIÁ NĂNG LỰC THIẾT KẾ CÔNG CỤ ĐÁNH GIÁ NĂNG LỰC CỦA SINH VIÊN SƯ PHẠM Nguyễn Thị Diệu Linh Đỗ Hương Trà Khoa Vật lí, Trường Đại học Sư phạm Hà Nội Tóm tắt Bài viết giới thiệu việc xây dựng công cụ để đánh giá (ĐG) lực thiết kế công cụ ĐG lực (NL) nhằm phục vụ việc bồi dưỡng NL cho sinh viên sư phạm (SVSP) Công cụ thiết kế nhằm đánh giá SVSP theo mơ hình lực NL thiết kế cơng cụ ĐGNL gồm bốn thành tố, là: Xác định mục đích mục tiêu hoạt động ĐGNL; Lập kế hoạch xây dựng công cụ ĐG; Xây dựng câu hỏi/bài tập công cụ cho điểm; Thử nghiệm chỉnh sửa công cụ ĐG Công cụ gồm kiểm tra có tình địi hỏi người ĐG thực tất hành vi mô hình NL thiết kế cơng cụ ĐGNL rubric đánh giá làm họ Độ giá trị độ tin cậy công cụ bước đầu xác nhận Kết nghiên cứu sử dụng việc ĐG đào tạo SV sư phạm bồi dưỡng GVPT NLĐG Từ khóa: Cơng cụ đánh giá, đánh giá lực, bồi dưỡng lực, đào tạo sinh viên sư phạm, lực thiết kế công cụ đánh giá Mở đầu Đánh giá NL có chức cung cấp cho người dạy người học thông tin phản hồi điểm mạnh, điểm yếu mức độ lực người học Từ đó, người dạy có sở để cải tiến phương pháp dạy học nhằm định hướng người học đạt mục tiêu Tuy nhiên, tiếp xúc với ĐG truyền thống nên GV SVSP gặp nhiều khó khăn ĐGNL, đặc biệt việc thiết kế công cụ ĐGNL học sinh [1] Bài viết nằm chuỗi nghiên cứu NL thiết kế công cụ ĐGNL SVSP Trong viết trước, đề xuất khái niệm cấu trúc lực [2] Theo chúng tôi, lực thiết kế công cụ ĐGNL hiểu lực thành phần lực đánh giá Đó NL lựa chọn phương pháp ĐG thích hợp xây dựng, phát triển tập ĐG, quy trình chấm điểm phù hợp với mục đích ĐG NL có cấu trúc gồm 12 số hành vi (CSHV), CSHV mô tả tiêu chí chất lượng Trong viết này, chúng tơi xây dựng công cụ ĐG lực thiết kế công cụ ĐGNL theo cấu trúc đề xuất Công cụ xây dựng nhằm phục vụ việc bồi dưỡng NL thiết kế cơng cụ ĐGNL cho SVSP Do đó, phải xác định mức độ lực SVSP thời điểm ĐG nhằm tìm hiểu tác động biện pháp phát triển NL Trên sở đó, NC xác định biện pháp hiệu bồi dưỡng NL thiết kế công cụ ĐGNL cho SVSP đáp ứng yêu cầu dạy học phát triển NL trường phổ thông Ngày nhận bài: 16/9/2019 Ngày sửa bài: 23/9/2019 Ngày nhận đăng: 30/9/2019 Tác giả liên hệ: Nguyễn Thị Diệu Linh Địa e-mail: linhntd@hnue.edu.vn 177 Nguyễn Thị Diệu Linh Đỗ Hương Trà Nội dung nghiên cứu 2.1 Các công cụ đánh giá lực đánh giá giáo viên trước Việc xem xét công cụ có nhằm mục đích xác định mức độ phù hợp cơng cụ với mơ hình NL thiết kế công cụ ĐGNL GV nghiên cứu chúng tơi Tổng cộng, chúng tơi phân tích 15 công cụ công bố nghiên cứu sau năm 1990 Với công cụ, xác định CSHV kiến thức ĐG, mục đích mà cơng cụ hướng đến, loại cơng cụ ĐG Sau phần cơng cụ sử dụng để đánh giá NL thiết kế cơng cụ ĐGNL GV theo mơ hình NL thiết kế công cụ ĐGNL nghiên cứu Mỗi mục đích ĐG phù hợp với số loại cơng cụ ĐGNL Với mục đích đánh giá NL, có số cơng cụ giúp đánh giá khía cạnh NLĐG Do đó, chúng tơi xem xét loại cơng cụ sử dụng nhằm xác định khía cạnh NLĐG mà cơng cụ đo Các cơng cụ có phân tích theo loại, gồm: công cụ dạng trắc nghiệm khách quan [3-7], công cụ dạng bảng hỏi [8-12], công cụ hỗn hợp trắc nghiệm khách quan bảng hỏi [13], công cụ dạng rubric [14-17] Phân tích cơng cụ cho thấy: chúng thiết kế để đánh giá NLĐG GV khía cạnh khác hướng đến mục đích khác Các khía cạnh công cụ ĐG gồm: kiến thức ĐG GV (sử dụng phương pháp ĐG, sử dụng hoạt động ĐG để phân loại học sinh; giải thích kết kiểm tra tiêu chuẩn hóa ĐG lớp học, truyền đạt kết ĐG tuân thủ nghĩa vụ pháp lí đạo đức ĐG) mức độ thành thạo thực hành ĐG GV Phần lớn công cụ ĐG xây dựng dựa “Tiêu chuẩn lực GV đánh giá HS” năm 1990 Mĩ Trắc nghiệm khách quan nhiều lựa chọn sử dụng để ĐG kiến thức ĐG GV Đối chiếu kiến thức ĐG đo cơng cụ với mơ hình NL thiết kế cơng cụ ĐGNL SVSP, cho thấy chưa có cơng cụ ĐG kiến thức về: xác định mục tiêu ĐG, biên soạn câu hỏi/bài tập, thử nghiệm công cụ ĐGNL Mặt khác, để đo mức độ thành thạo thực hành ĐG GV, công cụ sử dụng thang đo Likert rubric Với thang đo Likert, người trả lời tự ĐG nên kết ĐG bị ảnh hưởng nhiều tính chủ quan Kết ĐG thu thang đo Likert thường dùng để thăm dị, khơng thể dựa vào để xác định NL người trả lời Rubric loại công cụ phù hợp để ĐGNL Tuy nhiên, rubric có tập trung vào ĐG NL thiết kế loại PPĐG riêng biệt đưa tiêu chí ĐG chung việc sử dụng PPĐG, chưa tập trung vào NL thiết kế công cụ ĐGNL [14-16] Do đó, chúng tơi thiết kế cơng cụ ĐG gồm tập rubric ĐG đầy đủ CSHV mơ hình NL thiết kế cơng cụ ĐGNL SVSP 2.2 Thiết kế công cụ đo đánh giá lực thiết kế công cụ đánh giá lực sinh viên sư phạm 2.2.1 Thiết kế tập đánh giá lực thiết kế công cụ đánh giá lực Công cụ ĐG lực thiết kế công cụ ĐGNL xây dựng nghiên cứu nhằm phục vụ việc bồi dưỡng NL thiết kế công cụ ĐGNL cho SVSP nên phải giúp xác định mức độ CSHV SVSP Để làm điều đó, tập phải ĐG CSHV phải có độ khó khác cho SV có hội bộc lộ mức độ thân CSHV cần ĐG [18] Do đó, chúng tơi sử dụng cách tiếp cận diễn dịch để xây dựng công cụ Tức là, xuất phát từ mơ hình NL thiết kế cơng cụ ĐGNL SVSP, xác định rằng: nhiệm vụ đưa đề ln địi hỏi SV thực hành vi cần ĐG; yêu cầu nhiệm phải vụ bám sát tiêu chí chất lượng; thơng tin cần cung cấp tình đề phải đảm bảo cung cấp đầy đủ thông tin cần thiết để SV bộc lộ mức độ thân CSHV cần ĐG 178 Xây dựng công cụ đánh giá lực thiết kế công cụ đánh giá lực sinh viên sư phạm Dưới đây, chúng tơi trình bày cụ thể việc xây dựng tập ĐG CSHV mơ hình NL thiết kế cơng cụ ĐGNL Đánh giá CSHV 1.1 Xác định mục đích sử dụng cơng cụ ĐG Những SV đạt tiêu chí chất lượng mức cao CSHV xác định tất mục đích ĐG hướng đến thiết kế cơng cụ ĐGNL tình xác định biết mục đích cần ưu tiên Do đó, để SV thể CSHV này, đề cần đưa tình thực tế xuất nhu cầu ĐGNL học sinh SV phải xác định mục đích ĐG đạt tình Cả hai bài: Bài đề số Bài 1.1 đề số biên soạn để ĐG CSHV Bài 1.1 đề số đưa câu hỏi trực tiếp để SV thể mức độ CSHV Bài đề số không hỏi trực tiếp mà đưa nhiệm vụ để SV bộc lộ mức độ thân CSHV qua trình thực Phân tích nhiệm vụ yêu cầu Bài 1.1 đề số 1, thấy viết thư trình bày ý kiến việc tổ chức ĐGNLTN đợt thi cuối năm, SV cần phải nêu mục đích mà ĐGNL đạt mục đích mà ĐG kiến thức, kĩ theo cách truyền thống đạt tình đề Để thuyết phục người đọc, lập luận mình, người phải đưa mục đích quan trọng lên trước Trên sở so sánh mục đích mà hai cách đách giá đạt được, SV đưa ý kiến thân Đánh giá CSHV 1.2 Xác định đặc điểm tình sử dụng cơng cụ Để SV thể CSHV này, đề cần đưa tình thực tế mục đích ĐGNL xác định SV phải nêu đặc điểm tình sử dụng cơng cụ Tuy nhiên, cần phải đưa câu hỏi để biết SV xác định đặc điểm tình cách nào, qua xác định mức độ SV đạt CSHV 1.2 Bài đề số 1, Bài 1.2 đề số biên soạn để ĐG CSHV Bài đề số ĐG riêng biệt CSHV 1.2 đề cung cấp mục đích ĐG Do đó, SV khơng làm tập ĐG CSHV 1.1, có hội thể mức độ CSHV 1.2 thân Đánh giá CSHV 1.3 Xác định mục tiêu đánh giá hệ thống câu hỏi/bài tập Để SV thể CSHV này, đề cần đưa tình thực tế trình bày mục đích ĐGNL đặc điểm tình SV phải xác định yêu cầu phạm vi nội dung kiến thức, cách diễn đạt đặc biệt mục tiêu phải cụ thể như: mức độ cần ĐG thời lượng tối đa dành cho việc ĐG CSHV Bài tập ĐG CSHV minh họa Bài 1.3 đề số Đánh giá CSHV 2.1 Xác định loại minh chứng số lượng minh chứng cần thu thập Đề đánh giá CSHV cần đưa mục tiêu ĐG hệ thống câu hỏi/bài tập rõ mức độ cần ĐG thời lượng tối đa dành cho việc ĐG CSHV Đề yêu cầu SV xác định loại minh chứng cần thu thập cho phù hợp với mục tiêu Có thể có nhiều loại minh chứng giúp ĐG CSHV Để ĐG mức cao nhất, SV cần chọn loại minh chứng tốn công sức, cần điều kiện đơn giản để thu thập nhiều CSHV NL cần ĐG cần loại minh chứng Nhờ đó, việc xác định loại số lượng minh chứng đạt đầy đủ mục tiêu ĐG Bài tập đánh giá CSHV minh họa Bài 2.1 đề số Đánh giá CSHV 2.2 Lựa chọn phương pháp đánh giá (PPĐG) hỗ trợ việc thu thập loại minh chứng Để SV bộc lộ CSHV này, đề cần đưa minh chứng cần thu thập yêu cầu SV xác định PPĐG thu thập chứng SV đạt mức cao họ hiểu rõ ưu, nhược điểm, cách thực loại PPĐG vận dụng kiến thức để chọn PPĐG phù hợp với mục tiêu Bài tập 2.2 đề số biên soạn để đánh giá CSHV Đánh giá CSHV 3.1 Xác định đặc điểm thông tin cần sử dụng để biên soạn câu hỏi/bài tập Để đánh giá CSHV này, đề cần cung cấp mục tiêu ĐG, PPĐG CSHV yêu cầu SV nêu đặc điểm thông tin cần sử dụng để biên soạn câu hỏi/bài tập SV đạt mức 179 Nguyễn Thị Diệu Linh Đỗ Hương Trà xác định thơng tin dùng để làm ý tưởng biên soạn câu hỏi/BT, họ biết vận dụng cách biến đổi loại thơng tin thành tình để đưa vào tập SV đạt mức cao họ thể sáng tạo cách tìm quy tắc mới, hợp lí cho thân Các quy tắc tìm họ suy ngẫm trình làm Để ĐG mức cao này, đề không yêu cầu SV đưa quy tắc hợp lí xác định loại thơng tin cần sử dụng mà cần yêu cầu họ trình bày trình suy ngẫm thân Bài tập đánh giá CSHV minh họa Bài 3.1 đề số Đánh giá CSHV 3.2 Biên soạn câu hỏi/bài tập Để SV bộc lộ CSHV này, đề cần đưa tình đầy đủ mục tiêu ĐGNL, gồm: ĐG mức độ SV yêu cầu xác định đặc điểm tình sử dụng công cụ Tuy nhiên, cần phải đưa câu hỏi để biết SV làm để xác định đặc điểm Hai bài: Bài đề số Bài 3.2 đề số đánh giá CSHV Ở phần a Bài đề số 1, thấy câu i) tình thường gặp Những SV biên soạn tập đáp ứng phần a đạt mức Câu ii) tình SV gặp, SV cần ý phối hợp ĐG CSHV làm được, câu ĐG lực thiết kế công cụ ĐGNL mức trường hợp thiết kế công cụ ĐGNL tiến hành thí nghiệm xử lí số liệu Phần b nhằm ĐG mức CSHV 3.2 trường hợp thiết kế công cụ ĐGNL thiết kế PATN Với yêu cầu SV nêu trình suy nghĩ biên soạn tập, đề nhằm ĐG mức CSHV Đánh giá CSHV 3.3 Xây dựng công cụ để đánh giá minh chứng thu Bài tập đánh giá CSHV phải cung cấp câu hỏi/bài tập cần xây dựng công cụ ĐG câu trả lời/bài làm HS SV phải dựa kiến thức loại công cụ để lựa chọn loại công cụ phù hợp xây dựng cơng cụ Để đạt mức cao CSHV này, người cần phân tích q trình trả lời câu hỏi/giải tập mức độ mô tả cấu trúc NL cần ĐG để xây dựng công cụ tạo hội học tập cho HS Bài tập đánh giá CSHV minh họa Bài 3.3 đề số Đánh giá CSHV 3.4 Xác định bước cụ thể người đánh giá cần thực để sử dụng công cụ Để SV bộc lộ CSHV này, đề cần cung cấp thơng tin: mục đích ĐG, đặc điểm tình ĐG, đề câu hỏi/bài tập, cơng cụ để ĐG minh chứng thu được, yêu cầu SV xác định bước cụ thể người ĐG cần thực để sử dụng công cụ Bài tập 3.4 đề số dùng để đánh giá CSHV Đánh giá CSHV 4.1 Thử nghiệm công cụ đánh giá để xác định chất lượng khả áp dụng Thông tin cần cung cấp đề tập đánh giá CSHV gồm: mục đích ĐG, đặc điểm tình ĐG, câu hỏi/bài tập, cơng cụ để ĐG minh chứng thu được, bước cụ thể người ĐG cần thực để sử dụng công cụ SV phải lên kế hoạch thử nghiệm trình bày cách chọn mẫu thử nghiệm, cách thức thu thập thông tin thử nghiệm Để đạt mức cao CSHV này, SV cần rõ cách thực điểm cần lưu ý thử nghiệm để loại bỏ giảm thiểu yếu tố ảnh hưởng đến sẵn sàng tham gia đối tượng thử nghiệm CSHV ĐG Bài 4.1 đề số Đánh giá CSHV 4.2 Phân tích, đánh giá thông tin phản hồi từ người liên quan đến trình thử nghiệm Để ĐG CSHV này, đề cần đưa tình thực tế cung cấp thơng tin: mục đích ĐG, đặc điểm tình ĐG, câu hỏi/bài tập, cơng cụ để ĐG minh chứng thu được, kế hoạch thử nghiệm cụ thể thông tin thu từ người liên quan đến trình thử nghiệm Đề u cầu SV phân tích thơng tin phản hồi nhằm xác định mức độ phù hợp điểm cần chỉnh sửa công cụ ĐG Một số khía cạnh CSHV ĐG qua Bài 4.1 đề số CSHV ĐG đầy đủ qua Bài 4.1 đề số 180 Xây dựng công cụ đánh giá lực thiết kế công cụ đánh giá lực sinh viên sư phạm Đánh giá CSHV 4.3 Chỉnh sửa công cụ đánh giá Đề đánh giá CSHV cần đưa thông tin tương tự đề đánh giá CSHV 4.2 u cầu SV chỉnh sửa cơng cụ ĐG Vì vậy, ĐG CSHV 4.2 4.3 Bài đề số Kết ĐG tập dề số không bị ảnh hưởng CSHV khác Do đó, phù hợp để ĐG trình bồi dưỡng NL thiết kế cơng cụ ĐGNL Nó giúp người dạy người học xác định rõ mức độ CSHV người học Hơn nữa, giúp người học thoải mái việc phát triển CSHV, không cần phải đợi để phát triển CSHV theo Đề số 1 Giả sử em trở thành GV Năm nay, tổ Vật lí trường em tổ chức nhiều buổi trao đổi chuyên môn trước Trong buổi trao đổi chuyên môn gần đây, số GV tổ chưa ủng hộ việc tổ chức ĐGNLTN đợt thi cuối năm cho khối 10, 11 muốn ĐG kiến thức, kĩ theo cách truyền thống họ cho rằng: “Thi cuối năm điểm tổng kết Chỉ cần ĐG kiến thức phân biệt học sinh giỏi với học sinh rồi, không cần tổ chức ĐGNLTN tốn thời gian cơng sức” Em chuyến công tác dài ngày, em viết thư (dưới 300 từ) trình bày ý kiến em Cô Hoa giao dạy lớp 11 Vào đầu năm học, cô Hoa muốn ĐG lực thực nghiệm học sinh nhằm mục đích sau: xác định PP dạy học phù hợp; phản hồi cho phụ huynh cho học sinh truyền đạt yêu cầu học tập Nếu em giúp cô Hoa thiết kế công cụ ĐG đạt mục đích thời gian tuần, em cần ý đến đặc điểm tình này? Cần phải tìm hiểu đặc điểm HS lớp đó? Hãy xếp đặc điểm theo thứ tự ưu tiên Để tìm hiểu đặc điểm em nêu, rõ: Loại số lượng liệu thực tế cần tìm; Cách tìm liệu đó; cách xử lí liệu.” a Từ PATN đo gia tốc rơi tự (SGK vật lí lớp 10), biên soạn tập để ĐGNL “Tiến hành thí nghiệm xử lí số liệu” Thời diểm ĐG sau HS học xong ôn tập chương 1, chưa học thực hành “Đo gia tốc rơi tự do” Hãy biên soạn tập ứng với tình sau: i, thời gian cho việc ĐGNL “Tiến hành thí nghiệm xử lí số liệu” HS kéo dài tối đa 30’ ii, thời gian tối đa cho việc ĐGNL “tiến hành thí nghiệm” HS có 10’ b Hãy soạn thảo nhiều tốt tập ĐG lực “thiết kế phương án thí nghiệm” từ thông tin gợi ý sau: - Ứng dụng kĩ thuật: phanh điện từ - Bài tập tính toán: viên bi ném với vận tốc ban đầu v theo hướng hợp với phương ngang góc α Hỏi viên vi chạm đất điểm - Sản phẩm: bình thủy điện - Lời khuyên: mặc nhiều áo mỏng ấm mặc áo dày - Hiện tượng: trình chuyển động vật bị rơi xuống nước kể từ mặt nước đến chạm đáy Em nêu trình suy nghĩ để biên soạn tập Làm em có cách biên soạn tập từ thơng tin Với tập, trình bày PATN thỏa mãn yêu cầu tập Trong file “Phụ lục câu 4” trình bày công cụ ĐG SV thiết kế, kèm theo nội dung hoạt động thử nghiệm số thông tin phản hồi từ người liên quan đến q trình thử nghiệm Em có nhận xét việc thử nghiệm công cụ ĐG NLTN sinh viên tài liệu Hãy phân tích thơng tin thu thử nghiệm xác định yếu tố ảnh hưởng đến độ xác tối ưu ĐG Trên sở đó, em chỉnh sửa công cụ ĐG 181 Nguyễn Thị Diệu Linh Đỗ Hương Trà Tuy nhiên, đề tập ĐG riêng biệt CSHV dài SV phải nhiều thời gian để nắm bắt thông tin cung cấp đề Do đó, ĐGNL thiết kế công cụ đánh giá NL phức tạp NL thực nghiệm, SV chưa đạt mức phù hợp số CSHV cần phải sử dụng tập ĐG riêng biệt CSHV Khi ĐGNL thiết kế công cụ ĐG NL không phức tạp như: lực trao đổi thông tin, lực tự học, sử dụng tập ĐG tổng hợp CSHV Các tập tổng hợp thiết kế để giao cho sinh viên vào cuối kì học, hầu hết SV đạt yêu cầu CSHV khơng q khó Mặt khác, chấm điểm làm, kết câu trước coi điều kiện cho câu sau, người chấm ĐG phạm vi câu mà không cần quan tâm đến kết làm câu trước Dưới đề tập ĐG tổng hợp nhiều CSHV (từ số hành vi 1.1 đến 4.1) SV thiết kế công cụ ĐGNL trao đổi thông tin khoa học Đề số Vào đầu năm học, trường Mai cần chọn nhóm học sinh có lực trao đổi thông tin khoa học Cô Mai dạy lớp 10C dạy Chuyển động biến đổi chương sách giáo khoa Vật lí 10 Nâng cao Trong vịng hai tuần tới, phải chọn lớp học sinh có lực Em giúp cô Mai thiết kế công cụ ĐG lực trao đổi thông tin khoa học Hãy trả lời câu hỏi sau: 1.1 Theo em, sử dụng kết việc ĐG sử dụng với mục đích nào? (sắp xếp mục đích theo thứ tự ưu tiên) 1.2 Để đạt mục đích trên, trước thiết kế công cụ ĐGNL em cần ý đến đặc điểm tình Cần phải tìm hiểu đặc điểm HS lớp đó? Để Mai tìm hiểu đặc điểm trên, em nêu rõ: Loại liệu em cần tìm; Cách tìm liệu đó; cách xử lí liệu 1.3 Trong tình này, câu hỏi/bài tập dùng để ĐG NL trao đổi thông tin khoa học cần phải đạt yêu cầu Chỉ rõ mức độ cần ĐG thời lượng tối đa dành cho việc ĐG CSHV NL trao đổi thông tin khoa học 2.1 Nêu rõ loại số lượng minh chứng (câu trả lời, viết, sản phẩm, hành động ) cần thu thập để ĐG CSHV 2.2 Nêu rõ phương pháp ĐG nên sử dụng để ĐG thu thập loại minh chứng nêu câu 2.1 3.1 Khi biên soạn câu hỏi/bài tập ĐG NL trao đổi thông tin khoa học, em cần sử dụng số thông tin để tạo kiện đề mô tả thơng tin cần tìm để người khác tìm giúp em Hãy trình bày số thơng tin mà em tìm Nhìn lại trình suy nghĩ em xác định đặc điểm thông tin cần sử dụng để biên soạn câu hỏi/bài tập, em có rút quy tắc cho lần sau? Nếu có, trình bày quy tắc 3.2 Từ thơng tin tìm được, em soạn thảo câu hỏi/bài tập ĐG NL trao đổi thông tin khoa học Em nêu trình suy nghĩ để biên soạn câu hỏi/bài tập Nhìn lại q trình suy nghĩ em biên soạn câu hỏi/bài tập, em có rút quy tắc cho lần sau? Nếu có, trình bày quy tắc 3.3 Em trình bày cơng cụ (thang đo, bảng kiểm, rubric ) để ĐG minh chứng thu 3.4 Em nêu bước cụ thể để sử dụng công cụ ĐG cho Mai thực 4.1 Em trình bày kế hoạch thử nghiệm công cụ ĐG để xác định chất lượng khả áp dụng nó, trình bày rõ: thời điểm thử nghiệm, cách chọn đối tượng thử nghiệm, cách thu thập thông tin phản hồi từ người liên quan đến trình thử nghiệm, cách xử lí thơng tin Giải thích em lập kế hoạch thử nghiệm 182 Xây dựng công cụ đánh giá lực thiết kế công cụ đánh giá lực sinh viên sư phạm Thực theo cách biên soạn trên, biên soạn đề kiểm tra, có hai đề ĐG CSHV riêng biệt hai đề ĐG tổng hợp nhiều CSHV NL thiết kế công cụ ĐGNL 2.2.2 Thiết kế rubric đánh giá lực thiết kế công cụ đánh giá lực Việc sử dụng xây dựng “rubric” từ việc quy nạp nhiều sản phẩm nhiều cơng sức thời gian, phù hợp với nghiên cứu quy mô lớn Trong giới hạn quy mô nghiên cứu, chọn cách tiếp cận diễn dịch để thiết kế “rubric” dùng để chấm điểm làm SV với đề kiểm tra Mỗi tiêu chí chất lượng cấu trúc NL thiết kế công cụ ĐGNL mô tả tổng quát biểu SV đạt tiêu chí Do đó, việc xây dựng “rubric” kiểm tra cụ thể hóa tiêu chí chất lượng cấu trúc NL thiết kế công cụ ĐGNL, suy luận từ tiêu chí chất lượng tình kiểm tra Với cách tiếp cận này, để đưa mô tả mức độ, trước hết chúng tơi đóng vai SV để làm đề kiểm tra Trên sở nhìn lại trình tư giải tập đó, chúng tơi xác định điểm SV gặp khó khăn, sau nhóm khó khăn theo tiêu chí chất lượng mơ hình NL thiết kế cơng cụ ĐGNL Kết hợp với biểu SV quan sát qúa trình dạy học mơn “Kiểm tra đánh giá giáo dục” trước đây, đưa biểu nhóm khó khăn nói trên, từ xác định mô tả mức độ rubric Các mức độ mô tả theo trình tự từ xuống phù hợp với cách tiếp cận diễn dịch [19] Các mô tả rubric thiết kế theo đề xuất Brookhart (2013) “Các đặc điểm mong muốn mô tả mức độ thực cho “Rubrics”, gồm có: mơ tả theo quan sát được; HS GV hiểu nghĩa mơ tả; mơ tả cách liên tục từ mức sang mức khác cho tiêu chí, khơng có miền trống; khác từ cấp độ đến cấp độ (có thể kết hợp ví dụ cơng việc với mô tả mức); mô tả song song từ mức độ sang mức độ khác cho khía cạnh Những đặc điểm giúp đảm bảo biểu SV xếp vào mức độ tương ứng Điều giúp người ĐG xác định xác mức độ đạt SV Bảng đưới “rubric” ĐG tập đề số Bảng “Rubric” đánh giá số số hành vi lực thiết kế công cụ đánh giá lực CSHV Biên soạn câu hỏi/bài tập Mức độ 1 Biên soạn số câu hỏi/bài tập ĐG NL tiến hành TN xử lí số liệu phần a câu Mức độ 2 Biên soạn câu hỏi/bài tập để ĐG đầy đủ CSHV NL tiến hành TN xử lí số liệu câu Biên soạn câu hỏi/BT ĐG NL thiết kế PATN Mức độ Mức độ Thêm vào so với st2: Biên soạn số câu hỏi/BT ĐG NL thiết kế PATN theo số cách khác (từ ứng dụng kĩ thuật, từ tập ) với độ khó khác Từ thơng tin gợi ý, biên soạn câu hỏi/bài tập ĐG NL thiết kế PATN Biên soạn câu hỏi/bài tập ĐG NL thiết kế PATN theo cách khác (không dựa vào loại thông tin đề bài) nêu cách biên soạn tập rút từ trình biên soạn tập 2.2.3 Thử nghiệm công cụ Để kiểm tra độ giá trị nội dung, tập “rubric” soạn thảo hai chuyên gia đánh giá hai đồng nghiệp dạy môn “Kiểm tra đánh giá giáo dục” xem xét phù 183 Nguyễn Thị Diệu Linh Đỗ Hương Trà hợp tập với mơ hình NL thiết kế cơng cụ ĐGNL Các chuyên gia yêu cầu trả lời câu hỏi đề xuất Moskal Leydens (2000) sau: Các tiêu chí đánh giá “rubric” có phản ánh tất khía cạnh dự định đo lường tập hay không? (Hiệu lực nội dung); Có phải tất tiêu chí quan trọng liên quan đến phương pháp đánh giá đánh giá thông qua rubric? (Hiệu lực cấu trúc); tiêu chí chấm điểm có ĐG lực liên quan đến khả thành công tương lai không? (Giá trị tiêu chuẩn) Các chuyên gia đánh giá chuyên gia môn học đưa số đề nghị chỉnh sửa nhỏ cách sử dụng thuật ngữ cách diễn đạt để người đọc hiểu ý tác giả Trên sở tổng hợp ý kiến chuyên gia, thảo luận chỉnh sửa lại đề Các chuyên gia thống công cụ sau chỉnh sửa đảm bảo độ giá trị nội dung [20] Các tập thử nghiệm 21 SV Khoa Vật lí, Trường Đại học Sư phạm Hà Nội nhằm chỉnh sửa điểm gây hiểu lầm, đánh giá phù hợp thời gian dự kiến thực tế để hoàn thành tập; xác định mức độ lực mà tập đánh giá Việc thử nghiệm tiến hành SV học môn “Kiểm tra đánh giá giáo dục” Trước SV làm đề kiểm tra, cung cấp cấu trúc NL thiết kế công cụ ĐGNL nhằm giúp SV hiểu yêu cầu cần đạt Kết có hai thuật ngữ gây nhầm lẫn cho số SV Sau thảo luận thay đổi hai thuật ngữ từ tương đương Phân tích sản phẩm SV thảo luận chuyên sâu giảng viên đảm bảo phù hợp mô tả rubric ban đầu xây dựng dựa suy luận kinh nghiệm người nghiên cứu với thực tiễn [21] Do đó, trước thử nghiệm, đối chiếu “rubric” với 21 làm SV thu từ việc thử nghiệm tập nêu Với làm SV khơng có đặc điểm mô tả rubric ban đầu, thảo luận để đưa mô tả Theo Reddy (2011), phản hồi giảng viên rõ ràng, đầy đủ khả áp dụng khái quát “rubric”, cần phải lấy phản hồi từ SV rubric thực sửa đổi Chúng lấy phản hồi từ 68 sinh viên, sau họ học xong môn “Kiểm tra đánh giá giáo dục” Các sinh viên yêu cầu đưa phản hồi liên quan đến ngôn ngữ, hiểu biết, rõ ràng, khả sử dụng rubric để tự đánh giá Có 93% SV cho rubric dễ hiểu dễ sử dụng Có năm sinh viên cho cần thiết phải thảo luận phiếu tự đánh giá lớp học kèm theo mẫu số mức độ để giúp hiểu rõ khác biệt trình độ Với phản hồi này, thảo luận để chỉnh sửa số mô tả [21] Để kiểm tra độ tin cậy “rubric”, thử nghiệm SV học xong học phần “Kiểm tra đánh giá giáo dục” từ học kì trước Nhằm thử nghiệm đầy đủ mức độ lực khác đề kiểm tra, SV chọn có điểm thi học phần trải từ giỏi đến trung bình Với câu có khác đánh giá hai người chấm mức độ đạt SV, trao đổi họ để chỉnh sửa rubric Sau đó, hai người chấm tiến hành chấm lại câu làm SV khác Rubic chỉnh sửa sau thảo luận kết chấm làm SV Sử dụng “rubic” để chấm làm ba SV lại, kết hai người chấm trùng Theo tài liệu độ tin cậy người đánh giá, đánh giá lớp học, hai người đánh giá đủ để đưa mức độ chấp nhận độ tin cậy Trong nghiên cứu này, cho hai người đánh giá độc lập chấm điểm làm SV Những người đánh giá kết người ĐG khác tên SV Cỡ mẫu nghiên cứu nằm phạm vi chấp nhận 6-12 mẫu cho khóa học phương pháp đánh giá Như vậy, với việc thử nghiệm phạm vi hẹp, bước đầu công cụ đảm bảo độ tin cậy [22, 23] 184 Xây dựng công cụ đánh giá lực thiết kế công cụ đánh giá lực sinh viên sư phạm Kết luận Bài viết cung cấp công cụ hỗ trợ nghiên cứu phát triển NL thiết kế công cụ ĐGNL cho SVSP Những chứng nhằm ban đầu chứng tỏ tính hợp lệ độ tin cậy cơng cụ trình bày viết Với cách cung cấp thông tin tình kiểm tra, thấy công cụ thiết kế NC đảm bảo cho mức độ NL thiết kế công cụ ĐGNL bộc lộ đầy đủ Do đó, cơng cụ mở nghiên cứu thực trạng NL thiết kế công cụ ĐGNL SVSP GV, NC đào tạo SVSP bồi dưỡng cho GV vật lí lực thiết kế công cụ ĐGNL Công cụ sử dụng để thu thập liệu thực nghiệm nhằm xây dựng đường phát triển NL lực thiết kế công cụ ĐGNL Với việc bồi dưỡng lực thiết kế công cụ ĐGNL cho SVSP mơn khác, cơng cụ sử dụng thay đổi số chi tiết liên quan đến mơn vật lí đề kiểm tra Thêm vào đó, viết trình bày chi tiết giai đoạn xây dựng công cụ nên nhà nghiên cứu giảng viên sử dụng cải tiến công cụ NC nhằm nâng cao NLĐG giáo viên TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Diệu Linh, Đỗ Hương Trà, 2016 Từ khảo sát thực tiễn đến đề xuất giải pháp phát triển lực thiết kế công cụ đánh giá lực bồi dưỡng đào tạo giáo viên vật lí Tạp chí Khoa học Trường Đại học Sư phạm Hà Nội, Vol 61, số 8B, tr 213-225 [2] Nguyễn Thị Diệu Linh, Đỗ Hương Trà, 2018 Cấu trúc lực thiết kế công cụ đánh giá lực việc bồi dưỡng lực thiết kế công cụ đánh giá lực cho sinh viên sư phạm Tạp chí Khoa học Trường Đại học Sư phạm, Đại học Đà Nẵng Số 29b(3), tr 47-54 [3] Plake, B et al., 1993 Assessment competencies of teachers: a national survey Educational Measurement: Issues and Practice, 12(4),10-39 doi:10.1111/j.1745-3992.1993.tb00548.x [4] Campbell, C et al., 2002 Psychometric analysis of an assessment literacy instrument: applicability to pre-service teachers Paper presented at the annual meeting of the MidWestern Educational Research Association, Columbus [5] Mertler, C.A., 2003 Pre-service versus in-service teachers’ assessment literacy: does classroom experience make a difference? Annual meeting of the Mid-Western Educational Research Association, Columbus [6] Mertler, C.A., & Campbell, C., 2005 Measuring teachers’ knowledge & application of classroom assessment concepts: development of the assessment literacy inventory In Annual meeting of the American Educational Research Association, Montreal [7] Daniel, L.G & King, D.A., 1998 Knowledge and use of testing and measurement literacy of elementary and secondary teachers The Journal of Educational Research, 91(6), pp 331-344 [8] Kershaw IV, I., 1993 Ohio vocational education teachers’ perceived use of student assessment information in educational decision-making Ohio State University 185 Nguyễn Thị Diệu Linh Đỗ Hương Trà [9] Zhang, Z & Burry-stock, J.A., 1997 Assessment practices inventory: a multivariate analysis of teachers’ perceived assessment competency Annual meeting of the American Educational Research Association, Chicago [10] Brown, G L., 2002 Teachers’ Conceptions of Assessment PhD thesis in the University of Auckland, USA [11] Jarr, K.A., 2012 Education practitioners’ interpretation and use of assessment results University of Iowa Retrieved from http://ir.uiowa.edu/etd/3317 [12] DeLuca, C & Klinger, D A., 2010 Assessment literacy development: Identifying gaps in teacher candidates’ learning Assessment in Education: Principles, Policy & Practice, 17, 419-438 doi:10 1080/0969594X.2010.516643 [13] DeLuca, C et al., 2016 Approaches to Classroom Assessment Inventory: A New Instrument to Support Teacher Assessment Literacy Educational Assessment, 21(4), 248266, DOI: 10.1080/10627197.2016.1236677 [14] McMorris, R F., Boothroyd, R A., 1993 Tests That Teachers Build: An Analysis of Classroom Tests in Science and Mathematics Applied Measurement in Education DOI: 10.1207/s15324818ame0604_5 [15] Sato, M., Chung, R., Darling-Hammond, L., 2008 Improving Teachers’Assessment Practices Through Professional Development:The Case of National Board Certification American Educational Research Journal DOI: 10.3102/0002831208316955 [16] Koh, K.H., 2011 Improving teachers’ assessment literacy through professional development Teaching Education, 22, 255-276 [17] Nguyễn Thị Việt Nga, 2016 Hình thành cho SVSP kĩ ĐG lực khoa học HS theo quan điểm PISA dạy HS học trường phổ thông, LATS giáo dục học, ĐHSPHN [18] Messick, S., 1995 Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning American Psychologist, 50(9), 741-749 http://dx.doi.org/10.1037/0003-066X.50.9.741 [19] Brookhart, S M, 2013 How to create and use rubrics for formative assessment and grading ASCD [20] Moskal, B.M and Leydens, J.A., 2000 Scoring rubric development: validity and reliability Practical Assessment, Research & Evaluation, Vol 7, pp 71-81 [21] Reddy, M.Y., 2011 Design and development of rubrics to improve assessment outcomes Quality Assurance in Education Vol 19, No 1, pp 84-104 [22] Bonett, D.G., 2002 Sample size requirements for estimating intraclass correlations with desired precision Statistics in Medicine, Vol 21, pp 1331-5 [23] Walter, S.D., Eliasziw, M and Donner, A., 1998 Sample size and optimal designs for reliability studies Statistics in Medicine, Vol 17, No 1, pp 101-110 186 Xây dựng công cụ đánh giá lực thiết kế công cụ đánh giá lực sinh viên sư phạm ABSTRACT A tool to measure competence of designing assessment competency of teachers and pre-service teachers Nguyen Thi Dieu Linh and Do Huong Tra Faculty of Physics, Hanoi National University of Education The purpose of this article is to introduce the construction of a reliable tool to measure the competence of designing competency assessment tool to foster this competence for teachers and pre-service teachers The paper is a part of a series of researches on the competence of designing competency assessment tool for teachers and pre-service teachers The tool is designed to measure teachers and pre-service teachers according to the competency model of the competence of designing competency assessment tool with four elements, namely: Determine the purposes and objectives of the competency assessment activities; Plan the development of the assessment tool; Develop assessment tools; and Trial and edit the assessment tool The tool consists of a test in which some situations require teachers or preservice teachers to perform all the behaviors in the model of competence of designing competency assessment tool and rubric to evaluate their work The process of developing the tool presented in the article also includes preliminary validity check and reliability check The research results can be used in the assessment or training process of pre-service teachers and develope teachers of assessment competence Keywords: Measurement tools, competency assessment, develop competence, training preservice teacher fostering, competence of designing competency assessment tool 187