Bời vì tính nhất quán và chính xác bị xếp lẫn vào tất cả cái được gọi là “các đánh giá trí tuệ” - những đánh giá mà nhằm “kiểm tra kiến thức của một người” – nên một trong những đánh gi[r]
(1)Tính tốn phân tích độ tin cậy kiểm tra
PURPOSE: The purpose of this group activity is to give you some small practice in analyzing the reliability of lower secondary examinations and tests.
GENERAL INSTRUCTIONS: This exercise is to be completed in pairs It has two parts Part requires each member of the pair to read a selection about the idea of reli-ability Part requires the pair to analyze, discuss, and complete an assignment When the time is complete, each table will choose one person to present the group’s findings to the full assembly of workshop participants.
Hoạt động nhóm: Tính tốn phân tích độ tin cậy kiểm tra
Mục đích: Thực hành tập nhỏ phân tích độ tin cậy kiểm tra dành cho cấp THCS.
Hướng dẫn chung: Bài tập thực nhóm, có phần Phần yêu cầu thành viên nhóm đọc đoạn trích Độ tin cậy kiểm tra. Phần yêu cầu phân tích, thảo luận hồn thành tâp lớn Khi thời gian cho phép hết, nhóm cử đại diện lên trình bày kết sản phẩm nhóm mình.
Phần Đọc viết sau đây.
Ý nghĩa Độ tin cậy
Độ tin cậy mức độ mà kết sinh viên quán với tiêu chí đề quy trình đánh giá
Thực tế có sai số khâu đánh giá – bạn không nên ngạc nhiên thấy việc điểm số đánh giá giáo dục số ước tính hồn hảo thành công học đường sinh viên Bạn nhận lại kiểm tra mà lý bạn bỏ lỡ câu mà bạn thực biết cách giải (bực thật!)? Bạn nhận lại kiểm tra bạn đoán “giành” điểm cho câu hỏi mà bạn trót bỏ trống rồi? Bạn có lỗi sai cho giáo viên bạn yêu cầu họ trừ điểm bạn cho câu sai chưa (chúng tơi cho câu trả lời khơng!)? Những ví dụ cho thấy sai số đánh giá có xảy ra, xảy theo hai khả năng: cao hay thấp so với điểm thực kiểm tra bạn Độ tin cậy sai số đánh giá hai cách nói bổ sung tượng đánh giá Khái niệm độ tin cậy tập trung vào tính quán kết đánh giá Khái niệm đánh giá lỗi tập trung vào đặc điểm thiếu quán kết đánh giá
(2)hai hay nhiều tập khác tương đương hay khác thời điểm Các kết quán việc đánh giá lặp lặp lại yếu tố quan trọng để hiểu độ tin cậy
Về tính giá trị, độ tin cậy liên quan đến kết đánh giá hay điểm số sinh viên, công cụ đánh giá Bời tính qn xác bị xếp lẫn vào tất gọi “các đánh giá trí tuệ” - đánh nhằm “kiểm tra kiến thức người” – nên đánh giá quan trọng độ tin cậy cần có xác định hình thức quán cần thiết hình thức cho điểm, báo điểm, việc sử dụng kết đánh giá trường hợp
Độ tin cậy cần thiết cho tính giá trị; kết điểm số sinh viên thiếu tính xác (nhất quán, hay đáng tin cậy) khơng thể biết kết thực có ý nghĩa Tuy nhiên, điều đảo lại lại khơng đúng: độ tin cậy cao chưa đảm bảo tính giá trị Hình 2.5 minh hoạ hai ví dụ mối quan hệ độ tin cậy tính giá trị
Ví dụ minh hoạ cách mà độ tin cậy khơng đảm bảo tính giá trị
Cơ Thủy Minh dạy môn số học cho học sinh lớp Cơ đưa loại tập tính tốn mà học sinh mong đợi phải hồn thành họ trải qua sống thường nhật cộng đồng liệt kê kỹ cần thiết Sau cịn thiết kế toán tập cách giải vấn đề để đánh giá khả sinh viên việc sử dụng kỹ học Vì kiểm tra dạng cần dùng giấy bút chì có nhiều mục câu hỏi, nên Minh tin tưởng kết kiểm tra có độ tin cậy cao Tuy nhiên, tốn cịn bao gồm nhiều chữ viết dài, nên kiểm tra không đánh giá khả sinh viên để giải toán ý đề mà cịn kiểm tra khả đọc em Các kết khơng thể mong đợi - khả giải toán em sinh viên - mà kết cho thấy khả đọc em
Đối với việc đánh giá quy mô rộng, chẳng hạn kỳ thi, độ tin cậy đánh giá biện pháp định lượng tính quán mục câu hỏi, tập, dạng thức hay mức cho điểm
(3)Hình 1[ở trang cuối viết này] cho thấy ba tiêu chí phân loại hệ số tin cậy, liệt kê số hệ số loại, câu hỏi đưa câu trả lời, hình thức sai số đánh loại đề cập đến Chú ý câu hỏi “Liệu điểm số có đáng tin cậy khơng?” có nhiều câu trả lời phụ thuộc vào loại sai số đánh quan tâm
Ln ghi nhớ yếu tố sau giải thích thông tin liên quan đến độ tin cậy sai số đánh giá chuẩn SEM, đặc biệt so sánh thông tin từ hai hay nhiều quy trình đánh giá
Các thủ tục đánh giá dài thường đáng tin cậy thủ tục đánh giá ngắn Những kết đánh giá thực khách quan đáng tin cậy nhiều
Các hệ số tin cậy nêu hướng dẫn tiến hành kiểm tra dựa ví dụ mẫu
của sinh viên Các giá trị thay đổi Những thay đổi thường phụ thuộc vào mức độ ví dụ
Phạm vi khả nhóm hẹp hệ số tin cậy có xu hướng thấp Khi đối
tượng sinh viên khác dễ dàng nhiều để phân biệt điểm khác biệt khả sinh viên Hãy xem hướng dẫn kiểm tra hệ số tin cậy tính tốn dựa liệu từ sinh viên mà phạm vi khả họ tương đối giống với khả sinh viên bạn
Các sinh viên trình độ khác đánh giá với mức độ xác khác
Cuốn hướng dẫn việc tiến hành kiểm tra nên cho biết mức trình độ đánh giá cách đáng tin cậy
Khoảng thời gian nghỉ trình kiểm tra dài hệ số tin cậy có xu hướng thấp
(khoảng thời gian ngắn hệ số cao)
Các dạng liên tục kiểm tra cho “tương đương” chúng đáp ứng
được điều kiện cụ thể Thực tế, nhiều đánh giá khơng có đặc điểm thực tương đồng
Các phương pháp khác để ước tính độ tin cậy khơng cho kết tương tự Các
hệ số tin cậy khác chúưng bao gồm nguồn lỗi khác
(4)Đề xuất phương pháp phân tích Trị số Hệ số Độ tin cậy
Hướng dẫn giúp ta hiểu mối quan hệ trị số hệ số tin cậy và chất lượng thi, kiểm tra nhằm đánh giá kết học tập học sinh
Trị số Độ tin cậy Phân tích ý nghĩa
Hệ số độ tin cậy 0 Đây lỗi tính tốn Phải kiểm tra tính lại. Hệ số độ tin cậy từ 0.00 tới 0.70 Bài thi chất lượng thấp, độ tin cậy thấp,
không thể dùng để đưa định giáo dục quan trọng
Hệ số độ tin cậy từ 0.71 tới 0.80 Chất lượng đề thi mức trung bình; Độ tin cây cậy thấp kết kiểm tra có ích đê đưa định giáo dục quan trọng, miễn chúng phải kèm với thông tin bổ sung cho kết thi học sinh
Hệ số độ tin cậy từ 0.81 tới 1.00 Chất lượng đề thi tốt, Độ tin cậy cao kì thi thức, có ích để đưa những định giáo dục quan trọng
(5)Phần Tính tốn hệ số độ tin cậy
Hướng dẫn: Trang sau bảng số liệu từ đề kiểm tra ngắn TWO Hãy nghiên cứu số liệu tính tốn từ kiểm tra (Đề A) Đã có sẵn ví dụ mẫu hệ số độ tin cậy Cơng thức tính nằm phía cuối trang, với số liệu lấy từ Đề A để minh họa.
Nhiệm vụ cần làm: tính toán Độ tin cậy Đề B ghi lại kết Đề B. Phần Thảo luận trả lời câu hỏi sau
Trong nhóm thỏa luận trả lời câu hỏi sau Khi hết thời gian, vài người nhóm chuẩn bị thuyết trình kết trước lớp.
1 Sử dụng bảng hướng dẫn trang trước để phân tích độ tin cậy kiểm tra sau: (a) Bạn đánh giá chất lượng đề A đề B?
(b) Đề không nên dùng để đánh giá kết học tập học sinh, dựa theo bảng hướng dẫn?
2 Chú ý đề giống số câu hỏi, số điểm cho câu, số học sinh để tính tốn/
(a) Tại hệ số lại khác nhau?
(b) Làm để nâng cao độ tin cậy?
3 Đâu câu hỏi dễ đề A/ Gợi ý:
Điểm trung bình số câu hỏi
(6)Ví dụ minh họa cách tính hệ số tin cậy Kỳ thi A
Học sinh Câu hỏi
1 điểm Câu hỏi 25 điểm Câu hỏi 41.5 điểm Câu hỏi 40.5 điểm Câu hỏi 52 điểm Tổng điểmMax = 8.5
A 1.5 0.5
B 0.5 8.5
C 3.5 1.5 0.5 8.5
D 4.5 1.5
E 3.5 1.5 1.5 7.5
F 1.5 0.5
G 2.5 1.5 0.5 0.5
H 2.5 0.5 0.5 5.5
I 0.5 0.5
J 2.5 0 0.5
Trung bình 0.7 3.1 1.1 0.35 1.45 6.7
Sai số 0.2 1.9 0.3 0.1 0.4 4.1
Độ tin cậy 0.35
Kỳ thi B Học sinh Câu hỏi
1 điểm Câu hỏi 25 điểm Câu hỏi 41.5 điểm Câu hỏi 40.5 điểm Câu hỏi 52 điểm Tổng điểmMax = 10
A 1.5 0.5 10
B 1.5 0.5 1.5 8.5
C 1.5 0.5
D 3.5 1.5
E 1.5 6.5
F 2.5 0.5 0
G 2.5 0 2.5
H 0
I 0
J 0 0.5 0 0.5
Trung bình 0.4 2.85 0.85 0.15 0.75
Sai số 0.3 1.9 0.5 0.1 0.7 11.2
Độ tin cậy 0.86
Cơng thức tính độ tin cậy (Reliability)
?ng tô ' sô Sai ' sô sai c cá ?ng Tô 1 -hỏi u câ ' Sô hỏi u câ ' Sơ = cậy tin Dộ
Ví dụ cho kỳ thi A:
(7)Lưu ý tính tốn
1 Có thể dùng chương trình Excel chương trình bảng tỉnh khác để tính tốn bảng trên.Sử dụng cơng thức tốn học có sẵn chương trình Để tính giá trị trung bình, có thể dùng cơng thức AVE; ‘dao động’, sử dụng công thức VAR Bạn phải tự nhập công thức Độ tin cậy Sử dụng công thức sau:
=(k/(k-1)*(1-SUM(cột chứa biến lượng câu hỏi)/cột chứa biến lượng tổng) / = phép chia
sum( ) = hàm tính tổng có sẵn chương trình Cột ID chứa biến lượng nhập vào trong dấu ngoặc đơn
k = số câu hỏi, nhập xác số lượng câu hỏi, khơng phải ký hiệu ‘k’.
Chú ý tới dấu ngoặc đơn Sử dụng số xác đặt dấu ngoặc đơn dẫn Phải nhớ bắt đầu công thức dấu “ = “ trên.