9. Cấu trúc và nội dung của luận văn
1.4.7. Đánh giá một bài TNKQ
1.4.7.1. Độ khó của bài trắc nghiệm.
Một bài trắc nghiệm tốt không phải gồm toàn câu hỏi khó hoặc toàn câu hỏi dễ mà sẽ bao gồm các câu hỏi có độ khó trung bình vừa phải.
Độ khó của bài trắc nghiệm được xác định bằng cách đối chiếu điểm số trung bình của bài trắc nghiệm với điểm trung bình lý tưởng . [12]
-Điểm trung bình của bài trắc nghiệm có đượcbằng cách cộngtất cả điểm số lại chia cho tổng số bài kiểm tra: X
-Điểm may rủi mong đợi bằng số câu hỏi của bài trắc nghiệm chia cho số lựa chọn mỗi câu.
-Điểm trung bình lý tưởng bằng trung bình cộng của điểm tối đa có được và điểm may rủi mong đợi.
Ví dụ : Bài trắc nghiệm có 25 câu, điểm trung bình lý tưởng (tính theo điểm thô): (25 + 25/4)/2 = 15,63
Trong trường hợp điểm trung bình thực tế quá xa với điểm trung bình lý tưởng thì bài trắc nghiệm ra là quá khó hoặc quá dễ. Nguyên nhân lấy điểm trung bình đem so sánh là để xác định mức độ khó dễ của bài trắc nghiệm là điểm trung bình bị chi phối bởi độ khó trung bình của các câu hỏi tạo thành bài trắc nghiệm đó .
Một bài TNKQ được đánh giá dựa vào hai chỉ số là độ tin cậy và độ giá trị.
1.4.7.2. Độ tin cậy.
Độ tin cậy của bài TNKQ được xem như là một số đo về sự sai khác giữa điểm số quan sát được và điểm số thực.
-Điểm số quan sát được là điểm số trên thực tế SV có được.
-Điểm số thực là điểm số lý thuyết mà SV phải có nếu phép đo lường không có sai số.
Nếu một bài trắc nghiệm khách quan có thể chấp nhận được thì nó thoả đáng về nội dung và có độ tin cậy 0 , 60 ≤ R ≤ 1 ,00.
Tóm lại, một bài TNKQ hay là bài TNKQ đó phải có giá trị, tức là nó đo được những cái cần đo, định đo, muốn đo. Bài TNKQ phải có độ tin cậy, một bài TNKQ hay nhưng có độ tin cậy thấp thì cũng không có ích; một bài TNKQ có độ tin cậy cao nhưng vẫn có thể có độ giá trị thấp, như vậy một bài TNKQ có độ tin cậy thấp thì không thể có độ giá trị cao.
Để đánh giá độ tin cậy cần chú ý đến sai số đo lường chuẩn, số SV kiểm tra và đặc điểm thống kê của bài TNKQ.
1.4.7.3. Độ giá trị.
đúng cái mà nó cần đo. Độ giá trị nói đến tính hiệu quả của một bài trắc nghiệm trong việc đạt được những mục đích xác định.
Đảm bảo tính giá trị: một bài kiểm tra coi là có giá trị khi nó phản ánh được mục tiêu đào tạo. Tính giá trị được thể hiện trong việc lựa chọn nội dung kiểm tra phải gắn với các mức độ nhận thức khác nhau. Nếu một bài kiểm tra chỉ gồm toàn câu hỏi để khảo sát trí nhớ ở mức độ nhận biết thì việc đánh giá kết quả là rất thấp.
Để đảm bảo tính giá trị của bài kiểm tra cần phải quan tâm đến tính toàn diện của nó tức là cả chất lượng và số lượng. Trong quá trình kiểm tra - đánh giá tuyệt đối không được đánh giá phiến diện, riêng lẻ từng mặt một.
Theo Ebel độ giá trị chia làm hai loại:
Loại 1: bao gồm các loại chia độ giá trị dựa trên sự phán xét chuyên môn hay phân tích một cách chặt chẽ mặt logic, bao gồm: độ giá trị quyết định, độ giá trị nội dung, độ giá trị chương trình…
Độ giá trị nội dung được quan tâm nhất trong lĩnh vực dạy học, môn học, tức là khi các câu hỏi của một bài trắc nghiệm bao trùm thoả đáng nội dung của môn học thì bài trắc nghiệm đó được coi là có giá trị về nội dung. Các trắc nghiệm KQHT ở lớp thường được đánh giá một cách tốt nhất trên cơ sở độ giá trị về nội dung. Với bài TNTL thì độ giá trị về nội dung thấp hơn là TNKQ vì số lượng câu hỏi ít nên không có khả năng bao quát được hết nội dung của chương trình học.
Để đánh giá tốt KQHT của SV phải dựa vào độ giá trị của nội dung.
Loại 2: được suy ra dựa vào phân tích bằng những chứng thực hay thống kê số học, bao gồm độ giá trị thực nghiệm, tiên đoán, nhân tố, cấu trúc… Loại độ giá trị phải có 2 phép đo và phải phân tích các hệ số tương quan ở hai phép đo này. Ví dụ: tính độ giá trị tiên đoán phải có một phép đo tiên đoán biến số cần được tiên đoán tức là gồm: một bài trắc nghiệm tiên đoán trước, một bài trắc nghiệm sau để khẳng định.
Phương pháp xác định độ giá trị của nội dung: nếu như xác định một số loại độ giá trị đòi hỏi phải xử lí bằng số liệu thống kê thì xác định độ giá trị nội dung được tiến hành chủ yếu bằng phân tích logic để xác định một bài trắc nghiệm có độ giá trị về nội dung hay không? Khi phân tích tỉ mỉ về nội dung bài trắc nghiệm phải chỉ ra các câu hỏi là những phép đo có giá trị về môn học hay hành vi đang được đánh giá,
phản ánh được mục tiêu môn học.
Độ giá trị là khái niệm về định tính hơn là định lượng, do vậy xác định độ giá trị về nội dung cần phải được thảo luận trong điều kiện môn học có thể. Đánh giá độ giá trị của nội dung cần phải dựa trên sự phán đoán. suy xét có thể về mục tiêu của môn học.
*Mối quan hệ giữa độ giá trị và độ tin cậy.
Độ giá trị đòi hỏi có độ tin cậy: để có giá trị, một bài trắc nghiệm phải tương đối có giá trị. Một bài trắc nghiệm về từ ngữ quá ngắn đến nỗi các điểm số của nó là không tin cậy thì rõ ràng không thể tiên đoán với một mức độ chấp nhận được về sự thành công trong học tập mà bài trắc nghiệm này muốn dự báo.
Độ tin cậy không cần đảm bảo cho độ giá trị: trong khi độ tin cậy là một điều kiện cần thiết cho độ giá trị thì nó lại không đảm bảo gì cho độ giá trị. Có thể có bài trắc nghiệm có độ tin cậy hoàn hảo nhưng độ giá trị rất thấp hoặc không có giá trị gì cả. Bài trắc nghiệm có thể chứng tỏ độ tin cậy cao, cung cấp các phép đo ổn định về sự thể hiện của SV, đặc biệt trong bài trắc nghiệm dài. Tuy nhiên độ giá trị tiên đoán của bài trắc nghiệm có thể rất thấp. Làm nhanh không có nghĩa là thành công trong kỹ thuật.
Độ giá trị và độ tin cậy có liên quan đến nhau. Độ giá trị liên quan tới mục đích của sự đo lường, còn độ tin cậy liên quan tới sự vững chãi của điểm số. Độ giá trị phản ánh mức độ mà một bài trắc nghiệm đo được cái mà nó định đo. Vì vậy một bài trắc nghiệm muốn có giá trị phải có độ tin cậy nhưng ngược lại một bài trắc nghiệm có độ tin cậy cao chưa hẳn đó có giá trị cao.
-Giá trị nội dung bài TNKQ: một bài TNKQ được coi là có giá trị nội dung khi các câu hỏi trong bài là một mẫu tiêu biểu của tổng thể các kiến thức, kĩ năng, mục tiêu dạy học. Mức độ giá trị nội dung được ước lượng bằng cách so sánh nội dung của bài TNKQ với nội dung của chương trình học. Điều này được thể hiện trong quá trình xác định mục tiêu kiểm tra và bảng đặc trưng để phân bố câu hỏi, lựa chọn câu hỏi.
-Giá trị tiên đoán: trong lĩnh vực như hướng nghiệp, tuyển chọn…từ điểm số của bài TNKQ của từng người, chúng ta có thể tiên đoán mức độ thành công trong
tương lai của người đó. Muốn tính giá trị tiên đoán chúng ta cần phải làm hai bài trắc nghiện: một bài trắc nghiệm dự báo để có được những số đo về khả năng, tính chất của nhóm đối tượng khảo sát; một bài trắc nghiệm đối chứng để có biến số cần tiên đoán. Hệ số tương quan giữa hai bài trắc nghiệm đó là giá trị tiên đoán.