7. PHƢƠNG PHÁP NGHIÊN CỨU
1.3.10. Đánh giá một bài trắc nghiệm khách quan
Nếu như phân biệt câu trắc nghiệm để giúp chúng ta sửa chữa các câu nhiễu nhằm làm thay đổi bộ phân biệt và độ khó của câu trắc nghiệm, thì đánh giá bài trắc nghiệm sẽ giúp chúng ta thay đổi độ tin cậy và độ giá trị của bài trắc nghiệm thông qua việc thay đổi và bổ sung câu hỏi.
1.3.10.1. Độ tin cậy [4; 9; 17]
43
gồm những câu hỏi tương đối đạt tiêu chuẩn dựa vào những đặc điểm sau:
* Trung bình cộng số câu đúng: X = fiN
Với: X là số câu hỏi; N là số học sinh tham gia kiểm tra và fi là số học sinh
trả lời đúng câu hỏi thứ i.
Trung bình cộng số câu trả lời đúng phải vào khoảng X/2.
* Phƣơng sai, độ lệch chuẩn của bài trắc nghiệm khách quan: - Phương sai có công thức: S2 = Xi X 2
N
Với: X là trung bình cộng số câu đúng, Xi là số câu trả lời đúng của học
sinh thứ i và N là số học sinh tham gia kiểm tra.
- Độ lệch chuẩn có công thức: S = S 2
Độ lệch chuẩn cho ta biết mức độ khác nhau trong điểm số của một nhóm học sinh.
* Độ tin cậy: Độ tin cậy của bài trắc nghiệm khách quan được xem như là một số đo về sự sai khác giữa điểm số quan sát được và điểm số thực.
Điểm số quan sát được là điểm số trên thực tế học sinh có được. Điểm số thực là điểm số lý thuyết mà học sinh sẽ phải có nếu phép đo lường không có sai số.
Tính chất tin cậy của bài trắc nghiệm khách quan cho chúng ta biết mức độ chính xác khi thực hiện phép đo. Có hai nguồn sai số phép đo là sai số bên ngoài (điều kiện tiến hành làm bài kiểm tra và điều kiện chấm bài) và sai số bên trong (bản thân bài kiểm tra). Vì vậy, một bài trắc nghiệm khách quan có thể chấp
nhận nếu nó thoả đáng về nội dung và có độ tin cậy 0,60 R 1,00.
44
nó đo được cái cần đo, định đo, muốn đo.
Bài trắc nghiệm khách quan phải có độ tin cậy, một bài trắc nghiệm khách quan hay nhưng có độ tin cậy thấp thì cũng không có ích; một bài trắc nghiệm khách quan có độ tin cậy cao nhưng vẫn có thể có độ giá trị thấp, như vậy một bài trắc nghiệm khách quan có độ tin cậy thấp thì không thể có độ giá trị cao.
Để đánh giá độ tin cậy cần chú ý đến sai số đo lường chuẩn, số học sinh tham gia làm bài kiểm tra và đặc điểm thống kê của bài trắc nghiệm khách quan.
Tóm lại: Độ tin cậy của bài trắc nghiệm chính là đại lượng biểu thị mức độ chính xác của phép đo nhờ bài trắc nghiệm.
1.3.10.2. Độ giá trị [4; 9; 17]
Độ giá trị là khái niệm cho biết mức độ mà một bài trắc nghiệm đo được đúng cái cần đo. Độ giá trị nói đến tính hiệu quả của một bài trắc nghiệm trong việc đạt được những mục đích xác định.
Đảm bảo tính giá trị: Một bài kiểm tra coi là giá trị khi nó phản ánh được mục tiêu đào tạo. Tính giá trị thể hiện trong việc lựa chọn nội dung kiểm tra phải gắn với các mức độ nhận thức khác nhau. Nếu một bài kiểm tra chỉ gồm toàn câu hỏi để khảo sát trí nhớ ở mức độ nhận biết thì việc đánh giá kết quả là rất thấp.
Để đảm bảo tính giá trị của bài kiểm tra cần phải được quan tâm đến tính toàn diện của nó tức là cả chất lượng và số lượng. Trong quá trình kiểm tra -đánh giá tuyệt đối không được đánh giá phiến diện, riêng lẻ từng mặt một. Theo Ebel độ giá trị chia làm hai loại:
Loại 1: Bao gồm các loại chia độ giá trị dựa trên sự phán xét chuyên môn hay phân tích một cách chặt chẽ mặt logic, bao gồm: độ giá trị quyết định, độ giá trị nội dung, độ giá trị chương trình...
45
tức là khi câu hỏi của một bài trắc nghiệm bao trùm thoả đáng nội dung môn học thì bài trắc nghiệm đó gọi là độ giá trị về nội dung. Các trắc nghiệm kết quả học tập ở lớp thường được đánh giá một cách tốt nhất trên cơ sở độ giá trị về nội dung.
Loại 2: Được suy ra hay dựa trên phân tích bằng những chứng thực hay thống kê số học, bao gồm độ giá trị thực nghiệm, tiên đoán, nhân tố, cấu trúc... Loại này khi tính toán độ giá trị phải có 2 phép đo và giải phân tích các hệ số tương quan ở hai phép đo này.
Phương pháp xác định độ giá trị của nội dung: Nếu như xác định một số loại độ giá trị đòi hỏi phải xử lý bằng số liệu thống kê thì xác định độ giá trị nội dung được tiến hành chủ yếu bằng phân tích logic để xác định một bài trắc nghiệm có độ giá trị về nội dung hay không? Khi phân tích tỉ mỉ về nội dung bài trắc nghiệm phải chỉ ra các câu hỏi là những phép đo có các giá trị về môn học hay hành vi đang được đánh giá, phản ánh được mục tiêu môn học. Độ giá trị là khái niệm về định tính hơn là định lượng, do vậy xác định độ giá trị về nội dung cần phải được thảo luận trong điều kiện môn học cụ thể. Đánh giá độ giá trị của nội dung cần phải dựa trên sự phán đoán, suy xét cụ thể về mục tiêu của môn học.
1.3.10.3. Mối quan hệ giữa độ giá trị và độ tin cậy [9]
Độ giá trị đòi hỏi phải có độ tin cậy: Để có giá trị, một bài trắc nghiệm phải tương đối tin cậy. Nếu một bài trắc nghiệm quá kém chính xác thì điểm của nó không thể có giá trị. Một bài trắc nghiệm về từ ngữ quá ngắn đến nỗi các điểm số của nó là không tin cậy được thì rõ ràng nó không thể tiên đoán với một mức độ chấp nhận được về sự thành công trong học tập mà bài trắc nghiệm này muốn dự báo.
46
Độ tin cậy không cần đảm bảo cho độ giá trị: Trong khi độ tin cậy là một điều kiện cần thiết cho độ giá trị thì nó lại không đảm bảo gì cho độ giá trị. Có thể bài trắc nghiệm có độ tin cậy hoàn hảo nhưng độ giá trị rất thấp hoặc không có giá trị gì cả. Bài trắc nghiệm có thể chứng tỏ độ tin cậy cao, cung cấp các phép đo ổn định về sự thể hiện của học sinh, đặc biệt trong bài trắc nghiệm dài. Tuy nhiên độ giá trị tiên đoán của bài trắc nghiệm có thể rất thấp. Làm nhanh không có nghĩa là thành công trong kỹ thuật.
Độ giá trị và độ tin cậy có liên quan đến nhau: Độ giá trị liên quan tới mục đích của sự đo lường, còn độ tin cậy liên quan tới sự vững chãi của điểm số. Độ giá trị phản ánh mức độ mà một bài trắc nghiệm đo được cái mà nó định đo. Độ tin cậy phản ánh sự chính xác của phép đo. Vì vậy, một bài trắc nghiệm muốn có giá trị phải có độ tin cậy nhưng ngược lại một bài trắc nghiệm có độ tin cậy cao chưa hẳn đã có giá trị cao.
Giá trị nội dung bài trắc nghiệm khách quan: Thể hiện khi các câu hỏi trong bài là một mẫu tiêu biểu của tổng thể các kiến thức, kỹ năng, mục tiêu dạy học. Mức độ giá trị nội dung được ước lượng bằng so sánh nội dung của bài trắc nghiệm khách quan với nội dung của chương trình học. Điều này được thể hiện trong quá trình xác định mục tiêu kiểm tra và bảng đặc trưng để phân bố câu hỏi, lựa chọn câu hỏi.
Giá trị tiên đoán: Trong một số lĩnh vực như hướng nghiệp, tuyển chọn... từ điểm số của bài trắc nghiệm khách quan của từng người, chúng ta có thể tiên đoán mức độ thành công trong tương lai của người đó. Muốn tính giá trị tiên đoán chúng ta cần phải làm hai bài trắc nghiệm: Một bài trắc nghiệm dự báo để có được những số đo về khả năng, tính chất của nhóm đối tượng khảo sát; một
47
bài trắc nghiệm đối chứng để có biến số cần tiên đoán. Hệ số tương quan giữa hai bài trắc nghiệm đó là giá trị tiên đoán.
1.4. Nghiên cứu về thiết kế câu hỏi TNKQ
1.4.1. Các mức kĩ năng trong lĩnh vực nhận thức
Theo B. S. Bloom, các hoạt động giáo dục bao gồm ba lĩnh vực, đó là lĩnh vực về nhận thức, lĩnh vực về hoạt động, và lĩnh vực về cảm xúc, thái độ. Lĩnh vực về nhận thức thể hiện ở khả năng suy nghĩ, lập luận, bao gồm việc thu thập các sự kiện, giải thích, lập luận theo kiểu diễn dịch và quy nạp và đánh giá có phê phán.
Bloom và các cộng sự của ông cũng xây dựng nên các cấp độ của các mục tiêu giáo dục, thường được gọi là cách phân loại B.loom, trong đó lĩnh vực nhận thức được chia thành các mức độ hành vi từ đơn giản nhất đến phức tạp nhất như sau [5, tr 3]:
nhớ: là sự nhớ lại các dữ liệu đã học được trước đây. Có nghĩa là nhắc lại
một loạt dữ liệu, từ các sự kiện đơn giản đến các lí thuyết phức tạp, tái hiện trong trí nhớ những thông tin cần thiết. Đây là cấp độ thấp nhất của kết quả học tập trong lĩnh vực nhận thức.
hiểu: là khả năng nắm được ý nghĩa của tài liệu. Điều này thể hiện bằng
việc chuyển tài liệu từ dạng này sang dạng khác, bằng cách giải thích tài liệu (hoặc tóm tắt) và bằng cách ước lượng xu hướng tương lai (dự báo các hệ quả hoặc ảnh hưởng). Kết quả học tập ở mức độ nay cao hơn so với nhớ, và là mức thấp nhất của việc thấu hiểu sự vật.
áp dụng: là khả năng sử dụng những điều đã học vào một hoàn cảnh cụ thể mới. Điều đó có thể bao gồm việc áp dụng các quy tắc, phương pháp, khái niệm
48
nguyên lí, định luật và lí thuyết. Kết quả học tập ở lĩnh vực này đòi hỏi cấp độ thấu hiểu cao so với cấp độ hiểu ở trên.
phân tích: là khả năng phân chia một tài liệu ra thành các phần của nó sao cho có thể hiểu được các cấu trúc tổ chức của nó. Bao gồm việc chỉ ra đúng các bộ phận, phân tích các mối quan hệ giữa các bộ phận, và nhận biết được các nguyên lí tổ chức được bao hàm. Phân tích đòi hỏi một sự thấu hiểu cả nội dung và hình thái cấu trúc của tài liệu nên kết quả học tập ở đây thể hiện một mức trí tuệ cao hơn so với mức hiểu.
tổng hợp: là khả năng sắp xếp các bộ phận lại với nhau để hình thành một tổng thể mới. Bao gồm việc tạo ra một cuộc giao tiếp đơn nhất (chủ đề hoặc bài phát biểu), một kế hoạch hành động (dự án nghiên cứu), hoặc một mạng lưới các quan hệ trừu tượng (sơ đồ để phân lớp thông tin). Kết quả học tập trong lĩnh vực này nhấn mạnh các hành vi sáng tạo, đặc biệt tập trung chủ yếu vào việc hình thành các mô hình và cấu trúc mới.
đánh giá: là khả năng xác định giá trị của tài liệu (tuyên bố, tiểu thuyết, thơ, báo cáo nghiên cứu). Việc đánh giá dựa trên các tiêu chí nhất dịnh. Đó có thể là các tiêu chí bên trong (cách tổ chức) hoặc các tiêu chí bên ngoài (phù hợp với mục đích), và người đánh giá phải tự xác định hoặc được cung cấp các tiêu chí. Kết quả học tập trong lĩnh vực này là cao nhất trong các cấp bậc nhận thức vì nó chứa các yếu tố của mọi cấp bậc khác.
Các công cụ đánh giá có hiệu quả phải giúp xác định được kết quả học tập ở mọi cấp độ nói trên để đưa ra một nhận định chính xác về năng lực của người được đánh giá về chuyên môn liên quan.
49
1.4.2.Mục tiêu giảng dạy
Bất kì một hoạt động nào cũng phải có mục tiêu cần đạt đến. Trong giảng dạy cũng thế, muốn việc giảng dạy có hiệu quả thì ta phải đặt ra các mục tiêu giảng dạy để làm cái đích cho HS và GV hướng đến. TN nói chung và TNKQ nói riêng đều phải đo được cái cần đo, tức là đo được mức độ đạt các mục tiêu cụ thể của môn học, cần phải thiết kế và viết đề thi trắc nghiệm bám sát mục tiêu môn học. Ngoài ra, mục tiêu giảng dạy là cơ sở quan trọng để xây dựng các đề thi TN.
Để giảng dạy tốt một môn học cần có một danh mục chi tiết về các mục tiêu giảng dạy, thể hiện ở năng lực hay hành vi cần phát triển của người học qua quá trình giảng dạy. Để viết một bài TN tốt cho môn học đó cần dựa vào các mục tiêu đề ra cho môn học. Khi đã có một mục tiêu chi tiết của môn học thì chúng ta liệt kê các mục tiêu cụ thể liên quan đến các năng lực cần đo lường đối với từng phần của môn học, sau đó tuỳ thuộc vào mức độ quan trọng của từng mục tiêu ứng với từng phần của môn học mà quyết định là cần bao nhiêu câu hỏi.
Công cụ thuận lợi để thiết kế các thành phần của một đề TN là bảng mục tiêu giảng dạy. Trong bảng đó có chia ra các hàng ứng với các phần của môn học, và các cột ứng với các mức kĩ năng liên quan đến mục tiêu cụ thể. Ứng với mỗi ô của bảng người ta ghi số câu hỏi cần xây dựng cho bài TN. Tuỳ theo tầm quan trọng của nội dung và loại kĩ năng mà quy định số câu TN phải viết.
Việc xác định được chi tiết các mục tiêu cụ thể của môn học và thiết kế đề TN bám sát các mục tiêu đó là một đảm bảo để phép đo bằng đề thi TN có độ giá trị cần thiết.
50
1.4.3. Kĩ thuật viết câu hỏi trắc nghiệm khách quan nhiều lựa chọn
Để ứng dụng trắc nghiệm khách quan đánh giá năng lực của người học một việc vô cùng quan trọng là cần phải xây dựng bộ đề thi trắc nghiệm có chất lượng, có thể mô tả qua sơ đồ (Flowchart) sau:
Sơ đồ các bƣớc soạn thảo câu hỏi TNKQ
Trong đó: Cần sửa Không đạt Bắt đầu Xây dựng ngân hàng câu hỏi, bộ đề Tổ chức kiểmtra đánh giá người học
Đánh giá chất lượng câu hỏi và bộđề
Hoàn thiện câu hỏi,
bộ đề
Thu thập số liệu thống kê
Loại bỏ
51
:Dựa vào mục tiêu đào tạo, yêu cầu của học phần để hình thành ý tưởng về
tính cấp thiết và quyết tâm phải sử dụng trắc nghiệm khách quan trong đánh giá.
:Căn cứ vào nội dung học phần, cá nhân hoặc nhóm xây dựng ngân hàng câu
hỏi và bộ đề thi, kiểm tra theo các cấp độ nhận thức.
:Tiến hành kiểm tra, thi với số lượng đủ lớn.
:Căn cứ vào bài làm của người học, thu thập số liệu cho từng câu hỏi từng đề
thi.
: Sử dụng máy tính và các phần mềm: Excel, SPSS, Eview, …. Để phân tích
đánh giá chất lượng từng câu hỏi, từng đề thi theo các tiêu chuẩn như độ khó, độ phân biệt, độ tin cậy….
:Loại bỏ những câu không đạt yêu cầu.
: Đối với những câu, đề đạt yêu cầu, tiến hành hoàn thiện để trở về bước
tiếp tục kiểm tra, đánh giá.
Quan sơ đồ trên ta thấy quá trình xây dựng và triển khai đánh giá bằng trắc nghiệm khách quan cần có thời gian chuẩn bị và thực hiện, nó chỉ chấm dứt khi người dạy nhận thấy hình thức này không còn phù hợp với học phần đang giảng dạy.
52
1.5. Vấn đề sử dụng câu hỏi trắc nghiệm khách quan trong dạy học ở Việt Nam Nam
Việc nghiên cứu và sử dụng TNKQ ở Việt Nam nói chung đang còn mới mẻ. Đầu tiên TNKQ được sử dụng cho mục đích y tế, nhằm chuẩn đoán bệnh ở khoa Tâm thần Bệnh viện Bạch Mai, tiếp đến là các thí nghiệm về trí tuệ được