1.3.2.1. Mục đớch của việc phõn tớch, đỏnh giỏ bài Trắc nghiệm
Việc phõn tớch, ĐG bài trắc nghiệm sau khi tổ chức kiểm tra, chấm và ghi điểm bài làm của học sinh giỳp chỳng ta ĐG hiệu quả của từng cõu hỏi. Việc làm này cú hai mục đớch sau đõy:
- Thứ nhất, kết quả của bài thi cú thể giỳp giỏo viờn ĐG mức độ truyền thụ kiến thức của thầy và khả năng lĩnh hội kiến thức của học sinh để từ đú điều chỉnh phương phỏp, nội dung dạy học ngày càng hiệu quả hơn.
- Thứ hai, từ việc phõn tớch cõu hỏi, xem xột kết quả bài làm của học sinh giỳp chỳng ta đỏnh giỏ được mức độ khú, dễ của cõu hỏi, từ đú điều chỉnh cho hợp lý để cú được bộ cõu hỏi TN để đỏnh giỏ kết quả học tập của học sinh ngày càng chớnh xỏc và hiệu quả hơn.
1.3.2.2. Phương phỏp phõn tớch, đỏnh giỏ bài Trắc nghiệm
Phõn tớch thống kờ cỏc cõu hỏi TN để xem xột từng cõu hỏi cũng như toàn bộ bài TN cú đạt được những mục đớch đề ra hay khụng. Điều đú phụ thuộc vào mục đớch của bài TN.
Nguyờn tắc chung để phõn tớch cõu hỏi của một bài TN là ta thường so sỏnh cõu trả lời của mỗi cõu hỏi đú với điểm số chung của toàn bài với mong
muốn cú nhiều học sinh (ở nhúm khỏ giỏi) và đồng thời cú ớt học sinh (ở nhúm yếu) trả lời được cõu hỏi đú, nghĩa là phổ cỏc điểm của một lớp học sinh phải trải càng rộng càng tốt. Nếu khụng đạt được điều đú, cú thể cõu hỏi TN soạn chưa chớnh xỏc hoặc nội dung kiến thức chưa được dạy đỳng yờu cầu. Việc phõn tớch cõu trả lời của học sinh nhằm xỏc định cỏc chỉ số về độ khú, độ phõn biệt, độ giỏ trị và độ tin cậy của một cõu hỏi, một bài TN.
Theo cỏc kết quả nghiờn cứu, trong mẫu phõn bố chuẩn, người ta thường chia mẫu học sinh thành 3 nhúm:
- Nhúm điểm cao (H): chọn 27% học sinh đạt điểm cao nhất (cú thể dao động trong khoảng từ 25% - 33%)
- Nhúm điểm thấp (L): chọn 27% học sinh đạt điểm thấp nhất (cú thể dao động trong khoảng từ 25% - 33%)
- Nhúm trung bỡnh (M): khoảng 46% học sinh cũn lại.
Việc chia nhúm chỉ là tương đối, đối với cỏc lớp ớt học sinh thỡ sai số thống kờ là khỏ lớn.
* Độ khú của cõu hỏi: Khi núi đến độ khú, hiển nhiờn phải xem cõu hỏi đú là khú đối với đối tượng nào. Nhờ việc thể nghiệm trờn cỏc đối tượng học
sinh phự hợp, người ta cú thể đo độ khú bằng cụng thức: %
n R
P
Trong đú R là số học sinh làm bài đỳng, n là số học sinh tham gia làm bài. Theo tỏc giả Dương Thiệu Tống, cú thể phõn loại độ khú của một cõu hỏi theo kết quả trả lời của học sinh:
- Nếu P70%: Là cõu TN dễ.
- Nếu P(40%70%): Là cõu TN cú độ khú trung bỡnh. - Nếu P(30%40%): Là cõu TN tương đối khú.
- Nếu P30%: Là cõu TN khú.
* Độ phõn biệt: Độ phõn biệt (hay cũn gọi là độ bỏch phõn) là độ đo khả năng của cõu hỏi phõn biệt rừ kết quả bài làm của một nhúm HS cú năng lực khỏc nhau.
Cụng thức tớnh độ phõn biệt: % n
T C
D
Trong đú: C - Là số người trong nhúm cao trả lời đỳng cõu TN T - Là số người trong nhúm thấp trả lời đỳng cõu TN n - Là tổng số học sinh dự thi TN.
Phõn loại chỉ số D của một cõu TN là:
- Nếu D40%: Độ phõn biệt rất tốt.
- Nếu D(30%39%): Độ phõn biệt tốt
- Nếu D(20%29%) : Độ phõn biệt trung bỡnh
- Nếu D19%: Độ phõn biệt thấp.
Sau khi đó phõn tớch và tớnh toỏn thỡ cỏc cõu hỏi thoả món cỏc tiờu chuẩn sau đõy được xếp vào danh mục cỏc cõu hỏi hay:
- Độ khú: 40%D60%
- Độ phõn biệt: P30%
Dự sao ta cũng khẳng định rằng: cỏc chỉ số thống kờ núi trờn chỉ cú ý nghĩa tương đối. Mục tiờu chớnh đỏnh giỏ chất lượng bài kiểm tra thành quả học tập của học sinh là so sỏnh bản thõn nội dung của cõu hỏi với cỏc mục tiờu dạy học. Điều đú mới thực sự cú ý nghĩa quyết định.
* Độ giỏ trị: Là khỏi niệm cho biết mức độ mà một bài trắc nghiệm đo được đỳng cỏi mà nú định đo. Độ giỏ trị sẽ giỳp chỳng ta biết được TN ta đang dựng cú giỳp chỳng ta rỳt ra kết luận đỳng vào đặc điểm cần nghiờn cứu hay khụng.
Một bộ bài tập TN muốn cú độ giỏ trị tốt cần phải đảm bảo cỏc yờu cầu: - Cỏc bài tập TN phải tiờu biểu cho một hệ thống cơ bản cỏc bài tập.
- Số bài tập TN phải đủ lớn để KT-ĐG.
- Hệ thống cơ bản cỏc bài tập phải phản ỏnh đỳng đặc điểm, mục đớch cần đỏnh giỏ.
Vỡ vậy khi soạn thảo đề TN cần xỏc định rừ cấu trỳc cỏc bài tập của nú. Độ giỏ trị liờn quan chặt chẽ đến mục đớch và đối tượng kiểm tra. Ta phõn biệt cú cỏc loại độ giỏ trị sau:
- Độ giỏ trị tiờn đoỏn: Từ điểm số trong kỳ thi TN của mỗi học sinh, chỳng ta muốn tiờn đoỏn mức độ thành cụng trong học tập của học sinh đú trong tương lai.
- Độ giỏ trị đồng thời: Núi lờn sự tương quan giữa cỏc điểm số của bài TN với sự đo đồng thời cỏc tiờu chớ khỏc cú liờn quan mà bài TN muốn đo lường.
- Độ giỏ trị nội dung: Là mức độ bao trựm một cỏch thoả đỏng nội dung cụ thể của từng mụn học, thỡ bài TN đú được coi là cú độ giỏ trị về nội dung."Trước khi xỏc định tớnh chất giỏ trị này, chỳng ta nờu rừ mục tiờu giảng dạy, loại khả năng hoặc kiến thức phải nắm sau khi học tập, cỏc tài liệu học sinh cần phải đọc, tớnh quan trọng tương đối giữa cỏc phần trong chương trỡnh, …Như vậy, mức độ giỏ trị được ước lượng bằng cỏch so sỏnh nội dung đề cập trong cỏc cõu hỏi và nội dung của chương trỡnh, chứ khụng dựa trờn hệ số giỏ trị đi từ việc khảo sỏt thực nghiệm như hai trường hợp trờn" [7, tr. 147]. - Độ giỏ trị cấu trỳc: Là giỏ trị liờn quan đến cỏc loại học tập được quy định trong cỏc mục tiờu dạy và học, chẳng hạn một bài TN gồm những cõu hỏi chỉ đề cập đến khả năng như học thuộc lũng cỏc cụng thức, cỏc định lý, … thỡ khụng cú giỏ trị đo lường kiến thức thụng hiểu, phõn tớch, tổng hợp.
* Độ tin cậy: Là mức độ chớnh xỏc của phộp đo, tức là bài TN tốt phải đo được cỏi cần đo ở mức độ chắc chắn và chớnh xỏc nhất cú thể được. Theo Quentin Stodola và Kalmer Stordahl thỡ: "Về mặt lý thuyết, độ tin cậy cú thể được xem như là một số đo về sự sai khỏc giữa điểm số quan sỏt và điểm số thực" [2, tr. 153].
Điểm số quan sỏt được là điểm số mà trờn thực tế học sinh cú được, cũn điểm số thực là điểm số lý thuyết mà học sinh đú phải cú nếu khụng mắc những sai số trong đo lường (sai số từ bờn trong: từ bản thõn bài TN, động lực của học sinh, và sai số từ bờn ngoài: điều kiện tiến hành TN, việc quản lý và tổ chức thi TN…)
Theo tỏc giả Dương Thiệu Tống thỡ: "Một bài trắc nghiệm được xem là đỏng tin cậy khi nú cho ra những kết quả cú tớnh vững chắc, ổn định. Điều này cú nghĩa là, nếu làm bài trắc nghiệm ấy nhiều lần mỗi học sinh vẫn sẽ giữ được thứ hạng tương đối của mỡnh trong trong nhúm" [10, tr. 43].
Trong giỏo dục, việc lặp đi lặp lại cỏc phộp đo trờn cựng một bài TN đối với một học sinh cụ thể là khú thực hiện.
Một cỏch tiếp cận được lựa chọn là phải xem xột sự tương quan giữa cỏc điểm số đạt được bởi một số lớn học sinh với cỏc điểm số của họ thu được từ bài TN "song song" hoặc "tương đương". Từ đú tỏc giả Patrick Grifin cho rằng: "Hệ số độ tin cậy đối với một bộ điểm số của một nhúm thớ sinh là hệ số tương quan giữa bộ điểm số đú với một bộ điểm số khỏc của một bài trắc nghiệm tương đương thu được một cỏch độc lập từ cỏc thành viờn của cựng một nhúm thớ sinh đú" [6, tr. 71].
Trong thực nghiệm, để ước tớnh độ tin cậy của một bài TN người ta thường sử dụng cụng thức Kuder – Richardson (KR20):
2 S q . p 1 1 k k R
Trong đú: k - Là số lượng cõu TN
p - Là tỷ lệ những cõu trả lời đỳng đối với một cõu hỏi riờng biệt q - Là tỷ lệ những cõu trả lời sai đối với một cõu hỏi riờng biệt S - Là độ sai lệch chuẩn của điểm số bài TN
Khi mức độ khú của cỏc cõu hỏi bằng nhau người ta dựng cụng thức
2 2 S k M M 1 1 k k R
Trong đú: k - Là số lượng cõu TN
M - Là điểm trung bỡnh của bài TN
Nếu chiều dài của bài TN tăng lờn k lần sẽ làm tăng độ tin cậy ban đầu lờn thành Rk theo cụng thức Spearman – Brown:
R ) 1 k ( 1 kR Rk
Cỏc yếu tố ảnh hưởng đến độ tin cậy của một bài trắc nghiệm:
- Bài TN càng thuần nhất thỡ độ tin cậy càng cao. Một bài TN được coi là thuần nhất nếu phần lớn cỏc cõu hỏi trong bài cú độ khú trung bỡnh.
- Nờn chỳ ý rằng khi cố gắng làm tăng thờm tớnh thuần nhất rất dễ dẫn đến nguy cơ thu hẹp nội dung đỏnh giỏ, khi đú sẽ làm giảm độ giỏ trị của bài TN.
- Độ tin cậy của bài TN cú mục đớch khỏc nhau sẽ là khỏc nhau. Chẳng hạn, bài TN về thành quả tối thiểu hay thành quả tối đa cú độ tin cậy khỏc với bài TN phõn loại hay chẩn đoỏn.
Mối liờn hệ giữa độ giỏ trị và độ tin cậy: Ta hiểu độ giỏ trị thụng thường phản ỏnh mức độ mà một bài TN đo được cỏi mà nú định đo, cũn độ tin cậy phản ỏnh sự chớnh xỏc của phộp đo.
Mặc dự vậy hai đại lượng này luụn cú liờn quan với nhau: Độ giỏ trị đũi hỏi cú độ tin cậy, để cú giỏ trị một bài TN phải là tương đối tin cậy. Độ tin cậy khụng đảm bảo cho độ giỏ trị, cú thể cú một bài TN cú độ tin cậy hoàn hảo nhưng lại cú độ giỏ trị rất thấp.
Như vậy, sự ước lượng cỏc đại lượng về độ giỏ trị và độ tin cậy thường được nờu ra như là cỏc hệ số tương quan. Ta phải xem xột khụng chỉ cỏc phương phỏp đó làm để thu được cỏc giỏ trị này mà cả thành phần cấu tạo của tập hợp mẫu cỏc học sinh đó được TN, cũng như cỏc đặc điểm thống kờ của bài TN.
Khi ĐG độ giỏ trị thỡ sự phõn tớch về nội dung thường quan trọng hơn là cỏc con số thống kờ. Khi ĐG độ tin cậy thỡ nờn xem xột đến sai số chuẩn của phộp đo. Cần phải tiến tới sự phự hợp về độ tin cậy và độ giỏ trị trong việc ĐG và tuyển chọn cỏc bài TN.