Chương 1 : TỔNG QUAN VÀ CƠ SỞ LÝ LUẬN
4. Trắc nghiệm và những vấn đề liên quan
4.6. Cơ sở lý thuyết của mô hình Rasch
Lý thuyết hồi đáp (Item Response Theory hay viết tắt là IRT) của ông Georg Rasch nhằm mô hình hóa mối liên hệ giữa mức độ năng lực của một người và đáp ứng của người ấy với một câu trắc nghiệm hay câu hỏi. Vì các mức độ năng lực (hay gọi tổng quát là “đặc điểm” (trait) là những gì không thể quan sát được nên (IRT) cũng là một trong các mô hình thường được gọi là mô hình đặc điểm tiềm tàng (Latent trait model).
Thế nhưng IRT cũng có một số điểm bất lợi. Hầu như người ta không thể kiểm chứng được hoàn toàn tính chính xác của các giả định mà lý thuyết ấy đưa ra, căn cứ trên các dữ kiện thu thập được. Hơn nữa, các ứng dụng của lý thuyết hồi đáp IRT rất tốn kém về chi phí và công sức, so với các ứng dụng tương tự của các lý thuyết cổ điển. Trong đa số các ứng dụng IRT, người ta phải sử dụng máy tính hiệu năng cao.
Một số khái niệm căn bản của IRT * Các giả định
Phần nhiều các mô hình IRT đều đưa ra giả định rằng chỉ có một đặc điểm (trait) duy nhất làm căn bản cho thành tích đáp ứng một câu hỏi. Giả định này xét ra cũng khá hợp lý vì phần lớn các bài trắc nghiệm chỉ đo lường một đặc điểm (hay khả năng) duy nhất, chẳng hạn: khả năng ngôn ngữ, khả năng suy luận trừu tượng. Tất cả các mô hình IRT đều giả định rằng người ta có thể mô tả bằng toán học mối liên hệ giữa mức khả năng của một người và thành tích đáp ứng của người ấy với một câu hỏi. Khi mô tả bằng Toán học mối liên hệ giữa mức khả năng của một người và thành tích đáp ứng câu hỏi này được gọi là “Hàm đáp ứng câu hỏi” (Item response function, viết tắt là IRF) hay “đường cong đặc trưng của câu hỏi “(item characteristic curve).
* Hàm đáp ứng câu hỏi
Với các câu trắc nghiệm có hai điểm số (0 = sai, 1 = đúng), hàm đáp ứng câu hỏi (IRF) cho ta biết xác suất đáp ứng đúng một câu hỏi ở mức độ khả năng nào đó. Xác suất có điều kiện này là hàm của các đặc tính câu hỏi hay cá “thông số” (parameters). Hàm đáp ứng câu hỏi (IRF được phát biểu như sau: Nếu u biểu thị cho một đáp ứng với câu hỏi i (0 = sai, 1 = đúng), và θ là khả năng hay đặc điểm đang được đo lường thì hàm đáp ứng câu hỏi (logistic item responsse function) là: P(ui = 1/ θ ) = ci + (1 - ci)/1 + e- 1.702a (θ - bi)/i
Và đáp ứng hình đường cong chuẩn (normal ogive item response function) là: P(ui = 1/ θ ) = ci + (1 - ci) ø [ai (θ - bi )]
Trong đó ø [ai (θ - bi )] là hàm phân bố tích lũy chuẩn (normal comulative distribution function). Trong các phương trình trên đây, a,b và c
là những thông số mô tả các đặc trưng của câu hỏi i. Hình vẽ dưới đây trình bày hàm đáp ứng câu hỏi (IRF) và ý nghĩa của ba thông số nói trên: ai là thông số độ phân biệt (discrimination) của câu hỏi. Nó có liên hệ đến độ dốc của đường biểu diễn ở điểm uốn (point of inflection) của đường ấy bi là độ khó của câu hỏi. Nó là mức θ ở điểm uốn của đường biểu diễn, ci là thông số tạm coi như là thông số đoán mò. Nó là xác suất của một người làm trắc nghiệm với khả năng rất thấp nhưng đáp ứng được đúng câu hỏi.
Hình 2: Hàm đáp ứng câu hỏi
Không phải tất cả mọi câu hỏi đều đòi hỏi phải có ba thông số nói trên. Một số chuyên gia đo lường thực hiện công trình nghiên cứu của họ với hai thông số a (độ phân biệt) và b (độ khó) (cho c = 0). Nhiều người khác, trong số đó có Georg Rasch, thực hiện các mô hình với một thông số mà thôi: bi (ai = cố định, ci = 0).
* Mô hình Rasch với câu trắc nghiệm hai điểm số (0 và 1)
Rasch đã đưa ra một loạt các mô hình đo lường trên cơ sở lý thuyết nói trên. Mô hình căn bản nhất là mô hình Rasch áp dụng với câu trắc nghiệm với hai loại điểm số: 0, nếu làm sai câu hỏi và 1 điểm nếu làm đúng câu ấy. Trong trường hợp này mỗi câu trắc nghiệm được mô tả bằng một thông số (độ khó) kí hiệu là™ , và mỗi người làm trắc nghiệm được mô tả cũng bằng một thông số (khả năng), kí hiệu là ® . Mỗi khi một người cố gắng trả lời một câu hỏi,
1 0,5 Điểm uốn 0 bi ci P
các thông số, độ khó và khả năng, tác động lẫn nhau để cho xác suất đáp ứng của người làm trắc nghiệm ấy. Dạng toán học của mô hình này như sau:
exp(® n -™ i) Pr =
1 + exp(® n -™ i)
Trong đó Pr = xác suất của một người với khả năng ® n làm đúng (tức được điểm 1) câu trắc nghiệm có độ khó ™i
Đồ thị dưới đây cho thấy sự tác động lẫn nhau giữa độ khó của câu trắc nghiệm và khả năng của người làm trắc nghiệm. Đường cong này được gọi là “đường cong đặc trưng của câu hỏi trắc nghiệm” (item characteristic curve):
Hình 3: Đồ thị đường cong đặc trưng
Xác suất Pr của điểm 1 (đúng) hay điểm 0 (sai) chỉ có thể biến thiên giữa 0 và 1, như ta thấy trên tung độ. Hoành độ chỉ hiệu số: khả năng - độ khó. Hiệu số là số âm nếu độ khó lớn hơn khả năng, và là số dương khi khả năng lớn hơn độ khó. Trên hình vẽ, hiệu số giữa số ® và TM là 0 ở giao điểm. Lúc ấy xác suất làm câu hỏi là 0.50. Điều này có nghĩa là cơ may làm đúng câu hỏi cũng bằng cơ may làm sai câu hỏi ấy. ở phía bên phải của giao điểm này, khả năng của người làm trắc nghiệm lớn hơn độ khó của câu hỏi, và xác suất trả lời đúng thì cao hơn xác suất trả lời sai. Cũng vậy, ở phía bên trái giao điểm, khi độ khó lớn hơn khả năng, xác suất làm đúng câu hỏi giảm xuống đến tận 0. Trong vùng này (bên trái), xác suất đáp ứng sai thì lớn hơn xác suất làm đúng câu ấy.
Các đặc tính thống kê của mô hình này cho phép tách riêng ra hai thông số: độ khó của câu hỏi (TM ) và khả năng của người làm trắc nghiệm (®).
Định cỡ câu trắc nghiệm với hai loại điểm số (0 và 1)
Mô hình Rasch đưa ra một lí thuyết mới để + Phân tích và lựa chọn câu trắc nghiệm.
+ Lập một thang đo cho các điểm số trắc nghiệm.
Như đã nói ở trên, mô hình Rasch cho biết xác suất của một người trả lời đúng một câu hỏi trắc nghiệm, căn cứ trên hai thông số:
- Thuộc tính của người làm trắc nghiệm. Thuộc tính này là bất cứ đặc điểm nào của người ấy mà ta muốn đo lường nhưng thông thường nhất là “khả năng” (ability) “thành quả” (achievement) hay “thái độ” (attitude). Nói chính xác hơn, đó là mức độ khả năng mà người ấy có để trả lời đúng một số câu hỏi tương tự như các câu trong bài trắc nghiệm đã cho.
- Thuộc tính của câu trắc nghiệm. Trong thực tế, đó là mức độ khó của câu trắc nghiệm. Mức độ khó này được định nghĩa như là điểm trên thang đo lường mà ở đó người làm trắc nghiệm có may rủi 50% trả lời đúng câu ấy.
Do đó, mô hình Rasch đặt người và câu trắc nghiệm trên cùng một thang đo lường. Việc phỏng định hai thuộc tính nói trên – khả năng của người và độ khó của câu hỏi trắc nghiệm được gọi là định cỡ (calibration).
Trước khi các số phỏng định nói trên được sử dụng trong việc định cỡ và đo lường, ta cần phải kiểm chứng xem các dữ kiện dùng để phỏng định đó có thích hợp để đo lường hay không. Nếu các dữ kiện không thể xử lí được theo mô hình Rasch, chúng không thể được dùng để định cỡ các câu trắc nghiệm hay đo lường khả năng con người theo bài trắc nghiệm ấy. Công việc kiểm chứng này được gọi là phân tích sự phù hợp (analysis of fit).
Việc định cỡ câu trắc nghiệm (item cabiration) đòi hỏi phải đánh giá sự hoà hợp (fit) của thông số độ khó với mô hình Rasch.
Việc định cỡ bài trắc nghiệm (test calibration) đòi hỏi phải đánh giá sự phù hợp của những người làm trắc nghiệm với mô hình Rasch và phỏng định thông số khả năng tương ứng với mỗi điểm số về bài trắc nghiệm ấy.
Tất cả các công việc trên – đánh giá sự phù hợp, định cỡ câu trắc nghiệm, và định cỡ bài trắc nghiệm đều phải thực hiện trên máy tính [10].