II. MỘT SỐ KHÁI NIỆM CHUNG
2. Khỏi niệm trắc nghiệm (TEST)
2.3.5. Phõn tớch cõu trắc nghiệm tiờu chớ
Trắc nghiệm tiờu chớ thường được phõn ra hai loại: “Trắc nghiệm thành thạo và trắc nghiệm lĩnh vực” [21, Tr 411]. Trắc nghiệm thành thạo được xõy dựng trờn một tập hợp cỏc mục tiờu giảng huấn hay mục tiờu động thỏi (theo Bloom), và học
sinh phải đạt đến một tiờu chuẩn (standard) tối thiểu nào đú thỡ mới được cho là thành thạo, dưới tiờu chuẩn ấy thỡ bị coi là chưa thành thạo. Trắc nghiệm theo lĩnh vực tập trung vào việc lượng giỏ thành tớch của học sinh liờn quan đến một mức độ hay bộ phận kiến thức nào đú được xỏc định thật rừ ràng, chi tiết. Với loại trắc nghiệm này, người soạn thảo phải mụ tả thật chớnh xỏc, chi tiết, nội dung và kỹ năng cần được khảo sỏt, từ đú soạn ra cỏc cõu trắc nghiệm cú tớnh cỏch đại diện cho cỏc nội dung và kỹ năng ấy. Chớnh vỡ vậy, cỏc kỹ thuật được sử dụng để soạn thảo cỏc cõu hỏi cho loại trắc nghiệm này yờu cầu rất chặt chẽ và chớnh xỏc.
Như vậy, theo những cơ sở lý thuyết về phõn tớch cõu trắc nghiệm tiờu chớ như ở trờn, căn cứ vào cấu trỳc nội dung của tiờu chuẩn kỹ năng nghề, loại trắc nghiệm được xõy dựng trờn cơ sở của tiờu chuẩn kỹ năng nghề là loại trắc nghiệm theo lĩnh vực, vỡ những tiờu chuẩn kiến thức và những tiờu chuẩn kỹ năng trong tiờu chuẩn kỹ năng nghề, là kết quả mong đợi của việc khảo sỏt thành tớch học tập của học sinh, được mụ tả một cỏch chi tiết và sỏt thực tiễn so với cỏc cụng việc của nghề. Song, nú cú thể được hiểu là loại trắc nghiệm thành thạo, vỡ trong tiờu chuẩn kỹ năng nghề những tiờu chuẩn kiến thức và những tiờu chuẩn kỹ năng cũng chớnh là cỏc yếu tố cấu thàng nờn cỏc mục tiờu học tập của cỏc bài học/modul trong chương trỡnh đào tạo.
2.3.5.1. Độ khú của cõu trắc nghiệm tiờu chớ.
Mức độ khú mong muốn của cỏc cõu trắc nghiệm tiờu chớ khụng được đặt căn bản trờn khả năng phõn biệt người giỏi, người kộm giống như với trắc nghiệm chuẩn mực, mà độ khú được quyết định bởi kết quả học tập mà nú nhằm đo lường [21, Tr 413]. Nếu nhiệm vụ học tập, được định nghĩa bởi kết quả học tập, là dễ thỡ cõu trắc nghiệm ấy hẳn cũng dễ. Nếu nhiệm vụ học tập cú độ khú trung bỡnh thỡ cõu trắc nghiệm ấy hẳn cũng cú độ khú trung bỡnh. Cú thể dựng cỏc cụng thức thụng thường để phỏng định độ khú của cõu trắc nghiệm (ĐK = x100%
n Sd
), nhưng khụng nhất
thiết phải dựng cỏc kết quả ấy để lựa chọn cõu trắc nghiệm hay để vận dụng cỏc độ khú cõu trắc nghiệm theo ý muốn. Đa số cỏc cõu trắc nghiệm thành thạo đều cú chỉ
số khú cao (tỷ lệ phần trăm làm đỳng cao) nếu việc giảng dạy và học tập cú hiệu quả tốt.
Khi soạn thảo cõu trắc nghiệm, cần phải đối chiếu độ khú của cõu trắc nghiệm với mức độ khú của nhiệm vụ học tập đó dự kiến. Ngoài ra, cần phải xem xột cỏc yếu tố cú thể ảnh hưởng đến độ khú của cõu trắc nghiệm mà khụng liờn hệ gỡ đến độ khú của nhiệm vụ học tập.
Túm lại, độ khú của cõu trắc nghiệm tiờu chớ được quyết định bởi kết quả học tập hay nhiệm vụ học tập đó được thiết lập từ trước một cỏch khỏch quan (chẳng hạn như cỏc tiờu chuẩn kiến thức, tiờu chuẩn kỹ năng được quy định trong tiờu chuẩn kỹ năng nghề). Vỡ thế độ khú của cỏc cõu trắc nghiệm phải phự hợp với mức độ khú của nhiệm vụ học tập đó dự kiến chứ khụng phải theo ý muốn chủ quan. Đõy là một trong những đặc điểm quan trọng cần lưu ý khi soạn thảo cỏc cõu trắc nghiệm theo tiờu chớ.
2.3.5.2. Khả năng phõn cỏch của cõu trắc nghiệm tiờu chớ.
Một cõu trắc nghiệm tiờu chớ khụng cú khả năng phõn cỏch khụng nhất thiết phải loại bỏ. Nếu cõu ấy phản ỏnh một thuộc tớnh quan trọng nào đú của tiờu chớ, người ta cần phải giữ nú lại. Một cõu trắc nghiệm rất tốt cú thể là những cõu cú chỉ số phõn cỏch là 0 hay rất thấp. Vỡ mục đớch của trắc nghiệm tiờu chớ là để mụ tả những gỡ học viờn cú thể làm được, thay vỡ phõn biệt giữa họ với nhau, cho nờn chỉ số phõn cỏch cú ớt giỏ trị trong việc thẩm xột chất lượng của cỏc cõu trắc nghiệm. Nếu một cõu trắc nghiệm cú độ phõn cỏch kộm cú thể chỉ cho ta biết cỏc lĩnh vực giảng dạy nào chưa được thành cụng cho lắm. Với cõu trắc nghiệm cú độ phõn cỏch õm (-) thỡ, cũng như trong trắc nghiệm chuẩn mực, đú là những cõu trắc nghiệm kộm, vỡ học sinh kộm làm đỳng cõu ấy nhiều hơn học sinh giỏi. Khi phỏt hiện ra cỏc cõu trắc nghiệm cú độ phõn cỏch õm, ta cần phải xem xột kỹ để tỡm ra cỏc khuyết điểm của chỳng [21, Tr 415].
Như vậy, khỏc với loại trắc nghiệm chuẩn mực, độ phõn cỏch của cõu trắc nghiệm tiờu chớ cú ớt giỏ trị trong việc thẩm xột chất lượng hay tớnh giỏ trị của cỏc cõu hỏi. Nú chỉ là dấu hiệu cho biết cú khuyết điểm nào đú trong việc giảng dạy và
học tập. Vỡ thế, khi soạn thảo hay phõn tớch cỏc cõu trắc nghiệm tiờu chớ, vấn đề cần quan tõm nhất là xem xột cỏc cõu hỏi cú đỏp ứng được mục tiờu đo lường cỏc kết quả học tập của học sinh dựa trờn cỏc tiờu chớ đó được ấn định trước hay khụng.
2.3.6. Yờu cầu về độ tin cậy và độ giỏ trị của bài trắc nghiệm tiờu chớ. 2.3.6.1. Độ tin cậy của trắc nghiệm tiờu chớ.
Với trắc nghiệm chuẩn mực, hệ số tin cậy đều căn cứ trờn tớnh biến thiờn của cỏc điểm số, cỏc điểm số trong nhúm khảo sỏt càng biến thiờn thỡ hệ số tin cậy càng cao. Ngược lại, cỏc trắc nghiệm tiờu chớ khụng nhằm đến sự khỏc biệt giữa cỏc cỏ nhõn, điểm số trong trắc nghiệm tiờu chớ phản ỏnh kết quả học tập của học sinh, chỳng được đối chiếu với những tiờu chuẩn đó được ấn định trước. Vỡ vậy, hệ số tin cậy tớnh theo phương phỏp cổ điển sẽ khụng phự hợp [21, Tr 428].
GS Dương Thiệu Tống [21, Tr 428], đó giới thiệu một phương phỏp tương đối đơn giản để tớnh chỉ số tin cậy cho bài trắc nghiệm với hai dạng trắc nghiệm tương đương, được gọi là chỉ số nhất quỏn (index of consistency), tớnh bằng tỷ lệ phần trăm. Phương phỏp này được túm tắt như sau:
- Soạn thảo hai bài trắc nghiệm của một lĩnh vực cỏc nhiệm vụ học tập cần được đo lường, làm sao cho cỏc điểm số trờn hai bài trắc nghiệm tương đương với nhau.
- Đặt mức điểm đạt (đạt mức thành thạo) cho bài trắc nghiệm;
- Số học sinh (trong nhúm mẫu) cú kết quả khảo sỏt từ điểm đạt trở lờn trờn cả hai dạng bài trắc nghiệm được xếp vào loại “thành thạo”; số học sinh cú kết quả dưới mức điểm đạt trờn cả hai dạng bài trắc nghiệm được xếp vào loại “chưa thành thạo”; số học sinh cũn lại được xếp vào loại thành thạo với dạng trắc nghiệm này và chưa thành thạo với dạng kia. Nếu số học sinh cũn lại này lớn, chứng tỏ bài trắc nghiệm khụng “nhất quỏn” trong việc phõn loại cỏc học sinh.
Cụng thức tớnh:
Chỉ số nhất quỏn = x 100% Số thành thạo + số chưa thành thạo Tổng số người trong nhúm
Chỉ số tin cậy càng cao thỡ càng tốt. Biện phỏp cú thể làm gia tăng khả năng đạt được cỏc kết quả giỏ trị và tin cậy là sử dụng một mẫu khỏ lớn cỏc cõu trắc nghiệm cho mỗi lĩnh vực cỏc nhiệm vụ học tập cần được đo lường.
Trong trường hợp xõy dựng cỏc cõu trắc nghiệm dựa trờn cỏc tiờu chuẩn kiến thức và cỏc tiờu chuẩn kỹ năng đó được mụ tả trong tiờu chuẩn kỹ năng nghề, người nghiờn cứu nhận thấy, để cú thể làm gia tăng khả năng đạt được cỏc kết quả giỏ trị và tin cậy cho bài trắc nghiệm, đồng thời với biện phỏp sử dụng một mẫu khỏ lớn cỏc cõu trắc nghiệm cho mỗi lĩnh vực cỏc nhiệm vụ học tập cần được đo lường, yờu cầu người soạn thảo cần tiếp tục phõn tớch một cỏch chi tiết cỏc tiờu chuẩn kiến thức và cỏc tiờu chuẩn kỹ năng đó được xỏc định, và cỏc cõu hỏi phải được xõy dựng dựa trờn kết quả phõn tớch ấy. Bờn cạnh đú, cần viết những lời chỉ dẫn rừ ràng để học sinh khỏi bị nhầm lẫn trong quỏ trỡnh làm bài trắc nghiệm.
2.3.6.2. Độ giỏ trị của trắc nghiệm tiờu chớ
Với trắc nghiệm tiờu chớ, độ giỏ trị của bài trắc nghiệm cũng quan trọng như của bài trắc nghiệm chuẩn mực, vỡ nú phải đo lường được đỳng cỏi cần đo lường. Thế nhưng, phương phỏp xỏc định độ giỏ trị của trắc nghiệm tiờu chớ cú sự khỏc biệt so với trắc nghiệm chuẩn mực.
Với trắc nghiệm chuẩn mực, tớnh biến thiờn trong cỏc điểm số là thiết yếu để tạo nờn tớnh giỏ trị, nhưng với trắc nghiệm tiờu chớ thỡ khụng phải như vậy. Loại trắc nghiệm này nhằm mụ tả cỏc nhiệm vụ mà một cỏ nhõn cú thể hoàn thành được. Nếu tất cả học sinh cú thể hoàn thành được một tập hợp cỏc nhiệm vụ nào đú vào cuối một khúa học, như vậy tất cả đều đạt điểm tối đa. Điều này lại càng tốt, vỡ chứng tỏ việc giảng dạy và cả bài trắc nghiệm cú thể đó cú hiệu quả [21, Tr 434].
Cỏc loại xỏc định giỏ trị thụng dụng với trắc nghiệm tiờu trớ bao gồm: Giỏ trị nội dung, giỏ trị tiờu chớ và giỏ trị khỏi niệm tạo lập [21, Tr 434].
Giỏ trị nội dung.
Giỏ trị nội dung là đặc tớnh quan trọng nhất của bài trắc nghiệm tiờu chớ. Cú hai vấn đề mà người soạn thảo loại trắc nghiệm này cần phải quan tõm đặc biệt: 1) cỏc cõu trắc nghiệm phải phản ỏnh đỳng lĩnh vực thành quả học tập đó được xỏc định;
2) cỏc cõu trắc nghiệm cần tạo thành một mẫu cõu hỏi khả dĩ đại diện một cỏch thớch hợp cho lĩnh vực thành quả học tập đó được xỏc định. Do vậy, tớnh giỏ trị nội dung của bài trắc nghiệm tựy thuộc vào: 1) việc quy định lĩnh vực thành tớch cần được đo lường, và 2) việc lựa chọn một tập hợp cỏc nhiệm vụ học tập vừa thớch hợp vừa cú tớnh đại diện.
Cụng việc xỏc định tớnh giỏ trị nội dung của bài trắc nghiệm tiờu chớ đũi hỏi sự phõn tớch bằng lý luận và phỏn xột dựa trờn hai vấn đề: Lĩnh vực thành tớch cần được đo lường và tập hợp cỏc nhiệm vụ học tập được quy định.
“Lĩnh vực thành tớch cần được đo lường và tập hợp cỏc nhiệm vụ học tập được quy định” đề cập ở trờn được mụ tả rất cụ thể trong tiờu chuẩn kỹ năng nghề.
Giỏ trị tiờn đoỏn.
Trắc nghiệm tiờu chớ cú thể được dựng để tiờn đoỏn sự thành thạo hay sự thành cụng của cỏc học sinh trong tương lai. Bài trắc nghiệm dựng trong việc tiờn đoỏn cú thể là bài trắc nghiệm tiền kiểm, tức là trắc nghiệm được ra cho học sinh làm trước khi bắt đầu theo học một khúa học, hay là bài trắc nghiệm hậu kiểm, tức là trắc nghiệm sau khi hoàn tất một khúa học.
Mục đớch của bài trắc nghiệm tiền kiểm và trắc nghiệm hậu kiểm nhằm xỏc định mức điểm đạt hay điểm cắt (cutoff score) ỏp dụng cho khúa học. Dựa vào mức điểm đạt, đối chiếu với kết quả trắc nghiệm của từng học sinh người ta sẽ quyết định được học sinh nào cần được bổ tỳc trước khi theo học khúa học. Ngoài ra, nội dung của bài trắc nghiệm tiền kiểm cũng cho biết loại học tập nào cần được tăng cường bổ tỳc cho học sinh.
Giỏ trị khỏi niệm tạo lập.
Giỏ trị khỏi niệm tạo lập của bài trắc nghiệm khỏch quan là giỏ trị liờn quan đến cỏc loại học tập được quy định trong cỏc mục tiờu dạy và học. Với trắc nghiệm tiờu chớ, giỏ trị khỏi niệm tạo lập là giỏ trị liờn quan đến cỏc loại học tập được quy định trong cỏc nhiệm vụ hay lĩnh vực học tập.
Để phỏn xột giỏ trị khỏi niệm tạo lập của một bài trắc nghiệm tiờu chớ cú thể trả lời cỏc cõu hỏi sau [21, Tr 438]:
1) Bài trắc nghiệm cú cú đưa ra lời mụ tả chi tiết lĩnh vực thành quả học tập mà nú nhằm đo lường hay khụng?
2) Lời mụ tả lĩnh vực ấy cú chỉ rừ bản chất và cỏc giới hạn của nội dung và khỏi niệm tạo lập mà nú đo lường hay khụng?
3) Nú cú quy định phương thức soạn ra những cõu trắc nghiệm thớch hợp và mang tớnh cỏch đại diện cho lĩnh vực thành quả học tập hay khụng?
4) Cú nhờ cỏc nhà chuyờn mụn đỏnh giỏ cỏc quy định lĩnh vực và tớnh thớch hợp của lối chọn mẫu cỏc cõu hỏi hay khụng?
5) Cú mụ tả rừ trỡnh độ nghiệp vụ của cỏc cỏ nhõn được yờu cầu đỏnh giỏ cỏc quy định lĩnh vực ấy hay khụng? Mức độ đồng ý giữa cỏc nhà chuyờn mụn như thế nào?
6) Cú mụ tả rừ cỏch cho điểm và cú sự đồng ý của cỏc nhà chuyờn mụn về cỏch cho điểm ấy hay khụng?
7) Cú cỏc bằng chứng về cuộc thử nghiệm bài trắc nghiệm hay khụng? 8) Cú xỏc định và mụ tả sai số kỳ vọng của cỏc điểm số trắc nghiệm hay khụng? 9) Cú mụ tả phương thức xỏc định “điểm cắt” để chỉ rừ mức thành thạo hay khụng?
10) Cú trỡnh bày tớnh hiệu quả của cỏc điểm cắt hay khụng? (nghĩa là thực hiện những cuộc nghiờn cứu theo dừi hay so sỏnh với những nhúm đó biết).
11) Cú bằng chứng nào cho biết rằng cỏc điểm số trắc nghiệm khụng bị ảnh hưởng bởi những yếu tố ngoại nhập?
12) Cú nờu rừ cỏc cỏch giải thớch và cỏc quyết định căn cứ trờn điểm trắc nghiệm hay khụng? Cỏc cỏch giải thớch và cỏc quyết định ấy cú được xỏc minh bởi những cuộc phõn tớch kốm theo với bằng chứng hay khụng? Nếu khụng cú cỏc bằng chứng ấy, cỏc tỏc giả cú kờu gọi sự thận trọng trong việc sử dụng và giải thớch cỏc điểm số trắc nghiệm để trỏnh giải thớch và sử dụng sai hay khụng?
Như vậy, với trắc nghiệm chuẩn mực hay trắc nghiệm tiờu chớ thỡ tớnh tin cậy và tớnh giỏ trị đều cú ý nghĩa quan trọng trong việc tạo nờn chất lượng cho bài trắc nghiệm. Song, với trắc nghiệm chuẩn mực, tớnh biến thiờn của cỏc điểm số là thiết
yếu để tạo nờn tớnh tin cậy và tớnh giỏ trị của bài trắc nghiệm. Ngược lại với trắc nghiệm tiờu chớ, điểm số phản ỏnh kết quả học tập của học sinh, chỳng được đối chiếu với những tiờu chuẩn (kiến thức, kỹ năng) đó được ấn định trước. Đõy là sự khỏc biệt giữa hai loại trắc nghiệm và là cơ sở quan trọng khi soạn thảo hoặc đỏnh giỏ cõu trắc nghiệm tiờu chớ.
2.3.7. Thiết lập điểm chuẩn cho trắc nghiệm tiờu chớ.
Với trắc nghiệm tiờu chớ, thành tớch học tập của một cỏ nhõn hay một nhúm khụng được đối chiếu với thành tớch của những cỏ nhõn hay nhúm người khỏc mà được đối chiếu với cỏc tiờu chớ, hay với cỏc nhiệm vụ học tập đó được quy định, cho nờn việc thiết lập cỏc tiờu chuẩn (Standard setting) khụng giống như đối với trắc nghiệm chuẩn mực.
Mụ hỡnh trạng thỏi là một trong hai loại mụ hỡnh thụng dụng, được cỏc chuyờn gia đo lường đề nghị nhằm đặt tiờu chuẩn cho cỏc bài trắc nghiệm tiờu chớ. Theo mụ hỡnh này, thành tớch của người làm trắc nghiệm, biểu hiện qua điểm số, được phõn ra theo hai “trạng thỏi”: “thành thạo hay khụng thành thạo”, “đạt hay khụng đạt”. Với trắc nghiệm tiờu chớ ở lớp học, cỏc chuyờn gia đo lường đó đề nghị mức tiờu chuẩn tối thiểu cho mỗi lĩnh vực hay khả năng được đo lường qua bài trắc nghiệm ở mức 70%.
Túm lại, tiờu chuẩn đặt ra cho bài trắc nghiệm tiờu chớ, là tỷ lệ phần trăm số cõu trắc nghiệm làm đỳng mà người ta kỳ vọng ở học sinh khi làm bài trắc nghiệm. Với người dự thi, nếu làm đỳng từ 70% tổng số cõu hỏi cú trong bài trắc nghiệm thỡ được đỏnh giỏ là “Đạt”. Ngược lại, là “Khụng đạt”.
Túm lại:
Trắc nghiệm tiờu chớ và trắc nghiệm chuẩn mực đều là những cụng cụ dựng để