II. MỘT SỐ KHÁI NIỆM CHUNG
2.3.Trắc nghiệm tiờu chớ
2. Khỏi niệm trắc nghiệm (TEST)
2.3.Trắc nghiệm tiờu chớ
2.3.1. Khỏi niệm trắc nghiệm tiờu chớ.
Cú rất nhiều định nghĩa và cỏc bài viết về “trắc nghiệm tiờu chớ” từ cỏc tài liệu viết bằng tiếng Anh. GS Dương Thiệu Tống đó trớch dẫn một định nghĩa đang được sử dụng rộng rói nhất hiện nay là định nghĩa của W. James Popham như sau:
“Trắc nghiệm tiờu chớ là trắc nghiệm được xõy dựng nhằm cho phộp giải thớch thành tớch của người được khảo sỏt liờn quan đến một tập hợp cỏc khả năng đó được xỏc định rừ ràng”. [21, Tr 369]
Để hiểu định nghĩa trờn, một số từ ngữ cần được làm rừ thờm:
- “Tiờu chớ” (criterion): Là tiờu chuẩn thực hiện (the standard of performance)
haytiờu chuẩn thành tớch được thiết lập làm điểm đạt (passing score) của bài trắc nghiệm. [29]
- “Khả năng” (Competency): Trong lĩnh vực trắc nghiệm này, cỏc từ như “Khả năng”, “mục tiờu” và “kỹ năng” cú thể được dựng thay thế cho nhau. [21, Tr 369]
Như vậy, theo cỏc cơ sở trờn, trắc nghiệm tiờu chớ được W. James Popham định nghĩa cú thể được hiểu là: Loại trắc nghiệm được xõy dựng nhằm đo lường thành tớch đạt được của người học để đối chiếu với những tiờu chuẩn thực hiện hay tiờu chuẩn thành tớch được thiết lập trước một cỏch rừ ràng.
Trong tài liệu “Phỏt triển và Quản lý chương trỡnh đào tạo nghề” [11, Tr 3] do GS.TS Nguyễn Minh Đường là chủ biờn, thuật ngữ “Competency” được dịch là “Năng lực thực hiện”. Năng lực thực hiện là khả năng thực hiện được cỏc hoạt động (nhiệm vụ, cụng việc của một lĩnh vực nghề) theo chuẩn quy định đối với từng nhiệm vụ và cụng việc đú trong những điều kiện nhất định. Trong giỏo dục nghề nghiệp, năng lực thực hiện bao gồm cỏc kỹ năng, kiến thức, thỏi độ mà sản xuất/ dịch vụ đũi hỏi người lao động phải cú để thực hiện được cỏc nhiệm vụ, cụng việc của một nghề đạt chất lượng và hiệu quả. Cỏc kiến thức, kỹ năng, thỏi độ (hay năng lực thực hiện) được xỏc định một cỏch cụ thể trong cỏc tiờu chuẩn kỹ năng nghề (Occupational Skills Standard).
Hiện nay, trong khu vực và thế giới, tiờu chuẩn kỹ năng nghề (Occupational Skills Standard) được dựng đồng nghĩa với tiờu chuẩn năng lực thực hiện (Occupational Competency Standard). Tiờu chuẩn kỹ năng nghề bao gồm những tiờu chuẩn kiến thức và tiờu chuẩn kỹ năng được xõy dựng cho từng cụng việc của nghề.
Như vậy, theo quan điểm kỹ thuật, cú thể hiểu định nghĩa của W. James Popham như sau: “Trắc nghiệm theo tiờu chớ là loại trắc nghiệm được xõy dựng nhằm đo lường thành tớch đạt được của người học để đối chiếu với những tiờu chuẩn kỹ năng được thiết lập trước một cỏch rừ ràng”.
2. 3.2. Nguyờn tắc soạn thảo cỏc cõu hỏi trắc nghiệm tiờu chớ.
Về hỡnh thức, trắc nghiệm chuẩn mực và trắc nghiệm tiờu chớ cú thể giống nhau, nhưng hai loại trắc nghiệm này khỏc biệt nhau về cỏch soạn thảo.
Nguyờn tắc chớnh yếu của người soạn thảo trắc nghiệm tiờu chớ là cố gắng làm sao cho mỗi cõu hỏi là một sự phản ỏnh chớnh xỏc tiờu chớ được xỏc định một cỏch rừ ràng. Dự cõu hỏi ấy dễ hay khú, cú khả năng phõn cỏch nhiều hay ớt, điều quan trọng là cõu hỏi ấy phải cú tớnh cỏch đại diện cho loại động thỏi (behaviors: kiến
thức, kỹ năng,…) được giới hạn bởi tiờu chớ. Vỡ vậy, người soạn thảo trắc nghiệm cần đặc biệt chỳ trọng đến việc xỏc định thật rừ lĩnh vực cỏc đỏp ứng cú liờn hệ của bài trắc nghiệm và những hoàn cảnh trong đú đũi hỏi người học phải cú những đỏp ứng ấy. [21, Tr 378]
Như vậy, khỏc hẳn với cỏch soạn thảo cỏc cõu hỏi cho trắc nghiệm chuẩn mực, là người soạn cố gắng tạo nờn sự biến thiờn của điểm số mới tạo được chất lượng cho bài trắc nghiệm; với trắc nghiệm tiờu chớ, người soạn thảo phải cố gắng làm sao cho mỗi cõu hỏi là một sự phản ỏnh chớnh xỏc tiờu chớ được xỏc định một cỏch rừ ràng, khỏch quan, khụng lệ thuộc vào ý muốn chủ quan. Đõy là đặc điểm quan trọng khi soạn thảo cõu trắc nghiệm tiờu chớ.
2.3.3. Xỏc định cỏc tiờu chớ.
Từ “tiờu chớ” dựng để chỉ “lĩnh vực nội dung” hay “lĩnh vực động thỏi” mà bài trắc nghiệm nhằm khảo sỏt, và nú cú nghĩa là tiờu chuẩn thành tớch kỳ vọng ở người được khảo sỏt. Chớnh vỡ thế, trắc nghiệm tiờu chớ đũi hỏi người soạn phải xỏc định trước một cỏch chi tiết và rừ ràng cỏc nhiệm vụ mà người học phải thực hiện được. Điều này cú nghĩa rằng, trước khi soạn cỏc cõu trắc nghiệm, người soạn thảo phải xỏc định lĩnh vực cỏc nhiệm vụ được đo lường bởi bài trắc nghiệm dưới dạng những động thỏi cú thể quan sỏt được. [21, Tr 380]
Trong tiờu chuẩn kỹ năng nghề, những tiờu chuẩn kiến thức và những tiờu chuẩn kỹ năng đó được xỏc định là những tiờu chuẩn thành tớch (the standard of performance) kỳ vọng ở học sinh. Núi cỏch khỏc, những tiờu chuẩn kiến thức và những tiờu chuẩn kỹ năng được quy định trong tiờu chuẩn kỹ năng nghề chớnh là những lĩnh vực cỏc nhiệm vụ cần đo lường mà người soạn thảo căn cứ vào để xõy dựng nờn cỏc cõu hỏi trắc nghiệm.
2.3.4. Kỹ thuật viết cỏc cõu trắc nghiệm tiờu chớ
Nếu chỉ xột đến hỡnh thức, cỏc dạng cõu trắc nghiệm tiờu chớ khụng khỏc bao nhiờu so với cỏc cõu trong bài trắc nghiệm chuẩn mực. Nhưng kỹ thuật soạn thảo cỏc cõu trắc nghiệm tiờu chớ rất khỏc với cỏch soạn thảo cõu trắc nghiệm chuẩn mực.
Với loại trắc nghiệm chuẩn mực, người soạn thảo thiết lập bảng quy định hai chiều: Nội dung và mục tiờu, và căn cứ vào từng ụ trờn bảng quy định ấy mà soạn thảo ra cỏc cõu hỏi thớch hợp với từng mục tiờu và nội dung tương ứng. Với loại trắc nghiệm tiờu chớ, người soạn thảo phải tuõn theo những chỉ dẫn chi tiết về cỏch soạn thảo cỏc cõu trắc nghiệm cho từng lĩnh vực động thỏi cần đo lường. [21, Tr 380]
Theo lý thuyết trờn, việc soạn thảo cỏc cõu trắc nghiệm trờn cơ sở của tiờu chuẩn kỹ năng nghề cần phải tuõn theo những chỉ dẫn chi tiết về cỏch xỏc định cỏc nội dung cần đỏnh giỏ theo cỏc tiờu chuẩn kiến thức và cỏc tiờu chuẩn thực hiện cỏc kỹ năng đó được xỏc định một cỏch chi tiết.
2.3.4.1. Việc quy định cỏc nhiệm vụ học tập
Với loại trắc nghiệm tiờu chớ, việc thiết lập bảng quy định cho nội dung và mục tiờu khảo sỏt cũng cần thiết như với trắc nghiệm chuẩn mực. Bảng quy định được thiết lập lờn với những nhiệm vụ học tập cần được khảo sỏt.
Trong tiờu chuẩn kỹ năng nghề, cỏc tiờu chuẩn kiến thức và cỏc tiờu chuẩn kỹ năng đó được xỏc định một cỏch cụ thể chớnh là hay lĩnh vực cỏc nhiệm vụ học tập cần khảo sỏt ở người học cho nờn việc thiết lập bảng quy định cho bài trắc nghiệm sẽ được thực hiện căn cứ trờn cỏc lĩnh vực cỏc nhiệm vụ học tập đó được xỏc định ấy.
2.3.4.2. Kỹ thuật soạn thảo cỏc cõu trắc nghiệm tiờu chớ
Cho đến nay, cỏc chuyờn gia trắc nghiệm đó đưa ra nhiều kỹ thuật khỏc nhau, nhằm chi tiết húa cỏc quy định soạn thảo cõu trắc nghiệm. Trong tài liệu Trắc nghiệm và đo lường thành quả học tập [21, Tr 393], GS Dương Thiệu Tống đó giới thiệu hai phương phỏp khỏ phự hợp cho cỏc giỏo viờn ỏp dụng để biờn soạn cỏc cõu trắc nghiệm dựng ở lớp học.
Phương phỏp Popham.
Theo Popham, cần phải phải cú những quy định chi tiết và riờng rẽ cho từng nhúm cõu hỏi, mỗi nhúm nhằm đo lường cựng một loai hành vi nào đú. Cỏc quy định ấy gồm ỏc thành phần sau:
2) Cõu hỏi mẫu : Đưa ra một cõu hỏi mẫu để minh họa, phản ỏnh cỏc đặc điểm được giới hạn trong hai thành phần kế tiếp. (adsbygoogle = window.adsbygoogle || []).push({});
3) Cỏc đặc điểm của kớch thớch : Một loại cỏc mệnh đề nhằm giới hạn cõu hỏi kớch thớch.
4) Cỏc đặc điểm đỏp ứng : Một loại cỏc mệnh đề nhằm a) giới hạn cỏc loại đỏp ứng mà người làm trắc nghiệm phải lựa chọn, hay b) giải thớch và phõn tớch cỏc đỏp ứng do người làm trắc nghiệm tự phỏt biểu.
Theo phương phỏp này, người ta phải viết ra cỏc quy định chi tiết cho một nhúm cõu hỏi. Cụng việc này khỏ cụng phu và tốn thời gian. Song, nú cung cấp cỏc loại cấu trỳc cần thiết để soạn thảo ra những nhúm cõu trắc nghiệm tương đương và thớch hợp cho mỗi lĩnh vực được khảo sỏt. Nú hướng dẫn cho việc soạn thảo cỏc cõu trắc nghiệm , và cỏc quy định được mụ tả chặt chẽ cho mỗi nhúm cõu trắc nghiệm cú thể giỳp cho việc giải thớch cỏc điểm tiờu chớ một cỏch chớnh xỏc hơn.
Phương phỏp ỏp dụng cho một lĩnh vực nhiệm vụ học tập hạn chế.
Khi lĩnh vực nhiệm vụ học tập rất hạn chế, người ta cần liệt kờ tất cả, hay gần hết, cỏc nhiệm vụ chi tiết liờn quan đến nhiệm vụ ấy. Bản liệt kờ cỏc nhiệm vụ nờu rừ thành tớch mà học sinh cú thể đạt được liờn quan đến lĩnh vực nhiệm vụ học tập. Sau đú soạn ra 5 hay 6 cõu hỏi trắc nghiệm cho mỗi nhiệm vụ. Nếu bài trắc nghiệm cần phải bao trựm một lĩnh vực lớn hơn, người ta cần phải lập một bảng quy định hai chiều để xỏc định một cỏch cụ thể số lượng cỏc cõu hỏi cần biờn soạn.
Núi chung, đõy là phương phỏp đơn giản và rất phự hợp cho cỏc giỏo viờn dạy lớp ỏp dụng để soạn thảo cỏc cõu trắc nghiệm nhằm khảo sỏt thành tớch học tập của học sinh trong quỏ trỡnh học tập. Với mục tiờu của đề tài, và trờn cơ sở những nhiệm vụ học tập đó được xỏc định trong tiờu chuẩn kỹ năng nghề, người nghiờn cứu sẽ sử dụng phương này để biờn soạn cỏc cõu trắc nghiệm.
2.3.5. Phõn tớch cõu trắc nghiệm tiờu chớ
Trắc nghiệm tiờu chớ thường được phõn ra hai loại: “Trắc nghiệm thành thạo và trắc nghiệm lĩnh vực” [21, Tr 411]. Trắc nghiệm thành thạo được xõy dựng trờn một tập hợp cỏc mục tiờu giảng huấn hay mục tiờu động thỏi (theo Bloom), và học
sinh phải đạt đến một tiờu chuẩn (standard) tối thiểu nào đú thỡ mới được cho là thành thạo, dưới tiờu chuẩn ấy thỡ bị coi là chưa thành thạo. Trắc nghiệm theo lĩnh vực tập trung vào việc lượng giỏ thành tớch của học sinh liờn quan đến một mức độ hay bộ phận kiến thức nào đú được xỏc định thật rừ ràng, chi tiết. Với loại trắc nghiệm này, người soạn thảo phải mụ tả thật chớnh xỏc, chi tiết, nội dung và kỹ năng cần được khảo sỏt, từ đú soạn ra cỏc cõu trắc nghiệm cú tớnh cỏch đại diện cho cỏc nội dung và kỹ năng ấy. Chớnh vỡ vậy, cỏc kỹ thuật được sử dụng để soạn thảo cỏc cõu hỏi cho loại trắc nghiệm này yờu cầu rất chặt chẽ và chớnh xỏc.
Như vậy, theo những cơ sở lý thuyết về phõn tớch cõu trắc nghiệm tiờu chớ như ở trờn, căn cứ vào cấu trỳc nội dung của tiờu chuẩn kỹ năng nghề, loại trắc nghiệm được xõy dựng trờn cơ sở của tiờu chuẩn kỹ năng nghề là loại trắc nghiệm theo lĩnh vực, vỡ những tiờu chuẩn kiến thức và những tiờu chuẩn kỹ năng trong tiờu chuẩn kỹ năng nghề, là kết quả mong đợi của việc khảo sỏt thành tớch học tập của học sinh, được mụ tả một cỏch chi tiết và sỏt thực tiễn so với cỏc cụng việc của nghề. Song, nú cú thể được hiểu là loại trắc nghiệm thành thạo, vỡ trong tiờu chuẩn kỹ năng nghề những tiờu chuẩn kiến thức và những tiờu chuẩn kỹ năng cũng chớnh là cỏc yếu tố cấu thàng nờn cỏc mục tiờu học tập của cỏc bài học/modul trong chương trỡnh đào tạo.
2.3.5.1. Độ khú của cõu trắc nghiệm tiờu chớ.
Mức độ khú mong muốn của cỏc cõu trắc nghiệm tiờu chớ khụng được đặt căn bản trờn khả năng phõn biệt người giỏi, người kộm giống như với trắc nghiệm chuẩn mực, mà độ khú được quyết định bởi kết quả học tập mà nú nhằm đo lường [21, Tr 413]. Nếu nhiệm vụ học tập, được định nghĩa bởi kết quả học tập, là dễ thỡ cõu trắc nghiệm ấy hẳn cũng dễ. Nếu nhiệm vụ học tập cú độ khú trung bỡnh thỡ cõu trắc nghiệm ấy hẳn cũng cú độ khú trung bỡnh. Cú thể dựng cỏc cụng thức thụng thường để phỏng định độ khú của cõu trắc nghiệm (ĐK = x100%
n Sd
), nhưng khụng nhất
thiết phải dựng cỏc kết quả ấy để lựa chọn cõu trắc nghiệm hay để vận dụng cỏc độ khú cõu trắc nghiệm theo ý muốn. Đa số cỏc cõu trắc nghiệm thành thạo đều cú chỉ
số khú cao (tỷ lệ phần trăm làm đỳng cao) nếu việc giảng dạy và học tập cú hiệu quả tốt.
Khi soạn thảo cõu trắc nghiệm, cần phải đối chiếu độ khú của cõu trắc nghiệm với mức độ khú của nhiệm vụ học tập đó dự kiến. Ngoài ra, cần phải xem xột cỏc yếu tố cú thể ảnh hưởng đến độ khú của cõu trắc nghiệm mà khụng liờn hệ gỡ đến độ khú của nhiệm vụ học tập.
Túm lại, độ khú của cõu trắc nghiệm tiờu chớ được quyết định bởi kết quả học tập hay nhiệm vụ học tập đó được thiết lập từ trước một cỏch khỏch quan (chẳng hạn như cỏc tiờu chuẩn kiến thức, tiờu chuẩn kỹ năng được quy định trong tiờu chuẩn kỹ năng nghề). Vỡ thế độ khú của cỏc cõu trắc nghiệm phải phự hợp với mức độ khú của nhiệm vụ học tập đó dự kiến chứ khụng phải theo ý muốn chủ quan. Đõy là một trong những đặc điểm quan trọng cần lưu ý khi soạn thảo cỏc cõu trắc nghiệm theo tiờu chớ.
2.3.5.2. Khả năng phõn cỏch của cõu trắc nghiệm tiờu chớ.
Một cõu trắc nghiệm tiờu chớ khụng cú khả năng phõn cỏch khụng nhất thiết phải loại bỏ. Nếu cõu ấy phản ỏnh một thuộc tớnh quan trọng nào đú của tiờu chớ, người ta cần phải giữ nú lại. Một cõu trắc nghiệm rất tốt cú thể là những cõu cú chỉ số phõn cỏch là 0 hay rất thấp. Vỡ mục đớch của trắc nghiệm tiờu chớ là để mụ tả những gỡ học viờn cú thể làm được, thay vỡ phõn biệt giữa họ với nhau, cho nờn chỉ số phõn cỏch cú ớt giỏ trị trong việc thẩm xột chất lượng của cỏc cõu trắc nghiệm. Nếu một cõu trắc nghiệm cú độ phõn cỏch kộm cú thể chỉ cho ta biết cỏc lĩnh vực giảng dạy nào chưa được thành cụng cho lắm. Với cõu trắc nghiệm cú độ phõn cỏch õm (-) thỡ, cũng như trong trắc nghiệm chuẩn mực, đú là những cõu trắc nghiệm kộm, vỡ học sinh kộm làm đỳng cõu ấy nhiều hơn học sinh giỏi. Khi phỏt hiện ra cỏc cõu trắc nghiệm cú độ phõn cỏch õm, ta cần phải xem xột kỹ để tỡm ra cỏc khuyết điểm của chỳng [21, Tr 415].
Như vậy, khỏc với loại trắc nghiệm chuẩn mực, độ phõn cỏch của cõu trắc nghiệm tiờu chớ cú ớt giỏ trị trong việc thẩm xột chất lượng hay tớnh giỏ trị của cỏc cõu hỏi. Nú chỉ là dấu hiệu cho biết cú khuyết điểm nào đú trong việc giảng dạy và
học tập. Vỡ thế, khi soạn thảo hay phõn tớch cỏc cõu trắc nghiệm tiờu chớ, vấn đề cần quan tõm nhất là xem xột cỏc cõu hỏi cú đỏp ứng được mục tiờu đo lường cỏc kết quả học tập của học sinh dựa trờn cỏc tiờu chớ đó được ấn định trước hay khụng.
2.3.6. Yờu cầu về độ tin cậy và độ giỏ trị của bài trắc nghiệm tiờu chớ. 2.3.6.1. Độ tin cậy của trắc nghiệm tiờu chớ.
Với trắc nghiệm chuẩn mực, hệ số tin cậy đều căn cứ trờn tớnh biến thiờn của cỏc điểm số, cỏc điểm số trong nhúm khảo sỏt càng biến thiờn thỡ hệ số tin cậy càng cao. Ngược lại, cỏc trắc nghiệm tiờu chớ khụng nhằm đến sự khỏc biệt giữa cỏc cỏ nhõn, điểm số trong trắc nghiệm tiờu chớ phản ỏnh kết quả học tập của học sinh, chỳng được đối chiếu với những tiờu chuẩn đó được ấn định trước. Vỡ vậy, hệ số tin cậy tớnh theo phương phỏp cổ điển sẽ khụng phự hợp [21, Tr 428].
GS Dương Thiệu Tống [21, Tr 428], đó giới thiệu một phương phỏp tương đối đơn giản để tớnh chỉ số tin cậy cho bài trắc nghiệm với hai dạng trắc nghiệm tương đương, được gọi là chỉ số nhất quỏn (index of consistency), tớnh bằng tỷ lệ phần