Đo lường - Đánh giá trong thi trắc nghiệm khách quan Độ khó câu hỏi và khả năng của thí sinh

L GIOÌ THIÈU PhUdng phàp thi trac nghiem khàch quan là phUdng phàp co nhiéu Uu diém trong viec dành già càc ket qua cùa giào due.. Dac biet, càc càu hòi trong mot de thi tiéu chu^n boa n

DO laÒNG - DÀNH GIÀ TRONG THI TRAC NGHIÉM KHÀCH QUAN: DO KHÓ CÀU HÒI VA KHÀ NÀNG

CÙA THI SINH

N g u y è n T h i H o n g M i n h ,

N g u y è n D u e T h i è n

Tri/àng DHKHTN, 'DHQGHN

Tom tàt: PhitOngphdp thi trac nghiem khàch quan dang dàn pho

bièn ò nhièu cdp hoc, mòn hoc Bo Giào due va Dào tao cùng dà déxuat

nhùng du kién ve viec tuyèn sinh dai hoc thòng qua thi trac nghiem khàch quan trong thùi gian tài Day là phi/ctng phàp tó chùc thi va dànhgià két qua hoc tap vói nhièu Uu diém, dac biet dóì vài cdc chUcfng trinh hoc va thi trèn mày tinh (e-learning) Viéc nghién cùu va dita ra nhùng co so ly thuyèt de ho tra cho viec do li/àng va dành già càc yen tolièn quan tói de thi va kit qua thi mot càch khoa hoc là cap bdch va càn thièt Bào cdo cùa chùng tói nàm trong hUóng nghién cùu này Edo cdo trinh bay càc ket qua tim hièu va trièn khai thù nghiem phitang phdp PROX - mot phUcfng phdp dUóc phàt trién dUa trèn mò hinh RASCH: ''Mot thi sinh co khà nàng hcfn thi sinh khdc là phdi co mot xàc suà't làn hon de tra Idi dùng mot càu hòi bdt ki TUóng tu, mot càu hòi A nào dò khó han mot càu hòi B nghla là doi vói thi sinh bdt

ki thi xàc sudt tra lai dùng càu hòi B là lón hcfn càu hòi A"

PhUcPigphàp PROX dita trèn cOsàdàu vào là kè't qua thi cùa mot nhóm thi sinh trèn mot bo de thi trac nghiem khàch quan Muc tièu cùa phi/cfng phdp là dita ra nhùng do lUàng vi dò khò cùa cdc càu hòi (CH) va khà nàng cùa cdc thi sinh (TS) Day là nhùng thòng so ho tra tòt cho khàu to chùc, xày dùng ngàn hàng càu hòi va quan ly de thi cùng nhù dành già càc kè't qua giào due

Tu khoà: Trac nghiem Do luòng, Khà nàng Dò khó

Tu vii't tat: Càu hòi (CH), Thi sinh (TS)

L GIOÌ THIÈU

PhUdng phàp thi trac nghiem khàch quan là phUdng phàp co nhiéu Uu diém trong viec dành già càc ket qua cùa giào due NgUÒi ta

co thè àp dung phUdng phàp này de to chùc thi ò càc Idp hoc thòng

thudng vdi so' thi sinh khòng dòng làm; cùng co the àp dung d càc kì thi quy mò Idn vói hàng ngàn, hàng van thi sinh Trong trUdng hdp qui

mò lón, bà't ki mot sd suà't nhò nào ciing co the dàn dé'n nhiing bau qua xà'u va phàn ùng xà bòi bà't Idi Do dò de trién khai mot kì thi quy mò Idn bang phUdng phàp trac nghiem càn co nhiing chuan bi t h a t ky ludng va khoa hoc ve tà't cà càc khàu lièn quan n h u de thi, càch chà'm diém, càch dành già Nhiing kì thi nhU vay dUdc goi là kì thi tiéu chuan boa [6 tr.l8] Dac biet, càc càu hòi trong mot de thi tiéu chu^n boa nhu vày là nhiing càu hòi phài dà dUdc thù nghiem, phàn tich va dinh Cd (tue là xàc dinh dUdc do khó, dò phàn biet cùa tùng càu va do tin cày, do già tri cùa cà bài) Hdn niia, thòng qua viéc phàn tich thò'ng

ké toàn bo bài làm cùa thi sinh ta co thè thu dUdc nhiing so' liéu quan trong de dinh lUdng tình hình giào due, dành già xu the p h à t trién cùa giào due theo thdi gian

Bào cào trinh bay tóm lUdc ve phUdng phàp thi trac nghiem ò muc

2 Muc 3 trinh bay ve mò hình Rasch, mot mò hình ùng dàp càu hòi dUdc su dung rong rài trong dành già giào due Su dung mò hình Rasch cho phép tao ra ed sd cùa càc phép do lUdng trong giào due trèn cà hai dò'i tudng là de thi va thi sinh Mot trién khai cu thè cùa phUdng phàp

do lUdng dành già trèn ed so mò hình Rasch dUdc chùng tòi trinh bay trong muc 4, dò là phUdng phàp PROX (approximate), phUdng phàp phù hdp vdi nhiing tinh toàn tU dòng bang chUdng trinh trèn mày tinh

2 PHUONG PHÀP THI TRAC NGHIEM

Phàn này gidi thieu phUdng phàp thi trac nghiem, qua dò làm noi bat Uu diém cùa phUdng phàp thi trac nghiem khàch quan Tiè'p theo

là khoa hoc do lUdng, dành già kè't qua thi cùa TS va quan trong hdn

là quan ly viec ra de thi, chà'm thi cùa càc giào vién

2.1 C à u h ò i t r a c n g h i e m

Mot càch tong quàt, càc bài kiém tra bay bài thi dUdc chia làm hai

loai: Trac nghiem tu luan va Trac nghiem khàch quan, Cà hai

loai déu dUdc goi là trac nghiem chù khòng phài chi co loai thù hai nhU nhiéu ngUdi vàn n h à m làn Loai trac nghiem tu luan thuòng dòi hòi

TS phài viè't càu tra Idi góm nhieu dòng, tUdng ùng vói mòi CH, hay mòi phàn CH Con trac nghiem khàch quan (chii "khàch quan" dùng

de chi loai trac nghiem co phUdng phàp chà'm diém khà déu tay va dang tin cay khi co nhiéu ngUdi chà'm) co the chia làm bò'n loai:

- Loai dién vào cho trong hay càu tra Idi ngàn

- Loai dùng sai

- Loai ghép dòi (hay xùng hdp)

- Loai CH co nhiéu phUdng àn tra Idi de chon

Loai CH co nhiéu phUdng àn tra Idi de chon là loai trac nghiem khàch quan thòng dung nhà't Trong loai "dién vào cbò trong" TS dUdc

tu do dién dat càu tra Idi trong mot gidi han nào do de dUdc chà'p n h a n dùng, con trong càc loai trac nghiem khàch quan khàc, TS sé dUdc diém n h u n h a u vdi bà't kì ngUdi chà'm là ai, ngoai t r ù sai so' do sU vò y nhà't thdi cùa ngUdi chà'm

2.2 D o lufòng - D à n h g i à d e t h i t r a c n g h i e m

Viéc do lUdng - dành già de thi trac nghiem dUa ra nhùng so'liéu dành già ve càc CH va toàn bài thi Nhùng dành già mang tinh dinh lUdng này sé ho trd tòt cho viec xày dUng ngàn hàng CH

2.2.1 Phàn tich CH trac nghiem

Viéc phàn tich càu trac nghiem nhàm xàc dinh do khó, do phàn biet hay khà nàng phàn loai TS tra Idi càu hòi

Do khó (P)

Ty le TS t r a Idi dùng trèn tong sò'TS cho ta so' do tUdng dò'i ve do khó cùa CH

Còng thùc de tinh:

P= Sò'TS làm dùng _^QQ,^^ ^^^

TongsoTSdUthi(N)

Thang p h à n loai do khó quy Uóc nhU sau:

Càu de: P=70-100% (Tue là bau hét càc TS déu tra Idi dùng)

Càu trung bình: P=^30-70%

Càu khó: P= 0-30% (Hàu hét càc TS déu tra Idi sai)

Nèn dùng càc càu co P nam trong khoàng 25% <P<75%

Dò phàn biet (D)

Phàn bò' ty le TS tra Idi dùng hoac sai cùa càc TS thuòc nhóm khà, nhóm trung bình va nhóm kém cho ta so' do tUdng dò'i ve do phàn biet cùa CH

Còng thùc de tinh:

So TS khà làm dùng(R„)-Sò'TS kém làm dùng(R^) ^^^^

(RH, RL: Sò'TS làm dùng (Right) ò nhóm khà (High), kém (Low)

Do phàn biet D<0 the hien càu hòi khòng phàn biet dUdc TS nhóm khà va kém Nhùng CH co D>0 là càu co do phàn biet tò't

Ta co thè su dung còng thùc tinh do phàn biet (2) cho tùng phUdng

àn cùa mòi CH

1.2.2 Mot vi du ve phàn tich CH

Bang 1,3 Phàn tich càc CH trac nghiem

STT

CH

1

2

3

4

5

6

7

8

9

10

N=56

RL

14

3

10

12

21

0

14

5

16

8

RH

6

1

2

6

15

7

7

3

14

8

P

36

7

21

32

64

13

38

14

54

29

D

14

4

14

11

11 -13

13

4

4

0

Bò

Ho

1

Lo

A

H A

4

10

6

3

3

8

14

8

7

8

LA

7

14

IO

6

3

6

7

10

4

5

B

H B

14

3

8

8

21

0

4

2

3

8

LB

6

1

10

11

15

7

5

5

5

8

C

He

7

7

4

5

3

20

7

13

16

8

Le

13

4

6

5

8

15

14

10

14

10

D

Ho

3

8

10

12

1

0

3

5

2

4

Lo

3

9

2

6

2

0

2

3

5

5

trong dò HA, H B , He, HD, HQ là sò'TS nhóm cao (Hight) tra Idi phUdng

àn A, B, C, D hoac bò khòng làm L^, LB, Le, Lp, LQ là sò'TS nhóm thà'p (Low) tra Idi phUdng àn A, B, C, D hoac bò khòng làm

O phUdng àn co cot H va L trùng vói cot RH, RL thi dò là phUdng

àn dùng

Tu dò ta thu dUdc két qua càc phUdng àn càn phài dUdc xem xét lai:

STT

1

2

3

4

5

6

7

8

9

IO

Càu

X

A

X

X

X

B

X

C

X

X

X

D

X

X

X

trong dò, dà'u "X" là càc CH hoac phUdng àn càn phài xem xét lai Càc phUdng àn

- 5D, 7D

- ID, 4C, 5A, lOB

- 2C, 8C, 9A, lOA

- Càu 6

- Càu 10

Ly do càn xem xét

- PhUdng àn co qua it TS chon tra Idi

- PhUdng àn co dò phàn biet, bang 0 (D=0)

- PhUdng àn co do phàn biet àm (D<0)

- Càu co do phàn biet bang khòng (D=0)

- Càu co dò phàn biet àm (D<0) Sau dò nhóm càc CH co cùng gàn dò khó va dò phàn biet tUdng ùng dUdc là'y làm thuòc tinh cùa CH va dUdc dUa vào nhóm ngàn hàng

CH chuan tUdng ùng làm ed so cho viéc sinh càc bo de thi cho càc dò'i tUdng khàc nhau hoac muc dich dành già khàc nhau

1.2.3 Phàn tich bài trac nghiem

Néu p h à n tich càu trac nghiem giùp chùng ta sua chùa càc phUdng àn "nhieu", làm thay doi dò phàn biét thi phàn tich bài trac nghiem sé giùp ta thay doi do khó cùa bài trac nghiem qua viec bo sung, thay dòi CH

Dò tin cày cùa bài trac nghiem

Là he so' tUdng quan cùa ty le tra Idi dùng-sai giùa càc làn trac

nghiem bang càc de trac nghiem tUdng dUdng

Tudng quan giùa hai tap sò'X va Y dUdc tinh theo còng thùc sau:

^-XY

He so tUdng quan: /- =

yl[X'-{Xf][[Y'-{Yf] (3)

Pbòng dinh dò tin cày trong giào due dUdc tinh theo còng thùc:

( — h — ) • (4)

L-ì trong dò: L=Tong sò'CH, p là ty le tra Idi dùng CH, q=l-p, òHk phUdng

sai cùa bài thi

Do già tri cùa bài trac nghiem

Là so' do mùc do ma mot bài trac nghiem do dUdc dùng muc dich

ma nò dinh do

Mot trong nhùng phUdng phàp xàc dinh do già tri là tìm mùc do

tUdng quan giùa càc bài trac nghiem (tiéu chuan hoà) khàc n h a u co

cùng muc tièu

3, MÒ HÌNH RASCH

Phàn này dién giài cu thè mò hình RASCH va ùng dung de dinh

c5 CH va do lUdng khà nàng cùa TS, làm tièn de cho phUdng phàp

PROX sé dUdc trinh bay trong muc 4

3.1 L i t h u y è t ùng d à p CH

Trong bà't kì Imh vUc khoa hoc ky thuàt nào, de thUc hien mot

phép do cùng càn tàc dòng mot thuóc do lèn dò'i tUdng do, t u dò rùt ra

nhùng so' do dac trUng cho dò'i tUdng dò TrUdc khi thUc hien mot phép

do, ngUdi ta phài thiét k é thudc do Dòng tàc "khàc dò lén thuóc do" dUdc goi là dinh ed De dinh ed, ngUdi ta thUdng cho tbudc do tiép xùc vdi mot dò'i tUdng do ma dà biét tinh chat Nhàm dàm bào dò cbinh xàc cùa mot phép do lUdng bà't ki, ngUdi ta thUdng néu ra càc yéu càu chung:

Viéc dinh ed thUdc do khòng phu thuòc vào dò'i tUdng do

Thuòc tinh do dUdc cùa dò'i tUdng do khòng phu thuòc vào thUóc

do Hién nhién yèu càu ve tinh dpc lap này cùng khòng phài là tuyét dò'i

Khi xét mot phép do lUdng cu thè trong giào due:

Thuóc do co thè là mot CH hoac mot bài trac nghiem góm nhiéu CH Dò'i tUdng do co thè là mot thuòc tinh nào dò cùa TS, chàng han nhu nàng lUc ve mot linh vUc nào dò

Thurstone cùng néu ra nhùng dòi hòi cùa mot phép do trac nghiem là: "Viec dinh cÒ càc CH khòng phu thuòc vào nhóm TS tra Idi va so'do

ve thuòc tình cùa mot TS nào dò cùng khòng phu thuòc vào viec ho tra Idi càc CH nào" [12] Dò là yéu càu ve tinh khàch quan cùa phép do

Trong the ky 20 nhiéu nhà nghién cùu ve do lUdng trong giào due

dà nghién cùu mò hình hoà viec dàp ùng càu hòi de ed thè tinh toàn dinh lUdng qua trinh này Ly thuyèt ùng dàp CH dUdc xày dUng trèn khoa hoc ve xàc suà't va thò'ng ké vói 3 già dinh sau day [6]:

Chi mot thuóc tinh hoac mot nàng lUc duy nhà't dUdc do bòi càc

CH trong bài trac nghiem Càc mò hình ùng dàp CH do nhiéu thuóc tinh chUa dUdc phàt trién nhiéu

Tinh doc lap dia phUdng, nghìa là nàng lUc dUdc giù khòng doi trong khi làm bài trac nghiem, viéc tra Idi cùa TS dò'i vói hai CH nào dò là doc lap nhau ve mat thò'ng ké

Già dinh thù ba là co mot hàm dac trUng cùa CH (item characte-ristic function-ICF) phàn ành mò'i quan he thUc giùa càc bién khòng quan sàt dUdc (nàng lUc) va càc bién quan sàt dUdc (két qua tra Idi CH)

3.2 M ò h ì n h R A S C H

3.2.1 Già thièt cùa RASCH ve viec ùng ddp càc CH

Khào sàt mot mò'i quan he ma trong dò TS thù v co mùc khà nàng

V nào dò ve linh vUc dUdc do, dùng trUóc CH thù t co dò khó t

Nhà Toàn hoc ngUdi Dan Mach George Rasch dà dUa ra mot mò hình "ùng dàp CH" va dùng mò hình dò de phàn tich càc dù liéu that cùa bài trac nghiem

Rasch nói: "Mot TS co khà nàng hdn TS khàc là phài co mot xàc suà't lón hdn de tra lòi dùng mot CH bà't kì TUdng tu, mot CH A nào

dò khó hdn mot CH B nghìa là dò'i vói bà't ki TS nào thi xàc suà't tra Idi dùng CH B là Idn hdn CH A" [12]

DUa trén già thiét dò, Rasch dà xày dUng dUdng cong ùng dàp CH tUdng ùng De biéu dién càc mò'i quan he này, Rasch dà su dung càc thù thuàt de co the biéu dien dUdc khà nàng cùa mot TS va dò khó cùa

CH trén cùng mot thang do: Biéu dien khà nàng dudi dang ty dò'i va

su dung hàm logarit (In) de bién thUdng so' t hà nh hieu so'

3.2.2 Hàm ùng ddp CH cùa Rasch

Theo Rasch, xàc suà't cùa TS thù v tra lòi dùng CH thù t phu thuóc vào do chénh giùa nàng luc Pv cùa TS va do khó 5t cùa CH, tue

là hiéu so' (Pv - 5t) Khi (Pv - 5t) = 0, rò ràng xàc suà't tra Idi dùng là 1/2 Co thè de dàng hiéu trang thài này khi Uóc doàn xàc suà't thàng cuòc cùa hai dò vat ngang sue Nhu vày hàm dàp ùng CH tàng ddn diéu tu 0 dén 1 khi (Pv - 5t) bién doi tu -oo dén +oo, qua già tri 1/2 khi

De phàn chia vdi diéu này chùng ta sé dat dò chénh (Pv - 5t) nhU là mot luy thùa cùa so'tu nhién e = 2, 71828

Khi dò già tri co sò'mù này sé bién thièn tu 0 dén +oo, chùng ta co

thè dUa nò vào khoàng giùa 0 va 1 bòi dang ty le ^(A.-^,)

1 + e iP.-s,)

Còng thùc này co thè hién do thi ò hình 1 Nò dUdc su dung de chi

rò xàc suà't cùa mot càu tra Idi nhU sau:

,(P,.-5,)

P{xJ^^A} =

l + e (Pv-s,) • (5)

trong dò, Xyt^^^ nhan mot trong hai già ti"i, 0 néu càu tra Idi là sai hoac

1 néu là dùng

Sau day là biéu dién do thi cùa duòng cong ùng dàp CH theo mò hình Rasch:

i_p{^j

(P -5,)

p,<5, p,= 5, p,>8,

Hinh 1 Duòng cong ùng dàp càu hòi theo mò hình Rasch

3.3 SU dung mò hình Rasch de do litdng khà nàng thi sinh va dinh ed càu hòi

Còng thùc xàc dinh xàc suà't de TS thù v co nàng luc Pv tra Idi CH thù t co dò khó 5^ vói két qua Xyt ^^ ^^*

PKÌ/^.A)

trong dò Xy^nhàn mot trong hai già tri:

Xyt=l khi càu tra Idi là dùng va Xvt" ^ ^^^ ^^^ ^^^ ^^^ ^^

®^^-Cu thè:

Cho mot càu tra Idi dùng: p{^^^ ^ ] | ^^^^^} = _ _ _ - (7)

va cho càu tra Idi sai: P{x^, = 0 | y8^,<?J = ——^JZJJ (S) 1

l + e'

Khi co màu so'liéu tra Idi cùa N TS trén L CH, kè't qua càc càu tra

Idi (x J khi V =1 N, t=l L Nhùng dù liéu này co thè dUdc biéu thi

trong mot bang hai chiéu, khi dò:

L

Tong diém cùa moi TS là: ''v - ^ -^vr

va tong diém cùa mòi CH là: ^t ~ 2^ ^vi

Ap dung mò hình RASCH (6) cho cà bài thi ta co tich so' lién tue là:

nxJ^A)={\Y\T-jp:^ (9)

N L

T

cac

V , (

Chuyén nhùng toàn tu tich so' lién tue 1 1 1 1 t h à n h tong

N L

toàn tu ^ va ^

PhUdng trinh (9) trd thành:

L

(10)

n n[i-^'^'-*''l

PhUdng trinh (10) rà't quan trong bòi nò chi ra ràng de dành già

nhùng tham so' v va t thi chùng ta càn tinh tong càc le cùa ma t r a n dù

liéu (r^) va (s^) Hdn nùa, càc tham so'này co thè dUdc dành già doc

làp qua sU p h à n dinh cùa hai còng thùc: -^ n ^ v' s

V V

4 PHITONG PHÀP PROX

Trong p h à n này chùng tòi trinh bay phUdng phàp PROX: ed so ly

thuyèt, càc bude thUc hién trong t h u à t toàn theo phUdng phàp PROX,

mot so' két qua thù nghiem ChUdng trinh thù nghiem dà dUdc thUc

hien vói mot so' de thi trac nghiem ò mot so' mòn khàc nhau trong

truòng DHKHTN, DHQGHN Trong qua trinh thù nghiem chùng tòi

càn co sU ho trd rà't tich cUc cùa càc giào vién bo mòn ve mòn thi thù

nghiem De tao giao dién thuàn Idi cho càc giào vién phoi hdp su dung

chUdng trinh chùng tòi lua chon mòi trUdng lap trinh macro trong

Microsoft Excel Néu phUdng phàp thành còng chùng tòi hy vong day

sé là mot dóng góp quan trong trong càc phàn mém thi trac nghiem ò

khàu do luòng va dành già

4.1 Cd so l y t h u y è t c ù a phifo?ng p h à p

PhUdng phàp PROX dUdc chùng tòi phàt trién dUa trèn mò hinh

Rasch theo càc y tUdng ma Wright va Douglas dà dUa ra nàm 1975

[12] nhàm dinh ed dò khó càc CH va do lUdng khà nàng cùa càc TS

PhUdng phàp PROX dUdc xày dUng vdi già dinh khà nàng cùa TS

Pv dUdc xem là p h à n phò'i chuan vdi trung bình là M va dò lèch chuan

5 TUdng tu dò khò cùa CH 5t cùng là phàn phò'i chuan vói trung bình

H va do lèch chuan CO

Tue l à : P,-N{M.5^) va S,-N(Hy)

Khi dò, dinh ed dUdc khà nàng cùa TS thù v vdi diém Vy trén bài

trac nghiem vdi L CH dUdc xàc dinh là:

b =^H + X.ìni-^) (11)