1.2.4.1. Lí thuyết ứng đáp câu hỏi
Lí thuyết ứng đáp câu hỏi (Item Respone Theory hay gọi tắt là IRT) của Geog Rasch đã mô hình hoá mối quan hệ giữa mức độ khả năng của một ngời và đáp ứng của ngời ấy với một câu hỏi. Vì các mức độ khả năng là những gì không
thể quan sát đợc nên lí thuyết ứng đáp câu hỏi (IRT) cũng là một trong các mô hình đợc gọi là mô hình đặc điểm tiềm tàng.
Khi xây dựng một mô hình toán học nói chung, để đơn giản và khả thi, bao giờ ngời ta cũng quan tâm đến những mối quan hệ bản chất nhất, tớc bỏ bớt những yếu tố phức tạp nhng không bản chất. Để xây dựng mô hình toán phản ánh quan hệ các mối tơng tác nguyên tố TS – CH, trong lý thuyết ứng đáp CH ngời ta giả định sau đây:
(1). Chỉ một thuộc tính hoặc một năng lực đợc đo bởi các câu hỏi tạo nên bài TN. Đó là giả định về thuộc tính đơn thứ nguyên. Trong thực tế thờng có nhiều nhân tố ảnh hởng lên việc làm TN( động cơ, sự hồi hộp, khả năng làm nhanh, xu hớng đón nhận, khả năng nhận thức ) ngoài năng lực chính đ… ợc đo bởi bài TN. Vậy để đạt giả định về tính đến thứ nguyên cần xây dựng bài TN sao cho khu biệt đợc thành phần chính ảnh hởng lên việc làm bài TN. Thành phần đó đợc xem là năng lực nào đó đợc đo bởi bài TN. Năng lực này không nhất thiết là phải cố hữu hoặc không đổi, nó có thể thay đổi theo thời gian do học tập thêm, do quên kiến thức hoặc thay đổi do các yếu tố khác.
Khi giả định về đơn thứ nguyên thoả mãn, cũng sẽ có tính độc lập địa ph- ơng. Điều này có nghĩa là khi giữ không đổi năng lực ảnh hởng lên việc làm bài TN, việc TL của TS đối với CH. Tập hợp các năng lực ấy biểu diễn một không gian năng lực tiềm ẩn đầy đủ.
(2). Có một hàm đặc trng của CH ( Iten Characteristic Function – ICF) phản ánh mối quan hệ thực giữa các biến không quan sát đợc (năng lực) và các biến quan sát đợc việc TLCH.
Để xây dựng IRT ngời ta thừa nhận 2 định đề sau:
1) Việc trả lời của 1 TS đối với 1 CH có thể dự báo bởi năng lực của TS. 2) Quan hệ giữa việc TLCH bởi TS và năng lực làm cơ sở cho hàm đặc trng CH ( ICC ). Hàm nói trên có đặc điểm là khi mức năng lực tăng xác suất để trả lời đúng 1 CH sẽ tăng lên.
Đờng cong đặc trng CH (ICC) và đờng phân bố năng lực của hai mẫu TS. Hình trên thể hiện một ICC đối với TH khi chỉ có 1 năng lực làm cơ sở để TLCH, cùng với hai hàm phân bổ năng lực của 2 nhóm TS. Ta thấy rằng: những TS có năng lực thấp hơn dù TS đó có nằm ở nhóm nào đi nữa.
IRT cho phép ớc lợng các sai số chuẩn của các giá trị ớc lợng năng lực của 1 TS, chứ không phải là một ớc lợng sai số cho mọi TS nh trong lý thuyết cổ điển.
1.2.4.2. Mô hình Rasch
1.2.4.2.1. Giả thiết của Rasch về sự ứng đáp CH
Giả sử ta khảo sát một mối quan hệ nguyên tố mà trong đó TSv có một mức năng lực nào đó βv nào đó về lực đo, đứng trớc CHi có một độ khó ci.
Theo Rasch: “ Một TS có khả năng hơn TS khác phải có một xác suất lớn hơn để trả lời đúng một CH bất kỳ, hay một câu hỏi khó hơn một CH khác, đối với bất kỳ một TS nào xác suất để TL đúng CH sau là lớn hơn so với câu hỏi trớc.
1.2.4.2.2. Hàm ứng đáp câu hỏi theo Rasch
Theo giả định của Rasch, xác suất của câu trả lời CHi phụ thuộc vào độ chênh lệch giữa năng lực βv của TS và độ khó δi của CHi, tức là hiệu số (βv- δi). Khi βv=δi, rõ ràng xác suất trả lời đúng CH là 1/2 : có thể dễ dàng hiểu trạng thái
này khi ớc đoán xác suất thắng cuộc của hai đô vật ngang sức nhau. Khi βv<<δi, xác suất trả lời đúng CH là gần bằng 0, còn khi βv>>δi, xác suất trả lời đúng CH gần bằng 1. Nh vậy hàm ứng đáp CH tăng đơn điệu từ 0 đến 1 khi βv-δi biến đổi từ -∞ đến +∞, qua giá trị 1/2 khi βv-δi = 0. Rasch đã chọn một hàm giải tích với biểu thức toán học đơn giản nhất có dáng điệu biến đổi nh vậy:
Pi (βv) = ( ) ( ) [ v i ] i v e e δ β δ β − − + 1
Trong đó Pi (βv) là xác suất của TS có năng lực βv trả lời đúng CH có độ khó δv, e là cơ sở lôgarit tự nhiên.
Hình 2 biểu diễn ICC theo mô hình Rasch.
Mô hình Rasch ứng với hàm ứng đáp CH dạng đơn giản nhất, chỉ chứa một tham số độ khó. Đối với mô hình một tham số ngời ta giả thiết các CH có độ phân biệt nh nhau, do đó các ICC của các CH có dạng nh nhau, chúng chỉ khác nhau ở vị trí của nó nếu biểu diễn đờng cong theo trục năng lực β.
1.24.2.3. Tính bất biến 1 0.5 0 P(β-δ) (β-δ) Hình 2
Tính bất biến là hòn đá tảng của IRT, biểu hiện sự khác nhau cơ bản giữa IRT và lý thuyết trắc nghiệm cổ điển. Nội dung của tính bất biến đó là: các tham số đặc trng cho một CH không phụ thuộc vào phân bố năng lực của các TS và các tham số đặc trng cho một TS không phụ thuộc vào bộ CH của bàI trắc nghiệm.
Để hiểu sâu hơn tính bất biến đó đên đối với IRT, có thể lập luận nh sau. Đối với mô hình Rasch, từ biểu thức (1) của xác suất trả lời đúng, ta có thể xác định tỷ số các phần bù(odds):
P/(1-P)= e(β- δ)
Và từ đó: ln[P/(1-P)] = (βv -δi)
Nếu xuất phát từ một CH, có độ khó xác định δi, đờng biểu diễn của hàm ln(odds)=ƒ(β) phụ thuộc vào năng lực β là một đờng thẳng cắt trục tung tại δI. Tức là với các mẫu TS có các năng lực βi bất kỳ trong tổng thể TS, nếu mô hình ICC đó đợc thoả mãn, giá trị δi thu đợc của CHi đang xét là duy nhất. Mặt khác, nếu xuất phát từ một TSv có năng lực xác định là βv đờng biểu diễn ln(odds) = g(δ) là một đờng thẳng cắt trục tung tại - βv. Tức là với các mẫu CH có các độ khó δi bất kỳ trong tổng thể CH, nếu mô hình ICC đợc thoả mãn, giá trị βv thu đợc của TSv
đang xét là duy nhất.
Từ lập luận trên có thể thấy rõ ràng tính bất biến đang xét chỉ đúng khi số liệu thực tế thoả mãn mô hình ICC. Nói cách khác, tính bất biến đồng nhất với tính phù hợp của số liệu thực tế với mô hình toán.
Một điều cần lu ý nữa là tính bất biến đó là tính chất của tổng thể, chứ không phải của một mẫu nào đó, vì ICC theo định nghĩa là đờng hồi quy của sự trả lời CH ở một năng lực nào đó, do đó P là giá trị trung bình của mọi trả lời CH trong tổng thể các TS có một năng lực βv xác định. Đối với một mẫu TS con trong tổng thể có năng lực βv cha chắc giá trị trung bình của moi trả lời CH trong mẫu đó đã thoả mãn mô hình ICC, hoặc nếu có một mẫu con thoả mãn thì các mẫu khác cũng cha chắc đã thoả mãn, do đó nói chung không thể hy vọng sự bất biến xảy ra trong tất cả các mẫu cho dù mô hình phù hợp với dữ liệu của cả tổng thể. Trong thực tế ta có thể xác định mức độ bất biến khi sử dụng các mẫu số liệu,
chẳng hạn xét sự tơng quan của năng lực xác định đợc qua các ớc lợng từ hai mẫu khác nhau.
1.2.4.2.4. Thang đo năng lực và điểm thực
Mục đích cuối cùng của trắc nghiệm là gán một điểm số nào đó cho TS, phản ánh mức độ đạt đợc của TS về một năng lực nào đó đợc đo bởi bài trắc nghiệm. Hiển nhiên là điểm đó phải đợc giải thích cẩn thận và phải có giá trị đối với mục đích sử dụng.
Trong khuôn khổ lý thuyết trắc nghiệm cổ đỉên ngời ta thờng gán số câu đúng (điểm thô) cho TS, xem đó là ớc lợng điểm thực của TS đối với bài trắc nghiệm. Đối với IRT mỗi TS có một năng lực bên trong β, năng lực này xác định xác suất trả lời đúng CH của anh ta, và cũng dựa trên việc TS trả lời bài trắc nghiệm để xác định năng lực của TS. Theo IRT ngời ta có thể ớc lợng đợc β, va ta sẽ thấy sau này là β có mối quan hệ đơn điệu với điểm thực nếu dữ liệu thực tế phù hợp với mô hình.
Bản chất của điểm thực
Gọi điểm thô của TS là X, đó là ớc lợng của điểm thực τ. Ta định nghĩa điểm thực là một biến đổi tuyến tính của điểm thô, và biểu diễn:
E(X) = τ
Chia X cho tổng CH sẽ đợc điểm tỷ lệ trả lời đúng (biến đổi tuyến tính). Điểm tỷ lệ trả lời đúng có ý nghĩa cả khi chia bài trắc nghiệm ra các bài trắc nghiệm con có số câu khác nhau để đo các đối tợng khác nhau.
Dù biến đổi thế nào, nhợc điểm lốn của điểm X vẫn tồn tại: nó không độc lập với các CH mà một TS trả lời, và điểm biến đổi không độc lập với nhóm TS liên quan. Trong khi đó thì năng lực β có tính độc lập vừa nêu. Vì có thể so sánh các TS trả lời các bộ CH khác nhau khi dùng điểm β nên có thể xem thang điểm β
là một thang điểm tuyệt đối ứng với năng lực tiềm ẩn đợc đo.
Bản chất của thang đo mà trên đó β đợc xác định là gì? Thang X không là thang tỷ lệ, cũng không phải thang khoảng cách, mà có thể xem đó là thang thứ tự. Thang đo mà trên đó β đợc xác định cũng vậy, nhng đôi khi có thể giải thích thang mà trên đó β đợc xác định nh là một thang tỷ lệ “giới hạn”.
Chuyển đổi sang thang điểm thực
Chuyển đổi quan trọng nhất của thang điểm β là chuyển sang thang điểm thực. Gọi X là điểm thô tính theo số câu đúng:
X =∑ = n j j U 1
Trong đó Uj là các câu trả lời đúng 1 và sai 0 của một TS cho CHj. Nếu biểu diễn điểm thực là τ thì theo biểu thức (2)
τ =E(X) =E(∑ = n j j U 1 )= ( ) 1 ∑ = n j j U E
Nếu một biến ngẫu nhiên Y lấy giá ntrị y1 và y2 với các xác suất tơng ứng là P1 và P2 thì
E(Y) = y1P1 + y2P2
Vì Uj nhận giá trị 1 với xác suất Pj(β) và giá trị 0 với xác suất Qj(β) nên ta có thể biểu diễn: E(Uj) = 1.P(β) + 0.Qj(β) = Pj (β) Cuối cùng: τ = ( ) 1 ∑ = n j j P β
Tức là: điểm thực của một TS có khả năng β là tổng của các đờng cong đặc trng của mọi CH trong bài trắc nghiệm, do đó điểm thực cũng đợc gọi là đờng cong đặc trng của bài trắc nghiệm. Cần một lần nữa nhắc lại rằng quan hệ trên chỉ đúng khi mô hình trả lời câu hỏi phù hợp với số liệu thực tế.
Việc chuyển đổi từ biến năng lực β sang điểm thực có tác dụng quan trọng sau: 1) loại bỏ các giá trị âm; 2) tạo nên thang đo với các điểm từ 0 đến n (hoặc theo tỷ lệ từ 1% đến 100%), dễ giải thích; 3) có thể xác định điểm cắt, từ đó suy ngợc lại điểm cắt trên thang β; 4) một tác dụng quan trọng là nếu biết trớc năng lực β của một TS nào đó thì có thể tính điểm của một bài trắc nghiệm mà TS đó không làm (xem lại thí dụ về vận động viên nhảy cao đã nêu trên đây). Từ đó có thể tiên đoán điểm thực của TS hoặc tình trạng đạt hoặc không đạt đối với một bài trắc nghiệm mới. Tính chất này cồn đợc sử dụng để xác định các hằng số của
thang điểm khi đặt các tham số của hai bài trắc nghiệm trên cùng một thang đo (equating).
Chơng 2: Lập dàn bài trắc nghiệm
2.1. Mục đích của bài TN
Bài kiểm tra này nhằm kiểm tra những hiểu biết tối thiểu về phần Hoá hữu cơ - 11. Bên cạnh đó còn nhằm kiểm tra những chỗ mạnh chỗ yếu của học sinh, giúp học sinh phát hiện những kiến thức cha đầy đủ qua một số câu hỏi có tính chất đòi hỏi học sinh phải hiểu rõ vấn đề, giúp học sinh khái quát đợc kiến thức đã học một cách toàn diện. Đánh giá năng lực thực của học sinh một cách chính xác hơn.
2.2. Phân tích nội dung môn học
Bao gồm chủ yếu việc xem xét và phân biệt 4 loại học tập:
(1). Những thông tin mang tính chất sự kiện mà học sinh phải nhớ hay nhận ra.
(2). Khả năng và ý tởng mà chúng ta phải giải thích hay minh hoạ (3). Những ý tởng phức tạp mà chúng ta cần giải thích hay giải nghiã.
(4). Những thông tin, ý tởng và kĩ năng cần đợc ứng dụng hay chuyển dịch sang một tình huống mới.
Phần này bao gồm các bớc sau:
Bớc 1. Tìm ra những ý tởng chính yếu của phần đó. 1) Định nghĩa - CTTQ.
2) Đồng đẳng - đồng phân. 3) Danh pháp – cấu tạo.
4) Tính chất hoá học. 5) Điều chế.
Bớc 2. Lựa chọn những từ, nhóm chữ và cả những ý kiến (nếu có) mà học sinh sẽ phải giải nghĩa.
a) Ankan, Anken, Ankin, Ankadien, Xiclo ankan. b) Quy tắc thế và cộng.
Bớc 3. Phân loại hạng thông tin đợc trình bày
a) Những thông tin nhằm mục đích giải nghĩa hay minh hoạ - Các định nghĩa.
- Cấu tạo của một số chất cơ bản. b) Những khái luận quan trọng:
• Quy tắc thế vào các hiđrocacbon no.
• Quy tắc cộng ( Macopnhicop) vào hiđrocacbon no. • Quy tắc thế trong vòng benzen.
• Tính chất hoá học đặc trng của từng loại hợp chất
Bớc 4. Lựa chọn một số thông tin và ý tởng đòi hỏi học sinh phải có khả năng ứng dụng những điều đã biết để giải quyết những vấn đề trong những tình huống mới.
•Tính chất hoá học của từng hợp chất. •Cách điều chế.
•Tên gọi ( danh pháp)
2.3. Thiết lập dàn bài TN Kĩ năng Nhớ Hiểu áp dụng Phân tích Tổng hợp Đánh giá (1) (2) (3) (4) (5) (6) 1. Định nghĩa 2 câu
2. CTTQ 1 câu 1 câu 2 câu
4. Tính chất hoá
học 2 câu 1 câu 2 câu 4 câu 1 câu
5. Điều chế 5 câu 1 câu
6. Cấu tạo 3 câu 1 câu
7. Tỉ khối hơi 1 câu
2.4 Quá trình thực hiện.
Bao gồm các bớc sau:
Bớc 1: nghiên cứu nội dung kiến thức cần kiểm tra (phần ankan, xicloankan, anken, ankađien-caosu, ankin). Lập dàn bài sơ lợc.
Bớc 2: Tạo bảng đặc trng hai chiều và lập câu hỏi chi tiết dựa theo bảng đặc trng hai chiều trên.
Bớc 3: Liên hệ với trờng PTTH Hai Bà Trng - Hà Nội để lấy mẫu kiểm tra. Bớc 4: Tham khảo ý kiến của GV giảng dạy bộ môn Hoá cùng các bạn về nội dung bài kiểm tra tránh gặp phải một số sai sót (kiến thức quá khó hay quá dễ, cha tổng quát ). Sau đó hoàn chỉnh lại các câu hỏi một cách hợp lí hơn.…
Bớc 5: Mã hoá đề thi tạo lập 6 đề khác nhau dựa trên 29 câu hỏi đã viết. Bớc 6: Tiến hành kiểm tra trên mẫu TS (các lớp 11E1, 11G1, 11H2), dới sự giúp đỡ của cô giáo phụ trách bộ môn: Vũ Thị Liên.
Bớc 7: Chấm bài lấy điểm kiểm tra một tiết, thống kê số liệu. Bớc 8: Nhập dữ liệu để chạy chơng trình Quest.
Bớc 9: Phân tích và đánh giá kết quả thu đợc, tìm ra u nhợc điểm của bài kiểm tra đề ra những phơng pháp nhằm hạn chế các sai sót.
CHƯƠNG 3: PHÂN Tích kết quả
3.1. Phân tích bài tn
3.1.1. Phân tích câu TN
Việc phân tích các câu hỏi dựa vào độ khó và độ phân cách của từng câu. Độ khó của câu hỏi tuỳ thuộc vào câu đó có mấy phơng án lựa chọn vì: