Xây dựng ngân hàng câu hỏi trắc nghiệm môn thống kê xã hội hệ Đào tạo cử nhân tại một số trường Đại học Ở thành phố hồ chí minh

Ở một số trường Đại học tại thành phố Hồ Chí Minh, người ta đã chọn hình thức trắc nghiệm khách quan để kiểm tra kết quả học tập một số môn học của sinh viên, nhưng việc soạn thảo những

MỞ ĐẦU

1 — Lí do chọn đề tài

Thống kê toán học được xem là công cụ hỗ trợ cho người nghiên cứu trong lĩnh vực khoa học tự nhiên cũng như khoa học xã hội Trong kế hoạch dạy học của hệ Cử nhân ở một số trường đại học, môn Thống kê trong khoa học xã hội nên sắp xếp trước môn Phương pháp nghiên cứu khoa học, nhằm giúp sinh viên lĩnh hội những kiến thức và hình thành những kỹ năng cần thiết về thống kê để

có thể xử lý số liệu thu được từ việc sử dụng các phương pháp nghiên cứu trong

để tài của mình

Trong hoạt động giảng dạy, kiểm tra đánh giá là một khâu quan trọng, giúp người dạy và người học đánh giá được kết quả đạt được so với mục tiêu học tập của môn học đã được đề ra Ở một số trường Đại học tại thành phố Hồ Chí Minh, người ta đã chọn hình thức trắc nghiệm khách quan để kiểm tra kết quả học tập một số môn học của sinh viên, nhưng việc soạn thảo những đề trắc nghiệm ấy có thể chưa theo một quy trình cần thiết của việc soạn thảo trắc nghiệm khách quan Trắc nghiệm khách quan, ngoài chức năng là công cụ kiểm tra, đánh giá, nó còn

là phương tiện tự học, tự kiểm tra kết quả học tập của sinh viên Chính vì vậy việc chọn và nghiên cứu đề tài “Xáy dựng ngân hàng câu hỏi trắc nghiệm môn Thống kê xã hội tại một số trường đại học ở thành phố Hồ Chí Minh ” nhằm cung cấp sản phẩm là các đề trắc nghiệm được soạn thảo đúng quy trình soạn thảo của trắc nghiệm khách quan, phục vụ việc dạy và học của môn học có hiệu quả hơn

Hình thành được Đảy bài trắc nghiệm môn Thống kê xã hội (mỗi bài 80 câu) với các số thống kê của từng bài và câu trắc nghiệm (hệ SỐ tin cậy, độ khó của từng bài; độ phân cách và độ khó của từng câu) đê dùng vào việc kiêm tra,

tự kiểm tra, đánh giá kết quả học tập của sinh viên một số ngành thuộc khoa học

xã hội ở một số trường đại học tại thành phố Hồ Chí Minh

3 _ Khách thể và đối tượng nghiên cứu

3.1.Khách thể nghiên cứu

Khách thể nghiên cứu của đề tài là hoạt động giảng dạy và học tập môn Thống kê xã hội

3.2.Đối tượng nghiên cứu

Đối tượng nghiên cứu của đề tài là việc xây dựng ngân hàng câu hỏi trắc nghiệm môn Thống kê xã hội tại một số trường đại học ở thành phố Hồ Chí Minh

Căn cứ vào lý thuyết soạn thảo trắc nghiệm khách quan, chương trình môn Thống kê xã hội của hệ Cử nhân, trình độ người học, thời lượng dành cho môn học và yêu cầu kiểm tra, thi kết thúc môn học, nhóm nghiên cứu có thể soạn thảo, khảo sát, xử lý được bảy đề trắc nghiệm, mỗi đề 80 câu với hệ số tin cậy xap xi 0,7; số câu trắc nghiệm có độ phân cách từ khá tốt trở lên đạt khỏang 50% và đa

số là những đề thi vừa sức với trình độ của thí sinh

5.1.Hé thống hóa cơ sở lý luận của việc soạn thảo trắc nghiệm khách quan 5.2.Soạn thảo, khảo sát, phân tích bảy đề trắc nghiệm môn Thống kê xã hội

6.1.Cơ sở phương pháp luận

6.1.1.Quan điểm hệ thống- cấu trúc

Theo quan điểm này thì mọi sự vật, hiện tượng đều tồn tại dưới dạng một

hệ thống với các yếu tô hợp thành có liên hệ với nhau Hệ thống không tồn tại độc lập mà có liên hệ với các hệ thông khác

Vận dụng quan điểm này vào phạm vi đề tài, chúng tôi nhận thấy đối tượng nghiên cứu của đề tài là một hệ thống bao gồm nhiều yếu tố hợp thành như: lý thuyết về soạn thảo trắc nghiệm khách quan, chương trình môn học Thống kê xã hội, người dạy, người học, các điều kiện của hoạt động dạy học, yêu cầu kiểm tra, thi cử của môn học Những yếu tổ này có liên hệ với nhau và bản thân đối tượng nghiên cứu của đề tài cũng có liên hệ với các môn học khác trong chương trình đào tạo riêng phần cấu trúc của mỗi đề trắc nghiệm cũng mang tính

hệ thống như chương trình môn Thống kê xã hội

6.1.2.Quan điểm lịch sử- logic

Quan điểm này đòi hỏi người nghiên cứu phải xem xét đối tượng nghiên

cứu như đang tôn tại trong thời gian và không gian xác định và trình bày công trình nghiên cứu theo một trật tự hợp lý

Vận dụng quan điểm này vào phạm vi đề tài, chúng tôi đã soạn thảo các đề trắc nghiệm theo chương trình môn Thống kê xã hội hiện đang được giảng dạy tại

một số trường đại học ở thành phố Hồ Chí Minh

6.1.3.Quan diém thực tiễn

Quan điểm này đòi hỏi người nghiên cứu phải xuất phát từ thực tiễn dé lựa chọn đề tài nghiên cứu nhằm đem lại kết quả phục vụ thực tiễn Thực tiễn kiểm tra, đánh giá môn Thống kê xã hội cần một công cụ khách quan đã thúc đây chúng tôi lựa chọn và nghiên cứu đề tài này

6.2.Phương pháp nghiên cứu

6.2.1 Phân tích và tổng hợp lý thuyết

Lý thuyết được chúng tôi chọn đề phân tích và tổng hợp là lý thuyết về trac nghiệm Lý thuyết này là nền tảng của việc soạn thảo và phân tích trắc nghiệm 6.2.2.Phân loại, hệ thống hóa lý thuyết

Phương pháp này được sử dụng để phân loại và sắp xếp các lý thuyết có

liên quan đến kỹ thuật trắc nghiệm Những lý thuyết này sẽ được dùng để viết

phan lịch sử nghiên cứu vấn đề ở chương I

6.2.3 Phương pháp soạn thảo, khảo sát và phân tích trắc nghiệm

Phương pháp này được sử dụng đề làm nên sản phẩm nghiên cứu của đề 6.2.4 Phương pháp thông kê toán học

Phương pháp này được sử dụng trong khâu phân tích trắc nghiệm

đây chỉ khoảng một thế kỷ Ở Châu Âu và đặc biệt là ở Mỹ, lĩnh vực khoa học

này phát triển mạnh vào thời kỳ từ trước và sau Thế chiến thứ hai với vài dấu

mốc quan trọng như: Trắc nghiệm trí tuệ của Stanford-Binet xuất bản năm

1916, việc sử dụng máy IBM để chấm trắc nghiệm vào năm 1935 Với việc

thanh lap National Council on Measurement in Education (NCME) vao thap nién 1950 va ra di Education Testing Service (ETS) năm 1947, va American Testing Service (ATS) sau d6, m6t nganh cong nghiệp trắc nghiệm đã hình thành ở Mỹ Từ đó đến nay, khoa học về đo lường trong tâm lý và giáo dục đã phát triển liên tục, những phê bình chỉ trích đối với khoa học này cũng xuất hiện thường xuyên nhưng chúng không đánh đổ được nó mà chỉ làm cho nó tự điều chỉnh và phát triển mạnh mẽ hơn Hiện nay, ở Mỹ ước tính mỗi năm số lượng trắc nghiệm tiêu chuẩn hóa cỡ 1⁄4 tỉ và trắc nghiệm do giáo viên soạn lên đến con số 5 tỉ Cùng với sự phát triển của công nghệ tính toán, lý thuyết về đo lường trong tâm lý và giáo dục cũng phát triển rất nhanh, và lý thuyết Ứng đáp Câu hỏi (Iem Respond Theory- IRT) đã ra đời, đạt những thành tựu quan trọng nâng cao độ chính xác của trắc nghiệm

Tại Việt Nam, trước năm 1975 ở miền Bắc chỉ có một số nghiên cứu về

đo lường trong tâm lý, trong khi ở miền Nam có một vài chuyên gia được đào tạo ở Mỹ về lĩnh vực này và kỳ thi tú tài năm 1974 đã triển khai bằng phương

pháp trắc nghiệm khách quan Cho đến thập niên 90 của thế kỷ XX sự phát triển khoa học về đo lường trong giáo dục ở Việt Nam vẫn rất yếu Để khắc phục tình hình trên,Vụ Đại học Bộ Giáo dục và Đào tạo đã mời một số chuyên

gia từ nước ngoài sang tổ chức hội thảo, xuất bản sách, mặt khác cử một số

giáo chức đại học đi học ở nước ngoài về khoa học này, và cho đến nay đã có hàng chục Ph D hoặc Master về lĩnh vực liên quan Cũng từ đó một số trường đại học có tổ chức các nhóm nghiên cứu áp dụng các phương pháp đo lường trong giáo dục để thiết kế các công cụ đánh giá, soạn thảo các phần mềm hỗ

trợ, mua máy quét quang học chuyên dụng và cải tiến máy quét ảnh thông

dụng để chấm thi Một điểm mốc đáng ghi nhận là vào tháng 7/1996 kì thi tuyển đại học thí điểm bằng phương pháp trắc nghiệm khách quan đã được tổ chức tại trường Đại học Đà Lạt Rất tiếc là từ đó đến nay các hoạt động liên quan đến khoa học này tiến triển rất chậm Mãi đếm năm 2006 mới áp dụng cho môn ngoại ngữ và năm 2007 với bốn môn thi cho kỳ thi tốt nghiệp THPT và tuyển sinh đại học

Như đã trình bày ở trên, chỉ đến thập niên 70 của thế kỷ XX thì các mô hình đo lường dựa trên IRT mới ra đời Nhờ các phương pháp tính tóan có tốc

độ rất cao dựa vào máy tính, IRT phát triển rất nhanh và thu được rất nhiều thành tựu trong ba thập niên cuối của thế kỷ XX bước sang đầu thế kỷ XXI Người ta thường phân chia các lý thuyết trắc nghiệm ra thành hai loại: lý thuyết trắc nghiệm cổ điển hình thành trước khi ra đời IRT, và lý thuyết trắc

nghiệm hiện đại với việc sử dụng IRT

IRT xây dựng các mô hình toán để xử lý dữ liệu dựa trên việc nghiên cứu mọi cặp tương tác nguyên tố “thí sinh-câu hỏi”(TS-CH) khi triển khai một trắc nghiệm khách quan Mỗi thí sinh đứng trước một câu hỏi sẽ đáp ứng như

thế nào, điều đó phụ thuộc vào năng lực tiểm ẩn của thí sinh và các đặc trưng

của câu hỏi Hành vi đáp ứng này được mô tả bằng một hàm đặc trưng câu hỏi

(Item Response Function) cho biết xác suất trả lời đúng câu hỏi tùy theo tương quan của năng lực thí sinh và các tham số đặc trưng cho câu hỏi Hiện nay có 3

mô hình toán phổ biến nhất trong IRT: mô hình 1 tham số (mô hình Rasch) chỉ

xét đến độ khó của câu hỏi, mô hình 2 tham số có xét đến độ phân cách của

câu hỏi, và mô hình 3 tham số xét thêm mức độ đoán mò của thí sinh khi trả

lời câu hỏi

So với lý thuyết trắc nghiệm cổ điển, lý thuyết trắc nghiệm hiện đại với IRT có những ưu việt quan trọng

Trong lý thuyết trắc nghiệm cổ điển, độ khó, độ phân cách của các câu

trắc nghiệm tính được sẽ phụ thuộc vào mẫu thí sinh được chọn để thử nghiệm,

va năng lực xác định được của thí sinh phụ thuộc vào đề trắc nghiệm mà thí sinh làm Với IRT, thành tưu kỳ diệu nhất mà các mô hình toán mang lại là các

tham số đặc trưng của câu hỏi (liên quan đến độ khó, độ phân cách, mức độ đoán mò) không phụ thuộc vào mẫu thử và năng lực đo được của thí sinh

không phụ thuộc vào bài trắc nghiệm cụ thể được lấy từ cùng một ngân hàng câu hỏi Như vậy, theo TRT, mỗi câu hỏi có các thuộc tính đặc trưng cho nó, và mỗi thí sinh ở một trình độ nào đó có một năng lực tiềm ẩn xác định, các thuộc tính và đặc trưng này không phụ thuộc vào phép đo Cũng tương tự như trong phép đo độ dài: mỗi cái thước dùng để đo có kích thước và kiểu khắc độ xác định, mỗi vật được đo có chiều dài xác định, phép đo là sự so sánh cái thước

với vật được đo để biết được chiều dài vốn có của vật được đo, các phép đo khác nhau không được làm thay đổi các thuộc tính vốn có của của cái thước cũng như độ dài của vật được đo I7 cho phép tính các hàm thông tin của

từng câu hỏi và của cả đề trắc nghiệm và sai số chuẩn của phép đo theo các mức năng lực tiềm ẩn chứ không phải một sai số chuẩn trung bình chung cho

cả phép đo như trắc nghiệm cổ điển Từ đó có thể thiết kế một đề trắc nghiệm cho phép đo chính xác khoảng năng lực nào mà ta mong muốn Hơn nữa, IRT cho phép thiết kế các để trắc nghiệm với mức độ tương đương rất cao để đảm bảo các để trắc nghiệm khác nhau có thể cho cùng kết quả như nhau khi đánh

giá năng lực của một thí sinh nào đó

Các thành tựu quan trọng đó của IRT đã nâng độ chính xác của phép đo

lường trong tâm lý và giáo dục lên một tâm cao mới về chất so với các lý thuyết đo lường cổ điển Từ thành tựu tổng quát của IRT người ta có thể đưa ra các quy trình để xây dựng ngân hàng câu hỏi, phân tích các kết quả trắc nghiệm khách quan để tu chỉnh ngân hàng câu hỏi, chủ động thiết kế các để trắc nghiệm theo các mục tiêu mong muốn

Việc ứng dụng các kết quả của khoa học đo lường hiện đại không chỉ

giới hạn trong giáo dục IRT áp dụng tốt cho các loại trắc nghiệm tâm lý, trắc nghiệm bệnh lý trong y tế, cho việc thiết kế các bảng hỏi và xử lý các cuộc điều tra tâm lý xã hội, điều tra thị trường khác nhau Nói tóm lại nó là công cụ quan trọng cho việc nghiên cứu các phản ứng của con người trong các khoa học hành vi Chính vì vậy mà ở các nước phát triển, đặc biệt là Hoa Kỳ, các công ty trắc nghiệm ETS, ATS áp dụng IRT cho các kỳ thi quan trọng để có kết quả xét tuyển vào đại học, sau đại học, tuyển dụng giáo viên; Viện Ý kiến công chúng Mỹ Gallup thiết kế các bảng hỏi dùng để thăm dò ý kiến công chúng: các doanh nghiệp thiết kế công cụ để thăm dò ý kiến khách hàng Ở các nước Âu Mỹ, trắc nghiệm thực sự trở thành một ngành công nghiệp lớn

Những điều trình bày trên cho thấy khoa học đo lường về giáo dục ở nước ta còn lạc hậu Việc áp dụng khoa học này vào thực tiễn hoạt động đánh giá ở nước ta diễn ra quá chậm chạp

Trung Quốc bắt đầu du nhập khoa học này từ đầu thập niên 80 mà năm

1988 đã có thể tổ chức chính thức kỳ thi tuyển sinh đại học trên toàn lục địa bằng công nghệ mới, trong khi chúng ta đã bắt đầu tiếp thu khoa học này từ đầu thập niên 90, đã tổ chức thí điểm thi tuyển sinh tại Đà lạt từ năm 1996 mà cho đến nay vẫn còn trong giai đoạn thử nghiệm ở một số môn thi [10]

Trên thị trường sách Việt Nam hiện nay có khá nhiều tài liệu trắc nghiệm do giáo viên soạn thảo nhằm mục tiêu giúp học sinh có những câu hỏi làm phương tiện tự học, tự kiểm tra, chứ chưa đạt đến mục tiêu, chức năng của một công cụ đo lường khách quan Bởi vì mỗi câu trắc nghiệm, mỗi bài trắc nghiệm được đưa ra không có các chỉ số thống kê kèm theo như độ khó, độ phân

cách, hệ số tin cậy , không nói rõ quy trình soạn thảo và khảo sát, thử

nghiệm ra sao Đề tài “Xây dựng ngân hàng câu hỏi trắc nghiệm môn Thống kê

xã hội tại một số trường đại học ở thành phố Hồ Chí Minh” sẽ góp một phần

nhỏ trong việc bổ khuyết những hạn chế của tài liệu trắc nghiệm hiện nay

môn Thống kê xã hội tại một số trường đại học ở thành phố Hồ Chí Minh 1.2.1.Các thuật ngữ liên quan

1.2.1.1 Khái niệm “mục tiêu” trong trắc nghiệm

Trong lĩnh vực giáo dục, mục tiêu có thể hiểu theo nhiều cách và nhiều mức độ khác nhau Nó có thể phát biểu như mục tiêu của người thầy giáo, của

trường học, của học sinh hoặc của giáo dục nói chung Các mục tiêu ấy có thể

là những mục tiêu tổng quát hay chuyên biệt, mục tiêu xa hay gần Cũng có khi lầm lẫn mục tiêu với các đường hướng hoạt động của thây giáo [1 1]

Trắc nghiệm là một loại dụng cụ đo lường, vì vậy nó luôn luôn nhằm một mục đích nào đó Trong dạy học, mục đích đó có thể là xác định mức độ lĩnh hội nội

dung học tập của học sinh, giúp cho việc cải tiến giảng dạy ở các môn học này, cũng có thể là để cho điểm và xếp loại học sinh vào cuối khóa học Dù là theo

mục đích nào đi nữa, đo lường thành quả học tập cần được hiểu là đo lường mức độ đạt đến các mục tiêu giảng dạy Vì thế, khái niệm mục tiêu rất quan trọng, cần được làm sáng tỏ Do sự đa dạng của khái niệm này và trong giới hạn của đề tài, nhóm nghiên cứu không hướng đến việc trình bày những cơ sở

lý luận về mục tiêu mà quan tâm đến tính ứng dụng của nó Cụ thể là nhấn mạnh các ý sau:

- Mục tiêu dùng trong trắc nghiệm là những mục tiêu có thể đo lường được Có những mục tiêu không thể đo lường bằng trắc nghiệm, thường là quá tổng quát, hoặc cần có một quá trình lâu dài

- Mục tiêu muốn đo phải được định nghĩa rõ ràng, cụ thể Mục tiêu dùng

làm cơ sở để soạn trắc nghiệm phải là những qui định rõ về kết quả của việc

giảng dạy một khi mục tiêu đã được đạt tới, riêng cho một môn học, lớp tuổi, cấp học, vv Đó phải là những qui định kiến thức, kỹ năng cụ thể chứ không

mơ hồ, chung chung

- Mục tiêu phải bao gồm nội dung học tập thiết yếu của môn học

- Các mục tiêu phải đạt tới được trong khóa học hay một đơn vị học tập

- Các từ, cụm từ dùng trong phát biểu mục tiêu cần được xác định, gợi

mở những hình ảnh về khả năng học sinh có thể thực hiện được Về vấn để này,

cách phân loại mục tiêu theo 6 mức độ của B.S Bloom thường được sử dụng Các chuyên gia trắc nghiệm cũng giúp xây dựng một hệ thống những động từ hành động tương ứng với từng mức độ đó để hỗ trợ cho việc trình bày các mục tiêu môn học Trong dé tài này nhóm nghiên cứu chú trọng các động từ đó Trong khi viết các mục tiêu môn học, người soạn trắc nghiệm cần đặt những

câu hỏi hướng đến người học, như câu hỏi: “Học sinh có thể làm được gì (chỉ

ra, liệt kê, trình bày, tóm tắt, chứng minh, vv ) sau khi hoàn tất bài học này?”

1.2.1.2 Khái niệm “Trắc nghiệm môn học”

Khái niệm “trắc nghiệm môn học” chưa được quan tâm nghiên cứu nhiều ở Việt Nam Trong để tài này, nhóm nghiên cứu xây dựng dựa trên cơ sở

của khái niệm “trắc nghiệm” và cụm từ “kết quả học tập môn học”

(1) Trắc nghiệm (TesÐ) trong tiếng Anh có nghĩa là thử hay phép thử, sự

sát hạch Người đầu tiên dùng thuật ngữ này là nhà Tâm lý học Anh, Francis Galton ( 1822 — 1911) Theo nghĩa chữ Hán “trắc” có nghĩa là “đo lường”;

“nghiệm” là “suy xét, chứng thực” [11]Theo các chuyên gia trắc nghiệm trong

và ngoài nước (TS Patrick Grffin (Úc), TS Dương Thiệu Tống), khái niệm “trắc

nghiệm” còn bao gồm những bài kiểm tra viết dài (tự luận, tiểu luận, bài báo

cáo), và cả những câu đối xưa (đối nhau về từ và ý nghĩa mà các thầy đổ thường dùng để kiểm tra trình độ học trò)

Trong để tài này, nhóm nghiên cứu giới hạn khái niệm trắc nghiệm chỉ

bao gồm những loại câu hỏi có hình thức như: câu Đúng - Sai, câu hỏi có

nhiều lựa chọn (câu MCQ), câu điển khuyết, câu ghép cặp, câu hỏi với trả lời

ngắn Khi triển khai để trắc nghiệm trong đợt khảo sát, nhóm nghiên cứu chỉ sử dụng loại câu MCQ nhằm mục đích giảm thiểu tối đa khả năng học sinh trả lời

đúng do may rủi cũng như được tiện lợi khi phân tích dữ kiện bằng một phần mềm máy tính

(2) Kết quả học tập môn học được hiểu là thành tích học tập mà học sinh đạt được ở một môn học

Vậy trắc nghiệm môn học là “phép đo thực hiện ở một môn học để suy xét mức độ đạt đến các mục tiêu giảng dạy” Các mục tiêu này thể hiện mức

độ khác nhau của những tri thức và kỹ năng mà người học phải lĩnh hội được

sau một thời gian, một giai đoạn học tập Trắc nghiệm môn học cũng có thể được quan niệm là “2„ột phương pháp dùng để đo khả năng đạt đến các mục tiêu bộ môn của mỗi học sinh trong một đơn vị thời gian học tập môn học đó” Xét theo nghĩa này, trắc nghiệm môn học là một công đoạn khá quan

trọng trong quá trình dạy học nhằm đánh giá thành tích người học đạt được so

với mục tiêu yêu cầu của môn học, cũng như so sánh với người học khác cùng tham gia Trong khoa học về đo lường, trắc nghiệm là một trong những cách thức (phương thức) để đo thành tích học tập

Trắc nghiệm môn học còn được xem là loại “công cụ” để đánh giá người học đạt đến những mục tiêu của môn học trong một khóa học Bộ công cụ này được xây dựng cho những mục tiêu có thể đo lường được (chủ yếu là về mặt

nhận thức) thông qua một hệ thống câu hỏi hoặc hệ thống bài tập được sắp xếp logic, khoa học Các câu hỏi, bài tập này được gọi là câu hỏi trắc nghiệm môn học

1.2.1.3 Đề thi trắc nghiệm

Đề thi trắc nghiệm là tập hợp những câu hỏi trắc nghiệm Những câu hỏi này được soạn thảo theo sát các mục tiêu đã được xây dựng trước đó, thể hiện

qua bảng qui định hai chiều (dàn bài trắc nghiệm)

Các câu hỏi được tập hợp lại, sắp xếp thành một hệ thống, để từ đó tạo ra các

đề thi Có hai thuật ngữ dùng trong trường hợp này: “để thi gốc” và “các để thi tương đương”

- Đề thi gốc : tạo bằng cách bố trí các câu hỏi vào một đề, số lượng câu tương ứng với số lượng đã được ghi trong bảng quy định hai chiều

- Các đề thi tương đương : tương đương về số câu, mục tiêu và nội dung khảo sát Chúng được tạo ra do nhu cầu dùng đồng thời nhiều đề thi trong một phòng thi để tránh tình trạng học sinh sao chép, gian lận khi làm bài Có hai cách để tạo ra những để thi này:

Cách 1: Từ một đề gốc, tiến hành xáo trộn vị trí của các câu hỏi này (và

áp dụng cách làm để này vì số lượng câu hỏi cần dùng không nhiều

Cách 2: Dựa vào số lượng thành phần đã ghi trong bảng quy định hai chiều, tiến hành chọn các câu hỏi “tương đương” về chủ để nội dung, mục tiêu nhận thức để đưa vào từng đề Cách làm này cần có sẵn nhiều câu hỏi cùng

thuộc một chủ đề nội dung môn học, cùng mức độ “Biết” hoặc “Hiểu” hay “Ap

dung”

Tóm lại, đề thi trắc nghiệm là những câu hỏi thuộc một môn học, có thể

dưới các hình thức (Đúng - Sai, nhiều lựa chọn, điển khuyết, vv ), được chọn lựa theo những tiêu chí định trước theo yêu cầu của đợt kiểm tra, thi

1.2.1.4 Ngân hàng câu hỏi trắc nghiệm

Ngân hàng câu hỏi trắc nghiệm (item bank) là một thuật ngữ chuyên môn, rất quan trọng đối với người làm trắc nghiệm Nó chỉ ra việc sắp xếp, lưu trữ các câu trắc nghiệm vào một kho theo nhóm nội dung đã được phân loại và

cách thức quản lý định trước Không thể đơn giản quan niệm ngân hàng câu

hỏi trắc nghiệm chỉ đơn thuần là nơi cất giữ các câu trắc nghiệm do thầy giáo soạn ra trong các lần khảo sát học sinh mà không có một thông tin gì về nó qua

mỗi lần sử dụng Cần phải hiểu rằng các câu hỏi trắc nghiệm khi được soạn

thảo là nhằm đo lường một mục tiêu của nội dung môn học và một mức độ nhận thức tương ứng Do vậy, câu trắc nghiệm phải gồm các chỉ số như: cấp học, môn học, mục tiêu môn học, để mục, độ khó, độ phân cách, vv

Thầy, cô giáo thường lưu các nội dung câu hỏi cùng những thông tin liên quan đến câu trắc nghiệm trên từng phiếu bằng giấy bìa cứng

Ngày nay, nhờ có máy tính điện tử, việc lưu trữ câu hỏi, cập nhật thông

tin cho câu hỏi, thêm câu mới hay hủy bỏ một câu hỏi được thực hiện dễ dàng hơn Nội dung câu hỏi cần được chuyển đổi thành mã máy tính trước khi ghi lên đĩa để đạt độ bảo mật cao

Việc lưu trữ trên máy tính giúp tạo ra nhanh các để thi khác nhau, hoặc

tổ chức thi và chấm điểm ngay trên các máy nối mạng Hiện nay trong nước đã

có nhiều phần mềm máy tính được viết nhằm hỗ trợ việc quản lý các câu trắc nghiệm và tổ chức thi

1.2.2 Một số yêu cầu về kỹ thuật khi xây dựng trắc nghiệm

Dưới đây là một số nội dung thuộc về kỹ thuật có liên quan:

1.2.2.1 Các mức độ nhận thức theo cách phân loại của B.sS Bloom

Việc xác lập mục tiêu nhận thức cho từng nội dung là hết sức cần thiết

Có nhiều cách, nhưng thường dựa theo cách phân loại mục tiêu nhận thức của Benjamin S Bloom Có sáu mức độ được xếp từ thấp đến cao: Tri thức, (Biết, knowledge), Thông hiểu (Hiểu, comprehension), Áp dụng (vận dụng, application), Phân tích (analysis), Tổng hợp (synthesis) và Đánh giá (evaluation) Nhóm nghiên cứu tập trung vào ba mức độ đầu tiên: Biết, Hiểu,

Vận dụng

(1) Biết: được quan niệm như là khả năng nhớ hay nhận lại những kiến

thức trong nội dung học tập

Biết là mức độ nhận thức chỉ cần người học vận dụng trí nhớ mà chưa

cần phải giải thích điều gì

(2) Hiểu: bao gồm cả biết nhưng ở mức độ cao hơn Nó đòi hỏi người

học phải biết được ý nghĩa của tri thức, biết liên hệ với những điều đã có trong kinh nghiệm của họ Hiểu là mức độ đòi hỏi người học nhận được thông tin nào đó thì có thể biến đổi thông tin đó sang một hình thức khác tương đương có

ý nghĩa nhiều hơn đối với chính mình, có thỂ tự mở rộng sự hiểu biết vượt ra ngoài những gì được cung cấp trong thông tin đó

(3) Vận dụng: là mức độ phải dựa trên sự thông hiểu nhưng ở mức cao hơn Đó là khả năng mà người học căn cứ vào những hoàn cảnh, điều kiện cụ thể để lựa chọn, sử dụng các tri thức đã học để giải quyết một vấn đề nào đó

1.2.2.2 Quy trình hình thành bài trắc nghiệm khách quan

Để có được một bài trắc nghiệm khách quan, cần phải tiến hành tuần tự

các bước sau:

Bước 1: Xác định mục tiêu học tập của từng chương trong môn học

Ở bước này người soạn thảo cần quan tâm đến mục đích giáo dục hệ thống, mục đích giáo dục nhân cách, mục tiêu học tập tổng quát và kết quả học tập chuyên biệt, các đặc điểm của mục tiêu cũng như các cấp độ mục tiêu trong lĩnh vực nhận thức theo cách phân loại của B S Bloom

Bước 2: Lập bảng phân tích nội dung của từng chương hoặc môn học

Bảng phân tích nội dung là một bảng liệt kê tất cả các đơn vị kiến thức

có trong một chương hoặc một môn học theo các nội dung (Sự kiện, khái niệm, quy luật) và theo các để mục trong chương hoặc theo từng chương Bảng phân tích nội dung một chương có dạng như bảng 1.1

Bang 1.1 Bang phân tích nội dung

được soạn ra khá phong phú, dồi dào liên quan đến tất cả đơn vị kiến thức, các

mục tiêu, góp phần nâng cao tính chất khách quan của để thi, khắc phục được

tình trạng học tủ của học sinh như trong kiểu thi bằng luận dé

Bước 3: Thiết kế dàn bài trắc nghiệm

Dàn bài trắc nghiệm hay bảng quy định hai chiều là bảng do người soạn

trắc nghiệm lập ra nhằm ấn định trước tổng số câu của bài trắc nghiệm, tổng

số câu trắc nghiệm ở từng mức độ mục tiêu nhận thức(biết, hiểu, vận dụng )

tổng số câu trắc nghiệm sẽ soạn ở mỗi chương hay từng để mục của chương, số câu trắc nghiệm sẽ soạn ứng với từng mức độ nhận thức và đề mục của chương hay chương Như vậy, nhờ có dàn bài trắc nghiệm, người soạn sẽ ấn định trước mức độ khó dễ của để thi bằng cách điều chỉnh tổng số câu ở từng mức độ nhận thức Hơn nữa, nhờ có việc phân bổ tổng số câu trắc nghiệm ở từng để mục hay từng chương tương ứng với dung lượng kiến thức của từng để mục, chương, nên tính khách quan của để thi được nâng lên Có thể minh họa một dàn bài trắc nghiệm với 3 mức độ mục tiêu nhận thức: biết, hiểu, vận dụng như

Bước 4: Soạn câu trắc nghiệm theo dan bai

Có nhiều hình thức câu trắc nghiệm như : điển khuyêt, cặp đôi, hai lựa

chọn, nhiều lựa chọn; nhưng hình thức nhiều lựa chọn là thông dụng hơn cả vì

tỉ lệ may rủi thấp và thuận tiện trong việc chấm điểm, xử lý Thông thường sau

khi soạn xong, người soạn cần thảo luận với các giáo viên khác trong tổ bộ môn để thống nhất đáp án trước khi in thành dé thi

Bước 5: Chọn một mẫu học sinh đại diện cho dân số học sinh để thử bài trắc nghiệm

Đối với giáo viên dạy lớp, nếu không có điều kiện chọn mẫu và khảo sát trên mẫu thì bài trắc nghiệm được khảo sát ngay trên những lớp học sinh do

họ trực tiếp giảng dạy Do đó tính chất khách quan của đề trắc nghiệm không

cao, vì mẫu học sinh ấy không đại diện cho dân số học sinh có liên quan đến

bài trắc nghiệm

Bước 6: Chấm điểm, phân tích bài và phân tích từng câu trắc

nghiệm

Bài làm của học sinh được chấm điểm, phân tích bài, phân tích câu

nhằm cung cấp cho giáo viên những bài, câu trắc nghiệm với các chỉ số thống

kê cần thiết như trung bình, độ lệch tiêu chuẩn, độ khó, hệ số tin cậy của từng

bài trắc nghiệm; độ khó, độ phân cách của từng câu trắc nghiệm

Căn cứ vào độ phân cách của từng câu trắc nghiệm, phân tích đáp án và các môi nhử để quyết định chọn những câu trắc nghiệm có độ phân cách từ khá tốt trở lên để đưa vào bài trắc nghiệm hay ngân hàng câu hỏi; chỉnh sửa những câu trắc nghiệm có độ phân cách kém để khảo sát và phân tích tiếp Hình thành bài trắc nghiệm với những câu trắc nghiệm có độ phân cách từ khá tốt trở lên

Bước 7: Hình thành bài trắc nghiệm khách quan

Dùng bài trắc nghiệm đã hình thành ở bước 6 để khảo sát trên một mẫu

sinh viên đại diện cho dân số sinh viên có học môn Thông kê xã hội ở thành

phố Hồ Chí Minh Chấm điểm, phân tích bài và câu như ở trên để có các chỉ số thông kê cần thiết

1.2.2.3 Những yêu cầu cân lưu ý trong giai đoạn phân tích, đánh

giá câu, bài trắc nghiệm

Khi phân tích bài (để) trắc nghiệm, thường quan tâm: độ khó của bài, độ

tin cậy, độ giá trị và sai số tiêu chuẩn của dụng cụ đo Khi phân tích câu trắc

nghiệm, thường đánh giá : độ khó, độ phân cách của từng câu

+ Độ khó và độ khó vừa phải của câu trắc nghiệm:

- Công thức tính độ khó câu 1:

Peau = “—— TT = TiLeNguoiLamDungCaul

TongSoNguoi

Độ khó p của câu trắc nghiệm có giá trị từ 0.0 đến 1.0 (hay tỉ lệ 0% >

100%) Giá trị của p tỉ lệ nghịch với độ khó của câu, nghĩa là p càng gần 0 thì

độ khó của câu tăng (câu khó), p càng gần 1 thì độ khó giảm (câu dễ)

- Công thức tính độ khó vừa phải của câu trắc nghiệm:

Độ khó vừa phải phụ thuộc vào xác suất may rủi, nên giá trị của nó phụ

thuộc vào hình thức của câu hỏi trắc nghiệm

+ Độ khó của bài trắc nghiệm:

Có nhiều cách đánh giá độ khó của bài test Trong để tài này dùng cách

so sánh độ khó của bài với độ khó vừa phải Các bước như sau:

- Tính điểm trung bình toàn bài của mẫu sinh viên tham gia

- Tính điểm trung bình lý thuyết (trung bình mong đợi) dựa trên hình thức câu hỏi của đề thi theo cơng thức:

Trong đó K = Tông sô câu cua bai trac nghiệm

T là điêm may rủi cua bai trac nghiệm là tông sô câu trăc nghiệm mà thí sinh có thê làm đúng nêu họ làm bai theo kiêu may rủi (làm bải mà không cân xem đê

thi)

Soluachon

80 _ 5

Vậy điểm trung bình mong đợi hay trung bình lý thuyết (MLT) của mỗi đề trắc nghiệm có 80 câu, loại 4 lựa chọn là:

80+20 _

nghiệm theo công thức:

DK bai = = X 100%

- Độ khó vừa phải của bai trac nghiệm

ĐK vừa phải = _ = 2 X100% = 62,5%

- So sánh hai độ khó để đưa ra kết luận Nếu độ khó của bài càng lớn hơn

độ khó vừa phải : bài trắc nghiệm là DE Ngược lai, bài trắc nghiệm là KHÓ đối với thí sinh Bài trắc nghiệm vừa sức thí sinh khi trị số độ khó của bài nằm

trong một khoảng xác định bởi độ khó vừa phải + 0.07) Trong trường hợp này

0 -Bai kh6 - {Bài vừa sức} -Bài dễ > I

Như vậy, đối với bài trắc nghiệm có toàn những câu loại 4 lựa chọn, nếu

độ khó của bài nằm trong khoảng từ 0,555 đến 0,695 ta nói đê thi vừa sức với thí sinh

+ Độ tin cậy của bài trắc nghiệm:

- Theo các chuyên gia trắc nghiệm, độ tin cậy của bài trắc nghiệm nói lên tính vững chãi hay tính ổn định tương đối của các điểm số khi đo nhiều lần

trên một thí sinh [ ]

- Một bài trắc nghiệm là đáng tin cậy nếu đem công cụ này đo lặp lại nhiều lần trên một nhóm thí sinh trong những điều kiện như cũ, thì vị trí thứ hạng của các điểm số trong nhóm đó qua các lần đo vẫn ít bị thay đổi

- Người ta lượng giá độ tin cậy của một trắc nghiệm bằng một hệ số tin cậy Đó là hệ số tương quan giữa tập hợp điểm số của bài trắc nghiệm ấy với một tập hợp điểm số khác của một bài trắc nghiệm tương đương, cả hai được lấy trên cùng một nhóm thí sinh

- Có nhiều phương pháp để xác định độ tin cậy : (1) Phương pháp trắc nghiệm lặp lại hai lần (test - retest); (2) Phương pháp dùng dạng thức trắc nghiệm tương đương: (3) Phương pháp phân đôi số câu của một trắc nghiệm; (4) Phương pháp Kuder — Richardson Hiện nay, với sự hỗ trợ của máy tính và các phần mềm thống kê, phương pháp (4) rất tiện lợi, được sử dụng khá phổ biến

Dưới đây là công thức Kuder — Richardson căn bản (công thức hệ số œ - Cronbach) Ngoài ra còn có các công thức Kuder — Richardson 20 và 21

Trong đó: K = số câu của bài test, Z¿ là biến lượng (còn gọi là phương

sai) của câu trắc nghiệm thứ ¡ và ø¿ là biến lượng của điểm toàn bài trắc

nghiệm

- Độ tin cậy của bài trắc nghiệm phụ thuộc vào các yếu tố bên ngoài bài trắc nghiệm và yếu tố bên trong bài trắc nghiệm Các yếu tố bên ngoài như

các điều kiện tiến hành trắc nghiệm, chấm điểm trắc nghiệm và bản thân

người làm trắc nghiệm đều có thể gây sai số đến phép đo Những yếu tố bên trong bài trắc nghiệm như yếu tố may rủi, sai số do bài trắc nghiệm quá ít câu, sai số do chọn lệch mẫu, độ khó của bài trắc nghiệm là những yếu tố ảnh

của bài test cân giảm tối thiểu yếu tố may rủi bằng cách chon lựa hình thức câu hỏi trắc nghiệm nhiễu lựa chọn, số lượng câu hồi của bài trắc nghiệm không quá ít hoặc quá nhiễu, các điểu kiện tiến hành trắc nghiệm phải thuận lợi cho thí sinh và việc chấm điểm phải khách quan

+ Sai số tiêu chuẩn của đo lường

Công thức tính : SEM = ø, VÏ=HSTC

Trong đó: _ ø, : độ lệch tiêu chuẩn điểm toàn bài trắc nghiệm

HSTC = hệ số in cây của bài trắc nghiệm

+ Độ giá trị của bài trắc nghiệm

Độ giá trị của bài tắc nghiệm là tiêu chuẩn để xác định trắc nghiệm đó

có thực sự đo được cái mà nó cần đo hay không Như „ độ giá trị của bài trắc nghiệm tùy thuộc vào việc nó đo lưỡng cái gì, đo đúng đến mức độ nào

và đo trên nhóm người nào

Có nhiều thuật ngữ liên quan đến độ giá trị Thường quan tâm đến độ giá trị nội dung Đó là mức độ bao trùm được nội dung bài học, môn học Độ các nội dung, đến độ khó và độ phân cách của các câu trắc nghiệm Do những hạn chế, nhóm nghiên cứu chỉ cố gắng thực biện quy hoạch bài trắc nghiệm, nghiệm, để góp phẫn gia tăng tính giá trị

+ Độ phân cách của câu trắc nghiệm.

nhóm học sinh kém khi trả lời trắc nghiệm Câu hỏi được xem là có khả năng phân biệt tốt nếu những người làm tốt toàn bài trắc nghiệm (điểm toàn bài cao)

bài trắc nghiệm, sau đó chia thành 2 nhóm CAO và THẤP, mỗi nhóm gồm 27%

tổng số bài làm Tính số người làm đúng câu trắc nghiệm trong mỗi nhóm và

ấp dụng công thức sau, (D là độ phân cách)

_ (Dung hom CAO ~ Dung hom THAP

Trong đó : _ p : trung bình tổng điểm các bài trắc nghiệm làm đúng câu ỉ

‘Mg : trung bình tổng điểm các bài trắc nghiệm làm sai câu ¡

p 1116 học sinh làm đúng câu; q=l-p

ø„ _: độ lệch tiêu chuẩn điểm toàn bài trắc nghiệm

Để đánh giá chỉ số phân cách, có thể dựa trên hướng dẫn chung của chuyên gia trắc nghiệm như: D > 40% : Rất tốt; Từ 30% đến 39% : Khá tốt, có

”

thể hoàn chỉnh thêm; Từ 20% đến 29%: Tạm được cần điều chỉnh; Dưới 19% :

Kém, cần sửa chữa hoặc loại bỏ

Trong để tài này, nhóm nghiên cứu xử lý số liệu bằng phần mềm thống

kê viết riêng, do đó việc kiểm nghiệm ý nghĩa hệ số Rpbis đã được đưa vào trong chương trình máy tính Theo cách này, mỗi trị số của Rpbis được so sánh với hai trị số giới hạn của Rpbis ở mức xác suất tin tưởng 95% và 99%

+ Nếu trị số Rpbis tìm được lớn hơn trị số giới hạn ở mức 99% thì câu

được xem là có phân cách tốt

+ Nếu trị số Rpbis tính được chỉ lớn hơn trị số giới hạn ở mức 95% (va

nhỏ hơn trị số mức 99%) thì câu cũng được xem là có phân cách

+ Nếu trị số Rpbis tính được quá bé - không đạt mức 95% thì câu được

xem là phân cách kém (hay không phân cách)

+ Nếu xảy ra trường hợp có một trị số âm: câu thường là loại bổ, nhưng cũng cần kiểm tra lại những thao tác kỹ thuật khi soạn thảo, đáp án, ¡n ấn, vv

để rút kinh nghiệm

Tóm lại, để tiến hành phân tích câu hỏi trắc nghiệm, nhóm nghiên cứu

đã dựa trên khái niệm trắc nghiệm môn học, câu hỏi trắc nghiệm môn học, nghiên cứu cơ sở lý thuyết và kỹ thuật thống kê Sau khi có bài làm của thí sinh, nhóm nghiên cứu áp dụng các công thức nêu trên để phân tích các độ khó, độ phân cách của từng câu và các chỉ số bài trắc nghiệm

Chương 2

TỔ CHỨC NGHIÊN CỨU

Việc tô chức nghiên cứu gồm các công việc cụ thê như: nghiên cứu các tài liệu lý thuyết về trắc nghiệm, soạn các để trắc nghiệm, chọn mẫu sinh viên và khảo sát trên mẫu, chấm bài, xử lý, phân tích bài và phân tích từng câu trắc

nghiệm Kết quả nghiên cứu lý thuyết đã được chúng tôi trình bày ở chương 1 Dưới đây là các công việc về soạn thảo và khảo sát trắc nghiệm

2.1.2 Lập bảng phân tích nội dung

Bang 2.1 Bang phân tích nội dung toàn bộ môn học

niệm căn bản

trong thống kê

2Thống kê mô tả và thống kê suy diễn

3 Biên và các loại biên

4 Các loại thang đo

Chuong I 1 Dan sé va mau - Phan biét thong ké

suy diễn

- Phân biệt biến

định lượng với biến định tính

- Phân biệt các loại thang

3 Tần số tích lũy - Tần số tương đối tích lũy

4 Biểu diễn bằng đồ thị - Lập bảng phân bố

tần số điểm trắc nghiệm

- Tính tấn số tương

đôi

27

- Vẽ đô thị biêu diễn

phân bô tân sô điêm trắc nghiệm của 1 lớp học

3.Tinh chat cua phan bô: hắt của phân bố

Chương IV Khái niệm tương quan Cách tính và ý nghĩa

quan Pearson

Cách tính và ý nghĩa

của hệ số tương quan hạng

thông dụng

28

- Công dụng và cách thức sử dụng phần mềm SPSS để thực hiện phép kiểm định mối liên hệ giữa hai biến thứ bậc

- Kiểm nghiệm gia thuyết về trung bình của một dân số (tong thé)

- Kiém nghiém gia thuyét vé su bang

nhau giữa 2 trung

bình dân số

- Phân tích phương sai

29

2.1.4 Soạn bài trắc nghiệm(đề trắc nghiệm) theo mục tiêu, bảng phân tích

nội dung và dàn bài trắc nghiệm

2.1.4.1.Đề 1 và cơ cấu của đề

* Đề trắc nghiệm (Xin xem ở phụ lục)

* Cơ câu của đê 1

câu |câu |6, 16, cau(1, | cau(58, | cau(59, cau