HƯỚNG DẪN SỬ DỤNG VITESTA 1.0

Các ứng dụng chính - Tính các tham số đặc trưng và đánh giá chất lượng của câu hỏi, đề trắc nghiệm; - Ước lượng năng lực của thí sinh; - Xây dựng ngân hàng câu hỏi trắc nghiệm; - Thiết k

VÀ CÔNG NGHỆ GIÁO DỤC EDTECH-VN

Địa chỉ: Phòng 1093 –Toà nhà Thành Công–25 Láng Hạ-Hà NộiĐiện thoại: (84-4)3 5145566

Fax: (04)3 5148715E-mail: contact@edtech.com.vn

Website: www.edtech.com.vn

Hà Nội 2008

Giới thiệu

- VITESTA là một chương trình hỗ trợ phương pháp trắc nghiệm được phát triển bởi Công

ty CP EDTECH-VN Đây là một chương trình phân tích đánh gía câu hỏi, soạn đề thi, chấm thi trắc nghiệm… được xây dựng dựa trên Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) hiện đại

- VITESTA áp dụng giải thuật tối ưu để ước lượng các tham số câu hỏi và năng lực của thí sinh So với một số phần mềm đã được sử dụng ở Việt Nam như QUEST hay BILOG-MG3, VITESTA cho phép ước lượng kết quả đạt độ chính xác tương đương nhưng thực hiện nhanh chóng hơn, dễ sử dụng và cung cấp nhiều tiện ích hơn

- VITESTA cung cấp nhiều báo cáo dưới dạng văn bản và đồ thị giúp cho người sử dụng có thể hình dung trực quan về câu hỏi, đề trắc nghiệm, năng lực của thí sinh và quan hệ giữa các yếu tố đó

Đối tượng phục vụ

- Các trường học;

- Các trung tâm đào tạo, bồi dưỡng;

- Các sở, phòng giáo dục địa phương;

- Các chuyên gia trắc nghiệm và giáo viên

Các ứng dụng chính

- Tính các tham số đặc trưng và đánh giá chất lượng của câu hỏi, đề trắc nghiệm;

- Ước lượng năng lực của thí sinh;

- Xây dựng ngân hàng câu hỏi trắc nghiệm;

- Thiết kế đề trắc nghiệm

năng lực θ của thí sinh theo lý thuyết IRT Người sử dụng có thể tùy ý lựa chọn mô hình 1,2 hoặc 3 tham số, và thu được mau lẹ kết quả tương ứng với từng mô hình Ngoài ra phần mềm còn tính toán các hàm thông tin, và cung cấp tường minh các đồ thị của đượng cong đặc trưng và hàm thông tin của từng câu hỏi.

Đường cong đặc trưng câu hỏi và hàm thông tin

Ma trận đường cong đặc trưng câu hỏi của đề trắc nghiệm

b Cung cấp các số liệu thống kê theo lý thuyết trắc nghiệm cổ điển

Trong quá trình ước lượng tham số câu hỏi theo IRT, phần mềm cũng tính các tham số độ khó, độ phân biệt theo lý thuyết trắc nghiệm cổ điển, và cung cấp dưới dạng bảng đối với từng câu hỏi của

đề trắc nghiệm để người sử dụng có thể đánh giá trực quan đặc điểm và chất lượng của từng câu

hỏi Phần mềm cũng tự động chỉ ra các câu hỏi có độ phân biệt âm, có độ khó quá cao và quá thấp Các thông tin này là rất cần thiết để lựa chọn các câu hỏi thích hợp nhằm thiết kế các đề trắc nghiệm có chất lượng cao.

c Cung cấp các tham số tổng hợp của đề trắc nghiệm

Hàm thông tin của đề trắc nghiệm và đường cong đặc trưng đề trắc nghiệm (đường cong điểm thực) là hai đại lượng tổng hợp quan trọng để đánh giá một đề trắc nghiệm Phần mềm tính toán và cung cấp tường minh các đồ thị biểu diễn các đại lượng đó Đây là hỗ trợ rất quan trọng cho việc đánh giá và thiết kế các đề trắc nghiệm

Hàm thông tin của đề trắc nghiệm

Đường cong điểm thực của đề trắc nghiệm

d Cung cấp thông tin về tương quan giữa đề trắc nghiệm và mẫu thí sinh

Phần mềm cung cấp biểu đồ so sánh phân bố năng lực của thí sinh trong mẫu thí sinh với phân bố

độ khó trong đề trắc nghiệm Đây là công cụ cung cấp một cảm nhận trực quan về độ khó của đề trắc nghiệm so với mẫu thí sinh cũng như phân bố năng lực của các thí sinh trong mẫu

Tương quan giữa đề trắc nghiệm và mẫu thí sinh

e Cung cấp thông tin về bài làm của từng thí sinh

Để từng thí sinh biết rõ bản thân đã làm các câu hỏi trong đề trắc nghiệm như thế nào phần mềm cung cấp cho từng thí sinh sơ đố bài làm của thí sinh Sơ đồ cho biết thí sinh đã làm đúng/sai các câu trắc nghiệm khó/dễ nào của đề trắc nghiệm

Sơ đồ bài làm của thí sinh

f Biến đổi điểm thô thành điểm thực theo thang điểm tùy chọn

Theo lý thuyết trắc nghiệm điểm thô (tính theo số câu đúng/sai trong đề trắc nghiệm) chưa phải là kết quả đo lường năng lực của thí sinh, vì điểm được quy định ban đầu cho từng câu trắc nghiệm là tương đối tùy tiện Cách biển đổ điểm thô hợp lý nhất là dựa phép chuyển đổi từ giá trị năng lực của thí sinh ước lượng được thành điểm thực tính theo một thang điểm tùy chọn (trên 10, trên 20, trên 100 v v.)

Khi dùng các đề trắcnghiệm khác nhau để đo lường năng lực của thí sinh, muốn biểu diễncác kết quả trên cùng một thang năng lực phải so bằng (equating) các đề trắc nghiệm Phần mềm có tính năng giúp thực hiện việc so bằng đó, chẳng hạn cố định các thuộc tính của một số câu hỏi được

"neo" từ hai đề trắc nghiệm trong quá trình ước lượng

HƯỚNG DẪN CÀI ĐẶT VITESTA 1.0

1 Yêu cầu hệ thống

- Hệ điều hành: Hỗ trợ trên tất cả các dòng sản phẩm Windows của Microsoft

- Bộ nhớ Harddisk: Tối thiểu 3MB còn trống

- Bộ nhớ RAM: Tối thiểu 128MB

- Môi trường phát triển: DOT.NET Framework 2.0 (cung cấp cùng trong thu mực Support)

- Chấp nhận cài đặt (Next)

- Nhập tên sử dụng và tên tổ chức, sau đó chọn “Sinh mã yêu cầu” để lấy mã yêu cầu

- Để tiếp tục cài đặt, hãy gửi Mã yêu cầu bạn thu được về công ty EDTECH-VN, chúng tôi

sẽ cung cấp cho bạn mã đăng ký của phần mềm Bạn cũng có thể sử dụng thử phần mềm

này nhưng số lần sử dụng sẽ bị giới hạn là chỉ trong 20 lần

- Nhận mã đăng ký và điền vào “Mã đăng ký”

- Hoàn thành cài đặt VITESTA

- Để chạy VITESTA, bạn có thể tìm Short cut VITESTA trên Desktop hoặc chỉ mục

EDTECH – VITESTA từ Start -> Programs.

- Sau khi cài đặt, bạn có thể sử dụng một số tệp dữ liệu mẫu trong thư mục Sample từ đĩa cài đặt hoặc trong thư mục [windows driver]\ Program Files\EDTECH\ VITESTA\

Example

HƯỚNG DẪN SỬ DỤNG VITESTA 1.0

1 Tạo mới tệp điều khiển

- Để quản lý dữ liệu bài làm và tệp key của câu hỏi, chương trình sử dụng tệp điều khiển để lưu các thông tin cần thiết

- Để tạo mới tệp điều khiển, chọn một trong 2 chức năng sau:

- Chương trình sẽ yêu cầu nhập các thông tin về tệp đáp án và tệp dữ liệu

- Lựa chọn các tệp dữ liệu cần thiết, trong đó:

o Ví trí câu hỏi: Quy định vị trí bắt đầu của bài làm trong tệp kết quả, cũng là vị trí

bắt đầu của đáp án đầu tiên, ví dụ một dòng trong tệp kết quả như sau:

o Tệp đáp án (key) có một dòng ghi các đáp án đúng, trong đó vị trí bắt đầu đáp án tương đương với vị trí của câu trả lời đầu tiên trong tệp dữ liệu Dấu cách (“ “) thay thế cho trả lời rỗng hoặc sai định dạng

o Số đáp án: Quy định số đáp án của các câu hỏi Các câu hỏi phải có cùng số đáp

án

o Mô hình ước lượng: Loại mô hình (1,2, hay 3 tham số) sẽ được sử dụng được ước lượng

o Tệp kết quả:

Quy định các tệp kết quả xuất ra từ chương trình Nếu được lựa chọn, các tệp này sẽ được tự động sinh ra sau khi quá trình định cỡ hoàn thành.

- Sau khi lựa chọn các tệp, dữ liệu sẽ được điền vào các vùng textbox để tiện kiểm tra Dữ liệu được xử lý sau cùng chính là dữ liệu trên các vùng Textbox này

2 Mở tệp điều khiển có sẵn

- Chọn 1 trong 2 chức năng:

- Tệp dữ liệu lưu các thông tin cơ bản của đề thi, gồm:

o Đường dẫn tệp dữ liệu và tệp key

o Vị trí bắt đầu câu trả lời (cũng là vị trí bắt đầu đáp án đúng)

o Số lượng đáp án trong mỗi câu hỏi

o Loại mô hình được áp dụng

o Đường dẫn các tệp kết quả nếu có

- Tệp điều khiển có phần mở rộng là ctl

- Sau khi lựa chọn tệp điều khiển, các thông tin về đề thi sẽ được điền vào vùng dữ liệu tương ứng:

- Tệp điều khiển có thể được lưu lại để có thể đánh giá lần sau hoặc được lại lưu với tên khác

- Mô hình ước lượng được áp dụng là mô hình đã được chọn từ trước.

4 Các loại báo cáo

4.1 Báo cáo tổng quan về đề thi:

Chọn chức năng:

để xem báo cáo tổng quan về đề thi và thông số về phép định cỡ

Ngoài các thông tin về đề thi và phép ước lượng, báo cáo này còn cung cấp đánh giá ban đầu

về các độ tin cậy của phép ước lượng thông qua các chỉ số trùng khớp trong (và ngoài) của câu hỏi

4.2 Báo cáo thống kê theo phương pháp cổ điển

Chọn chức năng:

Mô hình trắc nghiệm cổ điển mặc dù đánh giá không chính xác về năng lực thí sinh và câu hỏi (do không thoả mãn tính sample free và item free), tuy nhiên một số giá trị thống kê của mô hình này vẫn còn được sử dụng và thực sự cần thiết cho quá trình đánh giá câu hỏi cũng như thí sinh.

- Độ phân biết: là tương quan giữa điểm trả lời đúng của thí sinh đối với câu hỏi so với tổng điểm thô của thí sinh Những câu hỏi có độ phân biệt âm là những câu hỏi có chất lượng kém (những thí sinh giỏi không làm được nhưng những thí sinh kém lại làm được nhiều hơn)

4.3 Năng lực thí sinh theo IRT

Chọn chức năng:

Giá trị SE (sai số chuẩn) cho phép đánh giá độ chính xác của phép đo đối với thí sinh

- Dóng năng lực thí sinh lên đường cong điểm thực của đề thi, chúng ta thu được điểm thực của thí sinh Điểm thực này qua phép quy đổi (điểm quy đối tối đa có thể được đặt tuỳ thích) sẽ được gọi là điểm quy đổi

- Trong lý thuyết IRT, điểm quy đổi (ý nghĩa tương đương điểm thực) mới có giá trị đánh giá Điểm thô của thí sinh chỉ có ý nghĩa tham khảo

4.4 Tham số câu hỏi theo IRT

Chọn chức năng:

Tuỳ theo mô hình ước lượng, câu hỏi sẽ có những tham số nhất định

Giá trị MSE cho phép đánh giá độ chính xác của phép đo đối với câu hỏi hiện tại

5 Các loại đồ thị

5.1 Phân bố độ khó và năng lực thí sinh

- Chọn chức năng:

hoặc thông qua biểu tượng

- Đồ thị phân bố độ khó và năng lực thí sinh cho phép đánh giá ban đầu về mức độ phù hợp của đề thi so với thí sinh được đo Năng lực thí sinh và độ khó câu hỏi được đặt trên cùng thang đo, trong đó đơn vị là 1

- Chỉ số trên mỗi cột màu xanh là Số thứ tự câu hỏi trong đề thi

- Chỉ số trên mỗi cột màu đỏ là số lượng thí sinh

- Vị trí của mỗi cột màu xanh trên trục hoành là độ khó câu hỏi

- Vị trí của mỗi cột màu đỏ trên trục hoành là năng lực thí sinh

5.2 Đường cong điểm thực

- Chọn chức năng:

hoặc thông qua biểu tượng

- Đường cong điểm thực cho biết điểm thực phỏng đoán của một thí sinh sẽ nhận được với một mức năng lực cụ thể biết trước khi làm đề thi này

- Chỉ số trên trục tung là điểm thực, giá trị tối đa bằng tổng điểm thô, chính bằng số câu hỏi trong trường hợp các câu hỏi đều có điểm thô là 1

5.3 Đường cong hàm thông tin đề thi

- Chọn chức năng:

hoặc thông qua biểu tượng

- Đường cong hàm thông tin đề thi cho biết giá trị mức năng lực mà đề thi đánh giá chính xác nhất, và mức độ chính xác so với các đề thi khác

- Tỉ lệ nghịch với đường cong hàm thông tin là đường cong sai số chuẩn

5.4 Tập hợp đường cong điểm thực, đường cong hàm thông tin

- Đường cong đặc trưng:

- Click vào mỗi hình để xem chi tiết hơn:

hoặc thông qua biểu tượng

- Đồ thị phân bố điểm vẽ lại các điểm dữ liệu từ thực tế trên cơ sở các thí sinh và câu hỏi đã được đánh giá Mỗi điểm màu xanh là một nhóm các thí sinh có cũng điểm thô và cùng mức năng lực thu được từ quá trình ước lượng:

- Quan sát từ đồ thị này có thể thấy được độ phân tán của mẫu dữ liệu Mẫu tốt sẽ cho độ trùng khớp nhỏ và ít điểm phân tán

- Click chuột phải đề phóng to đồ thị, click chuột trái đề thu nhỏ Di chuyển đồ thị để quan sát tốt hơn:

5.6 Kidmaps (Thống kê bài làm thí sinh)

- Chọn chức năng:

- Kidmap là phần cho phép quan sát trực tiếp các đáp ứng của thí sinh đối với từng câu hỏi, các câu hỏi được chia thành 4 loại: Loại câu hỏi khó không trả lời được, loại câu hỏi khó trả lời được, câu hỏi dễ không trả lời được, và dễ trả lời được:

- Quan sát kidmap, thí sinh có thể hiểu rõ hơn về bài làm của mình

6 Hỗ trợ

6.1 Tính hệ số tương quan

- Chọn chức năng:

6.2 Các chức năng hỗ trợ cân bằng đề thi

Ngoài các chức năng định cỡ và thống kê, chương trình còn có các chức năng hỗ trợ cho quá trình cân bằng đề thi:

- Loại bỏ một số câu hỏi khỏi đề thi:

- Loại bỏ một số thí sinh khỏi mẫu:

- Cố định tham số một số câu hỏi:

6.3 Lưu ảnh đồ thị và báo cáo

Đối với các báo cáo dạng văn bản và các đồ thị, chương trình hỗ trợ lưu dưới dạng văn bản hoặc ảnh nhằm thuận lợi cho việc tạo báo cáo

7 Thông tin bản quyền

- Phần mềm VITESTA thuộc bản quyền công ty CỔ PHẦN KHOA HỌC VÀ CÔNG NGHỆ GIÁO DỤC-EDTECHVN

- Chúng tôi rất mong được sử ủng hộ và góp ý của các bạn để phần mềm ngày càng hoàn thiện hơn đáp ứng được nhu cầu sử dụng của khách hàng

Mọi chi tiết xin liên hệ:

CÔNG TY CP KHOA HỌC VÀ CÔNG NGHỆ GIÁO DỤC

Địa chỉ: Phòng 1093 –Toà nhà Thành Công–25 Láng Hạ-Hà Nội

Điện thoại: (84-4)3 5145566

Fax: (84-4)3 5148715

E-mail: contact@edtech.com.vn

Website: www.edtech.com.vn