3.2.3.1. Bước 1: xác định mục tiêu đánh giá.
Trước hết phải phân tích nội dung môn Vẽ kỹ thật để xác định đúng đắn các mục tiêu cần đánh giá.
Xác định rõ ràng mục đích kiểm tra để tìm hiểu học sinh đã thực hiện hiệu quả các mục tiêu học tập đã đề ra như thế nào, hay là để so sánh phân loại học sinh hay để thu thập ý kiến phản hồi từ học sinh về chất lượng giảng dạy....
Từ mục tiêu cụ thể của bài kiểm tra cho phép xác định khối lượng đánh giá, nội dung kiến thức xây dựng câu hỏi đểđánh giá.
Xác định đúng đắn các mục tiêu để làm cơ sở cho việc xây dựng câu hỏi trắc nghiệm. Xác định các mục tiêu về lĩnh hội tri thức, vận dụng tri thức lý luận vào giải quyết các bài toán trong thực tế.
Xác định mục tiêu dựa vào mục đích môn học, nội dung chương trình môn học. Chỉ khi nào mục tiêu kiểm tra được xác định rõ ràng, việc phác hoạ kế hoạch xây dựng bài kiểm tra mới có thể được tiến hành. Mặt khác phải căn cứ vào mục đích, yêu cầu của bài kiểm tra ta mới có thể xác định được thang độ của các chỉ tiêu cần đạt đểđưa vào sử dụng.
a. Các mục tiêu cần đánh giá.
Cũng như bất cứ một hoạt động xã hội nào, hoạt động đào tạo đều hướng tới một mục tiêu nhất định phù hợp với nhu cầu phát triển của xã hội, các ngành sản xuất - dịch vụ, khoa học - công nghệ và cá nhân. Đối tượng của các hoạt động là con người và do đó mục tiêu đào tạo chung là hướng tới hình thành và phát triển nhân cách con người, cụ thể như phẩm chất đạo đức công dân hay trình độ chuyên môn
b. Xây dựng bảng trọng số.
Xây dựng bảng trọng số hay còn gọi là ma trận hai chiều là một công cụ hữu ích giúp cho người ra đề trắc nghiệm chuẩn bị các câu hỏi phù hợp với mục tiêu giảng dạy. Nó phân loại từng câu hỏi trắc nghiệm thành hai chiều cơ bản, thường là nội dung sách giáo khoa chứa đựng và hành vi đòi hỏi ở người học.
Bảng trọng số được coi như bảng hướng dẫn ban đầu, một tác nhân giám sát, chỉ đạo việc thực hiện mục tiêu cần đạt được khi kiểm tra. Trên cơ sở xác định rõ mục tiêu dạy học (Chương,mục,bài...) cần phân tích mục tiêu dạy - học (Kiến thức, kỹ năng, thái độ). Hệ thốngtri thức bao gồm các thành tố cơ bản sau:
Tri lý: Các quy luật, nguyên ký, khái niệm khoa học...
Tri sự: Các hiểu biết về các sự kiện, hiện tượng trong tự nhiên, xã hội, thực
tiễn cuộc sống...
Tri nhân: Hiểu biết về con người, quan hệ xã hội, hệ thống giá trị... Hệ thống các kỹ năng bao gồm:
Các kỹ năng tư duy: phân tích, tổng hợp, so sánh, khái quát, dựđoán, chuẩn
đoán...
Các kỹ năng quản lý: Lập kế hoạch, tổ chức chỉđạo, phối hợp, kiểm tra và
đánh giá.
Các kỹ năng giao tiếp: Sử dụng ngôn ngữ, tiếp xúc, hướng dẫn, trình bày...
Các kỹ năng thông tin: Thu thập, lựa chọn, xử lý thông tin.
Các kỹ năng thực hành và tác nghiệp: Thiết kế,vận hành, sửa chữa, thí
nghiệm, giải quyết vấn đề...
Các kỹ năng hành chính...
c. Cơ sởđể xây dựng bảng trọng số.
Khi xây dựng bảng trọng số cần xác định rõ mục đích của việc kiểm tra đánh giá, ngưỡng kiến thức tối thiểu nào mà nguời học phải đạt được cho từng nội dung và tổng thể. Hoặc cũng có thể kiểm tra đánh giá để khảo sát phân loại trình độ học viên... Trên cơ sở đó tiến hành xác định trọng số cho từng chủ đề một của bảng trọng số
Bảng 3.1. Cấu trúc bảng trọng số
STT Chủ đề
Các mức độ đánh giá Trọng số
(%)
Biết Hiểu Vận dụng Đánh giá
A B C
TỔNG SỐ 100
d. Bảng trọng số.
Nội dung bảng trọng số phải thể hiện được những vấn đề sau: - Các chủđề phải bao quát toàn bộ nội dung cần hỏi.
- Trọng số cụ thể cho từng chủđề là bao nhiêu so với toàn thể.
Đối với môn vẽ kỹ thuật, cách xác định trọng số cho các chủ đề được tiến hành như sau:
1. Xác định trọng số cho từng nội dung.
Trọng số cho từng chủđề xác định bằng cách:
- Căn cứ vào từng chủđềđể so sánh và tuỳ theo tầm quan trọng của nó đối với các chủđề khác (để hiểu và vận dụng chủđề khác).
- Chủ đề này cần thiết và được sử dụng hàng ngày trong cuộc sống và trong công việc sau này của học viên hay không?
- Kế hoạch thời gian cho chủđề này.
- Mức độ quan trọng của chủ đề này về phương diện liên quan đến môn học khác
2. Cách xác định trọng số cho mức độ nhận thức (nhớ, hiểu, vận dụng).
Với mỗi nội dung, mỗi chủđề cần xem xét.
- Năng lực nào là quan trọng, là cần thiết (ở chủ đề này) có liên quan đến kết quả học tập của học viên?
- Năng lực nào là cần thiết để hình thành và phát triển tư duy, khả năng vận dụng sáng tạo.
Những năng lực cần đạt được ở học viên bao gồm:
* Nhớ: Đòi hỏi học viên nhớ lại những kiến thức đã được trang bị, hình thành các khái niệm ban đầu, sơ khai, thụđộng.
* Hiểu: Nắm được bản chất, nội hàm và ngoại diên của các khái niệm, hiểu được ý nghĩa của tri thức, diễn đạt nó bằng các thuật ngữ hoặc các hình thức diễn đạt khác
* Vận dụng: Giải quyết một nhiệm vụ nhận thức hoặc bài toán kỹ thuật trong thực tế. Biến tri thức từ bên ngoài thành kiến thức bên trong của mỗi cá nhân.
Từ những cách xác định trọng số cho mỗi nội dung cũng như nhận thức, ta có thể xây dựng bảng trọng số cho toàn bộ nội dung chương trình môn học Vẽ kỹ thuật dùng trong giảng dạy các ngành cơ khí.
Bảng 3.2. Bảng trọng số toàn bộ nội dung chương trình môn học Vẽ kỹ thuật
Nội dung cần hỏi Trọng số
mỗi phần
Yêu cầu tiếp thu môn học
Nhớ Hiểu Vận dụng
Chương I: Tiêu chuẩn trình bày bản vẽ. 5 2 1 2
Chương II: Vẽ Hình học. 5 2 1 2
Chương III: Hình biểu diễn. 20 5 8 7 Chương IV: Hình chiếu trục đo. 15 3 5 7 Chương V: Vẽ quy ước chi tiết. 10 4 3 3 Chương VI: Vẽ quy ước mối ghép. 5 3 1 1
Chương VII: Vẽ quy ước bánh răng - lò xo 10 4 2 4
Chương VIII: Bản vẽ lắp. 30 7 10 13
Tổng số 100 30 31 39
3.2.3.2. Bước 2: Xác định kế hoạch cho nội dung cần trắc nghiệm.
Căn cứ vào mục tiêu cả việc kiểm tra và nội dung chương trình bảng kế hoạch cho nội dung của các câu hỏi sẽđược xác định. Việc lập kế hoạch giúp cho việc xác định chính xác số câu hỏi cho trong mục tiêu và nội dung học tập.
Mục đích của việc xây dựng kế hoạch cho nội dung cần trắc nghiệm là nhằm đạt được mức độ giá trị cao nhất về mặt nội dung, phải đo được đung cái cần đo. hệ thống các câu hỏi trắc nghiệm khách quan phải là một mẫu tiêu biểu cho những điều đã giảng dạy, chứa đựng các mục tiêu học tập, các yêu cầu mà học viên phải giải quyết và liên quan đến những chủđềđã trình bày ở bài giảng. Số lượng câu hỏi phải tương xứng với thời lượng phân bố cho từng nội dung.
3.2.3.3. Bước 3: Xây dựng bộ câu hỏi trắc nghiệm khách quan
Cần dựa vào nội dung kiến thức của môn học, trình độ nhận thức của học viên, tuân thủ nguyên tắc viết câu hỏi trắc nghiệm khách quan và chú ý các vấn đề sau:
- Lựa chọn các khái niệm quan trọng mà học viên cần nhớ, hiểu
- Thiết kế xoay quanh một vấn đề trọng tâm, trình bày rõ ràng trong các câu dẫn. Các lựa chọn có quan hệ với câu dẫn được xây dựng theo cùng một phương thức
- Sử dụng ngôn ngữđơn giản, rõ ràng, dễ hiểu tránh tối nghĩa, không nên thiết kế câu trắc nghiệm dưới dạng đọc hiểu trừ khi đây là mục đích của câu hỏi.
- Khi nhiều câu hỏi xây dựng trên cùng một lượng thông tin dưới dạng một đoạn văn, đồ thị, hình vẽ, biểu đồ thì các câu hỏi trắc nghiệm phải đảm bảo chắc chắn có liên quan đến cùng một loại thông tin đưa ra đó, câu nọđộc lập với câu kia. Câu trả lời đúng phải bắt nguồn từ thông tin dẫn cho chứ không lệ thuộc vào câu trả lời đúng của câu trắc nghiệm trước và không sử dụng câu nhiễu trong một câu hỏi làm đầu mối cung cấp thông tin cho câu trả lời của câu trắc nghiệm sau để học sinh phải suy nghĩ lựa chọn.
- Khi xây dựng người thiết kế cần ý thức rõ ràng về mục đích của câu hỏi, có nghĩa là người làm trắc nghiệm có ý định trắc nghiệm năng lực nhận thức ở bậc nhớ thì không được ngụy trang câu hỏi thể hiện ở dạng khác đi, hoặc có ý định trắc nghiệm tư duy thì câu hỏi không thể trả lời ngay được khi chỉ dựa trên những thông tin thực tếđã thu được.
- Khi tiến hành trắc nghiệm khách quan để tuyển chọn học sinh giỏi, có năng khiếu thì câu hỏi phải chắc chắn nó sẽ khó, vì nó trắc nghiệm về một vấn đề vẫn còn bí mật, hoặc chưa rõ ràng của môn học. Đòi hỏi học sinh phải suy luận hoặc có kiến thức tổng hợp.
- Trong câu không được sử dụng phủ định kép để tránh gây ra sự lúng túng cho học viên khi phải lựa chọn câu trả lời.
- Rà soát nhiều lần, nếu có vướng mắc cần trao đổi với các nhà chuyên môn, người soạn thảo phải nắm vững nguyên tắc dạy học, nhiệm vụ môn học, mục đích, yêu cầu môn học, nội dung chương trình, trình độ nhận thức của học viên để xây dựng vừa đảm bảo nội dung kiến thức cần thiết vừa đảm bảo tính vừa sức, mở rộng, nâng cao khả năng hiểu biết của học viên trong điều kiện có thể tiếp nhận được
3.2.3.4. Bước 4: Thử nghiệm các bài trắc nghiệm đã soạn thảo. a. Chuẩn bị.
Tuy nhiên với mục đích là do khả năng của học viên nắm được mục tiêu môn học đến mức nào nên đã chú ý đến độ dễ khó.
- Đối tượng thử nghiệm: Sinh viên lớp 33CĐ-CK1. Số lượng: 17 người nhưng trong quá trình học lại có người nghỉ nên không tham dự kiểm tra hết các câu hỏi.
- Theo tham khảo các tài liệu nói về trắc nghiệm, kết hợp với việc thực nghiệm một số trường hợp, cùng với thực tế là sinh viên chưa được kiểm tra bằng phương pháp trắc nghiệm trong giảng dạy môn Vẽ kỹ thật nên chúng tôi định mức thời gian trung bình cho một câu là: 1,5 phút.
- Quy định sinh viên không được sử dụng tài liệu khi làm các bài trắc nghiệm. - Thời gian bắt đầu từ 05/11/2011 - 22/11/2011 là buổi kiểm tra cuối cùng. Lớp học một tuần 3 tiết nhưng có những tiết phải nghỉ vì những lý do đột xuất, nên lẽ ra thử nghiệm có thể kết thúc sớm nhưng lại bị muộn. Chúng tôi cũng chưa có dịp kiểm chứng lại các kết quả, đối chiếu với phương pháp kiểm tra truyền thống.... Thời gian để tính toán và phân tích kết quả rất hạn hẹp. Hơn nữa, quá trình tính toán và lên bảng hoàn toàn thủ công nên mất nhiều thời gian. Luận văn này mới chỉ làm được việc tính độ khó và độ phân biệt của các câu hỏi.
- Câu hỏi được chuẩn bị để phát cho sinh viên mỗi người một bản. Trả lời ngay trên tờ giấy có in câu hỏi. Sau khi trả lời xong thì thu về và chấm. Buổi học sau trả bài và chữa các câu hỏi, yêu cầu sinh viên không được chữa luôn vào bài mà ghi vào vở của mình. Sau đó bài kiểm tra lại được thu vềđể làm tài liệu xử lý.
b. Tiến hành thử nghiệm
Các câu hỏi trắc nghiệm được thử nghiệm tại lớp 33CĐ-CK1, trường CĐCN Việt - Hung. Số lượng sinh viên là 17 người. Do số sinh viên ít nên chúng tôi thử nghiệm trên toàn bộ mẫu.
- Lần thứ 1: Kiểm tra từ câu 1 - 13, có 15 người dự kiểm tra. - Lần thứ 2: Kiểm tra từ câu 14 - 30, có 17 người dự kiểm tra. - Lần thứ 3: Kiểm tra từ câu 31 - 32, có 16 người dự kiểm tra. - Lần thứ 4: Kiểm tra từ câu 33 - 47, có 17 người dự kiểm tra. - Lần thứ 5: Kiểm tra từ câu 48 - 67, có 15 người dự kiểm tra.
c. Xử lý kết quả thử nghiệm.
Để cho dễ phân tích, chúng tôi đã đánh lại số thứ tự các câu hỏi nhưở bảng 2:
Bảng 3.3. Sắp xếp thứ tự câu hỏi Đánh số cũ Xếp theo thứ tự mới Đánh số cũ Xếp theo thứ tự mới Đánh số cũ Xếp theo thứ tự mới
Câu 1: a/ 1 Câu 5:5. 25 Câu 11: 2. 49
b/ 2 6. 26 Câu 12: 1. 50 c/ 3 7. 27 2. 51 d/ 4 8. 28 3. 52 Câu 2: a/ 5 9. 29 Câu 13: 1. 53 b/ 6 10. 30 2. 54 c/ 7 Câu 6: 31 3. 55 d/ 8 Câu 7: 32 4. 56 Câu 3: a/ 9 Câu 8: 1. 33 5. 57 b/ 10 2. 34 6. 58 c/ 11 3. 35 Câu 14: 1. 59 d/ 12 4. 36 2. 60 e/ 13 5. 37 3. 61 Câu 4: 1. 14 Câu 9: 1. 38 4. 62 2. 15 2. 39 5. 63 3. 16 3. 40 Câu 15: 1. 64 4. 17 4. 41 2. 65 5. 18 5. 42 3. 66 6. 19 6. 43 4. 67 7. 20 7. 44 Câu 5: 1. 21 8. 45 2. 22 Câu 10: 1. 46 3. 23 2. 47
d. Quy điểm thô ra điểm tinh.
Mỗi câu trắc nghiệm đúng đạt được một điểm thô. Mỗi câu trắc nghiệm sai ứng với 0 điểm thô.
Khoảng 5 điểm thô được quy ra điểm tinh (ở lớp) theo thang điểm từ 1...10 Trong số này có 4 sinh viên không tham dự hết các buổi kiểm tra nên điểm của những người này tính theo tỷ lệ % số câu đúng trên số câu dự kiểm tra thì mới đạt kết quả như bảng 3.3
Khi xử lý điểm, giáo viên sẽ tuỳ theo tình hình cụ thể và kết hợp với điểm kiểm tra kết thúc (bài cho về nhà) để tính. Còn ởđây chỉ thống kê theo thực tế.
e. Phân bốđiểm trắc nghiệm.
Kết quả trả lời và điểm được thể hiện ở bảng 3 được phân bố như sau: - Điểm 9 chiếm tỷ lệ 18 % sinh viên.
- Điểm 8 chiếm tỷ lệ 53 % sinh viên. - Điểm 7 chiếm tỷ lệ 18 % sinh viên. - Điểm 6 chiếm tỷ lệ 6 % sinh viên. - Điểm 5 chiếm tỷ lệ 6 % sinh viên.
f. Phân tích độ khó của câu hỏi.
Xếp kết quả theo thứ tự tổng số câu làm được từ cao xuống thấp. Xem ví dụở phụ lục 1,2. Mỗi buổi đi học có số người khác nhau, loại câu hỏi khác nhau nên ở đây chúng tôi chia ra các bảng có câu hỏi cùng loại và kiểm tra cùng một ngày vào trong cùng một bảng của phụ lục để tính toán. Xem phụ lục số 3, 4, 5, 6, 7, 8.
Để phân tích chúng tôi chia sinh viên thành ba nhóm:
- Nhóm giỏi gồm 27% số sinh viên đạt tỷ lệ có câu trả lời đúng cao, lấy theo