Phân tích các phương pháp trắc nghiệm khách quan trong đánh giá kết quả bán hàng tại Công ty Cổ phần Thiết bị Phụ tùng Hà Nội

MỤC LỤC

Phân loại các phương pháp trắc nghiệm

Trắc nghiệm khách quan là gì?

“Lí thuyết ứng đáp câu hỏi”, và tin học, công nghệ là các phơng tiện để đánh giá từng câu hỏi và đề thi TNKQ, giúp chọn các mẫu thử nghiệm hợp lí để nâng cao chất lợng và độ tin cậy của đề thi, cũng tạo điều kiện cho phép nhiều ngời có thể đóng góp trong một thời gian dài để chuẩn bị cho một đề thi TNKQ có chất lợng cao, vừa giữ an toàn và bí. Một loại câu hỏi mà khắc phục đợc nhiều nhợc điểm đó chính là TN-MCQ (TN có nhiều phơng án TL). Đây là dạng TNKQ đợc a chuộng nhất, thờng đợc kí hiệu là MCQ. Đặc điểm: Một CH loại này gồm một phần phát biểu chính,thờng gọi là lời dẫn, hay CH, và bốn, năm, hay nhiều phơng án trả lời cho sẵn để TS chọn ra câu TL đúng nhất, hay hợp lí nhất. Ngoài một câu đúng, các câu TL khác trong các phơng án chọn lựa phải có vẻ hợp lí với TS. Ưu điểm của TN-MCQ:. Có thể đo đợc các mức khả năng tâm linh khác nhau. Với sự phối hợp của nhiều phơng án TL để chọn cho mỗi CH có thể kiểm tra, đánh giá những mục tiêu giảng dạy, học tập khác nhau một cách khá toàn diện. Độ tin cậy cao hơn. Yếu tố đoán mò may rủi của học sinh giảm đi nhiều so với các loại TNKQ khác khi số phơng án chọn lựa tăng lên. Học sinh phải xét đoán và phân biệt kĩ càng khi TLCH. Tính chất tuyệt. đối trong loại đúng sai nhờng chỗ cho tính chất tơng đối khi HS phải chọn lựa câu TL đúng nhất hay hợp lí nhất trong số các phơng án TL đã cho. Tính chất giá trị tốt hơn do dạng TN này có thể đo đợc đầy đủ các mức tâm linh khác nhau nh: nhớ, hiểu, áp dụng, phân tích, tổng hợp, đánh giá. Có thể phân tích đợc tính chất mỗi CH. Dùng phơng pháp phân tích câu hỏi, chúng ta có thể xác định câu nào dễ quá, câu nào khó quá, câu nào mơ hồ hay không giá trị đối với các mục tiêu cần TN. Ngoài ra, chúng ta có thể xét xem câu TL cho sẵn nào không ích lợi, hoặc làm giảm giá trị CH. Phơng pháp này không thực hiện với loại CHTL, hay khó thực hiện với loại TN khác. Tính khách quan khi chấm bài thi. Dựa vào máy, bài thi đợc quét và vào. điểm một cách hoàn toàn khách quan. Ngay cả những khi bài thi đợc chấm bằng tay thì điểm số trên bài thi của TS cũng không phụ thuộc vào ngời chấm vì TNMCQ không phụ thuộc vào các yếu tố nh phẩm chất của chữ viết, hoặc khả năng diễn đạt t tởng. Ngoài ra, TNMCQ còn có tất cả các u điểm khác của TNKQ. ợc điểm của loại CHTNMCQ :. Ngoài những nhợc điểm của CHTNKQ so với TL mà ta đã so sánh ở trên thì. TNMCQ còn có những tồn tại sau:. Khó soạn CH. Việc soạn CHMCQ sẽ mất nhiều thời gian và sự công phu mới viết đợc những CH đạt tiêu chuẩn, đúng kĩ thuật. Yêu cầu đặt ra ở đây là phải chọn ra phơng án đúng nhất trong khi các phơng án nhiễu đề ra cũng phải có vẻ hợp lí. Qua đó ta mới có thể đo đợc các mục tiêu đã định sẵn và các mức kĩ năng cao hơn mức nhớ. Đối với những TS học khá thờng khó chịu với những CH mà họ có thể có phơng án TL hay hơn. Vì vậy khi soạn CH thì GV phải cố gắng soạn để có câu TL tốt nhất và hay nhất. Còn có những nhợc điểm khác là: tốn nhiều giấy để in CH, và TS sẽ phải tốn nhiều thời gian để đọc CH. Nếu so với CHTL thì CHMCQ không thể đo đợc khả năng giải quyết vấn. đề khéo léo hay khả năng phán xét , nhìn nhận vấn đề của TS. Các quy tắc khi soạn CHTNMCQ:. Một yếu tố không thể thiếu trong TNMCQ là phần chính, hay câu dẫn của CH phải diễn đạt rừ ràng một vấn đề. Cỏc cõu TL để chọn phải là những câu khả dĩ thích hợp với vấn đề đã nêu. Phần chính của câu hỏi nên mang chọn ý nghĩa và phần câu TL để chọn nên ngắn gọn. Tránh những từ rờm rà không cần thiết để diễn tả ý nghĩa c©u hái. Nên có nhiều phơng án TL để TS lựa chọn nhng cũng không nên nhiều quá. gây rối cho TS, làm giảm giá trị của những mồi nhử. Nếu phơng án chọn ít qúa sẽ làm tăng yếu tố may rủi nên dừng lại ở bốn hoặc năm phơng án. Đối với câu hỏi: a) Nên tránh thể phủ định, hay hai thể phủ định liên tiếp, nếu có thì phải gạch chân hoặc viết hoa để TS chú ý hơn. b) Câu hỏi nhằm đo sự hiểu biết, suy luận, hay khả. năng áp dụng các nguyên lí vào các trờng hợp mới thì phải trình bày dới nhiều hình thức khác nhau và mới mẻ. Nếu cõu hỏi đề cập đến vấn đề nhiều tranh luận thỡ phải nờu rừ nguồn gốc, quan điểm.. trong lời dẫn. Đối với các phơng án TL:. a) Phải chắc chắn chỉ có một câu đúng. b) Độ dài các câu phải gần bằng nhau. c) Phải đồng nhất với nhau. Tính chất đồng nhất có thể dựa trên căn bản ý nghĩa, âm thanh, độ dài, hoặc cùng là động từ, tính từ, danh từ. d) Lu ý đến những điểm liên hệ về văn phạm giúp TS nhận biết câu TL. e) Không nên dùng hai phơng án trái nghĩa nhau làm cho TS chỉ chú ý đến hai phơng án này. Điều này làm cho câu hỏi TNMCQ giông dạng TN ". f) Phơng án đúng nên đặt một cách ngẫu nhiên ở các vị trí và không nên dùng các từ mang ý nghĩa chung chung nh: “không câu nào trên đây.

H.2. Bảng so sánh giữa trắc nghiệm khách quan và tự luận
H.2. Bảng so sánh giữa trắc nghiệm khách quan và tự luận

Các tiêu chuẩn để đánh giá các câu TN và bài thi TNKQ 1. Các mức độ mục tiêu trong lĩnh vực nhận thức

Hệ số tơng quan có giá trị âm lớn ( gần bằng -1) nếu một thí sinh nào đó có điểm câu trắc nghiệm cao nhất thì điểm của toàn bài trắc nghiệm lại kém nhất, ngợc lại. Hệ số tơng quan bằng 0 nếu điểm của câu trắc nghiệm và. điểm của toàn bài trắc nghiệm không có mối liên hệ chặt chẽ và ổn định nào cả. Nói cách khác, câu trắc nghiệm có độ phân biết tốt khi câu trắc nghiệm và toàn bài trắc nghiệm đều đo lờng cùng một mục tiêu. Nh vậy để tính độ phân biệt, ta có thể tính hệ số tơng quan Pearson giữa điểm của câu trắc nghiệm với tổng điểm của toàn bài trắc nghiệm, sau đó kiểm nghiệm ý nghĩa của hệ số tơng quan ấy. Đánh giá bài trắc nghiệm. Độ tin cậy của bài trắc nghiệm. Trắc nghiệm là một phép đo: dùng thớc đo là bài trắc nghiệm để đo lờng một năng lực nào đó của thí sinh. Độ tin cậy của bài trắc nghiệm chính là đại lợng biểu thị mức độ chính xác của phép đo nhờ bài trắc nghiệm. Có nhiều phơng pháp theo khoa học thống kê để tính độ tin cậy của một bài trắc nghiệm. Một bài trắc nghiệm đợc xem là đáng tin cậy khi nó cho ra những kết quả. có tính vững chãi. Có nghĩa là nếu làm bài trắc nghiệm ấy nhiều lần, mỗi học sinh sẽ vẫn giữ đợc thứ hạng tơng đối của mình trong nhóm nhng không có nghĩa là bài trắc nghiệm ấy đợc làm đi làm lại nhiều lần. Một bài trắc nghiệm có thể gồm rất nhiều câu hỏi và đó là một mẫu trong một ngân hàng câu hỏi dùng để khảo sát kiến thức của học sinh, do đó chúng phải chịu sai số chọn mẫu. Nếu một bài trắc nghiệm có 50 câu hỏi đợc ra cho học sinh, tiếp theo đó là một bài với 50 câu khác về cùng một lĩnh vực khảo sát, thì chắc chắn sẽ có những sự khác biệt giữa hai. điểm số của một số học sinh. Nh vậy, một điểm số duy nhất dựa trên một mẫu các câu trắc nghiệm không phải là số đo lờng hoàn toàn đáng tin cậy. Có những yếu tố may rủi đóng góp vào sự thiếu tin cậy trong trờng hợp các câu hỏi đúng sai và ở một mức độ ít hơn với các câu có nhiều lựa chọn. Điểm số của học sinh bao gồm trong đó một số câu trả lời đúng bằng lối phỏng đoán và một số câu làm đúng nhờ sự hiểu biết. Càng có nhiều câu phỏng đoán bao nhiêu thì ngời học sinh ấy càng có ít cơ may có đợc cùng một điểm số, nếu làm lại bài trắc nghiệm ấy lần thứ 2; do đó tính tin cậy của bài trắc nghiệm sẽ thấp nếu nhiều câu trả lời chỉ là những điều phỏng đoán. Vì yếu tố may rủi chi phối điểm số trắc nghiệm trong trờng hợp này, ngời ta không thể xác định rằng những học sinh có. điểm cao biết nhiều hơn hay giỏi hơn các học sinh có điểm thấp hơn. Do đó, nếu có nhiều học sinh đoán mò nghĩa là nhắm mắt mà đoán không cần phải suy nghĩ thì chắc chắn hệ số tin cậy sẽ thấp và điểm số trên một bài trắc nghiệm nh vậy sẽ không đáng tin cậy. Nếu cho học sinh làm một bài trắc nghiệm dễ, các điểm số có khuynh hớng tập trung vào đầu mút cao của thang điểm, nh vậy khó mà phân biệt đợc trình độ khác nhau của học sinh. Ngợc lại, nếu là một bài trắc nghiệm rất khó, các điểm số sẽ tập trung vào đầu mút thấp của thang điểm, nh vậy chúng sẽ che lấp tính chất khác nhau của các trình độ hiểu biết. Ngay cả khi ta cố giảm thiểu yếu tố may rủi bằng cách sử dụng loại câu điền khuyết, yếu tố chọn mẫu cũng vẫn tồn tại. Một sự khác biệt một vài điểm không thể bộc lộ sự khác biệt về thành tích. Chỉ khi nào cỏc điểm số trắc nghiệm đợc trải rộng thỡ cỏc điểm số ấy mới cho thấy rừ sự khỏc biệt về thành quả học tập. Do vậy, tính chất khó hay dễ của bài trắc nghiệm cũng. ảnh hởng đến tính tin cậy của bài trắc nghiệm. Ngoài ra, chiều dài của bài trắc nghiệm cũng ảnh hởng đến tính tin cậy. Một bài trắc nghiệm rất ngắn không khiến cho điểm số đợc trải rộng ra đủ để cho ra những kết quả vững chãi. Bài trắc nghiệm càng dài thì tính tin cậy của nó càng tăng lên. Qua những yếu tố ảnh hởng đến tính tin cậy của một bài trắc nghiệm cho ta thấy muốn đảm bảo tính tin cậy tối đa của bài trắc nghiệm ta cần phải:. 1) Giảm thiểu các yếu tố may rủi. Một trong cách giảm các yếu tố may rủi là cố gắng hạn chế việc sử dụng các loại câu hai lựa chọn. 2) Viết những lời chỉ dẫn sao cho thật rừ ràng để học sinh khỏi phải nhầm lÉn. 3) Chuẩn bị trớc bản chấm điểm ghi rừ cỏc cõu đỳng. Một bài TN tốt thì nó phải có đợc yếu tố tin cậy (kết quả TN có tính vững trãi) và yếu tố giá trị (đo đợc cái cần đo). Một bài TN có thể đáng tin cậy mà không có giá trị, nhng ngợc lại thì không đúng. Nó có thể cho ra những điểm số. đáng tin, nhng không đo lờng đúng loại thành quả học tập mà ta muốn đo lờng. Tuy nhiên một bài TN không tin cậy thì không thể nào có giá trị đợc. Hai sắc thái khác nhau của độ tin cậy và độ giá trị là ở chỗ:độ tin cậy thì liên quan đến sự vững trãi của điểm số, trong khi tính giá trị liên quan đến mục đích của sự đo lờng. Điểm số nào của anh ta là trên trung bình? điểm nào cao nhất? điểm nào thấp nhất?. Vì không có chuẩn mực nào để so sánh nên các câu hỏi tơng tự nh vậy đều không trả lời đợc. Để có thể giải thích các điểm thô trên bài TN, ta cần phải có hai căn bản nào đó để so sánh chúng. Thông thờng có hai lối so sánh:. + So sánh với tiêu chuẩn tuyệt đối hay với độ khó về nội dung + So sánh với một nhóm đợc dùng làm chuẩn mực. 1) So sánh với tiêu chuẩn tuyệt đối. Các điểm TN thuộc loại này đợc đăt trên căn bản so sánh thành quả đạt đợc của mỗi ngời với điểm số tối đa có thể đạt dợc với bài TN ấy. Các điểm số của những ngời khác cùng làm bài TN ấy không ảnh hởng gì đến việc xác định điểm số của bất cứ ngời nào trong nhóm làm TN ấy cả. Điểm phần trăm đúng:. Điểm phần trăm đúng so sánh điểm số của ngời làm TN với điểm số tối đa có thể đạt đợc, hay nói một cách khác nhau, loại điểm số này có thể xem nh là. Nh vậy yếu tố xác định điểm số câu TN thuộc loại này là độ khó của nội dung bài TN. Cả hai loại điểm trên đều bị chỉ trích vì tính cách chủ quan và tuỳ tiện trong việc ấn định các mức điểm. 2) So sánh với nhóm làm chuẩn mực.

Lý thuyết ứng đáp câu hỏi và mô hình Rasch 1. Lí thuyết ứng đáp câu hỏi

Một điều cần lu ý nữa là tính bất biến đó là tính chất của tổng thể, chứ không phải của một mẫu nào đó, vì ICC theo định nghĩa là đờng hồi quy của sự trả lời CH ở một năng lực nào đó, do đó P là giá trị trung bình của mọi trả lời CH trong tổng thể các TS có một năng lực βv xác định. Nếu biểu diễn điểm thực là τ thì theo biểu thức (2). Nếu một biến ngẫu nhiên Y lấy giá ntrị y1 và y2 với các xác suất tơng ứng là P1 và P2 thì. Tức là: điểm thực của một TS có khả năng β là tổng của các đờng cong đặc trng của mọi CH trong bài trắc nghiệm, do đó điểm thực cũng đợc gọi là đờng cong đặc trng của bài trắc nghiệm. Cần một lần nữa nhắc lại rằng quan hệ trên chỉ. đúng khi mô hình trả lời câu hỏi phù hợp với số liệu thực tế. Việc chuyển đổi từ biến năng lực β sang điểm thực có tác dụng quan trọng sau: 1) loại bỏ các giá trị âm; 2) tạo nên thang đo với các điểm từ 0 đến n (hoặc theo tỷ lệ từ 1% đến 100%), dễ giải thích; 3) có thể xác định điểm cắt, từ đó suy ngợc lại điểm cắt trên thang β; 4) một tác dụng quan trọng là nếu biết trớc năng lực β của một TS nào đó thì có thể tính điểm của một bài trắc nghiệm mà TS đó không làm (xem lại thí dụ về vận động viên nhảy cao đã nêu trên đây).

Hình trên thể hiện một ICC đối với TH khi chỉ có 1 năng lực làm cơ sở để  TLCH, cùng với hai hàm phân bổ năng lực của 2 nhóm TS
Hình trên thể hiện một ICC đối với TH khi chỉ có 1 năng lực làm cơ sở để TLCH, cùng với hai hàm phân bổ năng lực của 2 nhóm TS

Lập dàn bài trắc nghiệm 2.1. Mục đích của bài TN

Quá trình thực hiện

Sau đó hoàn chỉnh lại các câu hỏi một cách hợp lí hơn.… Bớc 5: Mã hoá đề thi tạo lập 6 đề khác nhau dựa trên 29 câu hỏi đã viết.

PHÂN Tích kết quả

    Nh vậy có thể dùng câu này trong việc phân biệt giữa HS giỏi và HS kém. Chính vì thế đây cũng là câu có độ phân biệt quá thấp. Các phơng án lựa chọn ở đây độ nhiễu không tốt, nh phơng án B quá dễ nên học sinh đều dễ dàng trả lời đợc cần phải thay đổi lại câu hỏi này. 14) Hãy chọn ph ơng trình sai khi điều chế axetilen:. Nguyên nhân của câu này là do khi đánh máy có sơ suất trong phơng án C do đó hầu hết các TS giỏi đều chọn phơng án này và có thể phơng án C không đợc dạy ở trên lớp nên TS không biết và cũng không suy. C) 4 nguyên tử nằm trên cùng một mặt phẳng. Nhng theo đồ thị “Case Fit Map” (xem mục lục) thì không phải tất cả các thí sinh tham dự đều hoà hợp với mô hình Rasch. Nói chung các thông số về mẫu và câu trắc nghiệm đều hoà hợp với mô hình Rasch. Nh vậy thí sinh này có năng lực rất cao nhng có những câu không vợt quá. Nguyên nhân có thể do khi học bài không kỹ, không chú ý khi cô giáo giảng bài nên không tiếp thu đợc đầy. đủ thông tin hoặc nhìn bài bạn. TS này không phù hợp với mô hình Rasch. Đây là một TS hoà hợp với mô hình Rasch. Các câu 19, 20 là những câu dói năng lực nhng vẫn khụng làm đợc là cú thể vỡ cõu hỏi cha rừ ràng, phơng ỏn trả. lời cha thoả mãn với ý của TS hoặc nhìn bài bạn. Qua kiểm tra và phân tích kết quả tôi xin đa ra một số ý kiến riêng của bản thân nh sau:. 1) TNKQ thực sự là một phơng pháp khoa học và có hiệu quả thiết thực trong việc đo lờng thành quả của HS. Nó cho ta con số khá chính xác về năng lực của HS, về độ khó và độ phân cách của câu TN, về độ tin cậy của bài TN Từ đó… ta có thể định cỡ câu TN và mẫu TS để đánh giá thành quả học tập. 2) Với TNKQ ta hoàn toàn có thể kiểm tra đợc toàn bộ nội dung môn học, hạn chế đợc may rủi, đỡ tốn công chấm bài và hoàn toàn khách quan trong thi cử…. 3) Phơng pháp này rất tốn thời gian để soạn đề nhng nếu có sự hiểu biết sâu sắc về lĩnh vực này (đặc biệt là các phần mềm để úng dụng) thì sẽ khắc phục đợc.