Kết quả kiểm tra theo mô hình Rasch bằng cách sử d- 123docz.net

Chương 3. XÂY DỰNG BỘ CHỈ SỐ ĐÁNH GIÁ XẾP HẠNG TRƯỜNG THPT TẠI TỈNH ĐỒNG NAI

3.6. Kết quả kiểm tra theo mô hình Rasch bằng cách sử dụng phần mềm

Sau khi đã kiểm định bảng hỏi bằng độ tin cậy Crombach’s Alpha và phân tích nhân tố EFA có 05 câu hỏi bị loại. 35 câu hỏi còn lại được đưa vào đánh giá bằng mô hình Rasch thông qua việc sử dụng phần mềm chuyên dụng Quest.

Kết quả ước tính phù hợp thống kê:

PHAN TICH PHIEU HOI

--- Item Estimates (Thresholds) 18/ 8/14 2:43

all on ksxhthpt (N = 53 L = 35 Probability Level= .50)

--- Summary of item Estimates

=========================

Mean .00

SD .52

SD (adjusted) .00

Mean phải bằng hoặc gần bằng0.00 SD phải bằng hoặc gần bằng1.00

Reliability of estimate .00 Fit Statistics

===============

Infit Mean Square Outfit Mean Square

Mean 1.00 Mean 1.02 SD .21 SD .25 Infit t Outfit t Mean -.01 Mean .09 SD 1.13 SD 1.01 0 items with zero scores

0 items with perfect scores

Kết quả ước tính trường hợp

PHAN TICH PHIEU HOI

--- Case Estimates 18/ 8/14 2:43

all on ksxhthpt (N = 53 L = 35 Probability Level= .50)

--- Summary of case Estimates

=========================

Mean -.09

SD 1.01 SD (adjusted) .99 Reliability of estimate .95

Fit Statistics

===============

Infit Mean Square Outfit Mean Square

Mean 1.02 Mean 1.02 SD .44 SD .47

Infit t Outfit t Mean -.13 Mean -.06 SD 1.88 SD 1.50 0 cases with zero scores

0 cases with perfect scores

=====================================================================

Mean phải bằng hoặc gần bằng1.00 SD phải bằng hoặc gần bằng0.00

Ta thấy kết quả được cung cấp ở trên về các điều kiện cần kiểm tra trước khi phân tích ta thấy:

- Ước tính phù hợp thống kê (Summary of item Estimates): Giá trị Mean=0.0 bằng với giá trị Mean điều kiện (bằng hoặc gần bằng 0.0) và SD=0.53 nhở hơn giá trị SD điều kiện (bằng hoặc gần bằng 1.0).Giá trị Mean của Infit Mean Square và Outfit Mean Square đều bằng hoặc gần bằng giá trị Mean điều kiện 1.0;

giá trị SD của Infit Mean Square và Outfit Mean Square lần lượt là 0.2 và 0.23gần bằng với SD điều kiện (bằng hoặc gần bằng 0.0).Do đó,ta có thể kết luận: Dữ liệu phù hợp với mô hình Rasch.

- Ước tính trường hợp(Summary of case Estimates):Giá trị Mean của Infit Mean Square và Outfit Mean Square lần lượt là 1.00 và 1.02 gần bằng với giá trị Mean điều kiện (bằng hoặc gần bằng 1.00); giá trị SD của Infit Mean Square và Outfit Mean Square lần lượt là 0.41 và 0.42 lớn hơn SD điều kiện (bằng hoặc gần bằng0.00).Do đó,ta có thể kết luận: Dữ liệu phù hợp với mô hình Rasch.

Như vậy, có thể khẳng định toàn bộ các câu hỏi có Mean và SD đáp ứng được điều kiện cần thiết cho việc thiết lập mô hình đáp ứng với lý thuyết mô hình Rasch.Do đó,dữ liệu hoàn toàn phù hợp với mô hình Rasch.

Từ việc phân tích số liệu theo phần mềm Quest ta có thể đánh giá được mức độ quan trọng của các chỉ số được các đối tượng được khảo sát nhằm xây dựng thang đo để đánh giá xếp hạng các trường THPT là một trong những đặc tính quan trọng bởi vì nó nói lên độ tin cậy và giá trị của các chỉ số trong khảo sát. Đồng thời nó cũng cho phép chúng ta có thể so sánh giá trị của các chỉ số để đánh trọng số so sánh. Để có thể phân tích được mức độ quan trọng của các chỉ số, qua bảng sau chúng ta có thể so sánh sự đánh giá về mức độ quan trọng của các chỉ số đối với các trường. Bảng phân bố cho thấy các chỉ số đo được hầu hết sự quan trọng hay có những khoảng trống cần bổ sung thêm các chỉ số. Trong bảng dưới, các dấu X nằm bên trái thể hiện năng lực nhận thức các chỉ số,còn các số bên phải thể hiện mức độ hài lòng của các chỉ số như sau:

Bảng3.9.Bảng phân bố năng lực nhận thức mức độ quan trọng của người được khảo sát đối với các chỉ số

PHAN TICH PHIEU HOI

--- Item Estimates (Thresholds) 18/ 8/14 2:43

all on ksxhthpt (N = 53 L = 35 Probability Level= .50)

--- 4.0 |

| 6.4 19.4

| 5.4 23.4 27.4

| 11.4 13.4 24.4

| 30.4 3.0 | 12.4

| 17.4 22.4

| 20.4 29.4

| 7.4

| 2.3

| 32.3 2.0 | 3.3

| 1.3 21.3

| 1.2 8.3

| 3.2 14.3 22.3

| XXXX | 33.4

XXX | 4.3 25.4 26.4 32.2 X | 18.3 28.4 31.3

1.0 | 2.2 9.3 15.3 20.3 24.3 34.3 35.4 X | 4.2 5.3 11.3 13.3 16.3

XXXX | 8.2 10.3 17.3 23.3 27.3 XXX | 21.2 22.2

XXXXX | 19.3 33.3

XX | 6.3 9.2 15.2 16.2 XX | 12.3 18.2 34.2 .0 XXX | 7.3 20.2

| 10.2 14.2 24.2 35.3 XXX | 13.2

XXXX | 17.2 19.2 23.2 27.2 30.3 33.2 X | 11.2 25.3

| 3.1 26.3 28.3 XXX | 1.1 31.2 32.1

X | 35.2 -1.0 XXX |

XXX | 5.2 12.2 XX | 23.1

| 6.2 7.2 25.2 29.3

Quan trọng 96.2%

| 8.1 X |

XX | 4.1 16.1 20.1 24.1

| 2.1 26.2 -2.0 | 18.1 28.2

| 14.1 22.1 31.1

| 9.1 15.1 21.1 33.1 34.1

| 10.1 35.1 X | 7.1 11.1

| 12.1 13.1 29.2 30.2

| 19.1 27.1 -3.0 X | 6.1 17.1

| 5.1

| 26.1

| 25.1

| -4.0 |

---

Mỗi dấu X là một cán bộ

Từ kết quả phân tíchsự đánh giá mức độ quan trọng của cán bộ quản lý và sự phân bố các chỉ số cùng các mức đo.Cho thấy thang đo được chia làm 2 mức,ứng với đánh giá sự quan trọng: Quan trọng (96,2% cán bộ), không quan trọng (3,78%

cán bộ). Trong đó, số cán bộ lãnh đạo đánh giá các chỉ số không quan trọng tập trung vào các chỉ số có mã: Input6; Input9;Input20; Process1; Process11; Output2;

(ngoài ra,có các chỉ số đã bị loại qua các bước phân tích trên),cụ thể:

Input6: “Tỷ lệ GV cơ hữu/số lớp; Tỷ lệ GV/học sinh đảm bảo đủ số lượng theo phân công chuyên môn”.

Input9: “Số lượng GV đạt các danh hiệu thi đua cấp tỉnh trở lên trên tổng số GV”.

Input20: “Bình quân diện tích sân chơi thểthao/tổng sốhọc sinh (m2/SV)”

Process1: “Tỷlệhọc sinh bỏhọc, lưu ban/tổng sốnhập học”.

Process11: “Số lượng học sinh tham gia và được khen thưởng trong các hoạt động phong trào”

Output2:“Sốhọc sinh được tuyển thẳng vào Đại học”.

Không quan trọng 3,78%

Qua đó cho thấy, một số cán bộ lãnh đạo các trường THPT đã không đánh giá cao các chỉ số trên là do:

- Chỉ số Input6 có thể không phù hợp vì để so sánh chất lượng khác nhau giữa các trường và đảm bảo cho công tác giảng dạy thì hầu như tất cả các trường đều phải đảm bảo có đủ số lượng GV để giảng dạy cho các bộ môn; chỉ số Input9số lượng giáo viên đạt các danh hiệu thi đua, có thể là do cơ chế mà chỉ tiêu mỗi năm của đơn vị được chia theo tỷ lệ của ngành,thêm vào đó là bệnh thành tích. Input20:

Bình quân diện tích sân chơi của HS cũng là một chỉ số mang tính hoàn cảnh, 02 chỉ số quá trình thì với chỉ số thứ nhất cũng có thể do phiếu khảo sát được thực hiện cho tất cả các trường nên có thể các trường tư thục chỉ số này là không phù hợp vì học sinh thuộc đối tượng này có sự không ổn định về số lượng vì nhiều lý do khác nhau.Từ đó cho thấy, qua phiếu khảo sát các chỉ số vẫn có một số chỉ số là không phù hợp cho tất cả các đối tượng trường, vùng miền trong tỉnh, vì vậy việc đánh trọng số cho các chỉ số cần xem xét một cách khách quan đủ để có thể phản ánh rõ về mặt chất lượng giáo dục.

Sự phân bố mức đánh giá quan trọng của các câu hỏi được tổng thể như sau:

Bảng3.10.Bảng tóm tắt5số

Min Phần tư dưới Median Phần tư trên Max

-3.15 -0.84 0.11 0.56 1.32

Dựa vào chỉ số bảng trên ta thấy mức độ tập trung và phân tán về mức độ quan trọng của các chỉ số của người được khảo sát. Đánh giá mức độ quan trọng được trải rộng từ -3.15đến1.32 nhưng chủ yếu tập trung trong khoảng từ -0.82đến 0.56và trung vị là 0.11. (Sự phân bố mức quan trọng theo đánh giá của cán bộ còn có thể biểu diễn bằng biểu đồ thân-lá ở Phụ lục4).

Kiểm tra mức độ phù hợp của các câu hỏi do mô hình cung cấp, ta có:

PHAN TICH PHIEU HOI

--- Item Fit 18/ 8/14 2:43 all on ksxhthpt (N = 53 L = 35 Probability Level= .50)

--- INFIT

MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 ---+---+---+---+---+---+---+---+---+---+---+---+

1 item 1 . | * . 2 item 2 . | * .

12 item 12 . | * .

13 item 13 . | . * 14 item 14 . * | .

15 item 15 . * | . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 * . | .

19 item 19 . * | . 20 item 20 . | * . 21 item 21 . * | . 22 item 22 * . | .

23 item 23 . | * . 24 item 24 * . | .

33 item 33 . | . * 34 item 34 . | * .

35 item 35 . | . *

==============================================================================================================

Từ kết quả phân tích cho thấy,độ tin cậy của tính toán đạt kết quả 95%là rất đáng tin cậy, có 28/35 câu hỏi có giá trị Infit MNSQ nằm trong khoảng [0.77;1.3], có nghĩa là chúng tạo thành một cấu trúc. Có 07 câu hỏi nằm ngoài khoảng cho phép nên các biến ngoại lai này bị loại.Cụ thể:

Input13:Xếp loại chung cuối năm học của GV

Input15:Điểm thi tuyển vào lớp 10 của năm khảo sát (hoặc tổng điểm vào 10 đối với trường xét tuyển)

Input21: Thư viện đạt tiêu chuẩn, đáp ứng nhu cầu nghiên cứu, học tập của thư viện trường phổ thông theo quy định của BộGiáo dục và Đào tạo; được bổ sung sách,báo và tài liệu tham khảo hằng năm;

Process3:Tỷ lệ học sinh đạt kết quả xếp loại hạnh kiểm

Process5:Tỷ lệ hoc sinh yếu giảm sau khi được rà soát,bồi dưỡng và giúp đỡ Output2: Sốhọc sinh được tuyển thẳng vào Đại học

Output4:Có học sinh đạt thủ khoa ở kỳ thi tốt nghiệp và ở các trường cao đẳng, đại học.

Như vậy:kết quả kiểm tra theo mô hình Rasch bằng cách sử dụng phần mềm Quest, ta nhận thấy các dữ liệu đều phù hợp với mô hình Rash. Có 28/35 câu hỏi nằm trong khoảng đồng bộ cho phép và tạo thành một cấu trúc chung, phù hợp với đối tượng khảo sát.

Những câu hỏi trên bị loạiNhững câu hỏi trên bị loạingnguuyyêênnnhnhâânncó thể là do:có thể là do:

- Đối với các chỉ số này không phù hợp cho việc so sánh, đánh giá chất lượng giáo dục giữa các trường THPT với nhau trong giai đoạn giáo dục hiện nay.

- Việc tuyển sinh vào lớp 10 giữa các trường tổ chức thi và các trường xét tuyển là khác nhau về cách thức cũng như tổng điểm được xét (trường thi tuyển căn cứ vào 3 môn thi Toán, Văn, Anh; trường xét tuyển thì căn cứ vào điểm tổng kết học bạ của 04 năm học ở THCS). Lãnh đạo các trường THPT ở những vùng khó khăn hoặc các trường gần trung tâm nhưng tỷ lệ chất lượng đầu vào thấp (do gần các trường trọng điểm), khi đưa ra các chỉ số này về khía cạnh cá nhân họ sẽ không ủng hộ lấy đó làm thước đo cho chất lượng của trường họ.

Tổng kết chương3:

Sau khi tiến hành phân tích kiểm định độ tin cậy Crombach’s Alpha, Đánh giá thang đo bằng phân tích nhân tố khám phá EFA và kết quả kiểm tra theo mô hình Rasch bằng cách sử dụng phần mềm Quest cho bộ chỉ số được khảo sát chúng ta loại 14/40 (Input1, Input2, Input13, Input14, Input15, Input16, Input20, Input20, Input22, Process3, Process5, Process13, Output2, Output4) chỉ số không phù hợp với phân tích, các câu hỏi này bị loại chủ yếu là do sự khác biệt giữa các trường công lập và ngoài công lập; giữa các trường có tổ chức thi tuyển đầu vào và các trường xét tuyển, và cũng để phù hợp với thực tế kế hoạch đổi mới về công tác tuyển sinh vào lớp 10 của tỉnh có nhiều thay đổi trong năm học 2015-2016 và đặc biệt là sự thay đổi về kỳ thi THPT quốc gia năm học 2015sắp tới nên chúng tôi căn cứ vào phân tích ở trên và tìm hiểu cũng như hỏi ý kiến của chuyên gia để đề xuất thêm một số chỉ số để phù hợp với tình hình giáo dục trong giai đoạn hiện nay và chúng tôi đã tổng hợp các chỉ số đó (được đánh trọng số) và mô tả các chỉ số ở chương 4.

Kết quả kiểm tra theo mô hình Rasch bằng cách sử dụng phần mềm

CÁC VẤN ĐỀ XẾP HẠNG TRONG NƯỚC