9. Cấu trúc của luận văn 6-
3.2 Kết quả nghiên cứu quan sát tham dự 5 2-
3.2.2 Thực trạng các lỗi mắc phải trong quá trình tiến hành 10 tiểu trắc nghiệm cơ
trắc nghiệm cơ bản của WISC-IV-VN
Kết quả phân tích cho thấy số lỗi trung bình phát hiện trong quá trình quan sát tham dự bằng bảng kiểm hành vi của nghiên cứu này trên 1 hồ sơ là 10,18 lỗi cao hơn nhiều so với số lỗi trung bình phát hiện ở nghiên cứu của Mrazik và cộng sự qua phân tích phiếu trả lời trắc nghiệm 6,28 lỗi. Kiểm
định sự khác biệt giữa hai điểm trung bình independent-t-test cho thấy sự khác biệt này có ý nghĩa thống kê với t = 17.01; p<0,0001. Số liệu này cao hơn nhiều so với số lỗi trung bình trong nghiên cứu của Mrazik và cộng sự, 2012 (6,28). Sự khác biệt có thể do phƣơng pháp của nghiên cứu này là quan sát tham dự trong quá trình tiến hành trắc nghiệm WISC-IV-VN trực tiếp so với nghiên cứu của Mrazik chỉ nghiên cứu sản phẩm hoạt động. Bên cạnh đó, khi so sánh với những nghiên cứu khác nhƣ Alper, J., 2013 với số lỗi trung bình nghiệm viên mắc phải là 13,3 lỗi/hồ sơ.
Ở cấp độ từng tiểu trắc nghiệm, nghiệm viên WISC-IV-VN thƣờng mắc nhiều lỗi nhất ở tiểu trắc nghiệm Xếp khối (ĐTB = 3,0 lỗi); Mã hóa (ĐTB = 1,54 lỗi) và Tìm sự tƣơng đồng (ĐTB = 1,18 lỗi). Nghiệm viên thực hiện WISC-IV-VN ít mắc lỗi nhất ở các tiểu trắc nghiệm Hiểu biết (ĐTB = 0,36); Nhớ chuỗi số - chữ cái theo thứ tự (ĐTB = 0,45); Tƣ duy ma trận (ĐTB = 0,45); Tìm biểu tƣợng (ĐTB = 0,45). Với tiểu trắc nghiệm Xếp khối, nghiệm viên thƣờng xuyên mắc các lỗi cơ bản là không làm mẫu đúng cách; không tráo các khối sau từng item hoặc lƣợt thử và khơng ghi giờ làm trắc nghiệm chính xác.
Bảng 3.3. Tỉ lệ trung bình lỗi mắc phải trong quá trình tiến hành 10 tiểu trắc nghiệm cơ bản của WISC-IV-VN
so sánh với tỉ lệ trung bình trong nghiên cứu của Mrazik và cộng sự Tiểu trắc nghiệm Tổng số lỗi Số lỗi trung bình Số lỗi trung bình (Mrazik & cs., 2012) Kiểm định sự khác biệt (t- test) t/p Xếp khối 99 3.0 0.33 11.65(p<.0001)
Tìm sự tƣơng đồng 39 1.18 0.96 0.95(p>.05)
Nhớ dãy số 30 0.9 0.34 2.44(p<.01)
Nhận diện khái niệm 33 1.0 0.03 4.23(p<.0001)
Mã hóa 51 1.54 0.01 6.67(p<.0001) Từ vựng 27 0.81 1.20 1.70(p>.05) Nhớ chuỗi số - chữ cái theo thứ tự 15 0.45 0.08 1.92(p>.05) Tƣ duy ma trận 15 0.45 0.11 1.90(p>.05) Hiểu biết 12 0.36 1.28 4.01(p<.001) Tìm biểu tƣợng 15 0.45 0.04 1.94(p<.05)
Tổng số lỗi trong tiến hành 10 tiểu trắc nghiệm
336 10.18 6.28 17.01 (p<.0001)
3.2.3 Thực trạng các lỗi mắc phải trong q trình tính điểm trắc nghiệm WISC-IV-VN
Số lƣợng lỗi mắc phải khi nghiệm viên tính điểm trắc nghiệm WISC- IV-VN là 9, với trung bình mỗi hồ sơ có 0,27 lỗi. Có thể nói tính điểm là lĩnh vực ít mắc lỗi nhất. Cụ thể số lỗi mắc phải ở từng mục nhƣ đƣợc trình bày trong bảng 3.4 dƣới đây.
Bảng 3.4. Tần suất lỗi mắc phải
trong q trình tính điểm trắc nghiệm WISC-IV-VN
Tính tuổi của trẻ 5
Quy đổi điểm thô ra điểm chuẩn 3
Chuyển tổng điểm chuẩn thành điểm thành phần 1
Tổng số 9
3.2.4 Bàn luận về kết quả nghiên cứu sản phẩm quan sát tham dự
So sánh số lỗi mắc phải trong khi tiến hành 10 tiểu trắc nghiệm cơ bản với nghiên cứu đi trƣớc của Mrazik & cộng sự, 2012. Số lỗi trung bình nghiệm viên mắc phải khi tiến hành WISC-IV-VN cao hơn số lỗi trung bình trong nghiên cứu của Mrazik, 2012 ở các tiểu trắc nghiệm Xếp khối (3,0 vs. 0,33); Nhớ dãy số (0,9 vs. 0,34); Nhận diện khái niệm (1,0 vs.0,03); Mã hóa (1,54 vs 0,01) và Tìm biểu tƣợng (0,45 vs. 0,04). Duy nhất số lỗi trung bình ở nghiệm viên mắc phải khi tiến hành WISC-IV-VN thấp hơn số lỗi trung bình nghiệm viên mắc phải trong nghiên cứu của Mrazik đó là Hiểu biết (0,36 vs. 1,28). Ở các tiểu trắc nghiệm còn lại, khơng có sự khác biệt hay nói cách khác là sự khác biệt khơng có ý nghĩa thống kê. Xem bảng 3.3.
Về các lỗi thƣờng gặp trong quá trình chuẩn bị bối cảnh trƣớc khi tiến hành trắc nghiệm đƣợc nghiên cứu chỉ ra là nơi tiến hành trắc nghiệm khơng hồn toàn cách ly với bên ngồi dẫn đến có nhiều yếu tố gây xao nhãng trong quá trình tiến hành trắc nghiệm. Nghiệm viên làm trắc nghiệm không chuyên nên nhiều trƣờng hợp trẻ nhỏ nhƣng phải ngồi ở bàn ngƣời lớn có thể ảnh hƣởng đến năng lực và tốc độ làm trắc nghiệm. Một lỗi hay gặp phải nữa là nghiệm viên sử dụng các từ “trí thơng minh”, “trí tuệ”, hoặc “trắc nghiệm”, “bài kiểm tra” khi giới thiệu về trắc nghiệm WISC-IV, điều này có thể ảnh hƣởng đến thái độ của trẻ khi tiến hành trắc nghiệm. Xem bảng 3.2.
Cịn liên quan đến q trình tính điểm, việc tính tuổi của trẻ là thao tác đầu tiên tƣởng là đơn giản nhất nhƣng nghiệm viên lại mắc nhiều lỗi nhất (5 lỗi/ 33 hồ sơ). Việc tính tuổi sai do 3 nguyên nhân chủ yếu là ghi ngày sinh của trẻ khơng chính xác, quy đổi ngày tháng sinh khơng chính xác, tính tốn ngày sinh khơng chính xác. Đổi điểm thơ ra điểm chuẩn mắc 3 lỗi/33 hồ sơ gồm việc tính cộng điểm thơ khơng chính xác và việc chuyển điểm thơ ra mặt trƣớc phiếu ghi điểm và ghi vào ô tƣơng ứng khơng chính xác. Việc chuyển điểm chuẩn thành điểm thành phần chỉ có 1 lỗi/33 hồ sơ là do nghiệm viên khơng nhập chính xác khoảng tin cậy. Xem bảng 3.4.
3.2.5 Kết luận cho phần nghiên cứu sản phẩm quan sát tham dự
Kết quả nghiên cứu này cũng thống nhất với các nghiên cứu đi trƣớc rằng việc mắc lỗi trong q trình tiến hành và tính điểm các trắc nghiệm trí tuệ nói chung và trắc nghiệm của Wechsler là phổ biến. Các lỗi diễn ra trong cả ba giai đoạn (i) trƣớc khi tiến hành trắc nghiệm – chuẩn bị bối cảnh; (ii) trong khi tiến hành trắc nghiệm và (iii) cơng tác tính tốn điểm số sau khi tiến hành trắc nghiệm. Đối với trắc nghiệm WISC-IV-VN, số lƣợng lỗi mắc phải trong một hồ sơ trung bình là 10,18 lỗi đối với những nhà tâm lý sau khi đƣợc tập huấn cách tiến hành, tính điểm và diễn giải trắc nghiệm WSIC- IV của Trƣờng Đại học Giáo dục, Đại học Quốc gia Hà Nội.
Nghiên cứu cũng chỉ ra số lỗi tập trung nhiều vào các tiểu trắc nghiệm Xếp khối; Mã hóa và Tìm sự tƣơng đồng có thể làm sai lệch hệ số Tổng điểm trí tuệ nói chung. Nghiệm viên ít mắc lỗi ở các tiểu trắc nghiệm Hiểu biết; Nhớ chuỗi số - chữ cái theo thứ tự; Tƣ duy ma trận; Tìm biểu tƣợng. Những kết luận từ nghiên cứu này có điểm khác với kết luận từ các nghiên cứu nƣớc ngoài cho rằng số lỗi tập trung nhiều vào các tiểu trắc nghiệm của Tƣ duy ngơn ngữ (VCI). Sự khác biệt này có thể do cơng tác tập huấn đã nhấn mạnh vào nguy cơ dễ mắc lỗi các tiểu trắc nghiệm Tƣ duy ngôn ngữ
nên ngƣời thực hành tập trung kiểm soát nhiều hơn khi tiến hành những tiểu trắc nghiệm VCI, ngƣợc lại họ lại chủ quan hơn trong các tiểu trắc nghiệm vốn ít mắc lỗi hơn.
3.3 Kết quả nghiên cứu sản phẩm hoạt động
Trong phần này tác giả thống kê số liệu trên 33 khách thể nghiên cứu và phân loại lỗi theo 2 nhóm. Nhóm 1 bao gồm các lỗi mắc phải trong quá trình tiến hành trắc nghiệm và ghi chép trên phiếu ghi điểm. Nhóm 2 là các lỗi nghiệm viên mắc phải trong q trình tính điểm.
Theo số liệu thu đƣợc, có tất cả 181 lỗi trên tổng số 33 phiếu (trung bình mỗi phiếu có 5,48 lỗi). Trong đó có 126 lỗi bị mắc phải nằm trong giai đoạn tiến hành và ghi chép kết quả, chiếm 69,6% tổng số lỗi mắc phải. Giai đoạn tính điểm có 55 lỗi tƣơng đƣơng với 30,4% tổng số lỗi mắc phải.
Bảng 3.5. Tỉ lệ số lỗi mắc phải trong quá trình tiến hành và q trình tính điểm trắc nghiệm WISC-IV-VN
Số lƣợng Tỉ lệ số lỗi
trên mỗi phiếu
Tỉ lệ phần trăm số lỗi Lỗi mắc phải trong quá trình
tiến hành 126 3.82 69.6%
Lỗi mắc phải trong q trình
tính điểm 55 1.67 30.4%
3.3.1 Thực trạng các lỗi mắc phải trong quá trình tiến hành và ghi chép kết quả trắc nghiệm WISC-IV-VN chép kết quả trắc nghiệm WISC-IV-VN
Bảng 3.6. Số liệu thống kê lỗi mắc phải trong quá trình tiến hành và ghi chép kết quả trắc nghiệm WISC-IV-VN
Số lƣợng Tỉ lệ số lỗi
trên mỗi phiếu
Tỉ lệ phần trăm số lỗi
Không ghi chép quan sát 23 0.7 18%
Tính sai tuổi nghiệm thể 5 0.15 4%
Dừng tiến hành khi đã thiết
lập điểm trần 57 1.73 45%
Cộng sai điểm thô 29 0.88 23%
Trừ sai điểm thô 5 0.15 4%
Không đánh dấu điểm đạt
đƣợc 7 0.21 6%
Tổng 126 3.82
Nhóm lỗi nghiệm viên mắc phải trong quá trình tiến hành và ghi chép kết quả gồm có: lỗi tính sai tuổi của nghiệm thể; lỗi dừng tiến hành tiểu trắc nghiệm sau khi đã thiết lập đƣợc điểm trần; lỗi cộng/trừ sai điểm thô của tiểu trắc nghiệm; lỗi không ghi chép phần quan sát ban đầu và lỗi không đánh dấu vào số điểm mà nghiệm thể đạt đƣợc trong tiểu trắc nghiệm.
Theo số liệu thống kê, lỗi tiến hành mắc phải nhiều nhất là lỗi dừng sai khi đã thiết lập đƣợc điểm trần của tiểu trắc nghiệm. Có tất cả 57 lỗi trên
tổng số 33 phiếu (trung bình mỗi phiếu mắc 1,73 lỗi này), chiếm 45% tổng số lỗi.
3.3.2 Thực trạng các lỗi mắc phải trong q trình tính điểm kết quả trắc nghiệm WISC-IV-VN quả trắc nghiệm WISC-IV-VN
Bảng 3.7. Số liệu thống kê lỗi mắc phải trong q trình tính điểm kết quả trắc nghiệm WISC-IV-VN
Số lƣợng Tỉ lệ số lỗi trên mỗi phiếu Tỉ lệ phần trăm số lỗi Không vẽ đồ thị biên dạng
điểm quy chuẩn 24 0.73 44%
Chép sai điểm thô 8 0.24 15%
Quy đổi sai điểm quy chuẩn
từ điểm thô 5 0.15 9%
Cộng sai điểm quy chuẩn 0 0 0%
Quy đổi sai điểm thành phần
từ điểm quy chuẩn 18 0.55 33%
Tính điểm GAI và CPI khi điểm FSIQ không đủ độ tin cậy
0 0 0%
Tỉ lệ lỗi mắc phải cao nhất trong q trình tính điểm là khơng vẽ đồ thị biên dạng điểm quy chuẩn với 24 nghiệm viên, chiếm 44% tổng số lỗi của q trình này.
Có 8 lỗi chép sai điểm thô và 5 lỗi quy đổi sai điểm quy chuẩn từ điểm thơ. Đặc biệt có đến 18 lỗi quy đổi sai điểm thành phần từ điểm chuẩn, chiếm 33% tổng số lỗi.
3.3.3 Bàn luận về kết quả nghiên cứu sản phẩm hoạt động
Nhƣ vậy có thể thấy, kết quả thu đƣợc từ giai đoạn Nghiên cứu sản phẩm hoạt động bằng phƣơng pháp thống kê khá tƣơng đồng với kết quả thu đƣợc trong giai đoạn nghiên cứu quan sát tham dự. Số lỗi liên quan đến việc tính sai tuổi của nghiệm thể đều là 5 (bảng 3.6)
Không những vậy, việc nghiên cứu sản phẩm hoạt động còn chỉ ra đƣợc những lỗi chi tiết liên quan đến phần tính điểm kết quả trắc nghiệm. Gần nhƣ tất cả các khâu liên quan đến tính điểm đều có thể mắc lỗi, từ việc chép điểm thô ra bảng điểm, quy đổi điểm thô sang điểm quy chuẩn và từ điểm quy chuẩn sang điểm thành phần. Chỉ có khâu cộng điểm quy chuẩn và khâu tính điểm đánh giá chỉ số trí tuệ chung là khơng có sai sót. Qua đó có thể thấy quy trình chuyển đổi từ điểm thô sang điểm quy chuẩn và điểm thành phần còn nhiều vấn đề cần khắc phục.
3.3.4 Kết luận phần nghiên cứu sản phẩm hoạt động
Nhƣ vậy, chúng ta có thể thấy, kết quả của giai đoạn nghiên cứu sản phầm hoạt động đã khẳng định lại một lần nữa kết quả của 2 giai đoạn nghiên cứu trƣớc đó là nghiên cứu thảo luận nhóm tập trung và nghiên cứu quan sát tham dự. Thống kê cho thấy có rất nhiều lỗi trong khâu tính điểm. Điều này sẽ gây ảnh hƣởng lớn đến việc diễn giải trắc nghiệm sau này, có thể làm thay đổi kết quả đánh giá đối với nghiệm thể. Những lỗi này cần
đƣợc khắc phục và hạn chế để đảmbảo tính trung thực và độ tin cậy của bản kết quả đánh giá trí tuệ sử dụng bộ cơng cụ WISC-IV-VN.
3.4 Kết quả nghiên cứu trƣờng hợp
3.4.1. Thực trạng lỗi và một số phương pháp khắc phục
Trong phần này, tác giả phỏng vấn một nghiệm viên có kinh nghiệm tiến hành WISC-IV-VN để đƣa ra kết quả dựa trên kinh nghiệm cá nhân của nghiệm viên nhằm đƣa ra một số kinh nghiệm khắc phục, hạn chế lỗi khi thực hành và tính điểm WISC-IV-VN ở Việt Nam. Những lỗi thu đƣợc tác giả ghi chép theo từng giai đoạn thực hành trắc nghiệm: chuẩn bị bối cảnh, tiến hành, và tính điểm.
Trong giai đoạn chuẩn chị bối cảnh, những lỗi có thể gặp phải là phịng khơng đủ tách biệt với bên ngoài, thời gian làm quen với nghiệm thể chƣa đủ lâu và sử dụng các câu khuyến khích khơng phù hợp. Lỗi phịng khơng đủ tách biệt thƣờng bị mắc phải khi nghiệm viên tiến hành trắc nghiệm ở nhà nghiệm thể. Do đó cách khắc phục của nghiệm viên này là yêu cầu bố mẹ đƣa trẻ đến phòng làm việc để đánh giá, còn với trƣờng hợp bắt buộc phải thực hiện ở một địa điểm ngồi phịng làm việc, nghiệm viên sẽ gửi yêu cầu chuẩn bị bối cảnh cho bố mẹ để bố mẹ trẻ có thể sắp xếp và hạn chế tối đa những vật dụng thừa trong phòng tiến hành trắc nghiệm. Với những lỗi về thời gian làm quen và sử dụng các câu khuyến khích khơng phù hợp, theo nhận xét của nghiệm viên thì lỗi này chủ yếu phụ thuộc vào kinh nghiệm tiến hành và sẽ giảm dần khi kinh nghiệm tiến hành trắc nghiệm của nghiệm viên tăng lên.
Trong giai đoạn tiến hành trắc nghiệm, những lỗi gặp phải có thể là tính sai tuổi nghiệm thể dẫn đến việc chọn điểm bắt đầu trắc nghiệm sai, lỗi phản hồi không phù hợp khi nghiệm thể trả lời và lỗi ghi chép nguyên văn
câu trả lời. Với lỗi tính sai tuổi, nghiệm viên khắc phục bằng cách tính tuổi 2 lần độc lập sau đó so sánh kết quả với nhau. Sau khi so sánh nếu kết quả có sai lệch nghiệm viên sẽ tiến hành kiểm tra lần 3 để phát hiện lỗi và sửa. Đối với những lỗi liên quan đến việc phản hồi câu trả lời của nghiệm thể, đây cũng là lỗi do kinh nghiệm thực hành của nghiệm viên. Khi kinh nghiệm của nghiệm viên tốt hơn thì lỗi này cũng giảm dần và ngừng xuất hiện. Còn đối với lỗi ghi chép lại nguyên văn câu trả lời, cách khắc phục của nghiệm viên là ghi chép thật nhanh từ khóa của câu trả lời của nghiệm thể. Sau khi kết thúc tiến hành trắc nghiệm hoặc trong thời gian nghỉ giải lao sau các tiểu trắc nghiệm, nghiệm viên sẽ bổ sung đầy đủ các câu trả lời đó.
Trong giai đoạn tính điểm, lỗi gặp phải có thể là cộng điểm thơ sai, quy đổi điểm sai, khơng tính điểm GAI khi điểm FSIQ khơng đủ tin cậy, và khơng tính điểm CPI khi điểm FSIQ và GAI không đủ tin cậy. Đối với những lỗi này, cách khắc phục của nghiệm viên cũng là tính điểm 2 lần độc lập rồi so kết quả với nhau xem có khớp khơng. Nếu kết quả có chênh lệch thì nghiệm viên sẽ phải thực hiện tính điểm lần 3 để tìm ra kết quả cuối cùng.
3.4.2. Kết luận phần nghiên cứu tường hợp
Nhƣ vậy, thông qua phần nghiên cứu này, chúng ta có thể có thêm một số kinh nghiệm về việc mắc lỗi và một vài phƣơng pháp dựa trên kinh nghiệm cá nhân của nghiệm thể để hạn chế và khắc phục khi mắc phải những lỗi đó.
KẾT LUẬN
Dựa vào kết quả của cả 3 giai đoạn nghiên cứu, chúng ta có thể thấy việc mắc lỗi khi tiến hành đánh giá trí tuệ trẻ em bằng trắc nghiệm WISC- IV-VN là điều khá phổ biến. Lỗi mắc phải có thể gặp phải ở cả trƣớc, trong và sau khi làm trắc nghiệm (giai đoạn tính điểm). Có thể lỗi xuất hiện do yếu tố bên ngoài tác động (bối cảnh tiến hành trắc nghiệm không đảm bảo yêu cầu về không gian, âm thanh, ánh sáng...), cũng có thể đến từ phía các