Độ hiệu lực đề cập đến sự chính xác mà bộ công cụ đánh giá đo được những gì có nhiệm vụ phải đo. Đây cũng là một trong những yếu tố tâm trắc của một trắc nghiệm.
Để đánh giá độ hiệu lực của thang đo, chúng tôi sử dụng tiếp cận:
- So sánh kiểm định T-test của CBCL-V-CY ở nhóm lâm sàng với nhóm cộng đồng.
- So sánh tương quan của CBCL-V với thang đo khác (VADPRS). - Kiểm định (dự đoán) với DISC (chẩn đoán)
3.3.1. Đánh gia độ hiệu lực phân biệt của CBCL-V
Để đánh giá hiệu lực phân biệt của CBCL-V, chúng tôi so sánh giữa kết quả đánh giá trên nhóm khách thể nghiên cứu – nhóm lâm sàng với nhóm khách thể đối chứng là nhóm cộng đồng. Trong giới hạn của đề tài, chúng tôi không thể tiến hành nghiên cứu trên nhóm khách thể ở cộng đồng, vì vậy với sự cho phép của tác giả Đặng Hoàng Minh, chúng tôi đã sử dụng kết quả của nhóm cộng đồng từ đề tài nghiên cứu “Sức khỏe tâm thần trẻ em Việt nam: thực trạng và nguy cơ”.
Biểu đồ 3.4: So sánh điểm trung bình giữa nhóm nghiên cứu và nhóm cộng đồng.
Theo Biểu đồ 3.4, chúng ta thấy, tất cả điểm trung bình các biến của CBCL-V trong nhóm nghiên cứu đều cao hơn nhóm cộng đồng. Điều này có thể lý giải rằng, nhóm nghiên cứu là nhóm bệnh nhân nhân đến khám tại bệnh viện, vì vậy đây là nhóm có nguy cơ cao hơn hẳn nhóm khách thể ở cộng đồng. Bởi vì khi đến bệnh viện khám tức là trẻ thật sự đã gặp các vấn đề rắc rối trong cuộc sống cũng như trong học tập.
Bảng 3.6. So sánh giữa nhóm lâm sàng và nhóm cộng đồng Tổng số khách thể Điểm trung bình Độ lệch chuẩn Sai số CBCL-V-CY tổng 102 10.87 3.822 .378
Giá trị trắc nghiệm = 3.28
T Df Giá trị thống kê
Điểm trung bình khác biệt
95% Khoảng tin cậy khác biệt Thấp nhất Cao nhất CBCL-V-CY
Giá trị trung bình của CBCL-V-CY tổng là 10.87 được so sánh với trung bình quần thể chung trong cộng đồng là 3.28. Kiểm định thống kê là 20.063, giá trị p<0.001, kết quả này có ý nghĩa về mặt thống kê, (t101=20.063,
p<0.001), nói cách khác, sự khác biệt về điểm trung bình của CBCL-V-CY trên nhóm lâm sàng và nhóm cộng đồng có ý nghĩa về mặt thống kê. Như vậy có thể nói, điểm trung bình của CBCL-V-CY nhóm lâm sàng luôn cao hơn nhóm cộng đồng, và cả hai nhóm có sự tương quan chặt chẽ với nhau.
Trong nghiên cứu “Hiệu quả chẩn đoán của CBCL-CY trong sàng lọc ADHD ở trẻ em Brazil” của Lampert và cộng sự [26], chúng ta thấy điểm trung bình tổng của vấn đề chú ý của nhóm cộng đồng là: M=7.47, độ lệch chuẩn SSD=4.66; nhóm lâm sàng có M= 8.93, SD=4.15 có p<0.001, nghiên cứu cho thấy kết quả điểm trung bình của nhóm lâm sàng cao hơn điểm trung bình của nhóm cộng đồng, trong quá trình kiểm định đều cho kết quả có ý nghĩa về mặt thống kê.
Như vậy, chúng ta thấy có sự tương đồng trong hai nghiên cứu, cả hai đều có điểm trung bình nhóm cộng đồng thấp hơn nhóm lâm sàng và có ý nghĩa về mặt thống kê. Hay nói cách khác, CBCL-V-CY có độ hiệu lực phân biệt là rất cao.
3.3.2. Đánh giá độ hiệu lực hội tụ của CBCL-V
Để đánh giá độ hiệu lực hội tụ của CBCL-V chúng tôi sử dụng phần mềm SPSS để so sánh tương quan giữa kết quả của CBCL-V-CY với VADPRS-ADHD.
Bảng 3.7: Tương quan giữa vấn đề chú ý của CBCL-V với VADPRS
Vấn đề chú ý CBCL-V
ADHD của VADPRS
Chỉ số tương quan (Pearson Correlation)
.720**
Giá trị thống kê .000
Tổng số khách thể 102 Vấn đề tăng động của VADPRS Chỉ số tương quan (Pearson Correlation) .616**
Giá trị thống kê .000
Tổng số khách thể 102
Vấn đề chú ý của VADPRS
Chỉ số tương quan (Pearson Correlation)
.727**
Giá trị thống kê .000
Tổng số khách thể 102
Nhìn vào Bảng 3.7, chúng ta thấy chỉ số tương quan giao động từ 0.616 đến 0.727 và chỉ số p<0.001. Có thể nói vấn đề chú ý của CBCL-V có tương quan rất cao với thang đo các vấn đề ADHD của VADPRS, đây là các tương quan thuận và đều có ý nghĩa về mặt thống kê. Có nghĩa là cả CBCL-V-CY và VADPRS đều có cùng mục đích đo và các vấn đề đo tương tự nhau, nói cách khác là chúng có thể cho kết quả tương đương nhau trên cùng một mẫu đo. Đây chính là độ hiệu lực hội tụ của thang đo. Như vậy có thể nói CBCL-V-CY có độ hiệu lực hội tụ cao trong sàng lọc rối loạn tăng động giảm chú ý.
3.3.3. Đánh giá độ hiệu lực dự đoán của CBCL-V
Chúng tôi sử đã dùng Crosstabs để so sánh các kết quả của cả 3 thang đo với nhau, và được bảng tương quan sau:
Biểu đồ 3.5: Tương quan kết quả của các thang đo
Qua Biểu đồ 3.5, chúng ta thấy:
- Số trẻ không có rối loạn tăng động giảm chú ý được thể hiện qua cả 3 thang đo là 42 trẻ (chiếm 41.2%).
- Số trẻ có vấn đề về rối loạn tăng động giảm chú ý thể hiện trên cả 3 thang đo là 27 (chiếm tỷ lệ là 26.5%).
- Trường hợp ADHD xuất hiện thang đo VADPRS và DISC, nhưng không xuất hiện ở CBCL-V là 1 (chiếm tỷ lệ 1%).
- Tỷ lệ 3.9% là 4 trường hợp CBCL-V và DISC có ADHD nhưng không có ở VADPRS.
- Số trường hợp VADPRS có ADHD, nhưng CBCL-V và DISC không có
ADHD là 20 (chiếm 19.6%).
- CBCL-V và VADPRS có ADHD, còn DISC không có ADHD là 6 trường hợp (chiếm tỷ lệ 5.9%).
- Cuối cùng là trường hợp CBCL-V có ADHD còn VADPRS và DISC không có ADHD là 2 (2%). Không có trường hợp nào được chẩn đoán là có mà cả CBCL-V và VADPRS đều không có biểu hiệu ADHD. Từ kết quả trên, chúng tôi thu được 32 trường hợp được chẩn đoán rối loạn tăng động giảm chú ý. Số lượng trùng nhau giữa CBCL-V và VADPRS là 33 trường hợp. VADPRS xuất hiện trong 28/32 trường hợp được chẩn đoán ADHD. Số lượng cả CBCL-V và VADPRS cùng có trong 27/32 trường hợp được chẩn đoán có ADHD. Trong đó CBCL-V có trong 31/32 trường hợp, chiếm tỷ lệ 96.88% trong số các trường hợp được chẩn đoán ADHD.
Kết quả thu được có 70 trường hợp không được chẩn đoán có ADHD. Trong đó, số trường hợp cả 3 thang đo đều cho kết quả âm tính là 42 trường hợp. Số CBCL-V không có ADHD là 63 và VADPRS không có ADHD là 48, số trường hợp cả CBCL-V và VADPRS không có ADHD là 42.
Bảng 3.8: Tương quan kết quả thang đo CBCL-V-CY và DISC
Kết quả chẩn đoán ADHD bằng DISC Kết quả sàng lọc ADHD của CBCL-V-CY Chỉ số tương quan (Pearson Correlation) .816**
Giá trị thống kê .000
Tổng số khách thể 102
Chúng ta có tương quan giữa kết quả ADHD của CBCL-V-CY và DISC là tương quan thuận, chỉ số tương quan rất cao, r=0.816, p<0.001 và có ý nghĩa về mặt thống kê. Kết quả tương quan này cho thấy rằng cả CBCL-V-CY và DISC đều có cùng một mục đích đo và có kết quả gần giống nhau. Như vậy, có thể nói nếu chúng ta có kết quả của một trong hai thang đo này thì ta có thể dự đoán được kết quả của thang đo còn lại, quan trọng hơn là chúng ta có thể dự đoán được khả năng trẻ có thể mắc bệnh nếu chúng ta có kết quả sàng lọc ADHD từ CBCL-V-CY. Đây chính là độ hiệu lực dự đoán, bởi vì kết
quả liên quan đến những tiêu chuẩn đo lường sau này, điểm ADHD của CBCL-V có thể dự báo được khả năng có ADHD ở đối tượng được sàng lọc.
3.4. Giá trị của CBCL-V trong sàng lọc ADHD
Như chúng tôi đã đề cập trong phần cơ sở lý luận, tiêu chuẩn để có một thang đo sàng lọc tốt đó là phải có độ nhạy cao và mang tính đặc hiệu cao; đồng thời phải có giá trị tiên đoán cao, gồm giá trị tiên đoán dương và giá trị tiên đoán âm. Độ nhạy của CBCL-V: là khả năng thang đo dương tính trên số người bị bệnh, tức là CBCL-V đo dương tính được bao nhiêu trường hợp có chẩn đoán là ADHD. Độ đặc hiệu của CBCL-V: là khả năng thang đo âm tính trên số người không bị bệnh, tức là CBCL-V không có kết quả ADHD trên số trẻ không được chẩn đoán là ADHD. Giá trị tiên đoán dương: khả năng bị bệnh trên những người có kết quả kiểm tra dương tính [11], [34]. Giá trị tiên đoán âm: là khả năng không bị bệnh trên những người có kết quả kiểm tra âm tính. [11], [34].
Để xác định độ nhạy, độ đặc hiệu và giá trị tiên đoán của CBCL-V chúng tôi thực hiện phép thống kê ROC trên SPSS.
Bảng 3.9: Chẩn đoán rối loạn tăng động giảm chú ý
Chẩn đóan ADHD bằng DISC
Tổng
Không ADHD Có ADHD
CBCL-V vấn đề chú ý
Có vấn đề 8 31 39
Không có vấn đề 62 1 63
Biểu đồ 3.6: Đường cong ROC
(AUC = 0.927; 95%CI=0.871-0.984, p<0.001) (Specificity: độ đặc hiệu, Sensitivity: độ nhạy)
Qua Biểu đồ 3.6, ta thấy đường cong nằm bên trái đường chéo, có nghĩa là thang đo có độ nhạy tốt. Bên cạnh đó, chúng ta thấy các đường bên trái đều đi sát gần song song với trục tung (trục độ nhạy – sensitivity), điều này cho thấy độ nhạy của test rất cao. Còn đường chéo trong biểu đồ tạo với trục hoành (trục độ đặc hiệu – specificity) một góc gần với 45°, chứng tỏ độ đặc hiệu của thang đo gần với giá trị 1, thể hiện độ đặc hiệu rất cao.
Qua kết quả nghiên cứu, chúng tôi có số trẻ được chẩn đoán có ADHD là 32 trẻ, trong đó có 31/32 trường hợp mà CBCL-V có kết quả dương tính. Như vậy khả năng CBCL-V dương tính trên tổng số người có chẩn đoán ADHD là 96.88%, đây là một tỷ lệ rất cao, chứng tỏ rằng độ nhạy của CBCL- V trong sàng lọc ADHD là rất cao [34], điều này cũng phù bợp với biểu đồ đường cong ROC.
Bên cạnh đó, trong kết quả nghiên cứu chúng tôi cũng thu được số liệu 70 trẻ không được chẩn đoán là ADHD, số trường hợp CBCL-V không có ADHD là 62. Như vậy khả năng CBCL-V âm tính trên tổng số trẻ không có ADHD là 88.57%, đây là một tỷ lệ rất cao, chứng tỏ rằng CBCL-V có tính đặc hiệu cao trong sàng lọc ADHD [34].
Đồng thời chúng tôi thu được kết quả giá trị dự đoán dương là 79.49%, giá trị dự đoán âm là 98.41%, giá trị dự đoán chung là 88.95% đây cũng là một chỉ số rất cao, nó nói lên rằng CBCL-V có độ hiệu lực dự đoán cao trong sàng lọc ADHD.
Lampert.T.L, cùng các cộng sự trong nghiên cứu “Hiệu quả chẩn đoán của CBCL- APS trong sàng lọc ADHD ở trẻ em Brazil” [26] - cho kết quả AUC=0.79, 95%CI=0.76-0.82, độ nhạy là 83%, độ đặc hiệu là 70%, giá trị dự đoán dương là 68%, giá trị dự đoán âm là 84%, giá trị dự đoán chung là 76%.
Kim.J.W (2005) trong nghiên cứu về khả năng đánh giá ADHD của CBCL và ARS (thang đánh giá ADHD) trong cộng đồng (Hàn Quốc) [25], ông đã đưa ra kết quả là:
Bảng 3.10: Giá trị của CBCL trong sàng lọc ADHD
CBCL Độ nhạy Độ đặc hiệu Giá trị dự đoán dương tính
Giá trị dự đoán âm tính
CBCL-V-CY 0.9688 0.8857 0.7949 0.9841
CBCL-K –CY 0.273 0.462 0.563 0.200
(CBCL-K-CY: vấn đề chú ý của CBCL phiên bản Hàn Quốc)
Dựa vào Bảng 3.10 này chúng ta thấy độ nhạy, độ đặc hiệu và giá trị dự đoán của CBCL-V-CY cao hơn hẳn CBCL-K-CY. Có kết quả này là do nghiên cứu của Kim (2005) làm trên nhóm cộng đồng, với số lượng khách thể lớn (1668 khách thể nghiên cứu), còn kết quả của chúng tôi là do số lượng khách thể ít, và đặc biệt lại làm trực tiếp trên nhóm bệnh nhân – đây là nhóm có nguy cơ mắc bệnh cao nên khiến cho kết quả đạt được cao hơn.
Như vậy CBCL-V hoàn toàn có thể là một công cụ sàng lọc ADHD có độ hiệu lực và độ tin cậy cao.
Tiểu kết chƣơng 3
- Điểm trung bình của các thang đo tương đối cao. Tần xuất xuất hiện trên điểm thô các vấn đề chú ý của nam nhiều hơn nữ. Điều này cũng phù hợp với nhiều nghiên cứu về tỷ lệ giới tính của trẻ có vấn đề về rối loạn tăng động giảm chú ý, tỷ lệ nam cao hơn rất nhiều so với tỷ lệ nữ. - Độ tin cậy của Bảng kiểm hành vi trẻ em Achenbach phiên bản Việt
Nam, phần các vấn đề về chú ý và Thang đo tăng động giảm chú ý Vanderbilt giao động từ 0.693 đến 0.927, chứng tỏ các thang đo đều có độ tin cậy trong sàng lọc rối loạn tăng động giảm chú ý.
- Bảng kiểm hành vi trẻ em Achenbach phiên bản Việt Nam phần các vấn đề về chú ý có độ hiệu lực cao trong sàng lọc rối loạn tăng động giảm chú ý.
- Bảng kiểm hành vi trẻ em Achenbach phiên bản Việt Nam phần các vấn đề về chú ý có độ nhạy và độ đặc hiệu cao, có giá trị dự đoán tốt, đáp ứng được các tiêu chí về một trắc nghiệm sàng lọc.
KẾT LUẬN VÀ KHUYẾN NGHỊ 1. Kết luận
Qua quá trình nghiên cứu lý luận và thực tiễn, chúng tôi rút ra một số kết luận như sau:
(1). Rối loạn tăng động giảm chú ý là một trong những rối loạn tâm thần phổ biến nhất ở trẻ em, nó hiện diện khoảng từ 3%-6% trẻ trong độ tuổi đến trường (Rohde et al., 1999). Đây là một tỷ lệ khá cao, đòi hỏi sự quan tâm nhiều hơn của các nhà chuyên môn và của cả xã hội trong việc sàng lọc phát hiện sớm can thiệp sớm, nhằm giảm đi những hậu quả mà trẻ có ADHD gây ra. Vì vậy, nhu cầu có được công cụ sàng lọc ADHD một cách đơn giản thuận tiện mà lại có độ hiệu lực cao là một việc thiết thực. Do đó chúng tôi đã lựa chọn CBCL-V để kiểm định giá trị của tiểu thang đo vấn đề chú ý trong sàng lọc rối loạn tăng động giảm chú ý.
(2). CBCL-V-CY có hệ số Cronbach Alpha là: 0.742, đây là chỉ số rất cao, chứng tỏ thang đo có độ tin cậy bên trong, có nghĩa là các item trong thang đo này có tương quan chặt chẽ với nhau. Như vậy tiểu thang đo CBCL- V-CY có thể sử dụng để đánh giá rối loạn tăng động giảm chú ý.
+ Độ hiệu lực phân biệt: kết quả thu được p<0.001, có tương quan chặt chẽ với nhau, chứng tỏ độ hiệu lực phân biệt của CBCL-V-CY là rất cao.
+ Độ hiệu lực hội tụ: kết quả thu được là r=0.720, p<0.001, đây là tương quan thuận, có ý nghĩa về mặt thống kê.
+ Độ hiệu lực dự đoán: kết quả thu được: r=0.816, p<0.001, đây là tương quan thuận và có ý nghĩa về mặt thống kê. Kết quả tương quan này cho thấy rằng cả CBCL-V-CY và DISC đều có cùng một mục đích đo và có kết quả gần giống nhau.
+ Giá trị của Bảng kiểm hành vi trẻ em Achenbach phiên bản Việt Nam phầncaác vấn đề về chú ý: chúng tôi sử dụng ROC trong SPSS để đánh giá độ nhạy, độ đặc hiệu và giá trị dự đoán của CBCL-V-CY. Kết quả: độ nhạy là
96.88%, độ đặc hiệu là 88.57%, giá trị dự đoán âm tính là 98.41%, giá trị dự đoán dương là 79.49%, giá trị dự đoán chung là 88.95%. AUC=0.927, 95%CI= 0.871- 0.984, p<0.001, tất cả các chỉ số này đều rất cao cho thấy rằng độ hiệu lực dự đoán của CBCL-V là rất cao.
Như vậy, Bảng kiểm hành vi trẻ em Achenbach - phiên bản Việt Nam (CBCL-V) đáp ứng đầy đủ các tiêu chí tâm trắc về một trắc nghiệm sàng lọc, CBCL-V-CY có độ tin cậy và độ hiệu lực cao, có độ nhạy và độ đặc hiệu tốt, giá