ỨNG DỤNG ĐƯỜNG CONG ROC TRONG NGHIÊN CỨU Y HỌC 25.1 Khái niệm về đường cong ROC Từ ROC (Receiver Operating Characteristic) bắt nguồn từ một phần của lĩnh vực được gọi là thuyết phát hiện tín hiệu (Signal Detection Theory). Từ các tín hiệu nhận được, máy sẽ phân tích và vẽ đường cong ROC, để phân biệt tín hiệu của máy bay địch và tín hiệu nhiễu (noise) trong thế chiến thứ hai. Từ sau những năm 1970, thuyết phát hiện tín hiệu này được dùng để diễn dịch kết quả các test trong chẩn đoán y học. Mỗi điểm trên đường cong ROC là tọa độ tương ứng với tần suất dương tính thật (độ nhạy) trên trục tung và tần suất dương tính giả (1độ đặc hiệu) trên trục hoành. Đường biểu diễn càng lệch về phía bên trên và bên trái thì sự phân biệt giữa 2 trạng thái (ví dụ có bệnh hoặc không bệnh) càng
Hướng dẫn phân tích Đường cong R.O.C chẩn đốn sử dụng Medcalc, SPSS R 19/08/2015 Kiến thức Nghiên cứu khoa học 4,623 Lượt xem http://www.bomonnhiydhue.edu.vn/huong-dan-phan-tic-duong-cong-r-o-c-trong-chan-doan-su-dung-r/ Phân tích đường biểu diễn R.O.C nghiên cứu y học sử dụng Medcalc PGS TS Lê Đình Vấn Một học viên cao học nghiên cứu nồng độ α feto protein máu bệnh nhân bị ung thư gan bệnh gan khác (xơ gan…)với kết sau Nhóm bệnh (1: ung thư, α feto 0: không protein ung thư) Nhóm bệnh (1: ung thư, α feto 0: khơng protein ung thư) Nhóm bệnh (1: ung thư, α feto 0: không protein ung thư) 209.5 720 40 397 185 145 295 2220 95 506.5 815 370 1114.5 545 430 276 470 140 408 675 205 2340 1615 170 279 420 114.5 182 715 67.5 1615 1575 72 605 485 295 112.5 1705 320 322 180 170 114 1445 420 1282.5 835 330 624.5 175 75 243 230 55 171 745 190 165 1860 230 485 1775 85 215.5 565 210 2181 753 100 745 650 225 1820 105 355 350 620 329 305 1570 310 810 1010 354.5 730 1225 109 305 170 80 580 80 183 425 148.5 325 525 30.5 150 1290 11 198 810 171 322 385 47.5 160 640 185 290 215 55 125 385 45 120 605 615 315 1465 155 310 590 365 210 1680 0 140 460 0 0 1085 315 455 510 395 10 570 185 195 430 310 545 130 480 255 410 800 145 35 210 210 Từ kết xét nghiệm trên, học viên đưa ngưỡng kết luận dương tính bệnh ung thư gan dựa vào α feto protein 365/ml 325/ml có kết cụ thể sau Chọn ngưỡng kết luận dương tính Khi α feto protein ≥ 365 Đối tượng Không ung thư CRP Ung thư Tổng Dương 57 66 Âm 65 25 90 82 156 Tổng 74 Độ nhạy (Se) = 57/82 = 69,5%Độ đặc hiệu (Sp) = 65/74 = 87,8% Chọn ngưỡng kết luận dương tính α feto protein ≥ 325 Đối tượng Tổng Không ung thư Ung thư CRP Dương 14 58 72 Âm 60 24 84 82 156 Tổng 74 Độ nhạy (Se) = 58/82= 70,7%Độ đặc hiệu (Sp) = 60/74 = 81,1% Từ kết hai bảng cho thấy ngưỡng kết luận α feto protein ≥ 365 chẩn đoán (dương thật) 57 trường hợp 82 người bị bệnh chẩn đoán lầm người xét nghiệm dương tính 74 người lành, với ngưỡng kết luận α feto protein ≥ 325 độ nhạy có tăng lên chút khả chẩn đoán lầm tăng lên nhiều 14 người Như tăng ngưỡng kết luận dương tính lớn độ nhạy giảm độ đặc hiệu tăng ngược lại Trong ví dụ trên, rõ ràng chọn ngưỡng α feto protein ≥ 365 tốt α feto protein ≥ 325 ( Se = 69, 5% Sp = 87,8% so cới Se = 70,7% Sp = 81,1%) Tuy nhiên vấn đề đặt chọn ngưỡng α feto protein = 385 hay α feto protein ≥ 35 5, hay ngưỡng khác nữa…thì độ nhạy độ đặc hiệu ngưỡng nào? Vấn đề đặt lấy ngưỡng chấp nhận Đây vấn đề mà người nghiên cứu phải giải Biện pháp tốt để chọn ngưỡng kết luận dựa vào phân tích đường biểu diễn R.O.C Trong nghiên cứu y học, có nhiều loại xét nghiệm mà kết số thực hay nói cách khác biến số định lượng nghiên cứu ví dụ nồng độ glucose máu, nồng độ CRP nhồi máu tim, CE 125, Ca 19 -9…các giá trị tập hợp bệnh nhân chuỗi số, ngưỡng kết luận dương tính biến số tốt bao nhiêu? Nếu ngưỡng q cao dễ bỏ sót ngường bị bệnh lại chẩn đốn lầm, thấp q ngược lại Giải câu hỏi cần phải sử dụng R.O.C curve analyse R.O.C chữ viết tắt receiver operator characteristic, phương pháp phân tích nhà quân nghiên cứu đưa vào chiến Sau Trận Trân Châu Cảng, huy Hải quân Mỹ tiến hành biện pháp nghiên cứu khả phát thăm dò radar, để báo động cho tốt nhất, không báo động sớm lãng phí, khơng trể q nguy hiểm Sau phân tích R.O.C curve ứng dụng nhiều lĩnh vực dân sự, đặc biệt thương y học Đường biểu diễn R.O.C đường biểu diễn điểm có tọa độ tương ứng x = dương tính giả y độ nhạy hay dương thật xét nghiệm ngưỡng kết luận từ thấp đến cao Từ ví dụ trên, độ nhạy tỷ lệ dương tính giả ngưỡng kết luận tùy ý Độ Ngưỡng nhạy kết luận (Se) Tỷ lệ dương Ngưỡng Độ tính giả kết luận nhạy (Se) ( – Sp) Tỷ lệ dương Ngưỡng Độ tính giả kết luận nhạy (Se) ( – Sp) 1 196.5 0.854 0.432 535 0.512 0.041 2.5 0.959 201.5 0.854 0.419 555 0.5 7.5 0.919 207.5 0.854 0.405 567.5 0.488 0.027 10.5 0.905 212.5 0.841 0.351 575 0.488 0.014 21 0.892 215.5 0.829 0.351 585 0.476 0.014 33 0.878 220.5 0.817 0.351 597.5 0.463 0.014 37.5 0.865 227.5 0.817 0.338 610 0.439 0.014 42.5 0.851 236.5 0.805 0.324 617.5 0.439 46.5 0.838 249 0.793 0.324 622.5 0.427 51.5 0.824 265.5 0.793 0.311 632.5 0.415 61.5 0.797 277.5 0.78 645 0.402 70 0.784 284.5 0.768 0.311 662.5 0.39 73.5 0.77 292.5 0.768 0.297 695 0.378 77.5 0.757 300 0.756 0.284 717.5 0.366 0.311 Tỷ lệ dương tính giả ( – Sp) 0.027 82.5 0.988 0.743 307.5 0.732 0.284 725 0.354 90 0.988 0.73 312.5 0.72 0.257 737.5 0.341 97.5 0.988 0.716 317.5 0.72 0.23 749 0.317 102.5 0.988 0.703 321 0.72 0.216 776.5 0.305 107 0.976 0.703 323.5 0.707 0.203 805 0.293 111 0.976 0.689 327 0.707 0.189 812.5 0.268 113.5 0.963 0.689 329.5 0.707 0.176 825 0.256 114.5 0.951 0.689 340 0.707 0.162 922.5 0.244 117.5 0.951 0.676 352.5 0.695 0.162 1047.5 0.232 122.5 0.951 0.662 360 0.695 0.135 1100 0.22 127.5 0.951 0.649 367.5 0.695 0.122 1170 0.207 135 0.951 0.635 377.5 0.695 0.108 1254 0.195 142.5 0.951 0.608 390 0.671 0.108 1286.5 0.183 147 0.951 0.581 396 0.659 0.108 1367.5 0.171 149.5 0.951 0.568 402.5 0.646 0.108 1455 0.159 152.5 0.951 0.554 409 0.634 0.108 1517.5 0.146 157.5 0.951 0.541 415 0.634 0.095 1572.5 0.134 162.5 0.951 0.527 422.5 0.622 0.081 1595 0.122 167.5 0.939 0.527 427.5 0.61 0.081 1647.5 0.098 170.5 0.927 0.5 442.5 0.61 0.054 1692.5 0.085 173 0.915 0.486 457.5 0.598 0.054 1740 0.073 177.5 0.902 0.486 465 0.585 0.054 1797.5 0.061 181 0.89 475 0.573 0.054 1840 0.049 182.5 0.878 0.486 482.5 0.561 0.054 2020.5 0.037 184 0.878 0.473 496 0.537 0.054 2200.5 0.024 187.5 0.854 0.459 508.5 0.524 0.054 2280 0.012 192.5 0.854 0.446 517.5 0.524 0.041 2341 0.486 0 Bảng có 123 ngưỡng kết luận α feto protein từ đến 2341 Đường biểu diễn tọa độ điểm theo Se – Sp vẽ hình sau R.O.C curve Các nhà thống kê học nghiên cứu đưa kết luận ngưỡng kết luận tốt ngưỡng tọa độ ngưỡng nằm điểm uốn đường biễu diễn (điểm thường ngang mức giao điểm đường biễu diễn đường chéo nối góc trái đến góc phải hình vng đường đối xứng qua trục đường chéo trên) Nếu không đối xứng đo biểu đồ tham khảo bảng kết bảng Từ biểu đồ thấy điểm uốn nằm khoảng điểm có tọa độ trục tung từ 67% đến 72% Tham khảo bảng thấy mức mức tốt nằm khoảng 377.5 ( Se = 69,5% 1- Sp = 10,8% (sp = 89,2%) Ở ví dụ số lượng mẫu 156, dù tính tốn thủ cơng, nhiều thời gian, n > 1000 thời gian nhiều May thay phần mềm vi tính phổ biến có phần mềm Medcalc SPSS có cho phép phân tích R.O.C curve, nên cơng việc cần vòng 10-15 phút Đặc biệt phần mềm Medcalc cho biết giá trị tốt ngưỡng kết luận Cách sử dụng phần mềm Medcalc để phân tích R.O.C curve Chạy chương trình có hình medcalc sau: Hình 1: Màn hình chưa có liệu Nhập liệu vào hình 2: Hình 2: Màn hình saiu nhập liệu Thao tác sau có hộp thoại (Hình 3) Statistics/ROC curves /ROC curve analysis Hình Nhập tên variable vào textbox variable classification variable ta có hộp thoại hình Hình Nhấp nút OK có ba hình 5, hình hình – Hình : đường biễu diễn ROC – Hình : tổ chức đồ tọa độ so với ngưỡng kết luận – Hình : hình mơ tả kết cụ thể Hình HÌnh Hình Các kết hình cần ý chi tiết sau: – Area under the ROC curve = 0.855 Standard error = 0.030 95% Confidence interval = 0.790 to 0.906 Area under the ROC curve (AUC): diện tích nằm đường biểu diễn (chương trình tính sẵn) cho biết mức độ hiệu xét nghiệm Tùy theo diện tích mà hiệu sau: • 0.90-1.00 = Tốt (excellent) • 0.80-0.90 = Khá (good) • 0.70-0.80 = Trung bình (fair) • 0.60-0.70 = Ít (poor) • < 0.60 > 370 * = Vơ ích (worthless ) 69.5 ( 58.4- 79.2) 89.2 ( 79.8- 95.2) 6.43 0.34 370 ngưỡng kết luận tốt nên chọn (tuy nhiên ngưỡng thêm bớt tùy mục đích xử dụng thử nghiệm: tầm sốt hay chẩn đốn)./ **Mục đích trình bày việc xác định ngưỡng kết luận, Phân tích ROC curve xử dụng xác định thêm AUC, So sánh test, xác định dự đốn dương tính âm tính đề nghị quý bạn tự nghiên cứu Ngồi phần mềm Medcalc, cịn có phần mềm SPSS xử dụng để Phân tích ROC curve Tài liệu tham khảo Tom Fawcett (2005) An introduction to ROC analysis Institute for the Study of Learning and Expertise, 2164 Staunton Court, Palo Alto, CA 94306, USA Available online 19 December 2005 David F Penson (2006) Clinical Research Methods for Surgeons.© 2006 Humana Press Inc Dawson, Beth; Trapp, Robert G (2004) Basic & Clinical Biostatistics, 4th Edition Copyright ©2004 McGraw-Hill R B D’Agostino (2004) Tutorials in Biostatistics, Volume 1: Statistical Methods in Clinical Studies Edited by Boston University, USA Copyright © 2004 John Wiley & Sons Ltd Alvan R Feinstein (2002) Principles of Medical Statistics Copyright ©2002 by Chapman & Hall/CRC Cách s d ụng ph ần m ềm SPSS để phân tích R.O.C curve Nguyễn Hữu Châu Đức Sử dụng ví dụ viết trên, áp dụng spss sau: Bước 1: Mở phần mềm SPSS/Analyze/ROC Curve Bước 2: – Chuyển biến OUTCOME sang ô State Variable; chọn Value of State Variable = – Chuyển biến cần đánh giá, biến alpha Feto, sang ô Test Variable – Chọn Display hình bên – Nhấn OK Bước 3: Phân tích kết qủa: – Area: 0.855 cho thấy mức hiệu test Khá (good) – Xác định ngưỡng giá trị chẩn đoán dựa vào Điểm uốn đường biễu diễn (điểm thường ngang mức giao điểm đường biễu diễn đường chéo nối góc trái đến góc phải hình vng đường đối xứng qua trục đường chéo trên) Trên biểu đồ cho thấy điểm uốn có vị trí (0.27; 0.72) Bước 4: Tham khảo bảng Coordinates of the Curve để tìm giá trị thích hợp: – Ta xác định điểm uốn bước (0.27; 0.72): tức giá trị cần tìm có Sensitivity # 0.72 1- Specificity # 0.27 – Tìm bảng Coordinates of the Curve ta thấy : mức mức tốt nằm khoảng 377.5 ( Se = 69,5% 1- Sp = 10,8% (sp = 89,2%) (tuy nhiên ngưỡng thêm bớt tùy mục đích xử dụng thử nghiệm: tầm soát hay chẩn đoán) ... luận, Phân tích ROC curve xử dụng xác định thêm AUC, So sánh test, xác định dự đốn dương tính âm tính đề nghị quý bạn tự nghiên cứu Ngồi phần mềm Medcalc, cịn có phần mềm SPSS xử dụng để Phân tích. .. 3: Phân tích kết qủa: – Area: 0.855 cho thấy mức hiệu test Khá (good) – Xác định ngưỡng giá trị chẩn đoán dựa vào Điểm uốn đường biễu diễn (điểm thường ngang mức giao điểm đường biễu diễn đường. .. SPSS có cho phép phân tích R.O.C curve, nên cơng việc cần vòng 10-15 phút Đặc biệt phần mềm Medcalc cho biết giá trị tốt ngưỡng kết luận Cách sử dụng phần mềm Medcalc để phân tích R.O.C curve