Tài liệu hướng dẫn thống kê y học sử dụng SPSS - BIỂU ĐỒ ROC, KHẢO SÁT TESH CHẨN ĐOÁN

Khái niệm biomarker rất rộng, nó có thể là một thang điểm trong chẩn đoán hình ảnh, dấu hiệu giải phẫu bệnh lý, nồng độ một protein hay kháng thể trong máu, dấu hịệu sinh lý, số lượng tế

Tài liệu hướng dẫn thống kê y học sử dụng SPSS

SPSS

Biểu đồ ROC: khảo sát test chẩn đoán

Lê Đông Nhật Nam

giống ưu tú nhất có tiềm năng trở thành bác sĩ sau này Như mọi quy trình sàng lọc khác, kết quả trúng tuyển dựa hoàn toàn vào 1 giá trị ngưỡng là điểm chuẩn Cánh cửa vào trường Y khoa thường hẹp với đa số thí sinh, có nhiều bạn bè tôi thi đến lần thứ 3 mới đỗ Thời của tôi sau khi thi xong khó

có học sinh nào ăn ngon ngủ yên ngay cả khi họ làm bài tốt, chúng tôi trông chờ điểm chuẩn như một bản án mà quan tòa phán ra, ai sẽ lên thiên đường và ai sẽ vào hỏa ngục Có một câu chuyện buồn

về một cô bạn của tôi, khi công bố điểm chuẩn cô ta chỉ thiếu 0,5 điểm và bị đánh trượt Cô ấy tuyệt vọng, bị gia đình đánh đập và thậm chí nghĩ đến chuyện tự sát Nhưng chỉ vài ngày sau, người ta nâng điểm chuẩn lên 1 điểm để lấy thêm chỉ tiêu Và cô ta đã trúng tuyển (Cô bạn ấy sau này trở thành một bác sĩ giỏi)

Trên lâm sàng, đôi khi chúng ta phải đắn đo rất lâu trước một quyết định chẩn đoán Nhiều lúc, ta đối chiếu kết quả xét nghiệm với một ngưỡng giá trị mong manh mà dựa vào nó một người có thể được xem là bình thường hay bệnh lý

Một điều thú vị là bác sĩ tại VN ngày càng chủ động hơn khi tham gia vào nghiên cứu giá trị chẩn đoán của các biomarker (dấu chỉ sinh học) Có lẽ sự phát triển về trang thiết bị tại bệnh viện là nguyên nhân chính Khái niệm biomarker rất rộng, nó có thể là một thang điểm trong chẩn đoán hình ảnh, dấu hiệu giải phẫu bệnh lý, nồng độ một protein hay kháng thể trong máu, dấu hịệu sinh

lý, số lượng tế bào viêm, vân vân…Nghiên cứu về biomarker vừa dễ, vừa khó Dễ dàng ở khâu thu thập số liệu (bệnh nhân đông, kết quả xét nghiệm có sẵn và phong phú), việc tạo ra đề tài mới cũng

dễ dàng vì chỉ cần có trong tay 1 thiết bị xét nghiệm mới, một biomarker mới là có thể đẻ ra một đề tài nghiên cứu nào đó cho luận văn tốt nghiệp, nội trú, cao học hay nghiên cứu sinh Thậm chí 1 người cũng có thể tự mình làm nghiên cứu loại này Nhưng nghiên cứu về biomarker lại khó trong việc phân tích số liệu, diễn giải kết quả Với thiết kế mô tả, case control, ta chỉ cần so sánh giữa nhóm bệnh và nhóm chứng để tìm sự tăng, giảm … là đủ; nhưng khi đi sâu vào khảo sát giá trị chẩn đoán, so sánh nhiều biomarker với nhau, có thể phải dùng tới biểu đồ ROC; có nhiều bạn sử dụng phương pháp này nhưng ít người khai thác hết thông tin mà nó mang lại và xử lý thống kê chính xác, đến nơi đến chốn Mặt khác, SPSS là phần mềm thống kê chưa hoàn hảo, nó cho phép vẽ đường cong ROC, tính AUC nhưng không cho phép phân tích sâu…

Vì thế, trong tài liệu này Bs Khả Nhi sẽ hướng dẫn các bạn khai thác tối đa thông tin về đường cong ROC, bao gồm 3 bước :

- Vẽ đường cong ROC và tính diện tích dưới đường cong AUC bằng SPSS

- Xác định điểm cắt tối ưu cho chẩn đoán dựa vào Youden Index J và khoảng cách tối thiểu d

- So sánh 2 AUC khác nhau bằng Phương pháp Hanley-McNeil

Tài liệu được trình bày theo hình thức đơn giản đến mức tối đa để các bạn có thể sử dụng ngay

Quy ước trình bày

Trong tài liệu này chúng ta sẽ làm quen với 3 nhân vật

Bác sĩ Nguyễn Văn Thái

Bác sĩ Thái là một cao thủ thống kê y học trên giang hồ Anh ta sẽ xuất hiện trước mọi vấn đề khó khăn, nhằm đưa ra câu trả lời chính xác và

ôn lại cho bạn những kiến thức cơ bản cũng như chuyên sâu về lý thuyết thống kê Tuy nhiên BS Thái lại rất bận rộn nên không đủ thời gian đi vào cách thực hiện chi tiết Anh ta cũng hay trình bày lý thuyết thuần túy và sử dụng nhiều công thức toán học nên không mấy gần gũi với sinh viên và gây không ít trở ngại cho các bạn vốn dị ứng với thống

kê …

Bác sĩ Lê Ngọc Khả Nhi

Khả Nhi là một nữ bác sĩ trẻ dễ thương và sử dụng thành thạo SPSS Như tên gọi của mình, BS Nhi có tính cách rất hồn nhiên và sống ngây thơ như trẻ con, vì vậy cô luôn có khuynh hướng đơn giản hóa tối đa mọi vấn đề Cô ấy sẽ hướng dẫn các bạn sử dụng SPSS từng bước cụ thể, chia sẻ những mẹo vặt, thủ thuật để giúp các bạn đi đến kết quả nhanh và dễ dàng nhất

Sinh viên Trần Quốc Bảo

Bảo là sinh viên y khoa năm thứ sáu và bắt đầu làm quen với nghiên cứu khoa học Đây là một cậu sinh viên rất tò mò và luôn đặt ra nhiều câu hỏi liên quan đến thống kê Mặc dù những đế tài do Bảo thực hiện rất đơn giản, nhưng đồng hành với cậu ta, các bạn có cơ hội tích lũy cho mình nhiều kinh nghiệm trong công việc phân tích

số liệu và thiết kế nghiên cứu

3

Trong bệnh lý xơ cứng bì hệ thống (systemic sclerosis), tổn thương xơ phổi rất phổ biến Dấu hiệu sớm nhất là hiện tượng viêm trong phế nang Hiện tượng viêm phế nang được chẩn đoán xác định bằng sự tăng các loại tế bào viêm trong dịch rửa phế quản, tuy nhiên đây là một xét nghiệm xâm lấn Một cách khác để phát hiện viêm phế nang là dựa trên sự tăng nồng độ của Surfactant protein D (SPD) trong máu (định lượng bằng ELISA) Có nhiều nghiên cứu đã được làm để xác định ngưỡng giá trị SPD cho phép chẩn đoán viêm phế nang

Mới đây, người ta phát hiện rằng nồng độ khí monoxit nitơ (NO) nội sinh trong hơi thở cũng có thể được sử dụng như biomarker của hiện tượng viêm đường dẫn khí Sử dụng một mô hình toán học đặc biệt, ta có thể tính được nồng độ NO đến từ phế nang, gọi là CANO

Một bác sĩ muốn khảo sát khả năng chẩn đoán viêm phế nang của 2 loại biomarker: (1) Surfactant protein D (SPD) trong máu và (2) nồng độ NO phế nang (CANO) Người ta đo 2 loại biomarker này trên 60 bệnh nhân xơ cứng

bì hệ thống Hiện tượng viêm phế nang được xác định trên 40 trường hợp

CANO

Tế bào viêm

NO phế nang Surfactant pro-D

Viêm phế nang

Câu hỏi nghiên cứu của Bảo:

1) Đánh giá khả năng chẩn đoán viêm phế nang của 2 loại biomarker: SPD (sinh hóa) và CANO (khí thở ra)

2) Trong 2 loại, xét nghiệm nào tốt hơn ?

Câu hỏi thứ nhất có thể trả lời bằng cách sử dụng biểu đồ ROC

Biểu đồ ROC hay còn gọi là đường cong ROC (Receiver operating characteristic) Đây là một phương pháp khảo sát liên hệ giữa độ nhạy và độ đặc hiệu của một xét nghiệm Lợi ích của xét nghiệm có thể được kiểm định bằng cách so sánh diện tích dưới đường cong ROC (AUC) với giá trị 0,5

Câu hỏi thứ 2 đặt ra vấn đề so sánh giá trị AUC giữa 2 đường cong ROC khác nhau Để làm việc này, ta sẽ sử dụng phương pháp của Hanley-McNeil (1987)

1 1.2 Giới thiệu

Trong nghiên cứu y học, biểu đồ ROC là một phương pháp phân tích trực quan cho liên hệ giữa độ nhạy và tỉ lệ dương tính giả trong một test chẩn đoán, dựa trên những ngưỡng giá trị chẩn đoán khác nhau Phương pháp này được lập ra bởi những kỹ thuật viên radar trong thế chiến thứ II để phân biệt tín hiệu thật và giả (nhiễu) quyết định độ chính xác của việc phát hiện ra máy bay của địch

Trong thực hành lâm sàng, một test chẩn đoán có thể hiểu như 1 quy trình phân loại mang tính nhị phân, nhằm xác định một cá thể Có hoặc không có bệnh Thông thường kết quả phân loại phụ thuộc vào 1 đại lượng với 1 giá trị ngưỡng chẩn đoán xac định Giá trị của ngưỡng chẩn đoán cao hay thấp sẽ quyết định tỉ lệ dương tính (âm tính) thật/giả trong 1 quần thể xác định

Thực chất đường cong ROC chỉ là một trò chơi

về xác suất, bằng cách biểu diễn mối tương quan giữa 2 đại lượng: Độ nhạy, hay xác suất chẩn đoán chính xác có bệnh (dương tính thật trên tổng số bệnh nhân), và (1- độ đặc hiệu), hay xác suất chẩn đoán nhầm (một người không có bệnh bị chẩn đoán dương tính) Khi chẩn đoán dựa trên giá trị của một biến số định lượng liên tục, việc di chuyển ngưỡng chẩn đoán và chọn đúng điểm cắt sẽ giúp giảm

tỉ lệ chẩn đoán nhầm (FP) đến mức thấp nhất đồng thời tăng độ nhạy lên cao nhất

Biểu đồ ROC được đặc trưng bởi diện tích dưới

đường cong hay AUC AUC có thể nằm trong

khoảng 0 đến +1, và thông thường ta dùng

ngưỡng 0,5 để đánh giá độ mạnh của test chẩn

đoán dựa vào AUC AUC càng gần 0,5 thì phương

pháp chẩn đoán càng kém giá trị, AUC càng gần 1

thì test chẩn đoán càng tốt, testhoàn hảo sẽ có

AUC = 1 Phân loại giá trị test chẩn đoán theo

AUC như sau:

AUC = 0,9-1 : Rất tốt, 0,8-0,9 : Tốt; 0,7-0,8 : Trung

bình; 0,6-0,7: Kém; 0,5-0,6: Vô giá trị

𝑲𝒉𝒐ả𝒏𝒈 𝒄á𝒄𝒉 𝒅 = (𝟏 − 𝑺𝒆)𝟐 +(𝟏 − 𝑺𝒑𝒆)𝟐

Hệ số J của Youden: J = (Se + Sp)− 1

Điểm cắt tối ưu

Việc xác định điểm cắt tối ưu tùy thuộc vào 2 quan điểm

(1) Mục đích chẩn đoán: Nếu test chẩn đoán có

mục đích xác định bệnh thì ta quan tâm nhiều đến độ đặc hiệu, trong khi test sàng lọc thì ta quan tâm đến độ nhạy nhiều hơn

(2) Thống kê học thuần túy:

Một điểm cắt tối ưu có thể được xác định bằng phương pháp toán học, có 2 tiêu chuẩn thường dùng nhất là:

a) Hệ số J của Youden (Youden index) lớn nhất b) Khoảng cách d từ điểm cắt tới đỉnh cao nhất trục tung có giá trị nhỏ nhất

Phân tích biểu đồ ROC có nhiều ứng dụng như

1) Khảo sát phẩm chất của một 1 đại lượng X có thể dùng để chẩn đoán một bệnh lý F Trong trường hợp này ta cần có: giá trị của X cho mỗi cá thể, và kết quả chẩn đoán của cá thể đó (F=0: không có bệnh, F=1: có bệnh) dựa vào 1 tiêu chuẩn quy ước có sẵn

Nội dung của quy trình sẽ là:

+ Dựng biểu đồ ROC cho quần thể đang khảo sát Xác định AUC và so sánh nó với ngưỡng 0,5

+ Khảo sát tất cả các khả năng có thể của giá trị độ nhạy và độ đặc hiệu tương ứng cho 1 điểm cắt X,

và xác định điểm cắt tối ưu

2) So sánh khả năng của 2 test chẩn đoán dựa vào AUC:

Lúc này bài toán đặt ra sẽ là so sánh AUC(A) của phương pháp A và AUC(B) của phương pháp B

Cách giải quyết thường dựa vào trị số U theo Mann-Whitney, vì theo lý thuyết AUC có liên hệ rất gần với phân phối U trong test Mann-Whitney, theo công thức:

𝑛1𝑛2Trong tài liệu này tác giả hướng dẫn thực hiện thủ công phương pháp Hanley-McNeil (1982) vốn không được SPSS hỗ trợ Chỉ có Medcalc và XLSTAT cho phép so sánh AUC một cách tự động

Nồng độ khí NO phế nang (CANO )là một biến số định lượng kiểu liên tục, giá trị bình thường của CANO trong khoảng từ 2 – 5 nL/L (hay ppb)

Nồng độ Surfactant protein D là biến số định lượng kiểu liên tục, giá trị bình thường của nó trong khoảng 50-100 ng/mL

Viêm phế nang là biến số định tính nhị phân với 2 giá trị: 0 = không viêm; 1= có viêm

2 Qui tắc dán nhãn cho biến số

3

Nhập số liệu vào bảng

1 Thiết lập biến số

4

Bạn nhập giá trị 0/1 vào biến Viemphenang, nhưng SPSS

sẽ gán cho con số giá trị phân loại tương ứng mà bạn đã xác định ở bước 2 Sau đó chỉ cần kích hoạt chức năng hiển thị nhãn giá trị, bảng số liệu của bạn sẽ trở nên rõ ràng như hình trên

2.2.1 Thiết lập cấu hình cho đường cong ROC

1

2

Nhấn tab Analyze, chọn mục ROC curve để mở hộp thoại sau đây:

Kéo biến số Viemphenang vào ô State variable

Kéo 2 biến số định lượng NO phế nang và Surfactant Pro D vào ô Test variable

Chọn tất cả các mục trong phần « Display », sau đó nhấn OK

2.2 Vẽ đường cong ROC và tính AUC

2

Trong bảng kết quả, đường cong ROC đã được vẽ ra Tuy nhiên đây là hình vẽ thô sơ, không thể đưa ngay vào văn bản khoa học

x2

Nhấp chuột 2 lần vào hình vẽ để mở cửa sổ chỉnh sửa hiệu ứng đồ họa

x2 2

Khi bạn click chuột vào một thành phần nào đó,

ví dụ màu nền, hộp thoại Properties sẽ mở ra

3

Trước hết, bỏ màu nền cho đồ thị để có nền màu trắng trong suốt

Chọn màu nền

2.2.2 Chỉnh sửa hiệu ứng đồ họa

2.2 Vẽ đường cong ROC và tính AUC

2

7

8

9

Sau đó, nhấn tab Interpolation line để chọn kiểu hiển thị cho đường cong ROC:

Có 2 kiểu hiển thị phổ biến là:

Step: bậc thang liên tục nhảy từ nấc giá trị Y (độ nhạy) thấp sang giá trị cao hơn

Spline : Áp dụng tính năng hiệu chỉnh để làm đường cong trở nên mượt mà hơn

Nếu bạn muốn giữ sự chính xác thì dùng Step, còn nếu bạn muốn có đường cong đẹp, trơn tru thì dùng Spline

Kiểu « Spline » Kiểu « Step »

2.2.2 Chỉnh sửa hiệu ứng đồ họa

2.2 Vẽ đường cong ROC và tính AUC

2

Case Processing Summary

Viêm phế nang

Valid N (listwise)

Larger values of the test result

variable(s) indicate stronger

evidence for a positive actual

state

a The positive actual state is

Test Result Variable(s) Area Std Error a

Asymptotic Sig b

Asymptotic 95% Confidence

Interval Lower Bound Upper Bound

Surfactant Pro D (ng/ml) ,749 ,062 ,002 ,627 ,870

The test result variable(s): NO phế nang (ppb), Surfactant Pro D (ng/ml) has at least one tie

between the positive actual state group and the negative actual state group Statistics may be

biased

a Under the nonparametric assumption

b Null hypothesis: true area = 0.5

Diện tích dưới

đường cong (AUC)

AUC = 0,9-1 : Rất tốt, 0,8-0,9 : Tốt; 0,7-0,8 : Trung bình; 0,6-0,7: Kém; 0,5-0,6: Vô giá trị

Thứ hai là giá trị p của kiểm định so sánh., với giả thuyết 0 là AUC = 0,5 p<0,05 chứng tỏ AUC

có khác biệt ý nghĩa so với ngưỡng 0,5

Coordinates of the Curve

Test Result Variable(s)

Positive if Greater Than or Equal To a

Sensitivity 1 - Specificity

NO phế nang (ppb) 1,5000 1,000 1,000

2,5500 1,000 ,950 2,7500 1,000 ,900 3,0000 1,000 ,850 3,1500 1,000 ,800 3,3500 ,975 ,800 3,6000 ,950 ,750 3,7500 ,950 ,700 3,9000 ,950 ,650 4,0500 ,950 ,600 4,2000 ,950 ,550 4,4500 ,925 ,500 4,8000 ,925 ,450 5,0500 ,875 ,400 5,1500 ,875 ,350 5,3000 ,875 ,300 5,5500 ,875 ,250 5,8500 ,875 ,200 6,1000 ,850 ,200 6,3500 ,825 ,150 6,6500 ,800 ,150 6,9000 ,775 ,150 7,1000 ,750 ,150 7,3500 ,725 ,150 7,7500 ,700 ,100 8,1000 ,675 ,100 8,2500 ,675 ,050 8,4000 ,650 ,050 8,8500 ,625 ,050 9,3500 ,600 ,050 9,5050 ,600 ,000 9,6150 ,575 ,000

Tên biến số khảo sát

Giá trị của điểm cắt chẩn đoán

Độ nhạy tương ứng với mỗi điểm cắt

(1-Độ đặc hiệu) tương ứng với mỗi điểm cắt

Cuối cùng là bảng phân tích chi tiết các điểm cắt bao gồm giá trị điểm cắt, độ nhạy và (1-Độ đặc hiệu) cho từng điểm

Bảng này sẽ giúp chúng ta lựa chọn điểm cắt tối ưu, tuy nhiên đây chỉ là số liệu thô và khó diễn giải Trong phần tiếp theo tôi sẽ hướng dẫn các bạn khai thác số liệu trong bảng này trên phần mềm Excel

3 Diễn giải kết quả

3.2 Khai thác thông tin từ bảng mô tả điểm cắt

3

Test Result Variable(s)

2) Sau đó bạn quay trở lại bảng kết quả Cut-off point trong SPSS,

3) cắt toàn bộ kết quả của 3 cột : Cut-off value, Sensitivity và Specificity và dán qua bảng Excel

4) Dùng chức năng xếp thứ tự của Excel:

Đầu tiên, chọn toàn bộ cột Youden Index J, xếp thứ tự từ cao đến thấp : Bạn ghi lại 3 điểm cắt đầu tiên (có giá trị J cao nhất)

Sau đó, bạn chọn toàn bộ cột « khoảng cách d », rồi xếp thứ tự từ thấp đến cao, bạn cũng ghi lại 3 điểm cắt đầu tiên có giá trị d thấp nhất

Điểm cắt tối ưu chính là điểm cắt tương ứng với: J max và/hoặc d min

4

Cut-off point Sensitivity 1-Specificity Specificity Youden index J

Ví dụ: đối với biến số CANO, ta có:

Giá trị J max = 0,675 tương ứng với 2 điểm cắt: CANO = 5,85 và 6,35

Giá trị d min = 0,230 tương ứng với điểm cắt CANO = 6,35

Như vậy ta kết luận: Điểm cắt tối ưu cho CANO là 6,35 ppb

Cut-off point Sensitivity 1-Specificity Specificity Youden index J

Tương tự cho Surfactant protein D: Ta xác định được điểm cắt tối ưu là 247 ng/ml

3 Diễn giải kết quả

3.3 Xác định điểm cắt tối ưu

3