Hồi quy tuyến tính với Stata

HỒI QUY TUYẾN TÍNH VỚI 01 BIẾN ĐỘC LẬP ĐỊNH LƯỢNG Vẽ tương quan hai biến phụ thuộc định lượng Chạy mơ hình hồi quy tuyến tính đơn biến (univariable regression) .3 Kiểm định giả thuyết hai hay nhiều hệ số góc lúc Tính marginal effect (hiệu ứng cận biên) Vẽ đường thẳng tiên đoán Tính sai số chuẩn (standard errors) cho giá trị tiên đoán từ giá trị y mẫu nghiên cứu Tính sai số chuẩn (standard errors) cho giá trị tiên đoán từ giá trị y khơng mẫu nghiên cứu Phân tích hệ số dư 12 HỒI QUY TUYẾN TÍNH VỚI 01 BIẾN ĐỊNH TÍNH 17 Biến định tính có hai giá trị 17 Biến định tính nhiều giá trị .19 HỒI QUY TUYẾN TÍNH ĐA BIẾN VỚI NHIỀU BIẾN ĐỘC LẬP ĐỊNH LƯỢNG 21 Chạy mơ hình hồi quy .21 Kiểm tra giả thuyết 22 Chẩn đốn mơ hình phép kiểm .25 Chẩn đốn mơ hình đồ thị 28 Chẩn đoán multicolinearity (đồng tuyến tính predictors) 31 HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỘC LẬP CĨ BIẾN ĐỊNH TÍNH HAI GIÁ TRỊ (MƠ HÌNH ANCOVA) 33 Chạy mơ hình hồi quy tuyến tính .33 HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỘC LẬP CĨ BIẾN ĐỊNH TÍNH TRÊN HAI GIÁ TRỊ (MƠ HÌNH ANCOVA) 41 Tạo biến dummy từ giá trị biến định tính 41 Chạy mơ hình với tất biến dummy biến định lượng 42 Chạy mơ hình với tương tác biến dummy biến định lượng .43 Vẽ đồ thị mơ tả mơ hình hồi quy .44 CHỌN COVARIATE ĐƯA VÀO MƠ HÌNH 49 MỘT SỐ KHÁI NIỆM CƠ BẢN CỦA HỒI QUY Hiệu chỉnh (Adjustment) mơ hình hồi quy đa biến ước lượng causual effect predictor outcome cách biến khác định Linear predictor tập hợp coeff predictor Sai số hệ số dư (Root MSE kết Stata) giảm mơ hình có thêm predictor Sai số chuẩn (standard error) coeff mô hình tuyến tính đa biến adjusted giảm thêm predictor vào mơ hình t-test 95%CI coeff không thay đổi thêm predictor vào mô hình, nhiên cách giải thích khác Khi thêm predictor vào mơ hình có nhiều chứng để bác bỏ giả thuyết H0 βj=0 Coefficient of determination (R2 = MSS / TSS): tỷ lệ biến thiên outcome predictor giải thích Correlation coefficient (r = √R2): tượng trưng cho tương quan giá trị outcome y giá trị fitted value y (y hat) Standardized regression coefficients ( giúp dễ dàng so sánh sức mạnh tương quan biến predictor liên tục biến outcome Indicator or dummy Variable: biến mã Cách mã giúp việc giải thích nhóm có khơng có predictor dễ dàng với nhóm khơng có làm nhóm so sánh LỰA CHỌN PREDICTOR ĐƯA VÀO MƠ HÌNH Việc lựa chọn predictor đưa vào mơ hình tùy thuộc vào mục tiêu nghiên cứu  Mục tiêu prediction: sử dụng phương pháp backward/forward selection procedure cho nửa số liệu check lại model với nửa số liệu lại  Mục tiêu evaluating a predictor of interest: nghiên cứu quan sát phải khử confounders để xác định hiệu ứng xác predictor of interest Cịn RCT predictor of interest intervention, confounder khơng cịn vấn đề nên không cần khử Tuy nhiên covariate đưa vào mơ hình để phục vụ cho lý khác  Mục tiêu identifying the important independent predictors of an outcome: phương pháp chọn predictor chọn predictor có tương quan với p< 0.05 đưa vào mơ hình chung để phân tích Tuy nhiên cách chịu ảnh hưởng confounder, modiators modifier nên khó phân tích Trước lựa chọn predictor vẽ hypothesized causal relationship liên quan đến outcome predictor of interest Đối với mục tiêu prediction objective Sử dụng phương pháp generalized cross validation (GCV) để tính Prediction Error (PE) mơ hình  Learning test/test set (LS/TS) approach: Pp tham số ước lượng learning set PE tính test set Mơ hình có PE nhỏ mơ hình tiên đoán tốt Thường learning set test set liệu mẫu sau 2/3 tách làm learning set 1/3 lại làm test set Test set lấy từ mẫu độc lập  leave-one-out or jackknife methods: Mơ hình lấy tất quan sát trừ quan sát lại lập mơ hình sau dùng mơ hình để tính PE cho quan sát lại Giá trị PE tính phương pháp predicted residual sum of square (PRESS) Mơ hình tiên đốn có PRESS nhỏ mơ hình tiên đốn tốt  h-fold cross-validation (hCV): Phương pháp chia dataset thành h subset loại trừ lẫn nhau, subset tính PE từ subset cịn lại Sau PE chung tính trung bình cộng PE subset Thơng thường h=10 PP cho PE xác phương pháp jacknife  Adjusted R2, Mallow’s Cp, the Akaike Information Criterion, (AIC), and the Bayesian Information Criterion (BIC): Thay tính PE, sử dụng số đo để chọn mơ hình prediction tốt Khi thêm biến vào mơ hình adjusted R2 tăng lên mức độ tăng R2 vượt qua ngưỡng quy định Cp AIC, BIC hoạt động theo nguyên tắc tương tự Mơ hình prediction cho giá trị adjusted R2, Cp, AIC BIC cao mơ hình tốt  Pp screening candidate models:  Classification and Regression Trees (CART): Phương pháp chia nhỏ sample thành nhiều phân loại tính đồng nhóm giống Sau PE tính cho tầng mơ hình có PE nhỏ mơ hình tốt Đối với mục tiêu Evaluating a Predictor of Primary Interest Trong nghiên cứu quan sát muốn đánh giá hiệu ứng primary predictor phải khử confounders  Potential confounder biến nghiên cứu trước đó, yếu tố giả thuyết confounder sở thực tế, yếu tố thỏa điều kiện thống kê biến confounder  Ba loại biến không đưa vào mô hình bao gồm: biến giá trị đo lường thay cho outcome primary predictor, biến giả thuyết trung gian hiệu ứng primary predictor  Nếu hai biến xem confounder có tương quan mạnh với khơng nên loại hai biến khỏi mơ hình tính đồng tuyến tính hai biến confounder không ảnh hưởng đến hiệu ứng biến predictor  Một số biến xác định rõ ràng risk factor outcome phải đưa vào mơ hình để tạo face validity mơ hình cho dù chúng tương quan mạnh với outcome predictor  Chúng ta lựa chọn predictor dựa sở thống kê phương pháp backward selection procedure Phương pháp loại bỏ biến có giá trị p> 0.2 (khuyến cáo ngưỡng loại bỏ biến số khỏi mơ hình) dùng cách giữ lại biến số loại bỏ biến làm thay đổi hệ số > 10% > 15%  Nếu có tương tác primary predictor confounder phải cẩn thận nghiên cứu quan sát khơng thể kết luận tương tác Trong RCT, biến preditor intervention chọn mẫu ngẫu nhiên nên phân tích mơ hình khơng đưa confounder vào mơ hình Tuy nhiên, covariate đơi đưa vào mơ hình lý sau:  Making valid inferences in stratified designs: số nghiên cứu đa trung tâm, trung tâm trở thành biến phân tầng phải đưa vào phân tích mơ hình  Increasing precision and power in experiments with continuous outcomes.: Nên hiệu chỉnh primary predictor theo biến pronogtic Tuy nhiên phải xác định biến thiết kế nghiên cứu để tránh việc thêm biến vào mơ hình (post hoc shopping) mà biến khơng có giá trị  De-attenuating” the treatment effect estimate and increasing power in experiments with binary or failure time outcomes.: biến nhị giá (mơ hình logistic) mơ hình failure (cox model) cần phải hiệu chỉnh theo biến balanced confounders Tuy nhiên không phân tích hiệu chỉnh với biến imbalanced predictor làm giảm độ xác ước lượng hệ số  Adjusting for baseline imbalances: số covariate imbalanced (phân bố khơng hai nhóm treatment control) lấy ngẫu nhiên có vấn đề mẫu nhỏ Treatment effect bị ảnh hưởng cho dù imbalanced khơng có ý nghĩa thống kê Khi phải đưa biến vào hiệu chỉnh Tuy nhiên việc đưa biến vào mơ hình làm thay đổi treatment effect biến primary predictor Đối với mục tiêu Identifying Multiple Important Predictors Lúc tất predictor quan trọng việc xét tương tác biến phải đưa vào Khi xét nhiều tương tác dễ dẫn đến phát dương tính giả Mediation vấn đề cần phải đánh giá hiệu ứng trực tiếp gián tiếp predictor Có thể sử dụng phương pháp loại trừ confounder mục tiêu đơn predictor of interest:  đưa vào mô hình biến tạo face validity  đưa vào biến thỏa tiêu chí backward selection methods  Áp dụng phương pháp Allen-Cady modified backward selection: phương pháp đưa tất covariate vào mơ hình từ đầu chia thành hai nhóm: nhóm gồm predictor of interest risk factor tạo face validity; nhóm hai gồm covariate khác xếp theo thứ tự quan trọng Biến nhóm hai bị loại dần dựa tiêu chí ngưỡng tầm quan trọng Những biến có tầm quan trọng ngưỡng bị loại khỏi nhóm hai Quy trình kết thúc khơng cịn biến nhóm bị loại khỏi mơ hình KIỂM TRA GIẢ ĐỊNH MƠ HÌNH VÀ MỨC ĐỘ PHÙ HỢP CỦA MƠ HÌNH Kiểm tra tính tuyến tính predictor Trong phân tích hồi quy khơng hiệu chỉnh (hồi quy tuyến tính đơn biến) kiểm tra tính tuyến tính outcome predictor phương pháp LOWESS  Vẽ đồ thị scatter plot outcome predictor thêm đường Lowess vào đồ thị Nếu đường lowess gần với đường hồi quy mô hình chứng tỏ predictor có quan hệ tuyến tính với outcome Trong multiple linear regression: dùng residual versus predictor (RVP) plot để kiểm tra tính tuyến tính predictor component plus residual (CPR) plot  Nếu đường LOWESS chạy song song với đường hồi quy điều chứng tỏ predictor có quan hệ tuyến tính với outcome  Nếu đường LOWESS lồi lõm so với đường hồi quy chứng tỏ predictor có quan hệ nonliear với outcome Khi phải thêm predictor bậc hai (quadratic) vào mơ hình hồi quy  Ngồi quadratic cịn có dạng tranform khác polynomial, log square root Để xác định dạng tranform cho predictor cần so sánh đường LOWESS với đường tranform chuẩn Về mặt lý tưởng số liệu tập trung vào khoảng đường thẳng mà không theo xu hướng định Trong đồ thị số liệu âm nhiều vào đầu thời kỳ chứng tỏ mô hình tiên đốn q cao so với số quan sát Giai đoạn lại tiên đốn q thấp giai đoạn sau lại tiên đoán cao trở lại Đồ thị residual predicted values cho thấy rõ xu hướng liệu có thêm đường hồi quy lowess (locally weighted scatterplot smoothing) Đường hồi quy lowess cho thấy rõ xu hướng hệ số dư tăng giảm xác định mơ hình không phù hợp với liệu hettest Breusch-Pagan / Cook-Weisberg test for heteroskedasticity Ho: Constant variance Variables: fitted values of csat chi2(1) = 4.86 Prob > chi2 = 0.0274 Chúng ta kiểm tra phương sai định hệ số dư cách thực phép kiểm heteroskedasticity Phép kiểm đồng lệch (heeroskedasticity test) kiểm tra giả định phương sai sai lệch định cách kiểm tra hệ số dư chuẩn bình phương có tuyến tính với giá trị tiên đốn hay khơng Kết mơ hình cho thấy bác bỏ giả thuyết H0 phương sai định Điều cho thấy cần phải tranform outcome Kiểm tra giả thuyết coeff kết hợp reg csat expense percent income high college Source | SS df MS -+ Number of obs = 51 F(5, 45) = 42.23 Model | 184663.309 36932.6617 Prob > F = 0.0000 Residual | 39351.2012 45 874.471137 R-squared = 0.8243 Adj R-squared = 0.8048 Root MSE = 29.571 -+ -Total | 224014.51 50 4480.2902 -csat | Coef Std Err t P>|t| [95% Conf Interval] -+ -expense | 0033528 0044709 0.75 0.457 -.005652 0123576 percent | -2.618177 2538491 -10.31 0.000 -3.129455 -2.106898 income | 1055853 1.166094 0.09 0.928 -2.243048 2.454218 high | 1.630841 992247 1.64 0.107 -.367647 3.629329 college | 2.030894 1.660118 1.22 0.228 -1.312756 5.374544 _cons | 851.5649 59.29228 14.36 0.000 732.1441 970.9857 - test high college ( 1) high = ( 2) college = F( 2, 45) = Prob > F = 3.32 0.0451 Trong mơ hình hệ số cá nhân high colege khơng có ý nghĩa thống kê nghĩa hệ số biến = Tuy nhiên biến high college tình trạng giáo dục muốn kiểm tra liệu hai biến có hệ số hay không Lệnh test kiểm tra giả thuyết hệ số hai biến high college Kết cho thấy bác bỏ giả thuyết H0 Phép kiểm t-test cho nhóm hệ số có ích có nhóm predictor có chung đặc tính ước lượng hệ số riêng cho biến khơng tin cậy tình trạng đa tuyến tính biến với Kiểm tra giả thuyết coeff sai số chuẩn (heteroskedastiscity) Phép kiểm giúp kiểm tra SE coeff có phân phối bình thường hay khơng (phương sai định) Kết cho thấy không bác bỏ giả thuyết H0 nghĩa phương sai hệ số khơng bị heteroskedasticity Do phép kiểm giả thuyết cho coeff có giá trị Vẽ đồ thị mơ tả giá trị tiên đốn graph twoway lfit csat percent || scatter csat percent ||,by(reg2,legend(off) note("")) ytitle("Mean composite SAT score") 900 1000 northweast 800 Mean composite SAT score 1100 other regions 20 40 60 80 20 40 60 80 % HS graduates taking SAT Đồ thị cho thấy có khác biệt vùng khác điểm sat theo percent Lfit lệnh vẽ đường hồi quy tuyến tính Chúng ta dùng predict để tính giá trị tiên đốn outcome sau vẽ phân tán đồ giá trị tiên đoán outcome predictor Vẽ đồ thị với biến outcome quan sát đường tuyến tính (lfitci) kèm theo khoảng tin cậy 95% trung bình có điều kiện (trung bình giá trị tiên đoán) Vẽ đồ thị biến giá trị tiên đoán (areahat), biến outcome(area) biến predictor (year) Đồ thị cho thấy số liệu quan sát không phù hợp với mơ hình xây dựng Từ đồ thị thấy có lẽ số liệu theo hình cong khơng phải đường thẳng cần phải đưa bình phương predictor vào mơ hình Tiên đốn giá trị từ mơ hình khơng tương tác scalar yhat = _b[_cons]+ _b[price]*5.5+ _b[advert]*1.2 scalar list yhat yhat = 77.655512 Chúng ta dùng scalar sau chạy mơ hình hồi quy Giả sử muốn tiên đoán giá trị y dựa giá trị biến price 5.5 giá trị biến advert 1.2 dùng lệnh scalar Chúng ta tính tiên đốn giá trị cho predictor, predictor lại định lệnh margins Muốn tính giá trị tiên đốn cho hai predictor dùng lệnh margin thiết lập cho hai predictor Chúng ta vẽ giá trị tiên đoán lệnh marginplot Tiên đốn giá trị từ mơ hình có tương tác lincom male + male_years*10 ( 1) male + 10*male_years = -salary | Coef Std Err t P>|t| [95% Conf Interval] -+ -(1) | 1678.223 792.9094 2.12 0.035 120.4449 3236.001 Nếu muốn biết nhân viên có 10 năm kinh nghiệm khoảng cách lương theo giới tính có ý nghĩa thống kê hay không sử dụng lệnh lincom (linear combination) để chạy test thống kê H0: β2 + β5 × 10 = Kết cho thấy khác biệt có ý nghĩa thống kê (p=0,035) HỒI QUY CHO BIẾN ĐẾM Mơ hình quy định biến số lượng tử vong (deaths) biến outcome biến rad (mức độ phơi nhiễm với phóng xạ) biến predictor biến exposure rate biến pyyears (person-years) Option yêu cầu Stata hiển thị incidence ratio rate (IRR) coeff (là ln(IRR)) Kết cho thấy cấp độ phơi nhiễm tăng lên death rate cao gấp 1.23 lần so với cấp độ nhỏ Pseudo R2 nhỏ có 0.042 Chúng ta kiểm tra goodness-of-fit mơ hình phép kiểm so sánh giá trị tiên đốn từ mơ hình với số đếm quan sát Kết cho thấy có khác biệt có ý nghĩa thống kê hai giá trị này, chứng tỏ mơ hình fit cho liệu Khi mơ hình thêm biến age vào mơ hình mơ hình cải thiện thấy rõ Chạy mơ hình poisson biến rad (mức phơi nhiễm phóng xạ) biến phân loại gồm nhiều tầng (tiền đề i.rad) Mơ hình cho thấy có cải thiện pseudo R2 (0.60 so với 0.59) Hiệu ứng chung rad chủ yếu level biến rad IRR hai tầng gấp khoảng lần so với level Như level có hiệu ứng tương tự Test hệ số hai level khơng thấy có khác biệt Tạo biến rad78 biến có giá trị rad ==7 rad=8 Thay ra78 vào cho rad level ... HỒI QUY Hiệu chỉnh (Adjustment) mơ hình hồi quy đa biến ước lượng causual effect predictor outcome cách biến khác định Linear predictor tập hợp coeff predictor Sai số hệ số dư (Root MSE kết Stata) ... nhóm hai Quy trình kết thúc khơng cịn biến nhóm bị loại khỏi mơ hình KIỂM TRA GIẢ ĐỊNH MƠ HÌNH VÀ MỨC ĐỘ PHÙ HỢP CỦA MƠ HÌNH Kiểm tra tính tuyến tính predictor Trong phân tích hồi quy khơng... đường LOWESS chạy song song với đường hồi quy điều chứng tỏ predictor có quan hệ tuyến tính với outcome  Nếu đường LOWESS lồi lõm so với đường hồi quy chứng tỏ predictor có quan hệ nonliear