Mô hình hồi quy logistics và mô hình hồi quy ảnh hưởng hỗn hợp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - HỒ SỸ NGỌC MƠ HÌNH HỒI QUY LOGISTIC VÀ MƠ HÌNH HỒI QUY ẢNH HƯỞNG HỖN HỢP LUẬN VĂN THẠC SĨ KHOA HỌC CHUN NGÀNH: TỐN CƠNG NGHỆ NGƯỜI HƯỚNG DẪN KHOA HỌC: Hà Nội - 2008 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI *********♦********* HỒ SỸ NGỌC MƠ HÌNH HỒI QUY LOGISTIC VÀ MƠ HÌNH HỒI QUY ẢNH HƯỞNG HỖN HỢP LUẬN VĂN THẠC SĨ KHOA HỌC CHUN NGÀNH: TỐN CƠNG NGHỆ NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Bùi Khởi Đàm HÀ NỘI 2008 MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG 1: MƠ HÌNH HỒI QUY LOGISTIC 1.1 Mơ hình hồi quy Logistic 1.2 Mô hình hồi quy Probit 10 1.3 Khái niệm ngưỡng giới hạn (Threshold concept) 11 CHƯƠNG 2: MINH HỌA MƠ HÌNH LOGISTIC 14 2.1 Phân tích hồi quy Logistic R 18 2.2 Phân tích hồi quy Logistic từ số liệu giản lược R 21 2.3 Phân tích hồi quy đa biến chọn mơ hình 25 2.3 Chọn mơ hình hồi quy Logistic Bayesian Model Average (BMA) 31 CHƯƠNG MƠ HÌNH HỒI QUY LOGISTIC ẢNH HƯỞNG HỖN HỢP 33 3.1 Mơ hình hồi quy ảnh hưởng hỗn hợp mở rộng 35 3.2 Hồi quy đa biến 36 3.3 Công thức 37 3.4 Ước lượng 38 3.5 Ước lượng Bayes 41 3.6 Trường hợp nhiều yếu tố ngẫu nhiên 42 3.7 Hệ thống hàm phân phối cho yếu tố ngẫu nhiên 43 CHƯƠNG 4: MINH HỌA CHO MƠ HÌNH HỒI QUY LOGISTIC ẢNH HƯỞNG HỖN HỢP 46 CHƯƠNG 5: MỘT SỐ MINH HỌA KHÁC 57 5.1 Mơ hình hồi quy Logistic ảnh hưởng cố định 60 5.2 Mơ hình hồi quy Logistic ngẫu nhiên 62 5.3Mơ hình hồi quy Logistic có yếu tố ngẫu nhiên 67 Chương 6: MƠ HÌNH HỒI QUY THEO KHOẢNG CÁCH 72 VỚI DỮ LIỆU HỖN HỢP 72 6.1.Mơ hình tuyến tính tổng quát hệ trực giao 72 6.2.Mơ hình hồi quy khoảng cách 74 6.2.1 Định nghĩa mơ hình 74 6.2.2 Tính tốn hệ số 76 6.2.3 Ước tính quan sát 76 6.3.Mơ hình cổ điển…… 78 6.3.1 Biến liên tục 78 6.3.2 Biến định tính 80 6.3.3 Biến hỗn hợp 80 6.3.4 Một số ví dụ 81 KẾT LUẬN 82 PHỤ LỤC 84 LỜI NÓI ĐẦU Khoa học thống kê khoa học thu thập, phân tích, diễn giải trình bày liệu để từ tìm chất tính quy luật tượng kinh tế, xã hội - tự nhiên Khoa học thống kê dựa vào lý thuyết thống kê, loại toán học ứng dụng Trong lý thuyết thống kê, tính chất ngẫu nhiên khơng chắn làm mơ hình dựa vào lý thuyết xác suất Vì mục đích khoa thống kê để tạo thơng tin "đúng nhất" theo liệu có sẵn, có tác giả nhìn khoa thống kê loại lý thuyết định Chính mà ngày nhiều cơng trình khoa học nghiên cứu lĩnh vực Ngày nay, nhờ hỗ trợ mạnh máy tính cơng nghệ thơng tin, lý thuyết xác suất thống kê ngày ứng dụng rộng rãi hiệu lĩnh vực đời sống, tự nhiên, xã hội đặc biệt kinh tế Một phương pháp phân tích thống kê phân tích hồi quy Phân tích hồi quy phân tích thống kê để xác định xem biến độc lập (biến thuyết minh) quy định biến phụ thuộc (biến thuyết minh) Đây phương pháp thống kê mà giá trị kỳ vọng hay nhiều biến ngẫu nhiên dự đoán dựa vào điều kiện biến ngẫu nhiên (đã tính tốn) khác Cụ thể, có hồi qui tuyến tính, hồi qui lơgic, hồi qui Poisson học có giám sát … Phân tích hồi qui khơng trùng khớp đường cong (lựa chọn đường cong mà vừa khớp với tập điểm liệu); cịn phải trùng khớp với mơ hình với thành phần ngẫu nhiên xác định (deterministic and stochastic components) Thành phần xác định gọi dự đoán (predictor) thành phần ngẫu nhiên gọi phần sai số (error term) Hồi qui thường xếp vào loại tốn tối ưu nỗ lực để tìm kiếm giải pháp sai số phần dư tốt Phương pháp sai số chung sử dụng phương pháp bình phương cực tiểu: phương pháp tương ứng với hàm hợp lý dạng Gauss liệu quan sát biết biến ngẫu nhiên (ẩn) Về mặt đó, bình phương cực tiểu phương pháp ước lượng tối ưu Để giải toán tối ưu hồi qui thường dùng giải thuật giải thuật hạ bậc (gradient gradient descent), giải thuật Gauss-Newton, giải thuật Levenberg-Marquardt Các giải thuật xác suất RANSAC dùng để tìm phù hợp tốt cho tập mẫu, cho trước mơ hình tham số hóa hàm đường cong Hồi qui biểu diễn phương pháp hàm hợp lý ước lượng tham số mơ hình Tuy nhiên, với lượng nhỏ liệu, ước lượng có phương sai lớn (high variance) Các phương pháp Bayesian sử dụng để ước lượng mơ hình hồi qui Các tham số có phân phối điều kiện giả định trước, bao gồm thông tin thống kê biết trước biến (Ví dụ, tham số biết khơng âm phân phối khơng âm gán cho nó.) Phân phối giả định trước sau áp dụng cho vector tham số Phương pháp Bayes có ưu điểm khai thác tồn thơng tin có ước lượng xác, khơng phải ước lượng chệch tốt cho tập số liệu nhỏ Trong thực hành, người ta sử dụng phương pháp MAP (maximum a posteriori), phương pháp đơn giản phân tích Bayes đầy đủ, tham số dược chọn cho cực đại hóa phân phối giả định trước posterior Các phương pháp MAP có liên hệ với Occam's Razor: chỗ có ưu tiên cho đơn giản, có nhiều mơ hình hồi qui (đường cong) có nhiều lí thuyết chọn đơn giản Có nhiều mơ hình hồi quy nghiên cứu để phù hợp với mô hình liệu mà thu thập Một mơ hình ứng dụng rộng rãi mơ hình hồi quy Logistic (Logistic Regression Model) mơ hình hồi quy ảnh ảnh hưởng hỗn hợp (Mixed – Effects Regression Model) Trong phạm vi luận văn tơi xin trình bày hai mơ hình hồi quy: Mơ hình hồi quy Logistic mơ hình hồi quy ảnh hưởng hỗn hợp Nội dung luận văn bao gồm chương sau: Chương 1: Mơ hình hồi quy Logistic Chương 2: Một vài ví dụ ứng dụng cho mơ hình Logistic Chương 3: Mơ hình hồi quy ảnh hưởng hỗn hợp Chương 4: Một vài ví dụ ứng dụng cho mơ hình hồi quy ảnh hưởng hỗn hợp Chương 5: Một số minh hoạ khác Chương :Mô hình hồi quy theo khoảng cách với liệu hỗn hợp Tôi xin chân thành cảm ơn thầy giáo PGS.TS Bùi Khởi Đàm, người tận tình hướng dẫn tơi hồn thành luận văn Tơi xin cảm ơn thầy giáo Khoa Tốn Tin Ứng Dụng, người giảng dạy giúp đỡ suốt thời gian qua Tôi xin cảm ơn bạn lớp cao học Tốn cơng nghệ 2006-2008 giúp đỡ tơi hồn thành luận án Do số nguyên nhân khách quan hạn chế khả chun mơn, luận văn khó tránh khỏi sai sót Tơi mong nhận góp ý thầy cô, bạn bè đồng nghiệp để hoàn thiện lần nghiên cứu Tơi xin chân thành cảm ơn CHƯƠNG 1: MƠ HÌNH HỒI QUY LOGISTIC Như biết, Phân tích hồi quy phân tích thống kê để xác định xem biến độc lập (biến thuyết minh) quy định biến phụ thuộc (biến thuyết minh) Trong nhiều trường hợp, biến phụ thuộc biến liên tục, mà biến mang tính đo lường nhị phân: có/khơng, mắc bệnh/khơng mắc bệnh, xảy ra/khơng xảy …, cịn biến độc lập liên tục hay khơng Chúng ta muốn tìm hiểu mối liên hệ biến độc lập biến liên tục 1.1 Mơ hình hồi quy Logistic Cho pi xác suất xảy kiện thứ i (Yi = 1) Khi xác suất để khơng xảy kiện thứ i (1-pi) Cho tập biến cố xi = (1, xi1 ,, xip ) với β = ( β , β1 ,, β p ) ' vecto (p+1) chiều hệ số hồi quy tương ứng Khi mơ hình hồi quy Logistic biểu diễn sau: pi = Pr(Y = 1) = exp( xi' β ) + exp( xi' β ) (1.1) Hay pi = 1+ exp( xi' β ) = = Ψ ( xi' β ) ' + exp(− xi β ) (1.2) Với Ψ (.) hàm phân phối xác suất: Ψ ( z ) = [1 − exp(− z )] Mơ hình biểu diễn dạng logit sau:  p  log  i  = xi' β 1 − pi  (1.3) Chúng ta định nghĩa khả biến cố xảy (ký hiệu odds) tỉ số xác suất biến cố xảy xác suất biến cố không xảy odds = p 1− p Như vậy: logit(odds) = p = → p = 0.5 số biến cố xảy với 1− p số biến cố không xảy logit(odds) âm p < → p < 0.5 , số biến cố xảy 1− p số biến cố không xảy logit(odds) dương p > → p > 0.5 , số biến cố xảy 1− p nhiều số biến cố khơng xảy Trong mơ hình hồi quy Logistic, hàm logit gọi hàm liên kết (link) ánh xạ giá trị vùng (0,1) giá trị xác suất tới vùng giá trị xảy (−∞, ∞) Dễ dàng nhận thấy công thức (1.2), mối liên hệ giá trị x xác suất sau: Hình 1.1: Mối liên hệ x xác suất Theo công thức (1.3), mối liên hệ x logit tuyến tính Hình 1.2: Mối liên hệ x logit Do đó, ký hiệu sau: Khi xi = 0, giá trị tương ứng β Khi xi khơng đổi, β p giá trị thay đổi log odds xp thay đổi đơn vị Với xi, ta giữ nguyên xj khác Ta quan tâm tới giá trị log odds thay đổi cho xi tăng thêm đơn vị: Xét xi = (xi+ 1), tỉ số log odds Xi+1 = (1, x1, …, (xi + 1), xi+1, …xp) Xi+1 = (1, x1, …, xi , xi+1, …xp) là: odds ( xi + 1) exp( X i'+1 β ) exp(( xi + 1) β ) = = = exp( β ) = e β ' ( ) odds ( xi ) exp ( xi ) β exp( X i β ) (1.4) Tỉ số gọi tỉ số Theo phân phối Bernoulli, có: Pr(Yi ) = ΨiYi [1 − Ψi ] 1−Yi , Yi = hay Yi = (1.5) Đặt X = (X(k), Z), với X(k) cột thứ k ma trận X giả sử mơ hình tuyến tính: Y = β + X ( k ) β ( k ) + ek (6.11) Ký hiệu: X(k) = (X1, …, Xk) với Xi cột thứ i ma trận X (11) trở thành: k Y = β + ∑ β i X i + ek i =1 Với β tham số β ( k ) = (β1 , β ,  , β k ) vecto tham số k chiều ' quan tâm k biến ước tính X1, X2, …, Xk làm sáng tỏ chúng thành phần Xét (6.11) mơ hình với k = m = n thì: Y = β + Xβ + e Chú ý 1, X1, X2, …, Xk vecto riêng B với trị riêng 0, λ1 ,  , λ k , Xi thỏa mãn điều kiện (6.7) Do (6.11) mơ hình COF OLS ước lượng β , β với: βˆ0 = y , βˆ( k ) = ∧ −k X (' k )Y với Λ = diag (λ1 , λ , λ k ), Để định (tìm) biến ước lượng, nghĩa cột X, phải thêm vào hay xóa đi, xếp giảm dần theo giá trị tuyệt đối Y sau: r (Y , X ) > r (Y , X ) >  > r (Y , X k ) Tiếp theo, lấy k = p, với p số chiều biến ước lượng vecto W nữa, biến Xj bị xóa β j = Điều kiện test dựa vào: uj = βˆ j R0 ( k ) λ j (n − k − 1) với R02 (k ) = Y − βˆ0 − X ( k ) βˆ( k ) Các uj tuân theo phân phối t-Student với (n-k-1) d.f Bây giờ, giả sử (Y − y1) ∈ E m với Em không gian cho cột X Khi mơ hình đầy đủ là: Y = y1 + X ( k ) βˆ( k ) + Zβˆ( n − k ) = Yˆ + eˆ (6.14) Z chứa cột có tương quan yếu với Y, nên Zβˆ( n − k ) xem sai số eˆ , mơ hình phù hợp với mơ hình hồi quy cổ điển ý (6.14) thỏa mãn m = n -1 75 6.2.2 Tính tốn hệ số Chúng ta quan tâm mơ hình (11) ước lượng OLS (13) Đặt Yˆk = βˆ0 y + X ( k ) βˆ( k ) (6.15) Hệ số tính: R k (Yˆ = k )( )= Y X ' − y Yˆk − y ∑ (y i i − y) ' (k ) Λ−k1 X (' k ) ∑ (y i i − y) (6.16) Đặt r(Y, Xi) hệ số tương quan Y biến ước tính Xi giá trị trung bình Xi phương sai λi n , đó: r (Y , X i ) = (YX i )2 λi ∑i ( y i − y ) (6.17) Hay có:   Y ' X ( k ) Λ−k1 X (' k )Y = Y '  ∑ λi−1 X i X i' Y = ∑ λi−1 Y ' X i i  i  ( ) Thay vào (6.16) (6.17) suy ra: k Rk2 = ∑ r (Y , X i ) (6.18) i =1 Chú ý Rk2 < Rk2+1 , đẳng thức biến Y khơng tương thích với biến ước lượng Xk+1 Hơn nữa, Rk2 maximized k quan sát chọn k thứ tự biến ước lượng 6.2.3 Ước tính quan sát Giả sử vecto (n + 1) chiều độc lập, biết w = (w1 , w2 ,  , w p ) , giá trị W khoảng (0, n + 1) Chúng ta muốn biến phụ thuộc Y(w) = yn+1 Giả sử rằng, dùng d(.,.), tính tốn khoảng cách di: i = 1,2,…,n Từ (n + 1) bước tập S giả thiết n + khơng thể tính khoảng cách: d i2 = ( xi − x ) (xi − x ), i = 1,2,  m ' Nghía là: di khoảng cách Euclid từ trục x đến hàng i ma trận X( n × m ) Theo kết Gower[1968], x thu là: 76 x= −1 ' Λ X (b − d ) (6.19) Với b = (b11 , b12 ,  , bnn ) vecto đường chéo ma trận: B = X X’, với ' ( Λ = X ' X , d = d12 , d 22 , d n2 ) ' Thay (6.19) vào (6.18) ta được: yˆ n +1 = y + (b − d ) ' XΛ− X 'Y Đặt B − = XΛ2 X ' , BB − B = B , nhận thấy B − ma trận nghịch đảo B yˆ n +1 = y + (b − d ) ' B −Y (6.20) Tuy nhiên, cơng thức sau dễ tính toán hơn: yˆ n +1 = y + x ' Λ−1 X 'Y (6.21) Với x thõa mãn (6.19) Ước tính (6.21) mơ hình đầy đủ, nghĩa mơ hình hồi quy với k = m Tuy nhiên, quan tâm tới trường hợp k = p cho Rk2 lớn Chúng ta xét sau: x  x =  ( k ) ,  z  Λ X = (X ( k ) , Z ), Λ =  k  0   Λ m −k  Khi (6.21) trở thành: yˆ n +1 = y + x(' k ) Λ−k1 X (' k )Y + z ' Λ−m1− k Z ' Y Xóa chiều trục z (hay khơng quan tâm đến trục z), nhận ước tính: yˆ n +1 = y + x(' k ) Λ−k1 X (' k )Y (6.22) Chú ý Y có tương quan yếu với m – k biến ước tính, Z’Y tiến tới (6.22) đưa ước tính Y (n+1) chiều tương ứng với (6.11), khoảng cách dij, i = 1, …, n hợp lệ Chú ý z lớn nên (6.22) không cho kết tốt, x nhận giá trị khơng thích hợp (outlier) Đặt: y n +1 (k ) = yˆ n +1 (k ) + ek 77 Với yn+1(k) giá trị tương ứng biến x( k ) = ( x1 ,  , x k ) , giả sử var(ek ) = σ , ' có:  k x2 var( y n +1 ) = var( yˆ n +1 ) + σ =  + ∑ i  n i =1 λi  σ + σ   Để ước lượng σ , dùng công thức: ( ( y i − y ) − Rk2 s = ∑i n − k −1 k ) (6.23) 6.3.Mô hình cổ điển Trong mục thấy mơ hình distance-based (DB model) tương thích với mơ hình hồi quy cổ điển (CR mdel), biến ước tính liên tục có khoảng cách Euclide Tính tương đương cịn thể cho biến định tính khoảng cách dựa vào hệ số sử dụng 6.3.1 Biến liên tục Giả sử W = (W1 ,  , W p ) mơ hình (1) liên tục Đặt w1' ,  , wn' hàng W Bây chọn định nghĩa khoảng cách khoảng cách Euclide: d ij2 = (wi − w j ) (wi − w j ) = wi' wi + w 'j w j − wi' w j ' (6.24) Và nhận ma trận D = (dij) Khi D ∗ D = (d ij2 ) D ∗ D = S r + S r − 2WW ' Với hàng cột Sr Sc tương ứng Do đó: ' B = HAH = HWW ' H = X ∗ X ∗ = XX ' Do mơ hình distance-based đầy đủ (6.12) mơ hình tuyến tính(6.1) COF Cho w quan sát biến ước tính biến độc lập d ij2 = (w − wi ) (w − wi ) = ( x − xi ) ( x − xi ) = x ' x + bii − x ' xi , ' ' bii − d i2 = x ' xi − x ' x Hay là: (b − d )' = x ' X − x ' x 78 Khi 1' X = 0, X ' X = Λ m nhận được: yˆ n +1 = y + x ' X ' XΛ−2 X 'Y = y + x ' Λ−1 X 'Y Hay có cơng thức (6.8) Thật ra, không cần thiết quan tâm khoảng cách p chiều khơng gian Euclide cách định nghĩa khoảng cách Miến cách định nghĩa thỏa mãn vài điều kiện Cho Em không gian cột X, với X metric từ khoảng cách áp dụng cho dứ liệu đó, đặt k > p với phần lớn cột X, mơ hình Dashboard cải tiến mơ hình CR (Y − y 1) ∈ E m Chú ý điều m= n – Ví dụ: δ ij2 = ∑h =1 wih − w jh p Là độ đo không gian Euclide (n – 1) chiều có định nghĩa khoảng cách D = (dij), miến w i ≠ w j , i ≠ j Mơ hình CR khơng thể cải tiến mơ hình Dashboard trường hợp k > p δ sử dụng Để minh họa cho ý này, giả sử p = Đặt r = r(Y, Xi), I = 1,2, …, m, tương quan giảm dần đặt γ i = r ( X , X i ), i = 1,  , m với X biến ước tính Khơng tính tổng quát, giả thiết tương quan dương Khi ∑ r = ∑i =1 γ i2 = , tương m i =1 i m quan Y với X r (Y , X ) = ∑i =1 ri γ i m Và tương quan Y với biến ước tính Yˆk theo công thức (6.15) là: ( ) (∑ r Y , Yˆk = k r2 i =1 i ) 12 Với k = ta có: γ r1 ≤ r (Y , X ) ≤ γ r1 + (1 − γ 12 )(1 − r12 ) r(Y,X) tiến tới r1 γ → , r(Y,X) lớn r1 Tuy nhiên với k > (nghĩa k = 2), ta có: r(X ,Y ) ≤ (∑ r ) 12 k i =1 i ( = r Y , Yˆk 79 ) (6.25) Và mơ hình DB cải tiến mơ hình CR Tuy nhiên, bất đẳng thức (25) không hợp lệ ri tiến tới γ i Nhưng trường hợp r(Y, X) tiến tới mơ hình CR đủ tốt, cúng khơng cần thiết phải dung mơ hình DB 6.3.2 Biến định tính Giả sử W1 ,  , W p biến định tính, Wr biến trạng thái qr Một độ đo hai biến độc lập i, j số mij Chú ý ≤ mij ≤ p, mij p hệ số biến nhị phân Chúng ta chọn định nghĩa khoảng cách: d ij2 = 2( p − mij ) Tuy nhiên với Wr biểu diễn q biến nhị phân (0,1), d ij2 trở thành khoảng cách Euclide Do đó, mơ hình DB rút gọn thành mơ hình CR biến định tính trạng thái (khơng) trạng thái (có) 6.3.3 Biến hỗn hợp Giả sử có biến vecto W = ( X , X ) , với X1 biến vecto liên tục X2 biến vecto định tính Nếu chọn định nghĩa khoảng cách bình phương khoảng cách (6.24) (6.26), mơ hình tương đương mơ hình cổ điển biến định tính mơ tả trường hợp Thêm vào đó, biết, vấn để định nghĩa khoảng cách không thật rõ rang Nếu W vecto ngẫu nhiên với hàm xác suất mật độ, định nghĩa khả thi khoảng cách Rao (được đề xuất Rao [1945] nghiên cứu sau Atkinson Mitchell [1981], Burbea Rao [1982] …) Khoảng cách biến độc lập cho Cuadras (1988a) Oller (1989), người phát triển thêm Và công thức trên, Gower (1966, 1968) đến năm 1971 liệu hỗn hợp, công thức ông đề xuất:  p1 − xih − x jh   + a +α   ∑ G h =1 h   sij = p1 + ( p − d ) + p3 80 Với p1 số biến lien tục, a d số số dương âm tương ứng, p2 biến nhị phân, α số tương thích cho p3 biến đa trạng thái Gh range biến lien tục thứ h bình phương khoảng cách hai biến độc lập i, j là: d ij2 = − sij , D = (d ij ) ma trận khoảng cách Euclide n biến độc lập Một số kết đưa ra: Ví dụ Mơ hình R2 C Highway CR mơ hình 0.755 2.501 DB mơ hình (k = 13) 0.875 1.564 CR mơ hình 0.752 84.34 DB mơ hình (k = 6) 0.799 data Health status 84.70 Fuel data CR mơ hình 0.229 1.570 (untransform DB mơ hình (k = 3) 0.896 0.221 DB mơ hình (k = 4) 0.912 0.205 Fuel data CR mơ hình 0.914 0.058 (transformed DB mơ hình (k = 4) 0.908 0.051 ed) ) 6.3.4 Một số ví dụ Chúng ta xem xét số ví dụ để so sánh mơ hình DB CR bảng Kết mơ hình DB dùng cơng thức Gower với k biến ban đầu ước lượng hệ số R ∑ (y giá trị C = i i − yˆ i ) n với yˆ i giá trị ước tính nhận thứ i từ liệu ban đầu Ví dụ 1: liệu Weisberg [1985] đưa bao gồm liệu tỉ lệ vụ tai nạn 39 đường cao tốc bang Minnesote năm 1973 với 13 biến độc lập ban đầu biến nhị phân, biến định tính biến liên tục Ví dụ 2: Dữ liệu đưa Abrahamse Kisch [1975], trạng thái sức khỏe mô tả biến độc lập liệu lấy ngẫu nhiên 99 mẫu từ 7710 công dân trưởng thành Mỹ, có biến nhị phân, biến định tính biến liên tục 81 Ví dụ 3: Kết đưa nhóm hướng dẫn SAS/IML [1985] Chúng ta quan tâm tới loại nhiên liệu: ethanol (1) indolene(2), với biến độc lập biến nhị phân, biến định tính biến liên tục KẾT LUẬN Trong luận văn chúng tơi tìm hiểu vấn đề việc phân tích kết từ liệu theo mơ hình hồi quy Logistic mơ hình hồi quy ảnh hưởng hỗn hợp Qua thấy số điểm cần lưu ý sau: • Các mơ hình hồi quy Logistic hay hồi quy Profit cho kết không tốt mô hình hồi quy ảnh hưởng hỗn hợp khối lượng tính tốn thi Tuy nhiên, ngày nay, với sức mạnh máy tính phát triển nhanh chóng hệ thống phần mềm phân tích thống kê, mơ hình ảnh hưởng hỗn hợp xem mơ hình phổ biến Các mơ hình chủ yếu dùng trường hợp biến phụ thuộc biến đo lường nhị phân • Khi xây dựng mơ hình nhằm mục đích mơ tả thực tế, mơ hình “tốt” mơ hình phản ánh sát với thực tế Tuy nhiên, mơ hình phản ánh 100% thực tế khơng gọi mơ hình điều q phức tạp, khơng khả thi thực tế Nhưng ngược lại mô hình mơ tả thực tế khoảng 1% khơng thể sử dụng Xây dựng mơ hình phải đề cân hai thái cực Vì vậy, xây dựng mơ hình khơng phụ thuộc phép tính thống kê, tn học, mà cịn phải xem xét đến yếu tố thực tế để đảm bảo cho hữu ích mơ hình 82 • Các mơ hình muốn tốt địi hỏi điều kiện liệu đủ tốt, điều kiện độc lập hay hàm phân phối chuẩn Hoặc có liệu khơng phù hợp, phải giải KIẾN NGHỊ VỀ NHỮNG NGHIÊN CỨU TIẾP THEO Từ nhận định trên, thấy mở rộng luận văn theo hướng sau: • Việc nghiên cứu vấn để xử lý liệu, vấn đề lọc liệu phù hợp q trình xây dựng mơ hình • Việc nghiên cứu để đưa số so sánh để phân tích mơ hình hình đưa đủ “tốt” (như số AIC) • Việc nghiên cứu điều kiện để kiểm tra liệu phù hợp với mô hình hay khơng • Việc nghiên cứu loại liệu hỗn hợp, tham số liệu để phù hợp với thực tế Việc tìm hiểu nghiên cứu mơ hình để phù hợp với lĩnh vực khác tiếp tục Và ngày nay, nhờ có giúp đỡ mạnh máy tính, số mơ hình tỏ hiệu việc phân tích liệu Trong khn khổ luận văn này, xin dừng lại Một lần xin chân thành cảm ơn thầy giáo PGS.TS Bùi Khởi Đàm, người tận tình hướng dẫn tơi hoàn thành luận văn 83 PHỤ LỤC Số liệu nguy gãy xương • id: Mã số bệnh nhân • fx: Gãy xương hay khơng (Khơng gãy xương: 0, gãy xương: 1) • age: Độ tuổi • bmi: body mass index, tính trọng lượng chia cho chiều cao bình phương • bmd: mật độ chất khống xương đùi • ictp: Chỉ số sinh hóa đo lường hoạt tính hủy xương • pinp: Chỉ số sinh hóa đo lường hoạt tính tạo xương id fx age bmi bmd iotp Pinp 1 79 24.7252 0.818 9.170 37.383 89 25.9909 0.871 7.561 24.685 70 25.3934 1.358 5.347 40.620 88 23.2254 0.714 7.354 56.782 85 24.6097 0.748 6.760 58.358 68 25.0762 0.935 4.939 67.123 70 19.8839 1.040 4.321 26.399 84 69 25.0593 1.002 4.212 47.515 74 25.6544 0.987 5.605 26.132 10 79 19.9594 0.863 5.204 60.267 11 76 22.5981 0.889 4.704 27.062 12 76 26.4236 0.886 5.115 43.256 13 62 20.3223 0.889 5.741 51.097 14 69 19.3698 0.790 3.880 49.678 15 72 24.2215 0.988 5.844 41.672 16 67 32.1120 1.119 4.160 60.356 17 74 25.3934 1.037 6.728 40.225 18 69 23.8895 0.893 4.203 27.334 19 78 24.6755 0.850 7.347 38.893 20 71 27.1314 0.790 4.476 38.173 21 74 23.0518 0.597 4.835 35.141 22 76 23.4568 0.889 5.354 27.568 23 75 23.5457 0.803 3.773 36.762 24 70 23.3234 0.919 3.672 40.093 25 69 22.8625 0870 4.552 29.627 26 71 22.0384 0.811 4.286 30.380 27 80 24.6914 0.859 5.706 37.529 28 79 26.8519 0.867 3.563 43.924 29 72 27.1809 0.717 3.760 39.714 30 78 23.9512 0.822 3.453 27.294 31 80 28.3874 1.004 5.948 33.376 32 79 23.5102 0.738 5.354 65.640 33 67 19.7232 0.865 4.433 36.252 34 84 27.4406 0.808 5.482 33.539 35 78 28.6661 0.955 8.815 42.398 36 65 23.7812 0.912 4.704 39.254 37 70 23.4493 0.857 4.138 75.947 38 67 25.5354 0.855 3.727 41.851 85 39 74 24.7409 0.959 3.967 42.293 40 73 22.2291 1.036 4.438 40.222 41 74 34.4753 1.092 7.271 45.434 42 68 32.1929 4.269 50.841 43 80 23.3355 0.759 4.856 31.114 44 78 22.7903 0.757 4.831 73.343 45 79 24.6097 0.671 4.870 69.924 46 72 27.5802 0.814 3.021 27.088 47 67 30.1205 1.101 7.538 35.487 48 70 25.8166 0.818 3.564 36.001 49 69 30.4218 1.088 3.826 33.833 50 67 28.7134 0.934 3.996 56.167 51 74 34.5429 0.969 6.762 43.099 52 71 24.6097 0.794 4.350 39.023 53 67 23.5294 0.830 3.176 36.595 54 67 25.6173 1.057 3.738 32.550 55 65 25.3086 1.160 3.060 44.757 56 66 24.8356 0.811 3.263 26.941 57 69 22.3094 0.977 3.106 27.951 58 72 26.5285 1.063 6.970 41.188 59 75 25.8546 1.091 4.798 36.045 60 70 20.6790 0.741 3.908 30.198 61 74 28.3675 1.045 4.784 31.339 62 71 29.0688 1.066 4.527 24.252 63 65 23.9995 0.841 3.089 79.910 64 77 22.9819 1.015 4.041 57.147 65 67 33.3598 1.129 7.239 67.103 66 66 27.1314 1.030 4.096 29.435 67 70 24.7676 0.896 4.325 44.291 68 70 24.4193 1.106 2.823 37.348 69 69 28.2570 0.869 2.974 46.229 86 70 65 23.6614 0.837 2.689 28.378 71 65 26.0262 0.921 3.917 29.667 72 67 26.5731 1.116 3.832 50.292 73 67 24.8591 0.765 7.112 45.778 74 73 22.5710 0.752 4.249 39.950 75 63 31.8342 1.251 7.303 48.697 76 72 24.8016 0.839 3.860 41.055 77 73 25.0574 0.662 3.138 36.312 78 69 23.9512 0.844 4.096 39.926 79 75 23.8586 0.852 4.176 51.394 80 65 28.7347 0.795 3.328 27.679 81 71 25.3350 0.867 2.349 36.506 82 66 28.0899 0.997 4.171 53.094 83 66 25.5650 0.827 4.569 25.157 84 71 28.7274 1.023 4.111 19.557 85 73 32.4074 1.066 5.680 36.995 86 64 27.9155 0.874 4.298 43.872 87 68 25.5937 0.882 4.056 30.523 88 67 28.0428 0.718 9.739 66.974 89 66 30.7174 0.856 4.180 34.597 90 77 28.3737 1.052 3.737 28.102 91 75 28.6990 0.929 3.527 23.008 92 67 29.1687 0.953 3.593 16.132 93 73 27.4145 0.784 4.332 47.410 94 68 29.0688 1.120 6.510 45.674 95 70 26.1738 1.040 3.161 36.302 96 66 30.1038 1.028 3.930 38.301 97 77 24.6559 0.884 3.880 36.560 98 71 25.3934 0.943 4.692 69.500 99 74 26.4721 1.075 4.561 25.948 100 70 29.0253 1.057 3.709 41.322 87 101 78 29.0253 1.098 5.247 23.896 102 76 26.2346 1.014 3.958 24.344 103 64 26.4915 0.998 4.218 29.390 104 67 27.0416 0.905 3.553 23.020 105 66 22.7732 0.627 2.333 53.621 106 70 30.5241 1.052 5.425 44.352 107 66 25.3069 1.086 4.945 64.788 108 65 22.3863 0.818 3.786 96.360 109 64 34.0136 1.066 5.792 37.473 110 70 26.5668 1.198 7.257 28.406 111 70 27.6361 0.926 5.746 17.228 112 70 25.4017 1.193 2.437 35.432 113 68 30.3673 0.938 2.658 32.293 114 67 28.0428 0.863 4.246 48.702 115 73 27.7778 0.799 3.934 26.709 116 71 29.0006 0.969 4.054 22.769 117 71 35.2941 0.931 3.631 18.629 118 75 29.3658 1.071 4.222 36.555 119 76 26.2649 1.161 2.548 24.217 120 71 25.6055 0.786 3.832 32.023 121 73 29.9136 0.839 4.125 26.507 122 64 34.5271 1.042 6.436 53.080 123 70 33.4554 0.976 4.541 26.619 124 80 29.0688 0.765 3.998 67.388 125 67 25.7276 1.277 3.877 22.159 126 68 25.6801 1.097 3.872 42.286 127 66 25.9701 0.793 2.991 38.673 128 64 26.4490 0.989 3.196 31.456 129 69 28.6990 0.822 3.565 45.044 130 69 25.6173 0.944 6.512 49.557 131 67 30.3871 1.245 3.603 46.769 88 132 67 33.6901 1.142 3.666 38.839 133 68 28.4005 0.860 2.890 32.140 134 59 25.4017 1.172 104.579 135 66 22.5710 0.956 3.354 36.253 136 71 24.4473 0.918 4.633 53.881 137 64 38.0762 1.086 5.043 32.835 138 80 23.3887 0.875 4.086 23.837 139 67 25.9455 0.983 4.328 71.334 89 ... mơ hình hồi quy ảnh ảnh hưởng hỗn hợp (Mixed – Effects Regression Model) Trong phạm vi luận văn tơi xin trình bày hai mơ hình hồi quy: Mơ hình hồi quy Logistic mơ hình hồi quy ảnh hưởng hỗn hợp. .. Mơ hình hồi quy Logistic Chương 2: Một vài ví dụ ứng dụng cho mơ hình Logistic Chương 3: Mơ hình hồi quy ảnh hưởng hỗn hợp Chương 4: Một vài ví dụ ứng dụng cho mơ hình hồi quy ảnh hưởng hỗn hợp. .. mơ hình hồi quy Logistic hay mơ hình hồi quy Probit) Như vậy, tỉ lệ hệ số hồi quy mơ hình là: βM σ v2 + σ ε2 = βF σ ε2 (3.5) Trong β M , β F hệ số hồi quy mơ hình hồi quy ảnh hưởng hỗn hợp mơ hình