Một số mô hình hồi qui

Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Trường đại học sư phạm hà nội Khoa toán ****o0o**** Lưu thị phượng Một số mơ hình hồi quy Khố luận tốt nghiệp đại học Chuyên ngành : Toán ứng dụng Người hướng dẫn khoa học GV Nguyễn Trung Dũng Hà nội - 2008 SV Lưu Thị Phượng-K30B CN Lời cảm ơn Qua em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo Th.S Nguyễn Trung Dũng dành thời gian, tâm huyết giúp đỡ em hoàn thành luạn văn Em xin gửi lười cảm ơn chân thành, lời chúc sức khoẻ hạnh phúc thành đạt tới đến thầy cô khoa tạo đièu kiện giúp đỡ em suột thười gian hoàn thành khoá luận Em xin chân thành cảm ơn! Tác giả Lưu Thị Phượng Lời cam đoan Tôi xin cam đoan khố luận cơng trình nghiên cứu riêng Trong nghiên cứu, kế thừa thành nghiên cứu nhà khoa học, nhà nghiên cứu với trân trọng biết ơn Những kết nêu khố luận chưa cơng bố cơng trình khác Xn Hồ, tháng 05 năm 2008 Tác giả Lưu Thị Phượng Lời nói đầu Trong nhiều toán thực tế người ta quan tâm đến quan hệ hai hay nhiều biến ngẫu nhiên X,Y khảo sát đồng thời tổng thể Điều có nghĩa ta lấy ngẫu nhiên cá thể tổng thể xen xét phải cân đo, phân tích, thử nghiệm ,…đồng thời hai đặc tính sinh học định lượng X Y Thí cân đo chiều cao em học sinh lớp 4, cân trọng lượng đo chiều dài cá, đo chiều cao trai gái gia đình… Tuy nhiên ta nghiên cứu đầy đủ đặc trưng quan hệ Mà thơng thường ta khảo sát mẫu gồm n cá thể, ta thu dãy n cặp số ( xi, yi i= 1, n xem cặp quan sát hai biến ngẫu ), nhiên X,Y Một câu hỏi tự nhiên đặt hai biến X, Y có quan hệ với nào? Và câu trả lời biến Y thay đổi theo thay đổi biến X phần trình bày đề tài “Các mơ hình hồi quy” Cụ thể, nghiên cứu hai vấn đề: 1) Nghiên cứu mơ hình hồi quy tuyến tính 2) Nghiên cứu mơ hình hồi quy phi tuyến Do thời gian lực có hạn nên khố luận tơi chắn khơng tránh khỏi thiếu sót, tơi mong nhận ý kiến đóng góp thầy giáo, cô giáo bạn sinh viên Mục lục Trang Lời nói đầu…………………………………………………………… Chương Hồi quy tuyến tính………………………………………… 1.1 Mơ hình hồi quy………………………………………………… 1.1.1 Các giả thuyết cho mơ hình…………………………………… 1.1.2 Phương trình hồi quy…………………………………………… 1.2 Mơ hình hồi quy tuyến tính đơn……………………………………3 1.3 Ước lượng tham số hồi quy………………………………… 1.3.1 Phương pháp bình phương bé nhất……………………………….4 1.3.2 Ước lượng điểm cho trung bình đáp ứng…………………………7 1.3.3 Ước lượng sai σ số …………………………………………… 1.4 Mơ hình hồi quy tuyến tính đơn với sai số chuẩn……………… 11 1.5 Phân tích cho mơ hình hồi quy tuyến tính đơn………………… 14 1.5.1 Kiểm định β1 …………………………………………………… 14 1.5.2 Khoảng tin cậy cho β1 ………………………………………… 15 1.5.3 Khoảng tin cậy cho β0 ………………………………………… 16 1.6 Dạng ma trận hồi quy tuyến tính…………………………… 17 1.6.1 Dạng ma trận hồi quy tuyến tính đơn……………………… 17 1.6.2 Ước lượng bình phương bé tham số hồi quy……………19 1.7 Hồi quy tuyến tính bội…………………………………………… 21 Chương Hồi quy phi tuyến……………………………………………27 2.1 Mô hình hồi quy phi tuyến…………………………………… ….27 2.2 Ước lượng tham số hồi quy…………………………………… ….30 2.3 Hồi quy logistic……………………………………………………31 2.3.1 Hồi quy với biến đáp ứng nhị phân……………………… 31 2.3.2 Hồi quy logistic đơn…………………………………………… 32 2.3.3 Hồi quy logistic bội…………………………………………… 34 2.4 Hồi quy Poatxông…………………………………………………35 Kết luận……………………………………………………………… 37 Tài liệu tham khảo…………………………………………………….38 Lời nói đầu Trong nhiều tốn thực tế người ta quan tâm đến quan hệ hai hay nhiều biến ngẫu nhiên X,Y khảo sát đồng thời tổng thể Một câu hỏi tự nhiên đặt hai biến X, Y có quan hệ với nào? Và câu trả lời biến Y thay đổi theo thay đổi biến X phần trình bày đề tài khố luận “Một số mơ hình hồi quy” Khố luận gồm hai chương: Chương Mơ hình hồi quy tuyến tính Trong chương trình bày mơ hình hồi qui tuyến tính đơn, mơ hình hồi qui tuyến tính bội dạng ma trận mơ hình Chương Mơ hình hồi quy phi tuyến Trong chương giới thiệu số mơ hình hồi qui phi tuyến như: hồi qui logistic hồi qui Poatxơng Khố luận thực trường Đại học Sư phạm Hà Nội Qua đây, xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo GV Nguyễn Trung Dũng dành nhiều thời gian, tâm huyết giúp đỡ tơi hồn thnàh luận văn Tơi xin gửi lời cảm ơn chân thành, lời chúc sức khoẻ hạnh phúc thành đạt đến thầy cô khoa tạo điều kiện giúp đỡ suốt thời gian hồn thành khóa luận Hà Nội, tháng năm 2008 Sinh viên Lưu Thị Phượng Chương 1: Hồi qui tuyến tính 1.1 Mơ hình hồi qui 1.1.1 Các giả thuyết cho mơ hình Xét mơ hình hồi qui nghiên cứu mối liên hệ biến X Y Trong X biến độc lập (independent variable ) kiểm soát người nghiên cứu, giá trị X người nghiên cứu chọn lựa dựa giá trị chọn X giá trị Y xác định, biến Y gọi biến phụ thuộc ( independent variable ) hay biến đáp ứng Mô hình hồi qui dựa giả thuyết sau : Giá trị biến X cố định có số lượng giới hạn Biến X thu thập khơng có sai số sai số bé bỏ qua Với giá trị biến X xác định tập hợp giá trị biến Y Tất phương sai tập hợp giá trị Y Tất trung bình tập hợp giá trị Y nằm đường thẳng, giả thuyết gọi giả thuyết tuyến tính thể rằng: µ y|x = α + β x µ giá trị trung bình tập hợp giá trị y|x Y ứng với giá trị X, tức E{Y| X = x } = β + β 1x Các giá trị Y độc lập với E{Y | X = x} = β + β 1x _ gọi hàm hồi qui β , β hệ số hồi qui 1.1.2 Phương trình hồi qui Mục tiêu phương trình hồi qui xây dung phương trình tham số mô tả mối liên hệ thực biến độc lập X biến phụ thuộc Y Các bước tiến hành phân tích hồi qui : Đánh giá xem giả thuyết mối liên hệ tương quan tuyến tính có khơng? Xác định phương trình hồi qui mơ tả hệ số liệu cách xác Đánh giá phương trình hồi qui để xác định mức độ mối tương quan Nếu số liệu thể tốt mơ hình tuyến tính vừa xây dựng, sử dụng phương trình hồi qui để dự đoán ước lượng giá trị 1.2 Mơ hình hồi qui tuyến tính đơn Xét mơ hình có dạng : Yi = β + β 1Xi + ε i (1.1) Trong : Yi giá trị quan sát biến đáp ứng Y lần quan sát thứ i Xi giá trị quan sát biến dự báo X lần quan sát thứ i β , β tham số hồi qui ε i biến ngẫu nhiên độc lập ( không tương quan ) với E{ ε i} = , var(ε i) = σ , i = 1, n • Mơ hình (1.1) thoả mãn giả thuyết mơ hình hồi qui Thật vậy, ta có: Vì với i (1 ≤ i ≤ n) ε i biến ngẫu nhiên nên Yi biến ngẫu nhiên Biến ngẫu nhiên ε I có kỳ vọng E{ ε i} = nên suy : E{Yi} = E{ β + β 1xi + ε i} Suy E{Yi} = β + β 1Xi , i = 1, n Biến ngẫu nhiên ε I có phương sai σ phương sai : Var{Yi} = σ Từ ta có : Biến đáp ứng Yi có Var{ β + β 1Xi + ε i} = σ 2{ε i} = σ Do đó, độ phân tán Yi mức X Vì ε i, ε j không tương quan nên suy Yi, Yj khơng tương quan • ý nghĩa hệ số hồi qui β , β gọi hệ số hồi qui β hệ số góc đường hồi qui ( f(X) = β + β 1X ) Hệ số góc thay đổi trung bình đáp ứng thay đổi đơn vị biến dự báo X β trung bình đáp ứng dự báo X • Một số phiên khác mơ hình (1.1) Giả sử X0 biến giả, (1.1) viết lại : Yi = β 0X0 + β 1Xi + ε i (1.2) , Xi ≡ Từ (1.1) ta có : Yi = β + β 1(Xi - X ) + β 1X Yi = β ⇔ +β +ε i X + β 1(Xi - X ) + ε Yi = β 0* + β 1(Xi - X ) ⇔ + ε i (1.3) Trong β 0* = β i +β 1X X = n n ∑ X i i=1 Tuỳ trường hợp thuận tiện ta sử dụng mơ hình (1.1) , (1.2) (1.3) 1.3 Ước lượng tham số hồi qui Giả sử ta có n quan sát (X1,Y1) , (X2,Y2) , …, (Xn,Yn) (X,Y) Vấn đề đặt dựa n quan sát ước lượng β mơ hình (1.1) ,β Phương pháp bình phương bé áp dụng mơ hình hồi qui phi tuyến để ước lượng tham số hồi qui tiến hành tương tự mơ hình hồi qui tuyến tính cực tiểu tổng : Q= ∑ [Y n i=1 i − f (X ,γ i )] Trong f i ,γ trung bùnh đáp ứng thứ i hàm đáp ứng phi (X ) tuyến f (X Tổng đạt cực tiểu tham số hồi qui ,γ ) γ0 , γ1 , , γ cho ta ước lượng bình phơng bé Có hai phương pháp để tìm ước lượng bình phương bé phương pháp số phương pháp dựa vào phương trình chuẩn Sự khác biệt hồi qui phi tuyến tuyến tính nghiệm phương trình chuẩn hồi qui phi tuyến đòi hỏi thủ tục lặp số nghiệm giải tích nói chung khơng tìm 2.3 Hồi qui logistic Chúng ta xem xét trường hợp dạng hồi qui phi tuyến mà kết đáp ứng rời rạc số hạng sai số khơng có phân phối chuẩn Đó hồi qui logistic hồi qui Poatxông Hồi qui logistic dùng biến đáp ứng định tính với kết Chẳng hạn, mức độ áp suất máu ( có mức áp suất cao, mức áp suất không cao ) Đôi dạng mở rộng biến định tính có kết có thể, ví lúc áp suất máu co thể phân loại : cao, bình thường, thấp Còn dạng hồi qui Pốtxơng dùng biến đáp ứng đếm với số lượng khơng q lớn Tóm lại, dạng hồi qui phi tuyến nhắc đến mục 2.1 dạng tuyến tính nói đến trước thuộc dạng hồi qui gọi dạng tuyến tính tổng quát 2.3.1 Hồi qui với biến đáp ứng nhị phân Trong trường hợp sử dụng hồi qui biến đáp ứng có kết định tính biểu diễn hàm tiêu với biến nhận giá trị Ví dụ 2.2 Trong nghiên cứu bệnh tim, hàm đáp ứng bao gồm độ tuổi, giới tính, q trình hút thuốc lá, lượng cholesterol, trọng lượng thể, áp suất máu, biến đáp ứng Y định nghĩa có kết : người có khả mắc bệnh tim cao người khơng có khả mắc bệnh tim cao suốt trình nghiên cứu Các kết mã số hố số • Hàm trung bình đáp ứmg Xét dạng hồi qui tuyến tính đơn : Yi = β0 + β1 X i + ε i ,Y = 0,1 (2.4) Trong kết Yi nhị phân nhận giá trị Từ E{i ε }= ta có : (2.5) E{Y }= β + β X i i Xem Yi biến ngẫu nhiên becnoulli ta có bảng phân phối xác suất sau : Y xác suất i 0P(Yi=1) = i 1P(Yi=0)=1- i Trong đó, π i xác suất mà Yi=1 1- xác suất mà Yi= π i Khi ta có : E{iY ) + 0(1 ) = } =1( − π π π i i i Từ (2.5) (2.6) ta : E{i Y }= β (2.6) + β X = π i Vậy hàm trung bình đáp ứng i E{Y }= β + β X i xác suất mà Yi = i ứng với biến độc lập Xi 2.3.2 Hồi qui logistic đơn Mẫu hồi qui logistic có dạng sau: Yi = Ei {Y i }+ ε (2.7) Trong Yi biến ngẫu nhiên độc lập có phân phối Becnoulli với kỳ vọng : E{Y }= π = exp(β + β X) i (2.8) , 1+ i exp(β + β1 X i ) Xi giá trị quan sát ( số ) • Hàm hợp lý Từ quan sát Yi biến ngẫu nhiên thơng thường Becnoulli, : P(Y i =1) i = π i = ) =1i − π P (Y biểu diễn phân phối xác suất sau : f (Y ) = i π Yi (1 − π )1Yii i Chú ý f ( 1) = Yi = 0,1 ; i = 1, …, n , f (0) =1 −i π π i i i Từ f (Y hàm phân phối ) i i i xác suất đơn mà Yi = Yi = Khi quan sát Yi độc lập phân phối xác suất : g )(=Y ,Y , ,Y n f (Y n π Yi (1 1−Yi )= − π ) n ∏ ∏ i i i=1 i i i=1 Ngồi dễ dàng tìm đượcước lợng hợp lý cực đại cách tính log hàm phân phối xác suất : ln g (Y )ln= , ,Y π (1 Yi − π ) 1−Yi n ∏ n ii i=1   π  n = ∑ Yi ln i  + ∑ ln(1 − n π i) i=1 Từ E(Y i )= π i 1 − π i   i=1 biến nhị phân từ (2.8) ta có :  exp(β + β X )  i − π i = exp( + βi ) X  1 β + = [1 + exp(β Hơn ta có : + β X i )] −1 (2.9)  i  ln  π   = β + β X i 1 − π i  từ (2.9) biểu diễn sau : n n (2.10) ln L(0β 1, β∑ ) = i i Y (β , β ∑ X )− ln[1i + exp (β + β X )] i=1 i=1 thay ta xem hàm hàm hợp L( , g (Y ,Y , ,Y ) β β ) 1 n lý cực đại tham số ước lượng • Ước lượng hợp lý cực đại Các giá trị β , mà đạo hàm hợp lý gọi ước lợng hợp lý β cực đại β , Trong mơ hình (2.10) khơng tồn nghiệm giải tích Vì β0 ˆ ˆ để tìm ước lượng hợp lý cực đại β ,1 β β0 ,1 ta dựa vào β phần mềm máy tính để tìm nghiệm xấp xỉ chúng Sau tìm ˆ ˆ ước lượng hợp lya cực đại , β ta thay giá trị vào hàm đáp β ứng (2.7) Đặt exp( βˆ πˆ = ( + βˆ X ) i (2.11) ) + exp0 + 1βˆ X βˆ i Hàm đáp ứng thích hợp sau : ˆ ˆ exp( β + β X ) πˆ = ( + exp βˆ + βˆ X 2.3.3 Hồi qui logistic bội • Mơ hình hồi qui logistic bội (2.12) Nếu ta dùng biến đổi logit : π ′ = ln + ˆ ˆ π = β βˆ1 X )  π   biểu diễn (2.12) : 1 − π   πˆ  , : πˆ ′ = ln    − πˆ  Mẫu hồi qui logistic đơn (2.7) dễ dàng mở rộnh với với biến dự báo.Trong việc mở rộng này, thay β + (2.7) β X1 β0 +1 β X + Để đơn giản hố cơng thức, ta dùng kí hiệu ma p−1 +β X trận vec tơ đây: β0    1  X   1 X= X  , β β =   p.1 ,    p.1  β p−1 1    X i1   X = X      i p    X p−1  Sau ta có : i2     X  i , p−1  β ′X = β + β X + + β X β i′X = β + β X + + β i1 p−1 i , p X 1   p−1 − Với kí hiệu này, hàm đáp ứng logistic đơn (2.7) mở rộng thành hàm đáp ứng logistic bội sau : exp (β ′X ) E{Y } = + exp(β ′X ) Và công thức đáp ứng logistic tương đương đợc mở rộng thành: E{Y } = [1 + exp(− β ′X )]1  π  Tương tự biến đổi logit π ′  dẫn tới hàm đáp ứng logit : = ln π ′ = β ′X 1 − π  Vì vậy, mẫu hồi qui logistic bội phát biểu sau : Yi biến tuỳ ý không phụ thuộc Becnoulli với giá trị thoả mãn : E{i Y }= π i , : E{i Y }= π = i exp(β ′X 1+ ) exp(β ′X ) i i Nhắc lại, quan sát X coi số Ngoài ra, biến X tuỳ ý, E{Yi } coi trung bình điều kiện đem lại giá trị X , , 01 X i, p−1 2.4 Hồi qui Poatxơng • Mơ hình hồi qui Poatxơng Mơ hình hồi qui Poatxơng có dạng sau : Yi = Ei {Y i , i = 1,…,n }+ ε (2.13) Trung bình đáp ứng thứ i kí hiệu µ = , p) µi ( X i ○ Một số hàm thường sử dụng cho hồi qui Poatxông : =µ µ (X i , i β )= X ′β i =µ µ (X i , β i =µ µ (X i , i )= exp( X ′β ) i β ) = i ln( X ′β ) Yi biến ngẫu nhiên khơng độc lập có phân phối Poatxơng với trung bình µthoả mãn µ = µ( X , β ) i i • Ước lượng hợp lý cực đại Với mơ hình hồi qui Poatxơng (2.13), hàm hợp lý đợc phát biểu sau: [ ( )= ∏ β ] µ( X (∏ ))= Lβ n fi Yi i=1 , exp µ( X[− i n i=1 i Yi ! Yi    µ∏ ( X i , β[ exp− n )] i =1 )] Yi n = ,β n  ∑ i =1 ∏Y i !  µ ( X i , β )   i=1 Lấy logarit số e vế ta có : n ln L(β ) = ∑ln(Yi !) i=1 n ∑Y i ln[µ ( X i , β i=1 n )] − ∑ µ ( X i ,β )− i=1 Có thể dùng phương pháp số để tìm ước lượng hợp lý cực đại ˆ ˆ β0 , β1 , , βˆ p − Chúng ta dựa vào chương trình phần mềm thống kê chuẩn thiết kế riêng cho hồi qui Poatxông để thu ước lượng hợp lý cực đại Kết luận Với đề tài : “Một số mơ hình hồi quy” luận văn trình bày kết quan trọng mơ hình hồi quy tuyến tính mơ hình hồi quy phi tuyến Đồng thời đưa ví dụ để minh họa cho mơ hình Vì điều kiện thời gian khả có hạn nên khố luận khơng tránh khỏi thiếu sót Vì tơi mong nhận góp ý thầy cô bạn Tôi xin chân thành cảm ơn! Tài liệu tham khảo Đào Hữu Hồ (2006), “Xác suất thống kê”, NXB Đại học quốc gia Đào Hữu Hồ, Nguyễn Văn Hữu, Hoàng Hữu Như (2005), “Thống kê toán học”, NXB Đại học quốc gia Nguyễn Duy Tiến, Vũ Viết Yên (2003), “Lý thuyết xác suất”, NXB Giáo dục E.L.Lehmann(1986), “Testinh Statistical Hypotheses”, Chapman Hall J.Neter, M.H Kutner.W Wasserman (1996), “App lied Liner Statistical Models”, McGraw-Hill ... Mơ hình hồi quy tuyến tính Trong chương trình bày mơ hình hồi qui tuyến tính đơn, mơ hình hồi qui tuyến tính bội dạng ma trận mơ hình Chương Mơ hình hồi quy phi tuyến Trong chương giới thiệu số. .. hệ số hồi qui β , β gọi hệ số hồi qui β hệ số góc đường hồi qui ( f(X) = β + β 1X ) Hệ số góc thay đổi trung bình đáp ứng thay đổi đơn vị biến dự báo X β trung bình đáp ứng dự báo X • Một số. .. với E{Y | X = x} = β + β 1x _ gọi hàm hồi qui β , β hệ số hồi qui 1.1.2 Phương trình hồi qui Mục tiêu phương trình hồi qui xây dung phương trình tham số mô tả mối liên hệ thực biến độc lập X