Một số mô hình hồi qui

Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Trường đại học sư phạm hà nội Khoa toán ****o0o**** Lưu thị phượng Một số mô hình hồi quy Khoá luận tốt nghiệp đại học Chuyên ngành : Toán ứng dụng Người hướng dẫn khoa học GV Nguyễn Trung Dũng Hà nội - 2008 SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Lời cảm ơn Qua em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo Th.S Nguyễn Trung Dũng dành thời gian, tâm huyết giúp đỡ em hoàn thành luạn văn Em xin gửi lười cảm ơn chân thành, lời chúc sức khoẻ hạnh phúc thành đạt tới đến thầy cô khoa tạo đièu kiện giúp đỡ em suột thười gian hoàn thành khoá luận Em xin chân thành cảm ơn! Tác giả Lưu Thị Phượng SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Lời cam đoan Tôi xin cam đoan khoá luận công trình nghiên cứu riêng Trong nghiên cứu, kế thừa thành nghiên cứu nhà khoa học, nhà nghiên cứu với trân trọng biết ơn Những kết nêu khoá luận chưa công bố công trình khác Xuân Hoà, tháng 05 năm 2008 Tác giả Lưu Thị Phượng SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Lời nói đầu Trong nhiều toán thực tế người ta quan tâm đến quan hệ hai hay nhiều biến ngẫu nhiên X,Y khảo sát đồng thời tổng thể Điều có nghĩa ta lấy ngẫu nhiên cá thể tổng thể xen xét phải cân đo, phân tích, thử nghiệm ,…đồng thời hai đặc tính sinh học định lượng X Y Thí cân đo chiều cao em học sinh lớp 4, cân trọng lượng đo chiều dài cá, đo chiều cao trai gái gia đình… Tuy nhiên ta nghiên cứu đầy đủ đặc trưng quan hệ Mà thông thường ta khảo sát mẫu gồm n cá thể, ta thu dãy n cặp số ( xi , yi ), i  1, n xem cặp quan sát hai biến ngẫu nhiên X,Y Một câu hỏi tự nhiên đặt hai biến X, Y có quan hệ với nào? Và câu trả lời biến Y thay đổi theo thay đổi biến X phần trình bày đề tài “Các mô hình hồi quy” Cụ thể, nghiên cứu hai vấn đề: 1) Nghiên cứu mô hình hồi quy tuyến tính 2) Nghiên cứu mô hình hồi quy phi tuyến Do thời gian lực có hạn nên khoá luận chắn không tránh khỏi thiếu sót, mong nhận ý kiến đóng góp thầy giáo, cô giáo bạn sinh viên SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Mục lục Trang Lời nói đầu…………………………………………………………… Chương Hồi quy tuyến tính………………………………………… 1.1 Mô hình hồi quy………………………………………………… 1.1.1 Các giả thuyết cho mô hình…………………………………… 1.1.2 Phương trình hồi quy…………………………………………… 1.2 Mô hình hồi quy tuyến tính đơn……………………………………3 1.3 Ước lượng tham số hồi quy………………………………… 1.3.1 Phương pháp bình phương bé nhất……………………………….4 1.3.2 Ước lượng điểm cho trung bình đáp ứng…………………………7 1.3.3 Ước lượng sai số  …………………………………………… 1.4 Mô hình hồi quy tuyến tính đơn với sai số chuẩn……………… 11 1.5 Phân tích cho mô hình hồi quy tuyến tính đơn………………… 14 1.5.1 Kiểm định 1 …………………………………………………… 14 1.5.2 Khoảng tin cậy cho 1 ………………………………………… 15 1.5.3 Khoảng tin cậy cho 0 ………………………………………… 16 1.6 Dạng ma trận hồi quy tuyến tính…………………………… 17 1.6.1 Dạng ma trận hồi quy tuyến tính đơn……………………… 17 1.6.2 Ước lượng bình phương bé tham số hồi quy……………19 1.7 Hồi quy tuyến tính bội…………………………………………… 21 Chương Hồi quy phi tuyến……………………………………………27 2.1 Mô hình hồi quy phi tuyến…………………………………… ….27 2.2 Ước lượng tham số hồi quy…………………………………… ….30 2.3 Hồi quy logistic……………………………………………………31 2.3.1 Hồi quy với biến đáp ứng nhị phân……………………… 31 SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng 2.3.2 Hồi quy logistic đơn…………………………………………… 32 2.3.3 Hồi quy logistic bội…………………………………………… 34 2.4 Hồi quy Poatxông…………………………………………………35 Kết luận……………………………………………………………… 37 Tài liệu tham khảo…………………………………………………….38 SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Lời nói đầu Trong nhiều toán thực tế người ta quan tâm đến quan hệ hai hay nhiều biến ngẫu nhiên X,Y khảo sát đồng thời tổng thể Một câu hỏi tự nhiên đặt hai biến X, Y có quan hệ với nào? Và câu trả lời biến Y thay đổi theo thay đổi biến X phần trình bày đề tài khoá luận “Một số mô hình hồi quy” Khoá luận gồm hai chương: Chương Mô hình hồi quy tuyến tính Trong chương trình bày mô hình hồi qui tuyến tính đơn, mô hình hồi qui tuyến tính bội dạng ma trận mô hình Chương Mô hình hồi quy phi tuyến Trong chương giới thiệu số mô hình hồi qui phi tuyến như: hồi qui logistic hồi qui Poatxông Khoá luận thực trường Đại học Sư phạm Hà Nội Qua đây, xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo GV Nguyễn Trung Dũng dành nhiều thời gian, tâm huyết giúp đỡ hoàn thnàh luận văn Tôi xin gửi lời cảm ơn chân thành, lời chúc sức khoẻ hạnh phúc thành đạt đến thầy cô khoa tạo điều kiện giúp đỡ suốt thời gian hoàn thành khóa luận Hà Nội, tháng năm 2008 Sinh viên Lưu Thị Phượng SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Chương 1: Hồi qui tuyến tính 1.1 Mô hình hồi qui 1.1.1 Các giả thuyết cho mô hình Xét mô hình hồi qui nghiên cứu mối liên hệ biến X Y Trong X biến độc lập (independent variable ) kiểm soát người nghiên cứu, giá trị X người nghiên cứu chọn lựa dựa giá trị chọn X giá trị Y xác định, biến Y gọi biến phụ thuộc ( independent variable ) hay biến đáp ứng Mô hình hồi qui dựa giả thuyết sau : Giá trị biến X cố định có số lượng giới hạn Biến X thu thập sai số sai số bé bỏ qua Với giá trị biến X xác định tập hợp giá trị biến Y Tất phương sai tập hợp giá trị Y Tất trung bình tập hợp giá trị Y nằm đường thẳng, giả thuyết gọi giả thuyết tuyến tính thể rằng:  yx   +  x  yx giá trị trung bình tập hợp giá trị Y ứng với giá trị X, tức E{Y  X = x } =  +  1x Các giá trị Y độc lập với E{Y  X = x} =  +  1x _ gọi hàm hồi qui  ,  hệ số hồi qui 1.1.2 Phương trình hồi qui Mục tiêu phương trình hồi qui xây dung phương trình tham số mô tả mối liên hệ thực biến độc lập X biến phụ thuộc Y Các bước tiến hành phân tích hồi qui : SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Đánh giá xem giả thuyết mối liên hệ tương quan tuyến tính có không? Xác định phương trình hồi qui mô tả hệ số liệu cách xác Đánh giá phương trình hồi qui để xác định mức độ mối tương quan Nếu số liệu thể tốt mô hình tuyến tính vừa xây dựng, sử dụng phương trình hồi qui để dự đoán ước lượng giá trị 1.2 Mô hình hồi qui tuyến tính đơn Xét mô hình có dạng : Yi =  +  1Xi +  i (1.1) Trong : Yi giá trị quan sát biến đáp ứng Y lần quan sát thứ i Xi giá trị quan sát biến dự báo X lần quan sát thứ i  ,  tham số hồi qui  i biến ngẫu nhiên độc lập ( không tương quan ) với E{  i} = , var(  i) =  , i = 1,n  Mô hình (1.1) thoả mãn giả thuyết mô hình hồi qui Thật vậy, ta có: Vì với i (1  i  n)  i biến ngẫu nhiên nên Yi biến ngẫu nhiên Biến ngẫu nhiên  I có kỳ vọng E{  i} = nên suy : E{Yi} = E{  +  1xi +  i} Suy E{Yi} =  +  1Xi , i = 1,n Biến ngẫu nhiên  I có phương sai  Biến đáp ứng Yi có phương sai : Var{Yi} =  Từ ta có : SV Lưu Thị Phượng-K30B CN Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Var{  +  1Xi +  i} =  2{  i} =  Do đó, độ phân tán Yi mức X Vì  i,  j không tương quan nên suy Yi, Yj không tương quan  ý nghĩa hệ số hồi qui  ,  gọi hệ số hồi qui  hệ số góc đường hồi qui ( f(X) =  +  1X ) Hệ số góc thay đổi trung bình đáp ứng thay đổi đơn vị biến dự báo X  trung bình đáp ứng dự báo X  Một số phiên khác mô hình (1.1) Giả sử X0 biến giả, (1.1) viết lại : Yi =  0X0 +  1Xi +  i (1.2) , Xi  Từ (1.1) ta có : Yi =  +  1(Xi - X ) +  X +  i  Yi =  +  X +  1(Xi - X ) +  i  Yi =  0* +  1(Xi - X ) +  i Trong  0* =  +  X X = (1.3) n n X i i 1 Tuỳ trường hợp thuận tiện ta sử dụng mô hình (1.1) , (1.2) (1.3) 1.3 Ước lượng tham số hồi qui Giả sử ta có n quan sát (X1,Y1) , (X2,Y2) , …, (Xn,Yn) (X,Y) Vấn đề đặt dựa n quan sát ước lượng  ,  mô hình (1.1) 1.3.1 Phương pháp bình phương bé Với i đại lượng Yi - (  +  1)Xi độ lệch Yi với giá trị lý thuyết SV Lưu Thị Phượng-K30B CN 10 Khoá luận tốt nghiệp  n  p  ˆ  GV Nguyễn Trung Dũng có phân phối  với ( n – p ) bậc tự ˆ độc lập với ˆi , i  0, p  Từ định lý ta có :  E ˆ    Ma trận hiệp phương sai  ˆ :      ˆ0   ˆ1 , ˆ0   ˆ   p p    ˆ p 1 , ˆ0       ˆ   ˆ0 , ˆ1     ˆ , ˆ    ˆ0 , ˆ p 1    ˆp-1 , ˆ1  p 1    ˆ p 1       cho :  1  ˆ    X X  p p Ma trận hiệp phương sai ước lượng :     ˆ ˆ0  ˆ ˆ1 , ˆ0  ˆ ˆ   p p   ˆ ˆ p 1 , ˆ0      ˆ ˆ  ˆ ˆ0 , ˆ1   ˆ ˆp-1 , ˆ1   ˆ ˆ , ˆ   ˆ ˆ0 , ˆ p 1   cho :  1 ˆ ˆ  MSE X X  p p      Từ ˆ ˆ ta có ˆ ˆ0 ,ˆ ˆ1  Khoảng ước lượng  k Đối với mô hình hồi qui sai số chuẩn (1.17) , ta có : SV Lưu Thị Phượng-K30B CN 31 p 1   ˆ ˆ p 1       Khoá luận tốt nghiệp GV Nguyễn Trung Dũng ˆk   k ~ t n  p , k  0, p  ˆ ˆk   Do khoảng tin cậy cho  k với hệ số tin cậy   :    ˆk  t   ; n  p ˆ ˆk  Kiểm định cho  k Xét toán kiểm định : H0 : k  H a : k  Ta dùng kiểm định thống kê: t*  Và qui tắc định :  ˆk ˆ  k   Nếu t *  t   ; n  p , chấp nhận H Ngược lại chấp nhận H a SV Lưu Thị Phượng-K30B CN 32 Khoá luận tốt nghiệp SV Lưu Thị Phượng-K30B CN GV Nguyễn Trung Dũng 33 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Chương Hồi qui phi tuyến 2.1.Mô hình hồi qui phi tuyến  Mô hình Yi  f  X i ,     i (2.1) đây, quan sát Yi tổng trung bình đáp ứng f  X i ,   cho hàm phi tuyến f  X ,   sai số  i , ( E i   0, var i    )  Mô hình hồi qui mũ Mô hình hồi qui hàm số mũ với biến dự báo sai số chuẩn : Yi   exp X i    i (2.2) Trong :  ,  tham số , X i số biết  i biến ngẫu nhiên độc lập phân phối N 0,  Hàm đáp ứng cho mô hình : f  X ,     exp( X ) Chú ý mô hình không tuyến tính tham số  ,   Tổng quát f  X ,       exp X i    i , số hạng sai số độc lập chuẩn với phương sai  Hàm đáp ứng mô hình : f  X ,       exp X   Mô hình hồi qui logic Một mô hình hồi qui phi tuyến quan trọng mô hình hồi qui logic Mô hình với biến dự báo số hạng sai số chuẩn có dạng : SV Lưu Thị Phượng-K30B CN 34 Khoá luận tốt nghiệp Yi  GV Nguyễn Trung Dũng 0   exp  X i   i (2.3) Hàm đáp ứng : f X ,   0 (2.4)   exp  X  Chú ý hàm đáp ứng không tuyến tính tham số  , ,  Dạng tổng quát mô hình hồi qui phi tuyến Mô hình : Yi  f  X i ,     i (2.5) Trong :  X i1  X  i2 Xi      q    X iq  ,     `1      p    p 1  Ví dụ 2.1 Các nhà quản lý bệnh viện mong muốn phát triển mô hình hồi qui dể dự báo mức độ bình phục sau viện bệnh nhân nặng Biến dự báo sử dụng số ngày nằm viện (X), biến đáp ứng dấu hiệu bình phục (Y), với giá trị lớn mang lại dấu hiệu tốt Bảng 2.1 cho số liệu nghiên cứu 15 bệnh nhân Sơ đồ tán xạ số liệu hình 2.1 Bảng 2.1 Số liệu ví dụ bệnh nhân nặng Bệnh nhân Số ngày nằm viện Dấu hiệu bình phục (i) ( Xi) (Yi) SV Lưu Thị Phượng-K30B CN 35 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng 54 50 45 10 37 14 35 189 25 26 20 31 16 34 18 10 38 13 11 45 12 52 11 13 53 14 60 15 65 Hình 2.1 Sơ đồ tán xạ hàm hồi qui phi tuyến thích hợp_Ví dụ Dấu hiệu bình phục bệnh nhân nặng Số ngày nằm viện SV Lưu Thị Phượng-K30B CN 36 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Các nghiên cứu tự nhiên có liên quan tìm mối liên hệ biến dự báo biến đáp ứng tuân theo luật số mũ Bởi vậy, ta kiểm tra thích hợp mô hình hồi qui phi tuyến với tham số : Yi   exp X i    i ,  i biến ngẫu nhiên độc lập với phương sai mô hình phù hợp ước lượng tham số hồi qui thoả mãn Định nghĩa 2.1 Hàm đáp ứng phi tuyến tuyến tính hoá phép biến đổi gọi hàm đáp ứng tuyến tính Ví dụ , hàm đáp ứng hàm số mũ f  X ,     exp X  hàm đáp ứng tuyến tính tuyến tính hoá phép biến đổi logarit: ln f  X ,    ln    X Hàm đáp ứng biến đổi có dạng : g  X ,      1 X , : g  X ,    ln f  X ,  ,   ln  , 1   2.2 Ước lượng tham số hồi qui  Phương pháp bình phương bé Phương pháp bình phương bé áp dụng mô hình hồi qui phi tuyến để ước lượng tham số hồi qui tiến hành tương tự mô hình hồi qui tuyến tính cực tiểu tổng : Q   Yi  f  X i ,   n i 1 SV Lưu Thị Phượng-K30B CN 37 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Trong f  X i ,   trung bùnh đáp ứng thứ i hàm đáp ứng phi tuyến f  X ,   Tổng đạt cực tiểu tham số hồi qui  ,  , ,  p1 cho ta ước lượng bình phơng bé Có hai phương pháp để tìm ước lượng bình phương bé phương pháp số phương pháp dựa vào phương trình chuẩn Sự khác biệt hồi qui phi tuyến tuyến tính nghiệm phương trình chuẩn hồi qui phi tuyến đòi hỏi thủ tục lặp số nghiệm giải tích nói chung không tìm 2.3 Hồi qui logistic Chúng ta xem xét trường hợp dạng hồi qui phi tuyến mà kết đáp ứng rời rạc số hạng sai số phân phối chuẩn Đó hồi qui logistic hồi qui Poatxông Hồi qui logistic dùng biến đáp ứng định tính với kết Chẳng hạn, mức độ áp suất máu ( có mức áp suất cao, mức áp suất không cao ) Đôi dạng mở rộng biến định tính có kết có thể, ví lúc áp suất máu co thể phân loại : cao, bình thường, thấp Còn dạng hồi qui Poátxông dùng biến đáp ứng đếm với số lượng không lớn Tóm lại, dạng hồi qui phi tuyến nhắc đến mục 2.1 dạng tuyến tính nói đến trước thuộc dạng hồi qui gọi dạng tuyến tính tổng quát 2.3.1 Hồi qui với biến đáp ứng nhị phân Trong trường hợp sử dụng hồi qui biến đáp ứng có kết định tính biểu diễn hàm tiêu với biến nhận giá trị Ví dụ 2.2 Trong nghiên cứu bệnh tim, hàm đáp ứng bao gồm độ tuổi, giới tính, trình hút thuốc lá, lượng cholesterol, trọng lượng thể, áp suất máu, biến đáp ứng Y định nghĩa có kết : người có khả SV Lưu Thị Phượng-K30B CN 38 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng mắc bệnh tim cao người khả mắc bệnh tim cao suốt trình nghiên cứu Các kết mã số hoá số  Hàm trung bình đáp ứmg Xét dạng hồi qui tuyến tính đơn : Yi    1 X i   i ,Y  0,1 (2.4) Trong kết Yi nhị phân nhận giá trị Từ E i   ta có : EYi     1 X i (2.5) Xem Yi biến ngẫu nhiên becnoulli ta có bảng phân phối xác suất sau : Y xác suất i P(Yi=1) =  i P(Yi=0)=1-  i Trong đó,  i xác suất mà Yi=1 1-  i xác suất mà Yi= Khi ta có : EYi   1 i   01   i    i (2.6) Từ (2.5) (2.6) ta : EYi     1 X i   i Vậy hàm trung bình đáp ứng EYi     1 X i xác suất mà Yi = ứng với biến độc lập Xi 2.3.2 Hồi qui logistic đơn Mẫu hồi qui logistic có dạng sau: Yi  EYi    i (2.7) Trong Yi biến ngẫu nhiên độc lập có phân phối Becnoulli với kỳ vọng : SV Lưu Thị Phượng-K30B CN 39 Khoá luận tốt nghiệp EYi    i  GV Nguyễn Trung Dũng exp   1 X i   exp   1 X i  (2.8) , Xi giá trị quan sát ( số )  Hàm hợp lý Từ quan sát Yi biến ngẫu nhiên thông thường Becnoulli, : PYi 1   i PYi  0    i biểu diễn phân phối xác suất sau : f i Yi    i 1   i  1Yii Yi Yi = 0,1 ; i = 1, …, n , Chú ý f i 1   i f i 0 1   i Từ f i Yi  hàm phân phối xác suất đơn mà Yi = Yi = Khi quan sát Yi độc lập phân phối xác suất : g Y1 ,Y2 , , Yn    f i Yi    i 1   i  n n i 1 i 1 Yi 1Yi Ngoài dễ dàng tìm đượcước lợng hợp lý cực đại cách tính log hàm phân phối xác suất : ln g Y1 , , Yn   ln  iYi 1   i  n 1Yi i 1 n     n =  Yi ln i    ln1   i  i 1    i  i 1  Từ E Yi    i biến nhị phân từ (2.8) ta có :  exp   1 X i   1 i    1  exp   1 X i  = 1  exp  1 X i  1 Hơn ta có : SV Lưu Thị Phượng-K30B CN 40 (2.9) Khoá luận tốt nghiệp GV Nguyễn Trung Dũng    ln  i     1 X i 1   i  từ (2.9) biểu diễn sau : ln L , 1   Yi  , 1 X i    ln1  exp   1 X i  n n i 1 i 1 (2.10) L , 1  thay g Y1 ,Y2 , , Yn  ta xem hàm hàm hợp lý cực đại tham số ước lượng  Ước lượng hợp lý cực đại Các giá trị  , 1 mà đạo hàm hợp lý gọi ước lợng hợp lý cực đại  , 1 Trong mô hình (2.10) không tồn nghiệm giải tích Vì để tìm ước lượng hợp lý cực đại ˆ0 , ˆ1  , 1 ta dựa vào phần mềm máy tính để tìm nghiệm xấp xỉ chúng Sau tìm ước lượng hợp lya cực đại ˆ0 , ˆ1 ta thay giá trị vào hàm đáp ứng (2.7) Đặt ˆ i = exp( ˆ0  ˆ1 X i )  exp ˆ0  ˆ1 X i   (2.11) Hàm đáp ứng thích hợp sau : ˆ = exp( ˆ0  ˆ1 X )  exp ˆ  ˆ X   (2.12)    Nếu ta dùng biến đổi logit :    ln  biểu diễn (2.12) : 1     ˆ  ˆ  ˆ0  ˆ1 X , : ˆ   ln    ˆ  2.3.3 Hồi qui logistic bội  Mô hình hồi qui logistic bội SV Lưu Thị Phượng-K30B CN 41 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Mẫu hồi qui logistic đơn (2.7) dễ dàng mở rộnh với với biến dự báo.Trong việc mở rộng này, thay   1 X (2.7)   1 X    p1 X p1 Để đơn giản hoá công thức, ta dùng kí hiệu ma trận vec tơ đây:          p     p 1  , 1    X   X  X  p     X   p 1  , 1    X i   X i   X i2  p     X   i , p 1  Sau ta có :  X    1 X    p1 X p1  X i    1 X i    p 1 X i , p 1 Với kí hiệu này, hàm đáp ứng logistic đơn (2.7) mở rộng thành hàm đáp ứng logistic bội sau : EY   exp  X   exp  X  Và công thức đáp ứng logistic tương đương đợc mở rộng thành: EY   1  exp  X  1    Tương tự biến đổi logit    ln  dẫn tới hàm đáp ứng logit : 1        X Vì vậy, mẫu hồi qui logistic bội phát biểu sau : Yi biến tuỳ ý không phụ thuộc Becnoulli với giá trị thoả mãn : EYi    i , : EYi    i  SV Lưu Thị Phượng-K30B CN exp  X i   exp  X i  42 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Nhắc lại, quan sát X coi số Ngoài ra, biến X tuỳ ý, EYi  coi trung bình điều kiện đem lại giá trị X 01, , X i , p1 2.4 Hồi qui Poatxông  Mô hình hồi qui Poatxông Mô hình hồi qui Poatxông có dạng sau : Yi  EYi    i , i = 1,…,n (2.13) Trung bình đáp ứng thứ i kí hiệu i    X i , p   Một số hàm thường sử dụng cho hồi qui Poatxông : i    X i ,    X i i    X i ,    exp( X i ) i    X i ,    ln( X i ) Yi biến ngẫu nhiên không độc lập có phân phối Poatxông với trung bình  i thoả mãn i    X i ,    Ước lượng hợp lý cực đại Với mô hình hồi qui Poatxông (2.13), hàm hợp lý đợc phát biểu sau: L    f i Yi    n i 1 n   X ,   Yi i i 1 exp   X i ,   Yi !  n  n  Yi    X i ,   exp     X i ,     i 1  =  i 1 n Y ! i i 1 Lấy logarit số e vế ta có : ln L   Yi ln  X i ,       X i ,     lnYi ! n n n i 1 i 1 i 1 Có thể dùng phương pháp số để tìm ước lượng hợp lý cực đại ˆ0 , ˆ1 , , ˆ p 1 Chúng ta dựa vào chương trình phần mềm thống kê SV Lưu Thị Phượng-K30B CN 43 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng chuẩn thiết kế riêng cho hồi qui Poatxông để thu ước lượng hợp lý cực đại Kết luận Với đề tài : “Một số mô hình hồi quy” luận văn trình bày kết quan trọng mô hình hồi quy tuyến tính mô hình hồi quy phi tuyến Đồng thời đưa ví dụ để minh họa cho mô hình Vì điều kiện thời gian khả có hạn nên khoá luận không tránh khỏi thiếu sót Vì mong nhận góp ý thầy cô bạn Tôi xin chân thành cảm ơn! SV Lưu Thị Phượng-K30B CN 44 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng Tài liệu tham khảo Đào Hữu Hồ (2006), “Xác suất thống kê”, NXB Đại học quốc gia Đào Hữu Hồ, Nguyễn Văn Hữu, Hoàng Hữu Như (2005), “Thống kê toán học”, NXB Đại học quốc gia Nguyễn Duy Tiến, Vũ Viết Yên (2003), “Lý thuyết xác suất”, NXB Giáo dục E.L.Lehmann(1986), “Testinh Statistical Hypotheses”, Chapman Hall J.Neter, M.H Kutner.W Wasserman (1996), “App lied Liner Statistical Models”, McGraw-Hill SV Lưu Thị Phượng-K30B CN 45 [...]... tuyến tính đối với các tham số  0 ,  1  Tổng quát f  X ,     0   1 exp 2 X i    i , trong đó số hạng sai số là độc lập chuẩn với phương sai hằng  2 Hàm đáp ứng của mô hình này là : f  X ,     0   1 exp 2 X   Mô hình hồi qui logic Một mô hình hồi qui phi tuyến quan trọng nữa là mô hình hồi qui logic Mô hình này với một biến dự báo và số hạng sai số chuẩn có dạng : SV Lưu... f  X ,   và sai số  i , ( E i   0, var i    2 )  Mô hình hồi qui mũ Mô hình hồi qui hàm số mũ với một biến dự báo và sai số chuẩn là : Yi   0 exp 1 X i    i (2.2) Trong đó :  1 ,  0 là các tham số , X i là các hằng số đã biết  i là biến ngẫu nhiên độc lập phân phối N 0, 2  Hàm đáp ứng cho mô hình này là : f  X ,     0 exp( 1 X ) Chú ý rằng mô hình này không tuyến...  1 x   0 hay ˆ   0 0  Các khẳng định 2,3,4 thừa nhận 1.5 Phân tích hồi qui cho mô hình hồi qui tuyến tính đơn 1.5.1.Kiểm định 1 Xét mô hình (1.9) Yi  0  1 X i   i , i = 1 ,…,n Từ mô hình (1.9) ta nhận thấy rằng nếu 1  0 thì không có mối liên hệ tuyến tính giữa X và Y Vì vậy để đánh giá sự phù hợp của mô hình ta xét bài toán kiểm định giả thuyết sau : H0 : 0  1 , với đối thiết... các tham số  0 , 1 , 2  Dạng tổng quát của mô hình hồi qui phi tuyến Mô hình : Yi  f  X i ,     i (2.5) Trong đó :  X i1  X  i2 Xi      q 1    X iq  ,  0    `1      p 1    p 1  Ví dụ 2.1 Các nhà quản lý bệnh viện rất mong muốn phát triển mô hình hồi qui dể dự báo mức độ bình phục sau khi ra viện của các bệnh nhân nặng Biến dự báo được sử dụng là số ngày nằm... tham số trong hàm hồi qui E{Y}= 0 + 1 x Khi đó chúng ta có ước lượng cho hàm hồi qui là : Yˆ = ˆ 0+ ˆ 1X , Trong đó Yˆ là giá trị của ước lượng của hàm hồi qui tại mức X của biến dự báo Từ định lý Gauss-Markov và do ˆ 0 , ˆ 1 là các ước lượng không chệch cho các tham số  0 ,  1 nên Yˆ là ước lượng không chệch cho E{Y} Ví dụ 1.2 Trong Ví dụ 1.1 ở trên , nếu cho các ước lượng hệ số hồi qui ˆ... vậy sự phụ thuộc của thời gian sản xuất vào số sản phẩm có thể được mô tả bằng ( hồi qui mẫu ) : y= 0.0436x + 0,0857 Hình1 .1 Sơ đồ tán xạ và đường hồi qui thích hợp _ Ví dụ1.1 Hình b: Đường hồi quy thích hợp Giờ Giờ Hình a: Sơ đồ tán xạ Lô sản phẩm Lô sản phẩm  Tính chất của ước lượng bình phương bé nhất Định nghĩa 1.1 Cho Y1,Y2,…,Yn là các quan sát về tham số  Ước lượng ˆ của  được gọi là ước lượng...  Dạng ma trận của mô hình hồi qui tuyến tính bội Đặt 1 Y1   Y  1 Y   2 , X   n.1   n p     1 Yn  X11 X12 X 21 X 22 X n-1 X n-2 X 1,p-1   0  1       X 2,p-1  1   ,  ,    2    n.1   p 1      X n,p-1    p 1   n  Chú ý rằng: vectơ y và  giống như ở mô hình hồi qui tuyến tính đơn, vectơ  gồm các tham số hồi qui cộng tính Ma trận... sai của Y cũng giống như của  :  2 Y    2 I n.n n.n  Ước lượng của các hệ số hồi qui  Kí hiệu bình phương bé nhất của mô hình hồi qui (1.17) là : n Q   (Yi  0  1 X i1    p 1 X i , p1 )2 i 1 Ước lượng bình phương bé nhất là các giá trị của 0 , 1, ,  p1 để Qmin ta kí hiệu vectơ của các hệ số hồi qui được ước lượng bình phương bé nhất ˆ0 , ˆ1 , , ˆ p 1 của ˆ là  ˆ0  ... dạng ma trận của mô hình hồi qui tuyến tính đơn (1.9) là : Y  X  (1.13) , trong đó :  là vectơ ngẫu nhiên có phân phối chuẩn với E   và  2     2 I 1.6.2 Ước lượng bình phương bé nhất của tham số hồi qui  Phương trình chuẩn nˆ0  ˆ1  X i   Yi (1.14) ˆ0  X i  ˆ1  X i2  X iYi Có dạng ma trận X X ˆ  X Y 2.2 2.1 2.1 (1.15) trong đó ˆ là vectơ của các hệ số hồi qui bình phương... Phượng-K30B CN 27 Khoá luận tốt nghiệp GV Nguyễn Trung Dũng 1.7 Hồi qui tuyến tính bội  Mô hình Yi  0  1 X i1    p1 X i, p1   i (1.17) , trong đó : 0 , 1, ,  p1 là các tham số, X i1, X i 2 , , X i , p1 là các hằng số đã biết ,  i là biến ngẫu nhiên độc lập phân phối N  o, 2  , i = 1, …, n Tương tự như mô hình hồi qui tuyến tính đơn (p =1) ta có các giả thuyết  Y1,Y2 , ,Yn là ... Hàm đáp ứng mô hình : f  X ,       exp X   Mô hình hồi qui logic Một mô hình hồi qui phi tuyến quan trọng mô hình hồi qui logic Mô hình với biến dự báo số hạng sai số chuẩn có dạng... gồm hai chương: Chương Mô hình hồi quy tuyến tính Trong chương trình bày mô hình hồi qui tuyến tính đơn, mô hình hồi qui tuyến tính bội dạng ma trận mô hình Chương Mô hình hồi quy phi tuyến Trong... Ước lượng tham số hồi qui  Phương pháp bình phương bé Phương pháp bình phương bé áp dụng mô hình hồi qui phi tuyến để ước lượng tham số hồi qui tiến hành tương tự mô hình hồi qui tuyến tính