Đa cộng tuyến trong phân tích hồi quy

TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA KHOA HỌC TỰ NHIÊN BỘ MƠN TỐN  LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC ĐA CỘNG TUYẾN TRONG PHÂN TÍCH HỒI QUY GIÁO VIÊN HƯỚNG DẪN SINH VIÊN THỰC HIỆN ThS DƯƠNG THỊ TUYỀN LÊ MỸ GIANG (BỘ MƠN TỐN – KHOA KHTN) NGÀNH: TỐN THỐNG KÊ CẦN THƠ - 05/2010 LỜI CẢM ƠN - -Qua thời gian học tập trường Đại học Cần Thơ, em nhận vốn kiến thức quý báu từ truyền đạt Thầy, Cô trường em hoàn thành đề tài luận văn tốt nghiệp Có kết này, ngồi nỗ lực thân, em cịn nhận nhiều giúp đỡ Thầy, Cô mơn Tốn khoa Khoa Học Tự Nhiên trường Đại học Cần Thơ giúp đỡ bạn lớp, trường Em xin chân thành cảm ơn Thầy, Cô khoa Khoa Học Tự Nhiên trường Đại học Cần Thơ đặc biệt Cô Dương Thị Tuyền, người trực tiếp hướng dẫn, nhiệt tình đóng góp ý kiến cho em việc hoàn thiện nội dung cách trình bày đề tài Cuối cùng, tơi xin kính chúc Q Thầy, Cơ trường Đại học Cần Thơ dồi sức khỏe hồn thành cơng tác tốt Cần Thơ, tháng năm 2010 Lê Mỹ Giang MỤC LỤC  Trang LỜI NÓI ĐẦU…………………………………………………………………………1 Chương HỒI QUY TUYẾN TÍNH ĐƠN………………………………………3 1.1 Phân tích hồi quy………………………………………………………………3 1.1.1 Định nghĩa……………………………………………………………… 1.1.2 Một số tên gọi khác biến phụ thuộc biến độc lập…………………3 1.1.3 Sự khác biệt dạng quan hệ…………………………………… 1.2 Hồi quy tuyến tính đơn……………………………………………………….5 1.2.1 Định nghĩa……………………………………………………………… 1.2.2 Phương pháp bình phương bé OLS (Ordinary Least Square)………7 1.2.3 Các tính chất ước lượng bình phương bé nhất…………………… 15 1.2.4 Các giả thiết phương pháp bình phương bé nhất………………… 15 1.2.5 Kiểm định giả thiết hồi quy tuyến tính đơn………………………16 1.2.6 Khoảng ước lượng hồi quy tuyến tính đơn…………………………… 23 1.2.7 Kiểm tra phù hợp mơ hình……………………………………….25 Chương HỒI QUY TUYẾN TÍNH BỘI………………………………………32 2.1 Phương trình hồi quy tuyến tính tổng thể đa biến với k biến độc lập…… 34 2.1.1 Phương trình hồi quy tổng thể………………………………………… 34 2.1.2 Các hệ số hồi quy riêng phần………………………………………… 35 2.1.3 Ước lượng bình phương bé nhất……………………………………… 35 2.2 Hệ số tương quan bội ………………………………………………………40 2.3 Hệ số xác định điều chỉnh………………………………………………… 40 2.4 Phương trình hồi quy tuyến tính tổng thể đa biến với biến độc lập…… 41 2.5 Ma trận tương quan……………………………………………………… 43 2.5.1 Hệ số tương quan riêng……………………………………………… 43 2.5.2 Hệ số tương quan bậc cao không………………………………….44 2.6 Kiểm tra giả thuyết hồi quy tuyến tính bội……………………………… 45 Chương ĐA CỘNG TUYẾN…………………………………………………50 3.1 Bản chất đa cộng tuyến…………………………………………………50 3.2 Nguyên nhân đa cộng tuyến…………………………………………….51 3.3 Hậu đa cộng tuyến………………………………………………….53 3.3.1 Ước lượng tham số có đa cộng tuyến hồn hảo……………… 54 3.3.2 Ước lượng có đa cộng tuyến khơng hồn hảo………………………55 3.3.3 Hậu đa cộng tuyến……………………………………… …… 55 3.4 Phát tồn đa cộng tuyến……………………………….……….59 3.4.1 R cao tỷ số t ý nghĩa…………….……………………………59 3.4.2 Tương quan cặp biến giải thích cao………………………… 59 3.4.3 Xem xét hệ số tương quan riêng……………………………………… 60 3.4.4 Sử dụng mơ hình hồi quy phụ………………………………………… 60 3.4.5 Sử dụng hệ số phóng đại phương sai (VIF)…………………………….62 3.5 Biện pháp khắc phục……………………………………………………… 65 3.5.1 Sử dụng thông tin tiên nghiệm………………………………………….65 3.5.2 Loại trừ biến giải thích khỏi mơ hình……………………………66 3.5.3 Thu thập thêm số liệu lấy mẫu mới…………………………….….68 3.5.4 Giảm tương quan hàm hồi quy đa thức…………………… 69 3.5.5 Thủ tục sai phân cấp một……………………………………………… 69 3.5.6 Các phương pháp làm giảm đa cộng tuyến khác……………………… 69 Chương ỨNG DỤNG……………………………………………………… 71 4.1 Đặt vấn đề………………………………………………………………… 71 4.2 Kiểm tra phù hợp mơ hình………………………………………… 72 4.2.1 Xem xét ma trận hệ số tương quan…………………………………………… 72 4.2.2 Đánh giá độ phù hợp mơ hình hồi quy tuyến tính bội………………… 73 4.2.3 Kiểm định phù hợp mơ hình…………………………………… 74 4.3 Chuẩn đốn đa cộng tuyến………………………………………………….74 4.3.1 Dùng mơ hình hồi quy phụ………………………………………… .74 4.3.2 Sử dụng hệ số phóng đại phương sai (VIF)…………………………….75 4.4 Khắc phục cách loại trừ dần………………………………………… 75 4.5 Kết luận…………………………………………………………………… 76 PHẦN KẾT LUẬN………………………………………………………………… 79 TÀI LIỆU THAM KHẢO………………………………………………………… 81 DANH MỤC CÁC BẢNG  Trang Bảng 1.1 Phỏng vấn doanh số đại diện bán hàng biết trước số năm kinh nghiệm ví dụ 1.6……………………………………………………………… 10 Bảng 1.2 Các giá trị quan sát Yi , giá trị phù hợp Yˆ i thặng dư ei = Yi - Yˆ i cho ví dụ1.6…………………………………………………………………………… 12 Bảng 1.3 Phân tích phương sai cho kiểm định mức ý nghĩa hồi quy……… 18 Bảng 1.4 Số liệu điều tra nhu cầu mua bảo hiểm ví dụ 1.7……………… 21 Bảng 1.5 Kết ước lượng tham số mơ hình ví dụ 1.7…………… 21 Bảng 1.6 Phân tích phương sai thành phần không phù hợp…………………… 29 Bảng 1.7 Điều tra thu nhập tiêu dùng hộ gia đình số tỉnh Việt Nam ví dụ 1.8………………………………………………………………………… 30 Bảng 1.8 Kết thu nhập tiêu dùng đầu người ví dụ 1.8…………………30 Bảng 2.1 Điểm đánh giá kết làm việc gần nhân viên quản lý cấp trung ví dụ 2.1………………………………………………………………… 33 Bảng 2.2 Dữ liệu cho hồi quy tuyến tính……………………………………… 36 Bảng 2.3 Kết ví dụ 2.1…………………………………………………… 41 Bảng 2.4 Phân tích phương sai cho ý nghĩa hồi quy hồi quy tuyến tính bội……………………………………………………………………………… 46 Bảng 3.1 Trị giá xuất hàng hóa phân theo khu vực kinh tế phân theo nhóm hàng ví dụ 3.4……………………………………………………………61 Bảng 3.2 Kết ví dụ 3.4……………………………………………………….61 Bảng 3.3 Kết ví dụ 3.5……………………………………………………….64 Bảng 3.4 Thủ tục loại trừ dần ví dụ 3.6………………………………………….67 Bảng 3.5 Kết ví dụ 3.6………………………………………………………68 Bảng 4.1 Trị giá hàng hóa nhập theo danh mục tiêu chuẩn ngoại thương…70 Bảng 4.2 Kết mơ hình hồi quy………………………………………………72 Bảng 4.3 Kết ma trận hệ số tương quan…………………………………… 72 Bảng 4.4 Kết đánh giá phù hợp mơ hình…………………………….73 Bảng 4.5 Kết kiểm định phù hợp mơ hình………………………… 74 Bảng 4.6 Kết hệ số phóng đại VIF………………………………………… 75 Bảng 3.7 Kết thủ tục loại trừ dần……………………………………………75 DANH MỤC CÁC HÌNH  Trang Hình 1.1 Đồ thị ước lượng hàm hồi quy mẫu…………………………………….7 Hình 1.2 Các dạng đồ thị phân tán………………………………………………10 Hình 1.3 Đồ thị phân tán doanh số số năm kinh nghiệm ví dụ 1.6… 11 Hình 1.4 Đồ thị phân tán nhu cầu mua bảo hiểm thu nhập ví dụ 1.7…… 22 Hình 1.5 Các dạng đồ thị phân tán thặng dư……………………………………25 Hình 1.6 Đồ thị thặng dư theo biến độc lập X ví dụ 1.7……………………… .27 Hình 1.7 Dạng mơ hình hồi quy thiếu phù hợp…………………………………28 Hình 1.8 Đồ thị phân tán thu nhập tiêu dùng đầu người ví dụ 1.8…….31 Hình 4.1 Đồ thị phân tán phần dư chuẩn hóa………………………………… 77 Hình 4.2 Đồ thị phân tán Y X1 …………………………………………77 Hình 4.3 Đồ thị phân tán Y X …………………………………………78 Hình 4.4 Đồ thị phân tán Y X …………………………………………78 Chương 1: HỒI QUY TUYẾN TÍNH ĐƠN  1.1 Phân tích hồi quy 1.1.1 Định nghĩa Phân tích hồi quy nghiên cứu mối liên hệ phụ thuộc biến Y (gọi biến phụ thuộc) với hay nhiều biến độc lập X i (hay gọi biến giải thích) Phân tích hồi quy giải vấn đề sau đây: (1) Ước lượng giá trị trung bình biến phụ thuộc với giá trị cho biến độc lập (2) Kiểm định giả thuyết chất phụ thuộc (3) Dự đoán giá trị trung bình biến phụ thuộc biết giá trị biến độc lập (4) Kết hợp vấn đề 1.1.2 Một số tên gọi khác biến phụ thuộc biến độc lập sau - Biến phụ thuộc: biến giải thích, biến dự báo, biến hồi quy, biến phản ứng, biến nội sinh - Biến độc lập: biến giải thích, biến dự báo, biến hồi quy, biến tác nhân hay biến kiểm soát, biến ngoại sinh Sau vài ví dụ phân tích hồi quy: Ví dụ 1.1: Ngân hàng XYZ muốn tăng lượng tiền huy động Ngân hàng muốn biết mối quan hệ lượng tiền gửi lãi suất tiền gửi, cụ thể họ muốn biết tăng lãi suất thêm 0,1% lượng tiền gửi tăng trung bình Ví dụ 1.2: Một nhà nghiên cứu nông nghiệp muốn biết suất tôm sú nuôi hệ thống thâm canh phụ thuộc vào diện tích ao ni, mật độ thả tơm giống, chi phí hố chất xử lý mơi trường, trình độ nhân cơng Từ phân tích hồi quy ông ta đề tiêu kỹ thuật phù hợp cho loại hình 1.1.3 Sự khác biệt dạng quan hệ a Quan hệ tất định quan hệ thống kê Quan hệ tất đ ịn h loại q u an hệ b iểu diễn mơt hàm số tốn học Mộ t số quan hệ vật lý, hoá học số ngành khoa học tự nhiên khác quan hệ tất định Ví dụ 1.3: Định luật Ohm vật lý : gọi U điện áp, R điện trở mạch điện dịng điện I I = U , nói cách khác điện áp điện trở cố định trước R nhận giá trị dịng điện Đa số biến số kinh tế khơng có quan hệ tất định Thí dụ ta khơng thể nói với diện tích ni tơm cho trước kỹ thuật ni chọn suất Lý có nhiều biến số kể đến mơ hình tác động lên suất, số biến số vắng mặt có biến khơng thể kiểm sốt n hư thời tiết, d ịch bệnh…Nhà nghiên cứu nông nghiệp kể tiên đốn giá trị trung bình suất ứng với kỹ thuật ni chọn Quan hệ biến số kinh tế có tính chất quan hệ thống kê b Hồi quy quan hệ nhân Mặc dù phân tích hồi quy dựa ý tưởng phụ thuộc biến số kinh tế vào biến số kinh tế khác thân kỹ thuật phân tích hồi quy khơng bao hàm quan hệ nhân Ví dụ 1.4: Một ví dụ điển hình nhầm lẫn hai khái niệm tiến hành hồi quy số vụ trộm thành phố với số nhân viên cảnh sát thành phố Gọi Y số vụ trộm năm X số nhân viên cảnh sát Khi hồi quy Y theo X, tìm mối quan hệ đồng biến Y X có ý nghĩa thống kê phân tích hồi quy cho kết luận: “Tăng số lượng nhân viên cảnh sát làm tăng số vụ trộm” Rõ ràng phân tích sai ầl m việc nhận định mối quan hệ nhân Số cảnh sát tăng lên tăng cường lực lượng cảnh sát bối cảnh số vụ trộm tăng lên Vậy phải hồi quy số cảnh sát theo số vụ trộm hay X theo Y Vậy trước phân tích hồi quy phải nhận định xác mối quan hệ nhân Một sai lầm phổ biến phân tích kinh tế quy kết mối quan hệ nhân giữ a hai biến số trong thực tế chúng hệ nguyên nhân khác Ví dụ 1.5: Chúng ta phân tích ồi h quy số giáo viên số phịng học tồn ngành giáo d ục Sự thực số giáo viên số phòng học phụ 66 Ta được: Q*t = A* αL + +*t βK +*t U (3.22) t Giả sử K L có tương quan cao, điều dẫn đến phương sai cảu ước lượng lớn Giả sử, từ nguồn thơng tin đó, ta biết hàm sản xuất mà ta xét thuộc ngành có kỳ vọng sinh lợi khơng đổi theo qui mơ, nghĩa α + β = Thay β = - α vào (3.22), ta được: Q*t - K *t = A*α(L + - *K ) +*t U = tA +*αX +*tU t t Với Yt* = Q*t - K *t X*t = L*t - K *t Như vậy, thông tin tiên nghiệm giúp giảm số biến độc lập mơ hình xuống cịn biến 3.5.2 Loại trừ biến giải thích khỏi mơ hình - Bước 1: Xem cặp biến giải thích có quan hệ chặt chẽ Giả sử X , X , , X k biến độc lập, Y biến phụ thuộc X , X có tương quan chặt chẽ với - Bước 2: Tính R hàm hồi quy: có mặt hai biến; khơng có mặt hai biến - Bước 3: Ta loại biến mà giá trị R tính khơng có mặt biến lớn Ví dụ 3.6: R hàm có mặt hai biến X , X 0,94; R mô hình khơng có biến X 0,87; R mơ hình khơng có biến X 0,92 loại biến X khỏi mơ hình Phương pháp loại trừ dần khởi đầu với tất biến mơ hình sau loại trừ chúng tiêu chuẩn loại trừ (removal criteria) Có hai tiêu chuẩn loại trừ (tiêu chuẩn ra) SPSS 67 • Tiêu chuẩn thứ giá trị F tối thiểu biến mà thống kê F biến độc lập phải đạt để lại phương trình gọi F (F-to-remove), ký hiệu phương trình FOUT Các biến độc lập có giá trị F nhỏ FOUT bị loại khỏi mơ hình • Tiêu chuẩn thứ hai xác suất tối đa tương ứng với F (probability of F-toremove) mà biến không vượt để lại mơ hình, ký hiệu chương trình POUT Giá trị mặc định FOUT 2,71 giá trị mặc định POUT 0,10 Tiêu chuẩn sử dụng mặc định FOUT Đầu tiên tất biến độc lập đưa vào mơ hình, biến có hệ số tương quan phần nhỏ kiểm tra Nếu giá trị thống kê F biến nhỏ FOUT bị loại khỏi mơ hình (chú ý tính F cách bình phương giá trị t, t = F ), phương trình tính tốn lại mà khơng có biến độc lập vừa loại Trên bảng giá trị thống kê SPSS lặp lại thủ tục trên, giá trị F biến có hệ số tương quan phần nhỏ lớn FOUT trình dừng lại  Chú ý: Để đơn giản cho thao tác ta cần nhìn vào giá trị Sig bảng Coeficients ta loại trừ dần từ cao đến thấp giá trị Sig < 0.1 thủ tục dừng Ví dụ 3.7: Ta xét lại với mơ hình biến số liệu cúa ví dụ 3.4 Bảng 3.4: Bảng thủ tục loại trừ bước ví dụ 3.6 Variables Entered/Removed(b) Variables Removed Model Variables Entered Method Hang thuy san, Hang lam san, Hang Enter nong san, Hang CN va TTCN(a) Hang CN va Backward (criterion: Probability TTCN of F-to-remove >= 100) a All requested variables entered b Dependent Variable: Hang cong nghiep nag va khoang san 68 Coefficients(a) Unstandardized Coefficients B Model (Constant) Standardized Coefficients Beta -1688.372 907.120 Hang CN va TTCN 207 187 236 Hang nong san 2.136 462 549 Hang lam san -11.926 4.237 -.122 Hang thuy san 1.483 607 327 (Constant) -2501.793 539.256 Hang nong san 2.547 280 655 Hang lam san -11.841 4.296 -.121 Hang thuy san 2.098 247 463 a Dependent Variable: Hang cong nghiep nag va khoang san t Sig -1.861 105 1.107 4.622 -2.815 2.442 -4.639 9.099 -2.756 8.489 305 002 026 045 002 000 025 000 Excluded Variables(b) Model Beta In t Sig Partial Correlation Collinearity Statistics Tolerance 236(a) 1.107 305 386 013 Hang CN va TTCN a Predictors in the Model: (Constant), Hang thuy san, Hang lam san, Hang nong san b Dependent Variable: Hang cong nghiep nag va khoang san Bảng 3.5: Bảng kết ví dụ 3.6 Xem bảng Coefficients(a) bảng Excluded Variables(b), ta thấy: Bước Bảng Coefficients(a) Bảng Excluded Variables(b) Cả biến đưa vào phương trình, biến “Hang CN va TTCN” có Sig = 0.305 > 0.1 nên biến bị loại Biến “Hang CN va TTCN” Còn lại biến, biến “Hang lam san” bị loại có Sig = 0.025 < 0.1 nên bi ến không bị loại, thủ tục dừng Mô hình hồi quy là: (Hang cong nghiep nang va khoang san) = - 2501.793 + 2.547 (Hang nong san) 11.841(Hang lam san) + 2.098(Hang thuy san) 69 3.5.3 Thu thập thêm số liệu lấy mẫu Vì vấn đề đa cộng tuyến đặc tính mẫu, mẫu khác, biến cộng tuyến khơng nghiêm trọng mẫu Vì vậy, đơi ta cần tăng cỡ mẫu làm giảm bớt vấn đề cộng tuyến Ví dụ, mơ hình biến thấy là: var(βˆ ) = ∑x Khi cỡ mẫu tăng, 2i σ2 ∑ x 22i (1 - r232 ) nói chung tăng, vậy, r23 cho trước, phương sai βˆ giảm, kéo theo sai số giảm, điều giúp ước lượng β xác 3.5.4 Giảm tương quan hàm hồi quy đa thức Một thuộc tính đặc biệt mơ hình biến giải thích xuất với số mũ khác Ví dụ 3.7 Hàm: Yi =β + β 1X i + β 2X i2 + β 3X i3 + U i đó: Y tổng chi phí X sản lượng Trong thực hành, để giảm tương quan hồi quy đa thức, người ta thường sử dụng dạng độ lệch (lệch so với giá trị trung bình) Nếu sử dụng dạng độ lệch mà khơng giảm đa cộng tuyến người ta phải xem xét đến kỹ thuật “đa thức trực giao” 3.5.5 Thủ tục sai phân cấp Cho mô hình Yt =β + β 2X 2t + β 3X 3t + U (3.23) t Lấy trễ thời kỳ ta có: Yt - β= +1 β X2 + β X3 2t - +U 3t - (3.24) t -1 Trừ (3.23) cho (3.24) ta được: Yt - Yt - 1β= (X2 -2tX ) + β (X3 -3tX 2t - ) + U -t U 3t - Phương trình (3.25) làm giảm tính chất đa cộng tuyến t -1 (3.25) 70 3.5.7 Các phương pháp làm giảm đa cộng tuyến khác - Kết hợp số liệu chéo số liệu chuỗi thời gian: Tobin đề xuất kết hợp số liệu chéo số liệu chuỗi thời gian để khắc phục tượng đa cộng tuyến - Phân tích nhân tố; thành phần chủ yếu hồi quy sóng  Nhận xét: Hồi quy Hoerl Kennard [1970a, b] đề nghị phương pháp hồi quy (ridge regression) để đạt ước lượng hệ số hồi quy Sau lược khảo tài liệu thấy ước lượng không thiết cho phù hợp tốt phương trình hồi quy liệu Tuy nhiên, ước lượng cho kết phương trình hồi quy dùng để dự đoán qu an sát tương lai ốt t phương trình hồi quy với ước lượng bình phương bé liệu chuẩn hóa Khi có đa cộng tuyến mạnh, tính khơng ổn định hệ số hồi quy thấy rõ ràng đồ thị vết Nhưng thời lượng có hạn nên khơng thể phân tích sâu vào phần Nên phần xin khơng trình bày luận văn phát triển dịp khác 71 Chương BÀI TOÁN ỨNG DỤNG  4.1 Đặt vấn đề Dựa vào bảng tri giá hàng hóa nhập theo danh mục tiêu chuẩn ngoại thương Vấn đề đặt ta đặt biến phụ thuộc: Lương thực, thực phẩm động vật sống (Y); biến độc lập: Đồ uống thuốc ( X1 ), Nguyên liệu thô, không dùng để ăn, trừ nhiên liệu ( X ), Nhiêu liệu, dầu mỡ nhờn vật liệu liên quan ( X ), Dầu, mỡ, chất béo, sáp động, thực vật ( X ) Xây dựng mơ hình hồi quy Kiểm tra phù hợp mơ hình Chuẩn đốn đa cộng tuyến Kết luận điều mơ hình đưa Bảng 4.1: Bảng trị giá hàng hóa nhập theo danh mục tiêu chuẩn ngoại thương (Nguồn từ tổng cục thống kê) Triệu đô la Mỹ Năm 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 Trị giá hàng hóa nhập theo danh mục tiêu chuẩn ngoại thương Dầu, mỡ, Hàng thô hay Lương thực, Đồ uống Nguyên liệu Nhiêu liệu, thô,không dầu mỡ nhờn chất béo, sơ chế thực phẩm động vật thuốc dùng để ăn, vật liệu liên quan sáp động, sống trừ nhiên liệu thực vật 379.9 80.9 456.9 901.6 95.0 1914.5 408.5 43.1 407.3 1238.0 48.6 2145.6 430.3 83.2 369.7 1194.5 58.8 2136.5 461.7 122.1 381.8 964.4 52.9 1982.8 505.9 85.7 452.8 1120.3 99.8 2264.5 626.5 102.8 590.8 2121.0 86.5 3527.6 834.2 108.4 690.1 1970.3 83.1 3686.1 939.2 149.3 816.1 2165.4 130.6 4200.6 1262.2 152.7 1001.0 2714.4 152.4 5282.7 1495.2 162.6 1454.3 3981.8 223.6 7317.5 1955.2 175.8 1623.2 5365.7 188.3 9308.2 2299.3 145.0 2084.3 6699.0 253.7 11481.3 3279.6 183.3 2740.8 8744.2 472.9 15420.8 72 4.2 Viết mơ hình hồi quy Xử lý số liệu SPSS ta Bảng 4.2: Bảng kết sau mơ hình hồi quy Coefficients(a) Unstandardized Coefficients Model B Std Error (Constant) -134.953 84.793 X1 1.938 1.040 X2 258 439 X3 205 105 X4 1.098 855 Standardized Coefficients t Sig -1.592 1.864 586 1.950 1.284 150 099 574 087 235 Beta 092 217 571 144 a Dependent Variable: Y Nhìn vào bảng ta có mơ hình hồi quy mẫu là: Y = -134.953 + 1.938 ( X1 ) + 0.258( X ) + 0.205( X ) + 1.098 ( X ) Kiểm tra phù hợp mơ hình Xem xét ma trận hệ số tương quan Xử lý số liệu SPSS ta Bảng 4.3: Bảng kết ma trận hệ số tương quan Correlations Y Y X1 X2 X3 Pearson Correlation Sig (2-tailed) N Pearson Correlation Sig (2-tailed) N Pearson Correlation Sig (2-tailed) N Pearson X1 X2 X3 X4 804(**) 995(**) 992(**) 958(**) 13 804(**) 001 13 001 13 000 13 000 13 000 13 788(**) 760(**) 744(**) 13 995(**) 788(**) 001 13 003 13 004 13 994(**) 960(**) 000 001 13 13 13 992(**) 760(**) 994(**) 000 000 13 13 942(**) 73 X4 Correlation Sig (2-tailed) N Pearson Correlation Sig (2-tailed) N 000 13 13 000 13 958(**) 744(**) 960(**) 942(**) 000 13 003 13 000 13 004 13 000 13 000 13 13 ** Correlation is significant at the 0.01 level (2-tailed) Trong SPSS mức ý nghĩa nhỏ 0.01 (phân biệt hai dấu **) ma trận hệ số tương quan, nhìn vào bảng kết ta thấy: Ma trận hệ số tương quan biến phụ thuộc Y với biến độc lập, tương quan biến độc lập với - Số đường chéo hệ số tương quan tính biến với Chúng ta cần quan t âm đến phần tam giác phần tam giác chúng đối xứng qua đường chéo Nhìn vào bảng kết quả, ta có ma trận hệ số tương quan là:  0.804   0.995  0.992  0.958 0.804 0.788 0.760 0.744 0.995 0.788 0.994 0.960 0.992 0.760 0.994 0.942 0.958 0.744  0.960   0.942   - Hệ số tương quan biến Y biến độc lập X lại cao (thấp 0.804) Sơ ta kết luận biến độc lập đưa vào mơ hình để giải thích cho Y Nhưng hệ số tương quan biến độc lập với cao (thấp 0.744) điều khiến xem xét thật kỹ vai trò biến mơ hình hồi quy tuyến tính bội mà ta xây dựng 4.2.2 Đánh giá độ phù hợp mơ hình hồi quy tuyến tính bội Bảng 4.4: Bảng kết đánh giá phù họp mơ hình Model Summary Model R R Square Adjusted R Square Std Error of the Estimate 997(a) 994 991 86.3109 a Predictors: (Constant), X4, X1, X3, X2 74 Nhìn vào bảng kết ta thấy R = 0.994 nghĩa mơ hình hồi quy xây dựng phù hợp với tập liệu đến 99.4%.Và Adjusted R Square = 0.991 gần nên mơ hình xây dựng phù hợp 4.2.3 Kiểm định phù hợp mơ hình Kiểm định xem biến phụ thuộc có liên hệ tuyến tính với biến độc lập hay không Giả thiết: H :β 1= β 2= β 3= β H1 : β i ≠ i (i = 1,2,3,4) Bảng 4.5: Bảng kết kiểm định phù hợp mơ hình ANOVA(b) Model Regression Residual Total Sum of Squares df Mean Square 9543871.516 2385967.879 59596.534 7449.567 9603468.051 12 F 320.283 Sig .000(a) a Predictors: (Constant), X4, X1, X3, X2 b Dependent Variable: Y Bảng kết cho ta thấy Sig = 0.000 nhỏ nên ta bác bỏ giả thuyết H , tức mơ hình hồi quy tuyến tính bội ta xây dựng phù hợp sử dụng 4.3 Chuẩn đốn đa cộng tuyến 4.3.1 Dùng mơ hình hồi quy phụ Đặt: Giả thiết : “ R = 0” tức khơng có tương quan biến độc lập Đối thiết: “ R ≠ 0” tức có tương quan biến độc lập Xem lại bảng ANOVA ta thấy F = 320.283 > F0.05, 4, = 3.84 với mức ý nghĩa α = 0.05 > Sig = 0.000 ta an toàn bác bỏ giả thiết H , nghĩa có tương quan biến độc lập Do có xảy tượng đa cộng tuyến 75 4.3.2 Sử dụng hệ số phóng đại phương sai (VIF) Bảng 4.6: Bảng kết hệ số phóng đại VIF Coefficients(a) Unstandardizd Coefficients B Model Standardized Coefficients Std Error Beta (Constant) -134.953 X1 1.938 X2 258 X3 205 X4 1.098 a Dependent Variable: Y 84.793 1.040 439 105 855 092 217 571 144 t Sig -1.592 1.864 586 1.950 1.284 150 099 574 087 235 Collinearity Statistics Tolerance VIF 316 006 009 062 3.166 176.743 110.369 16.128 Ta có R = 0.994, dựa vào bảng ta thấy: - VIF ( X1 ) = 3.166 10 ta kết luận biến độc lập X có cộng tuyến cao với biến cịn lại mơ hình - VIF ( X ) = 110.369 >10 ta kết luận biến độc lập X có cộng tuyến cao với biến cịn lại mơ hình - VIF ( X ) = 16.128 >10 ta kết luận biến độc lập X có cộng tuyến với biến cịn lại mơ hình 4.3.2 Khắc phục cách loại trừ dần Bảng 4.7: Bảng kết thủ tục loại trừ dần Variables Entered/Removed(b) Model Variables Entered X4, X1, X3, X2(a) Variables Removed Method Enter X2 a All requested variables entered b Dependent Variable: Y Backward (criterion: Probability of F-toremove >= 100) 76 Coefficients(a) Model (Constant) X1 X2 X3 X4 (Constant) X1 X3 X4 Unstandardized Coefficients B Std Error -134.953 84.793 1.938 1.040 258 439 205 105 1.098 855 -140.089 81.207 2.237 873 264 030 1.430 617 Standardized Coefficients Beta t 092 217 571 144 107 735 187 -1.592 1.864 586 1.950 1.284 -1.725 2.563 8.856 2.319 Collinearity Statistics Sig Tolerance VIF 150 099 574 087 235 119 031 000 046 316 006 009 062 3.166 176.743 110.369 16.128 416 105 111 2.404 9.567 9.049 a Dependent Variable: Y Excluded Variables(b) Model Beta In X2 217(a) t Sig .586 574 Collinearity Statistics Tolerance Minimum VIF Tolerance 203 006 176.743 006 Partial Correlation a Predictors in the Model: (Constant), X4, X1, X3 b Dependent Variable: Y Xem bảng Coefficients(a) bảng Excluded Variables(b), ta thấy: Bước Coefficients(a) Cả biến đưa vào phương trình, biến “ X ” có Sig = 0.574 > 0.1 nên biến bị loại Excluded Variables(b) Biến “ X ” bị loại Còn lại biến, biến “ X ” có Sig = 0.046 < 0.1 nên biến khơng bị loại, thủ tục dừng Mơ hình hồi quy khơng có đa cộng tuyến là: Y = -140.089 + 2.237 X1 + 0.264 X + 1.430 X Rõ ràng nhìn vào bảng Coefficients(a) ta thấy hệ số V IF biến mơ hình giảm xuống nhỏ 10 Nên khẳng định biến độc lập mơ 77 hình sau dùng phương pháp loại trừ dần khơng cịn có tương quan với túc khơng cịn tượng cộng tun chúng 4.4 Kết luận Đồ thị phân tán phần biến phụ thuộc Y phần dư chuẩn hóa, Y biến độc lập Regression Standardized Residual -2 -1 0.0 0.006 R Sq Linear = 3000.0 Dependent Variable: Y Scatterplot Hình 4.1 : Đồ thị phân tán phần dư chuẩn hóa X1 -60 -40 -20 20 40 -200 R Sq Linear = 0.422 -100 Y Y 1000.0 2000.0 100 200 Dependent Variable: Y Partial Regression Plot Hình 4.2: Đồ thị phân tán Y X1 78 X3 -1,000 -500 500 1,000 1,500 2,000 0.897 R Sq Linear = -200 Y 200 400 Dependent Variable: Y Partial Regression Plot Hình 4.3 : Đồ thị phân tán Y X Partial Regression Plot Dependent Variable: Y Y 100 -100 R Sq Linear = 0.374 -200 -75 -50 -25 25 50 75 X4 Hình 4.4 : Đồ thị phân tán Y X Nhìn vào cácđồ thị ta thấy điểm ước lượng nằm dọc theo đường thẳng, kết luận mơ hình hồi quy bội mà ta xây dựng phù hợp khơng cịn cộng tuyến biến độc lập mơ hình 79 PHẦN KẾT LUẬN  Thống kê công cụ thiếu hoạt động nghiên cứu công tác thực tiễn Thống kê trở thành môn học hay sở hầu hết ngành đào tạo Trong xu hướng hội nhập với khu vực giới, giáo dục đại học Việt Nam bước thay đổi, để hướng cho sinh viên học ngành Tốn Ứng Dụng em trường làm việc bên lĩnh vực giáo dục, cục thống kê mà cịn có ểthlàm việc quan thuộc khối ngành kinh tế, bảo hiểm,…Với mục đích em nghiên cứu đề tài “Đa cộng tuyến phân tích hồi quy” chủ yếu dựa sở Kinh tế lượng nên đưa ví dụ ứng dụng thuộc khối ngành kinh tế - xã hội “Đa cộng tuyến” thường gặp mơ hình hồi quy bội, mơ hình nhiều biến vấn đề xảy đa cộng tuyến cao Chính việc lựa chọn đưa biến vào mơ hình vơ ần c thiết Và việc giải vấn đề cộng tuyến khơng gặp khó khăn ta lựa chọn biện pháp khắc phục đắn tối ưu để thực trình dự báo tương lai xác Sau hoàn thành đề tài em cảm thấy tự tin ngành học Vì nhận chất ngành học Toán Ứng Dụng làm cơng việc liên quan tốn tất lĩnh vực Thế giới hạn thời gian nghiên cứu cộng với lượng kiến thức cịn hạn chế nên gặp nhiều khó khăn việc nghiên cứu tránh khỏi Nhất nguồn tài liệu tham khảo cịn có hạn, kiến thức chuyên ngành thuộc khối ngành kinh tế khơng nhiều nên cịn gặp khó khăn Là sinh viên tốt nghiệp khóa thuộc chuyên ngành em mong quý Thầy, Cô tạo thêm nhiều điều kiện để chúng em tìm hiểu sâu lĩnh vực thống kê thuộc nhiều chuyên ngành có liên quan, hội để sau tốt nghiệp trường có việc làm thuộc chuyên ngành thống kê Và có hội học tiếp em nghiên cứu sâu đề tài để nâng cao kiến thức phát triển thành đề tài hoàn hảo 81 TÀI LIỆU THAM KHẢO  [1] Hoàng Trọng - Chung Nguyễn Mộng Ngọc, Thống kê ứng dụng kinh tế - xã hội, NXB Thống kê, 2008 [2] TS Nguyễn Năng Phúc, Phân tích kinh tế doanh nghiệp , ĐHKT Quốc Dân, Hà Nội – 2003 [3] Võ Thị Thanh Lộc, Thống kê ứng dụng dự báo kinh doanh kinh tế, NXB Thống kê, 1998 [4] PGS.TS Nguyễn Quang Dong, Bài giảng Kinh tế lượng , NXB Thống kê, Hà Nội – 2003 [5] Nguyễn Thống, Kinh tế lượng - Ứng dụng, NXB Đại Học Quốc Gia TP.Hồ Chí Minh – 2000 [6] PGS.TS Bùi Minh Trí, Kinh tế lượng, Trường ĐH Bách Khoa Hà Nôi [7] TS Mai Văn Nam, Giáo trình Kinh tế lượng, ĐH Cần Thơ [8] Hoàng Trọng – Chung Nguyễn Mộng Ngọc, Phân tích liệu nghiên cứu với SPSS, NXB Thống Kê, 2005 [9] Vũ Thiếu, Kinh tế lượng, ĐH Kinh tế Quốc Dân, Hà Nội [10] PGS.TS Nguyễn Văn Cao, ThS Bùi Dương Hải, Kinh tế lượng Hướng dẫn trả lời lý thuyết giải tập, NXB Thống kê [11] Lê Hồng Nhật, Trần Thiện Trúc Phượng, Kinh tế lượng, ĐH Quốc Gia TP Hồ Chí Minh, 2007 [12] Madala, Introduction to Econometric(1998), MacMillan Publishing Co [13] Robert S.Pindyck & Daniel L.Rubinfeld, Econometric Model & Economic Foregasts, University of California at Berkeley ... thuyết hồi quy tuyến tính bội……………………………… 45 Chương ĐA CỘNG TUYẾN…………………………………………………50 3.1 Bản chất đa cộng tuyến? ??………………………………………………50 3.2 Nguyên nhân đa cộng tuyến? ??………………………………………….51 3.3 Hậu đa cộng. .. Như phân tích mối quan hệ nhân dựa vào kiến thức phương pháp luận môn khác không từ phân tích hồi quy c Hồi quy tương quan - Hồi quy tương quan khác mục đích kỹ thuật - Phân tích hồi quy: ước... Hình 4.4 Đồ thị phân tán Y X …………………………………………78 Chương 1: HỒI QUY TUYẾN TÍNH ĐƠN  1.1 Phân tích hồi quy 1.1.1 Định nghĩa Phân tích hồi quy nghiên cứu mối liên hệ phụ thuộc biến Y (gọi biến phụ