BÁO CÁO BÀI TẬP LỚN MÔN XÁC SUẤT THỐNG KÊ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KỸ THUẬT HOÁ HỌC  BÁO CÁO BÀI TẬP LỚN MÔN XÁC SUẤT THỐNG KÊ HỌC KỲ 212 Nhóm – L18 GVHD: Thầy Nguyễn Bá Thi SVTH : Lâm Thuỳ Dương Hồ Chí Minh, 05/04/2022 2012882 MỤC LỤC A PHẦN CHUNG I Hồi quy tuyến tính bội Đọc liệu (Import data) Làm liệu (Data cleaning) Làm rõ liệu (Data visualization) Xây dựng mơ hình hồi quy tuyến tính 14 Dự báo (Predictions) 19 II B ANOVA 20 Nhập làm liệu, thực thống kê mô tả 22 Phân tích phương sai nhân tố 31 PHẦN RIÊNG 47 Đề yêu cầu: 47 Đọc liệu: 48 Làm liệu: 49 Làm rõ liệu: 49 Xây dựng mơ hình hồi quy: Phân tích nhân tố ảnh hưởng đến lương kỹ sư sau tốt nghiệp ĐH 57 t.test: So sánh lương trung bình Nam Nữ .64 Xây dựng mơ hình anova: So sánh mức lương trung bình ứng cử viên đạt cấp khác .65 TÀI LIỆU THAM KHẢO .70 A PHẦN CHUNG I Hồi quy tuyến tính bội Câu 1: Tập tin "gia_nha.csv" chứa thông tin giá bán thị trường (đơn vị đô la) 21613 nhà quận King nước Mỹ khoảng thời gian từ tháng 5/2014 đến 5/2015 Bên cạnh giá nhà, liệu cịn bao gồm thuộc tính mơ tả chất lượng nhà Dữ liệu gốc cung cấp tại: https://www.kaggle.com/harlfoxem/housesalesprediction Các biến liệu: • price: Giá nhà bán • sqft_living15: Diện tích trung bình 15 ngơi nhà gần khu dân cư • floors: Số tầng ngơi nhà phân loại từ - 3.5 • condition: Điều kiện kiến trúc nhà từ - 5, 1: tệ 5: tốt • sqft_above: Diện tích ngơi nhà • sqft_living: Diện tích khn viên nhà u cầu: Đọc liệu (Import data): Hãy dùng lênh read.csv() để đọc tệp tin Làm liệu (Data cleaning): (a) Hãy trích liệu đặt tên new_DF bao gồm biến mà ta quan tâm trình bày phần giới thiệu liệu Từ câu hỏi sau, yêu cầu xử lý dựa tập liệu new_DF (b) Kiểm tra liệu bị khuyết tập tin (Các câu lênh tham khảo: is.na(), which(), apply()) Nếu có liệu bị khuyết, đề xuất phương pháp thay cho liệu bị khuyết Làm rõ liệu (Data visualization): (a) Chuyển đổi biến price, sqft_living15, sqft_above, sqft_living thành log(price), log(sqft_living15), log(sqft_above), log(sqft_living) Từ tính tốn với biến hiểu qua đổi biến dạng log (b) Đối với biến liên tục, tính giá trị thống kê mơ tả bao gồm: trung bình, trung vị, độ lệch chuẩn, giá trị lớn giá trị nhỏ Xuất kết dạng bảng (Hàm gợi ý: mean(), median(), sd(), min(), max() , apply(), as.data.frame(), rownames()) (c) Đối với biến phân loại, lập bảng thống kê số lượng cho chủng loại (Hàm gợi ý: table()) (d) Hãy dùng hàm hist() để vẽ đồ thị phân phối biến price (e) Hãy dùng hàm boxplot() vẽ phân phối biến price cho nhóm phân loại biến floors biến condition (f) Dùng lệnh pairs() vẽ phân phối biến price theo biến sqft_living15, sqft_above, sqft_living Xây dựng mơ hình hồi quy tuyến tính (Fitting linear regression models): Chúng ta muốn khám phá có nhân tố tác động đến giá nhà quận King (a) Xét mơ hình hồi quy tuyến tính bao gồm biến price biến phụ thuộc, tất biến lại biến độc lập Hãy dùng lệnh lm() để thực thi mơ hình hồi quy tuyến tính bội (b) Dựa vào kết mơ hình hồi quy tuyến tính trên, biến bạn loại khỏi mơ hình tương ứng với mức tin cậy 5%? (c) Xét mô hình tuyến tính bao gồm biến price biến phụ thuộc nhưng: + mơ hình M1 chứa tất biến cịn lại biến độc lập + mơ hình M2 loại bỏ biến condition từ mơ hình M1 Hãy dùng lệnhh anova() để đề xuất mơ hình hồi quy hợp lý (d) Chọn mơ hình hợp lý từ câu (c) suy luận tác động biến lên giá nhà (e) Từ mô hình hồi quy mà bạn chọn câu (c) dùng lệnh plot() để vẽ đồ thị biểu thị sai số hồi quy (residuals) giá trị dự báo (fitted values) Nêu ý nghĩa nhận xét đồ thị Dự báo (Predictions): (a) Từ mơ hình bạn chọn câu (c), dùng lệnh predict() để dự báo giá nhà thuộc tính sau: X1: sqft_living15 = mean(sqft_living15), sqft_above = mean(sqft_above), sqft_living = mean(sqft_living), floor = 2, condition = X2: sqft_living15 = max(sqft_living15), sqft_above = max(sqft_above), sqft_living = max(sqft_living), floor = 2, condition = (b) So sánh khoảng tin cậy cho giá trị dự báo THỰC HIỆN Đọc liệu (Import data) Đọc liệu “gia_nha.csv” Làm liệu (Data cleaning) (a) Tạo liệu new_DF bao gồm biến mà ta quan tâm (b) Kiểm tra liệu bị khuyết new_DF Nhìn vào kết kiểm tra liệu bị khuyết new_DF, ta nhận thấy có 20 liệu bị khuyết biến price (lượng liệu khuyết chiếm 10% liệu) Vì vậy, ta cần xử lý liệu bị khuyết Phương pháp thay cho liệu bị khuyết: xoá quan sát chứa liệu bị khuyết Sau thực phương pháp, nhận thấy khơng cịn liệu bị khuyết Làm rõ liệu (Data visualization) (a) Chuyển đổi biến price, sqft_living15, sqft_above, sqft_living thành log(price), log(sqft_living15), log(sqft_above), log(sqft_living) Từ tính tốn với biến hiểu qua đổi biến dạng log Giải thích lý chuyển sang dạng log(x): + Cải thiện phù hợp mơ hình: giả định ta xây dựng mơ hình hồi quy sai số hồi quy (phần dư) phải có phân phối chuẩn, trường hợp sai số hồi quy (phần dư) khơng có phân phối chuẩn việc lấy log của biến giúp thay đổi tỉ lệ làm cho biến có phân phối chuẩn Ngoài ra, trường hợp phần dư (phương sai thay đổi) biến độc lập gây ra, ta chuyển đổi biến sang dạng log + Diễn giải: lý giúp ta diễn giải mối quan hệ biến thuận tiện Nếu ta lấy log biến phụ thuộc Y biến độc lập X, hệ số hồi quy β hệ số co giãn diễn giải sau: X tăng 1% dẫn đến tăng việc ta kỳ vọng Y tăng lên β% (về mặt trung bình Y), + Ước lượng mơ hình phi tuyến: việc lấy log cho phép ta ước lượng mơ hình hồi quy tuyến tính (b) Tính giá trị thống kê mơ tả (trung bình, trung vị độ lệch chuẩn, giá trị lớn nhất, giá trị nhỏ nhất) cho biến log.price, log.sqft_above, log.sqft_living, log.sqft_living15 Xuất kết dạng bảng (c) Lập bảng thống kê số lượng cho chủng loại biến floors condition (d) Vẽ biểu đồ histogram thể phân phối log.price Dựa biểu đồ histogram biến log.price, ta nhận thấy đồ thị có hình dạng phân phối chuẩn (e) Vẽ biểu đồ boxplot thể phân phối biến log.price cho nhóm phân loại biến floors biến condition - Vẽ biểu đồ boxplot thể phân phối biến log.price cho nhóm phân loại biến floors 10 58 Nhận xét: Từ đồ thị phân tán biến Salary theo collegeGPA, GraduationYear, English, Quant, ComputerScience, MechanicalEngg, ElectricalEngg, TelecomEngg, CivilEngg : Ta nhận thấy biến Quant English có quan hệ tuyến tính với Max.HR theo quan hệ đồng biến rõ rệt Các biến lại collegeGPA, GraduationYear, ComputerScience, MechanicalEngg, ElectricalEngg, TelecomEngg, CivilEngg qua đồ thị quan hệ tuyến tính với Salary Xây dựng mơ hình hồi quy: Phân tích nhân tố ảnh hưởng đến lương kỹ sư sau tốt nghiệp ĐH Xây dựng mơ hình đó: - Biến phụ thuộc: Salary - Biến độc lập: tất biến cịn lại 59 Dựa vào kết mơ hình hồi quy tuyến tính trên, biến bị loại khỏi mơ hình với mức tin cậy 5% ? Ta đặt giả thiết: H0: Các hệ số hồi quy ý nghĩa thống kê H1: Các hệ số hồi quy có ý nghĩa thống kê Nhận xét: Dựa vào kết mơ hình hồi quy, ta nhận thấy Pr(>|t|) biến Genderm, DegreeMCA, collegeGPA, English, Logical, Quant, ComputerScience, ElectricalEngg, TelecomEngg, CivilEngg < mức ý nghĩa 0,05 nên ta bác bỏ H 0, chấp nhận H1 nên hệ số góc tương ứng với biến (Genderm, DegreeMCA, collegeGPA, English, Logical, Quant, ComputerScience, ElectricalEngg, TelecomEngg, CivilEngg) có ý nghĩa thống kê Còn biến Degree,GraduationYear,MechanicalEngg ta thấy Pr(>|t|) biến > mức ý nghĩa 0,05 nên ta chưa thể bác bỏ giả thiết H Do hệ số ứng với biến Degree, GraduationYear, MechanicalEngg khơng có ý nghĩa thống kê , ta loại bỏ biến Degree, GraduationYear, MechanicalEngg khỏi mơ hình 60 Xây dựng mơ hình loại bỏ biến GraduationYear từ mơ hình y dựng mơ hình loại bỏ biến MechanicalEngg từ mơ hình Xâ 61 Xây dựng mơ hình loại bỏ biến Degree từ mơ hình 62 So sánh mơ hình: Nhận xét: Dựa vào kết phân tích ANOVA hai mơ hình M1 M2, ta thu giá trị Pr(>F) =0,9786 Với mức ý nghĩa 5%, Pr(>F)>0,05 nên mơ hình Mặt khác ta dựa vào R2 hiệu chỉnh (Adjusted R squared) mơ hình, ta thấy R2 hiệu chỉnh M2 0,1813 > R2 hiệu chỉnh M1 0.181 Vì vậy, mục dù kết phân tích ANOVA cho biết hai mơ ta kết luận mơ hình M2 tốt M1 63 Nhận xét: Dựa vào kết phân tích ANOVA hai mơ hình M2 M3, ta thu giá trị Pr(>F) =0,8254 Với mức ý nghĩa 5%, Pr(>F)>0,05 nên mơ hình Lúc ta tiếp tục dựa vào R hiệu chỉnh (Adjusted R squared)) mơ hình, ta thấy R2 hiệu chỉnh M3 0,1815 > R2 hiệu chỉnh M2 0.1813 Vì vậy, mục dù kết phân tích ANOVA cho biết hai mơ ta kết luận mơ hình M3 tốt M2 Nhận xét: Dựa vào kết phân tích ANOVA hai mơ hình M3 M4, ta thu giá trị Pr(>F) =0.09074 Với mức ý nghĩa 5%, Pr(>F)>0,05 nên mơ hình Lúc ta tiếp tục dựa vào R hiệu chỉnh (Adjusted R squared) mơ hình, ta thấy R2 hiệu chỉnh M4 0,1806 < R2 hiệu chỉnh M2 0.1815 Vì vậy, mục dù kết phân tích ANOVA cho biết hai mơ ta kết luận mơ hình M3 tốt M4 Tuy nhiên, giá trị Pr(>F) giảm mạnh so với giá trị so sánh có thay đổi lớn loại bỏ biến Degree Nhận xét: Sau loại bỏ dần biến GraduationYear, MechanicalEngg, Degree khỏi mơ hình xây dựng mơ hình M2, M3, M4 Dựa kết tóm tắt mơ hình M2, M3,M4 , ta nhận thấy biến collegeGPA, English, ComputerScience, Quant, ElectricalEngg, có Pr(>t) bé (***) , tức khả bác bỏ H0 cao, tức hệ số ứng với biến có ý nghĩa thống kê cao, có nghĩa thay đổi 64 biến có ảnh hưởng nhiều đến thay đổi lương sinh viên kỹ sư trường Tiếp đến biến Genderm, DegreeMCA, Logical, TelecomEngg, CivilEngg, có Pr(>t) bé ( (** ) (*) ) không nhỏ so với mức ý nghĩa 0,05 có xu hướng bác bỏ H0 nhiều hơn, nên xem có ảnh hưởng định đến Salary (ít so với biến (***) ) Biến GraduationYear, MechanicalEngg, Degree loại bỏ khơng có ý nghĩa thống kê, tức thay đổi biến không ảnh hưởng đến Salary kỹ sư sinh viên trường Mặt khác hệ số hồi quy biến dự báo xem ảnh hưởng trung bình lên biến phụ thuộc lương tăng giảm đơn vị biến dự báo đó, giả sử biến dự báo khác không đổi Cụ thể hơn, hệ số hồi quy ứng với CollegeGPA = 8.212e-03 ứng với số điểm tăng ta kỳ vọng lương tăng 8.212e-03 INR (giả sử biến dự báo cịn lại khơng đổi) Vẽ biểu đồ sai số hồi quy giá trị dự báo: Nhận xét: Đồ thị vẽ giá trị dự báo giá trị thặng dư (sai số) tương ứng Dựa vào đồ thị ta thấy, đường thẳng màu đỏ đồ thị đường thẳng nằm ngang, đường cong, tức mối quan hệ biến dự báo X biến phụ thuộc Y xem tuyến tính, thoả mản giả định tuyến tính liệu Ngoài giá trị thặng dư (sai số) phân tán tương đối xung quanh đường thẳng y = (ngoài trừ số giá trị ngoại lai), chứng tỏ phương sai sai số số *** Các giả định cần kiểm tra mơ hình hồi quy tuyến tính: 65 • Y X có mối quan hệ tuyến tính • Sai số hồi quy tuân theo phân phối chuẩn • Các sai số phải độc lập với • Phương sai sai số phải số t.test: So sánh lương trung bình Nam Nữ Tạo liệu bao gồm biến Salary, Gender, Degree Thực kiểm định: 66 Xây dựng mô hình anova: So sánh mức lương trung bình ứng cử viên đạt cấp khác Lọc liệu (chỉ xét loại cấp): Kiểm tra giả định phân phối chuẩn: 67 • Đối với loại cấp B.Tech/B.E: 68 Nhận xét: Nhìn vào đồ thị, ta nhận thấy biến tập trung đa số xung quanh đường thẳng 15o, khoảng đầu cuối có vài giá trị lệch khỏi đường thẳng khơng đáng kể, nên giả định sai số tuân theo phân phối chuẩn thỏa mãn • Đối với loại cấp M.Tech./M.E: Nhận xét: Đây biểu đồ chưa phân phối chuẩn biến rời rạc 69 • Đối với loại cấp MCA: Nhận xét: Nhìn vào đồ thị, ta nhận thấy biến tập trung đa số xung quanh đường thẳng 15o, khoảng đầu cuối có vài giá trị lệch khỏi đường thẳng không đáng kể, nên giả định sai số tuân theo phân phối chuẩn thỏa mãn Thực kiểm tra giả định tính đồng phương sai: 70 Nhận xét: Do giá trị Pr(>F)=0,06524>0,05 nên phương sai nhau, từ đủ điều kiện phân tích phương sai nhân tố Thực phân tích phương sai nhân tố: Nhận xét: Pr(>F)=0,134>0,05 nên trung bình nhau, chưa đủ điều kiện để khẳng định có khác biệt nhóm biến phụ thuộc 71 TÀI LIỆU THAM KHẢO Hoàng Văn Hà, Bài giảng Xác suất Thống Kê Nguyễn Tiến Dũng (chủ biên), Nguyễn Đình Huy, Xác suất – Thống kê & Phân tích số liệu, 2019 72 ... số hồi quy khơng có ý nghĩa thống kê ( β i = 0) Giả thuyết H1: Hệ số hồi quy có ý nghĩa thống kê ( β i ≠ 0) 15 Ta nhận thấy Pr(>|t|) hệ số ứng với biến condition2 lớn mức ý nghĩa α = 0.05 nên... cấp Văn phòng Thống kê Vận tải, Mỹ (https://www.transtats.bts.gov/) Dữ liệu dùng để phân tích nguyên nhân gây khởi hành trễ hoãn chuyến bay Chi tiết liệu sau:  Tổng chuyến bay thống kê: 162049... trị khuyết (NA – Not Available) Hãy in bảng thống kê tỷ lệ giá trị khuyết biến Hãy đề xuất phương pháp để xử lý giá trị khuyết (d) Tính giá trị thống kê mơ tả (cỡ mẫu trung bình, độ lệch chuẩn,