BÁO CÁO BÀI TẬP LỚN SỐ 2 MÔN HỌC XÁC SUẤT THỐNG KÊ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH ĐẠI HỌC BÁCH KHOA - - - oOo - - - BÁO CÁO BÀI TẬP LỚN SỐ MÔN HỌC XÁC SUẤT THỐNG KÊ HỌC KỲ 202 Giảng viên hướng dẫn: Nguyễn Kiều Dung Nhóm: 26 Danh sách thành viên: STT Họ tên Nguyễn Thế Bảo Nguyễn Hoàng Minh Đặng Thị Xuân Diệp Nguyễn Nhật Hạ Nguyễn Lê Hảo Hảo Võ Nguyễn Khánh Linh Trần Thị Kiều Linh Nguyễn Thanh Thảo MSSV Lớp/Tổ Khoa Ký tên tham dự 1912682 L13B Cơ khí 1914165 L13C Cơ khí 1912851 L17A Cơ khí 1913274 L17B Cơ khí 1913271 L17B Cơ khí 1913969 L17B Cơ khí 1913965 L17B Cơ khí 1915187 L17C Cơ khí Tp Hồ Chí Minh, ngày tháng năm 2021 ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH ĐẠI HỌC BÁCH KHOA - - - oOo - - - BÁO CÁO BÀI TẬP LỚN SỐ MÔN HỌC XÁC SUẤT THỐNG KÊ HỌC KỲ 202 Giảng viên hướng dẫn: Nguyễn Kiều Dung Nhóm: 26 Danh sách thành viên: STT Họ tên Nguyễn Thế Bảo Nguyễn Hoàng Minh Đặng Thị Xuân Diệp Nguyễn Nhật Hạ Nguyễn Lê Hảo Hảo Võ Nguyễn Khánh Linh Trần Thị Kiều Linh Nguyễn Thanh Thảo MSSV Lớp/Tổ Khoa Ký tên tham dự 1912682 L13B Cơ khí 1914165 L13C Cơ khí 1912851 L17A Cơ khí 1913274 L17B Cơ khí 1913271 L17B Cơ khí 1913969 L17B Cơ khí 1913965 L17B Cơ khí 1915187 L17C Cơ khí Tp Hồ Chí Minh, ngày tháng năm 2021 i TÓM TẮT Bài báo cáo tập trung chủ yếu vào liệu thu thập từ trang web thông tin Kaggle, Uci trang thơng tin uy tín Mỹ, sau kiểm tra liệu xây dựng mơ hình hồi quy tuyến tính biến quan tâm Về phần chung, nhóm lựa chọn tập liệu gia_nha.csv tham khảo từ trang web Kaggle quan tâm đến biến Thực theo bước: đọc, làm rõ liệu, xây dựng mơ hình tuyến tính dự báo Về phần riêng, nhóm lựa chọn tập liệu nha_may_dien.csv tham khảo từ trang web Uci gồm biến Và thực theo bước: đọc, làm rõ liệu, xây dựng mơ hình tuyến tính dự báo Từ đó, nhận xét mối tương quan biến phụ thuộc biến độc lập Bài báo cáo xây dựng dựa sở kiến thức chúng em tiếp thu từ giảng mà Cô tận tâm truyền đạt Chúng em vận dụng phương pháp phân tích liệu thống kê cho đề tài nghiên cứu Từ đó, phân tích liệu thực tế dựa nội dung học hoàn thành báo cáo trọn vẹn Dựa kiến thức học tìm hiểu thêm, nhóm chúng em cố gắng để hoàn thành báo cáo tiến độ tốt Nhưng kiến thức có hạn nên cịn nhiều thiếu sót cách trình bày nội dung báo cáo cần truyền tải Chúng em mong nhận thông cảm từ cơ, mong góp ý để chúng em rút kinh nghiệm cho thân ii MỤC LỤC PHẦN I: Cơ sở lý thuyết PHẦN II: Bài tập xử lý số liệu 12 PHẦN CHUNG 12 Đọc liệu (Import data): 12 Làm liệu (Data cleaning): 13 Làm rõ liệu 17 Xây dựng mơ hình hồi quy tuyến tính (Fitting linear regression models): 17 Dự báo (Predictions) .26 PHẦN RIÊNG 37 Đọc liệu (Import data): 38 Làm liệu (Data cleaning): 39 Làm rõ liệu 40 Xây dựng mơ hình hồi quy tuyến tính (Fitting linear regression models) 44 Dự Báo (Predictions) 44 TÀI LIỆU THAM KHẢO A iii PHẦN I: Cơ sở lý thuyết Mơ hình hồi quy tuyến tính biến phân tích tương quan: 1.1 Mơ hình hồi quy tuyến tính đơn: Phương trình hồi quy tuyến tính đơn biến tổng thể: 𝑌𝑖 = 𝑏0 + 𝑏1 𝑋𝑖 + 𝑒𝑖 Trong đó: Xi Yi giá trị biến độc lập biến phụ thuộc cặp quan sát thứ i b0: hệ số tung độ gốc (hệ số chặn) b1: hệ số độ dốc (hệ số góc) ei: yếu tố ngẫu nhiên (chênh lệch giá trị Yi thực tế giá trị E(Y|Xi) với E(Y|Xi) = b0 + b1Xi 1.1.1 Ý nghĩa hệ số hồi quy: b1 hệ số độ dốc đường hồi quy tổng thể, đo lường lượng thay đổi trung bình biến phụ thuộc Y, cho đơn vị thay đổi X b0 hệ số tung độ gốc (hệ số chặn hệ số tự do) cho biết giá trị trung bình Y X Phương trình hồi quy tuyến tính mẫu đực sử dụng để ước lượng mơ hình hồi quy tổng thể E(Y|Xi) = b0 + b1Xi có cơng thức: 𝑌̂𝑖 = 𝑏0 + 𝑏1 𝑋𝑖 Trong đó: 𝑌̂𝑖 : giá trị ước lượng cho giá trị biến Y quan sát thứ i Xi: giá trị X quan sát thứ i Cơng thức tính giá trị hệ số hồi quy mẫu: 𝑏1 = 𝛴(𝑋 − 𝑋̅)(𝑌 − 𝑌̅) ∑(𝑋 − 𝑋̅)2 ∑𝑋∑𝑌 Hoặc 𝑏1 = ∑𝑋𝑌− 𝑛 (∑𝑋)2 𝛴𝑋 − 𝑛 𝑏0 = 𝑌̅ − 𝑏1 𝑋̅ 1.1.2 Đo lường biến thiên hệ số xác định: Để khảo sát khả sử dụng biến độc lập để dự đoán biến phụ thuộc cần phải đo lường số biến thiên mô hình Tổng biến thiên biến phụ thuộc (SST) tính cách lấy tổng chênh lệch bình phương giá trị Yi xung quanh giá trị trung bình chúng Tổng biến thiên chia làm phần: biến thiên hồi quy (SSR) biến thiên phần dư (SSE) + SSR thể khác biệt giá trị đường hồi quy tính tốn 𝑌̂𝑖 𝑌̅ SSE đại diện cho thành phần biến thiên Y mà khơng giải thích hồi quy, hình thành dựa chênh lệch Yj 𝑌̂𝑖 + SST chênh lệch giá trị quan sát Yi 𝑌̅ SST = SSR + SSE 𝑛 SST = ∑(𝑌𝑖 − 𝑌̅)2 𝑖=1 𝑛 SSR = ∑(𝑌̂𝑖 − 𝑌̅)2 𝑖=1 𝑛 SSE = ∑(𝑌𝑖 − 𝑌̂)2 𝑖=1 Tỉ lệ SSR SST hệ số biến thiên (R2) dùng để đánh giá mơ hình hồi quy 𝑅2 = SSR SST 1.1.3 Sai số chuẩn ước lượng: Độ lệch chuẩn xung quanh đường hồi quy gọi sai số chuẩn hồi quy (kí hiệu sY/X) tính cách lấy tổng chênh lệch bình phương chia cho bậc tự lấy bậc hai kết tìm 𝑛 𝑆𝑆𝐸 √ 𝑠𝑌∕𝑋 = √ = 𝑛−2 ∑ (𝑌𝑖 − 𝑌̂𝑖 ) 𝑖=1 𝑛−2 Bình phương sY/X ta s2Y/X ước lượng tốt cho s2 (n-2) bậc tự Chỉ số Y/X dùng để rõ s2Y/X ước lượng cho phương sai Y có hồi quy Y theo X 1.1.4 Suy diễn thống kê hệ số độ dốc Địng lí Gauss – Markov: Trong ước lượng tuyến tính không chệch cho hệ số hồi quy tổng thể, ước lượng tìm phương pháp bình phương bé có phương sai cực tiểu Giả sử Y tuân theo phân phối chuẩn tham số b0 b1 tuân theo phân phối chuẩn: + Trung bình: E(b1) = b1 + Phương sai: 𝑠𝑏21 = ∑𝑛 𝑠𝑌/𝑋 ̅ 𝑖=1(𝑋𝑖 −𝑋 ) Khoảng tin cậy 100x(1-a)% cho hệ số độ dốc b1 có dạng (b1 ± t(n-2; /2) х sb1) Kiểm định ý nghĩa hệ số độ dốc tiến hành với giả thiết giá trị b1 (giả dụ H0: b1=b*) + Chuẩn hóa b1 theo cơng thức: Z = (b-b1)/sb1 + Do ta dùng ước lượng mẫu 𝑠𝑏21 thay cho phương sai thực tổng thể mà ta chưa biết nên b1 khơng có phân phối chuẩn mà có phân phối student với (n-2) bậc tự 𝑡= 𝑏1 − 𝛽∗ 𝑠𝑏1 Trong đó: b1 hệ số hồi quy mẫu b* giá trị hệ số hồi quy tổng thể giả định sb1 ước lượng sai số chuẩn hệ số độ dốc + Tiến hành so sánh giá trị t với giá trị t tra bảng theo quy tắc |t| < t(n-2; /2) chưa thể bác bỏ giả thiết H0 + Với mơ hình hồi quy đơn biến việc kiểm định thông tin hệ số độ dốc tiến hành với giả thiết b1=0 H0: b1=0 H1: b10 1.1.5 Phân tích phần dư: Kiểm định tính đắn mơ hình hồi quy tuyến tính cách vẽ đồ thị mà phần dư đặt trục đứng biến độc lập X đặt trục ngang + Đồ thị ei theo X hình dạng rõ ràng chấm phân tán mơ hình đắn + Đồ thị ei theo X có dạng liên kết mơ hình khơng đắn Kiểm tra vi phạm giả định phương sai bằng: + Đồ thị phần dư theo biến độc lập Nếu khơng có khác biệt lớn biến thiên phần dư giá trị khác biến X mơ hình tuyến tính xây dựng khơng vi phạm giả định phương sai + Kiểm định Park Kiểm tra giả định phân phối chuẩn phần dư: đánh giá cách phân tích phần dư Sử dụng đồ thị xác suất chuẩn (Normal probability plot) để xem phần dư có phân phối chuẩn hay xấp xỉ chuẩn hay khơng Kiểm định tính độc lập phần dư cách: + Vẽ đồ thị phần dư theo trật tự giá trị mà ta thu thập theo thời gian + Kiểm định Durbin-Watson (không đáng tin cỡ mẫu t(n-2; /2) bác bỏ giả thiết H0 ngược lại,  mức ý nghĩa chọn cho phép kiểm định Một số vấn đề đáng lưu ý r: + r = cho biết khơng có mối liên hệ tuyến tính biến chưa có ý nghĩa biến khơng có mối liên hệ chúng liên hệ phi tuyến hệ số tương quan tuyến tính nên sử dụng để biểu thị mức độ chặt chẽ liên hệ tương quan tuyến tính + Cần phải cẩn thận xem xét đồng thời hệ số tương quan đồ thị phân tán X Y hệ số tương quan có giá trị hình dạng mối liên hệ lại khác + Một lỗi thơng thường giải thích hệ số tương quan tuyến tính cho có liên hệ tương quan có nghĩa lúc có liên hệ nhân Kỹ thuật tương quan tuyến tính kỹ thuật đối xứng, mối liên hệ X Y tương tự liên hệ Y X khơng phải liên hệ nhân thoe chiều kỹ thuật hồi quy + Hệ số tương quan tuyến tính khơng có đơn vị đo lường + Trong mơ hình hồi quy tuyến tính đơn biến 𝑌̂𝑖 = 𝑏0 + 𝑏1 𝑋𝑖 , lấy bậc hệ số xác định R2 hệ số tương quan rXY: 𝑟 = +√𝑅2 b1>0 𝑟 = −√𝑅2 b1|t|) tất biến < mức ý nghĩa 0,05 nên ta bác bỏ H0, chấp nhận H1 nên hệ số góc tương ứng với tất biến (AT, V, AP, RH) có ý nghĩa thống kê Dó ta khơng loại bỏ biến khỏi mơ hình c) Xét mơ hình tuyến tính bao gồm biến PE biến phụ thuộc nhưng: + Mơ hình M1 chứa tất biến cịn lại biến độc lập + Mơ hình M2 loại bỏ biến V khỏi mơ hình M1 Hãy dùng lệnhh anova() để đề xuất mơ hình hồi quy hợp lý Mơ hình hồi quy M2 bao gồm: Biến phụ thuộc : sản lượng điện ròng PE Biến dự báo (độc lập) : AT,AP,RH nhiệt độ môi trường, áp suất môi trường độ ẩm tỉ đối mơi trường Mơ hình biểu diễn sau : 𝑃𝐸 = 𝛽0 + 𝛽1 x AT +𝛽2 x AP + 𝛽3 x RH Ta ước lượng hệ số 𝛽0 ,𝛽1 ,… sử dụng lệnh lm() Input: M2 = lm(PE~AT+AP+RH, data = nha_may_dien) summary(M2) # Xây dựng mơ hình tuyến tính bội theo mơ hình m2 # Thống kê kết tính tốn xây dựng mơ hình m2 46 Output: Từ kết phân tích, ta thu 𝛽0 = 490.323746 , 𝛽1 = -2.377708 , 𝛽2 = 0.025372, 𝛽3 = -0.203832 Như đường thẳng hồi quy ước lượng cho phương trình sau: PE = 490.323746 - 2.377708 x AT + 0.025372 x AP - 0.203832 x RH Hệ số 𝑅2 hiệu chỉnh 0.921 nghĩa 92.1% biến thiên sản lượng điện rịng PE giải thích biến AT, AP, RH Input: anova(M1,M2) # Phân tích phương sai cho hai mơ hình tuyến tính M1 M2 Output: Ta đặt giả thiết: H0: Hai mơ hình hiệu H1: Hai mơ hình hiệu khác 47 Nhận xét: Vì kết thu bảng Anova cho mơ hình M1 M2 Pr(>F) = 2,2.e-16 nhỏ 0.05 nên ta bác bỏ H0, chấp nhận H1 Điều mơ hình khác Do ta cân nhắc việc chọn mơ hình M1 hay mơ hình M2 Hệ số multiple 𝑅2 (hệ số xác định) mơ hình M1 = 0.9287 > hệ số muiltle R2 (hệ số xác định) mơ hình M2 = 0,921 Hơn nữa, mơ hình M1 có nhiều mơ hình M2 biến có ý nghĩa thống kê (V) nên chọn mơ hình M1 hợp lý mơ hình M2 d) Chọn mơ hình hợp lý từ câu (c) suy luận tác động biến lên sản lượng điện ròng theo thời gian: Nhận xét: Dựa kết trên, ta nhận thấy biến mơ hình M1 có giá trị Pr (> t) nhỏ (***), nghĩa khả bác bỏ H0 cao, tức hệ số ứng với biến có ý nghĩa thống kê cao, nghĩa thay đổi biến có ảnh hưởng nhiều đến thay đổi sản lượng điện ròng Xét biến cụ thệ ta thấy hệ số hồi quy ứng với AT = - 1.977513 ứng với nhiệt độ tăng 1𝑜 ta kì vọng sản lượng điện rịng giảm 1.977513 đơn vị tính theo đơn vị sản lượng ròng ( giả sử biến dự báo cịn lại khơng đổi ) Tương tự ta xét với biến lại ( V, AP , RH ) e) Từ mơ hình hồi quy hợp lí từ câu (c) dùng lệnh plot để vẽ đồ thị biểu thị sai số hồi quy giá trị dự báo Nêu ý nghĩa nhận xét Input: plot (M1 , which=1) # Vẽ đồ thị biểu thị sai số hồi quy (Residuals) giá trị dự báo (Fitted values) 48 Output: Nhận xét: Đồ thị vẽ giá trị dự báo giá trị thặng dư (sai số) tương ứng Dựa vào đồ thị ta thấy, đường thẳng màu đồ thị gần đường thẳng nằm ngang, tức mối quan hệ biến dự báo X biến phụ thuộc Y xem tuyến tính, thoả mản giả định tuyến tính liệu Ngồi giá trị thặng dư (sai số) phân tán tương đối xung quanh đường thẳng y= (ngoài trừ số giá trị ngoại lai), chứng tỏ phương sai sai số số *Các giả định cần kiểm tra mơ hình hồi quy: Tính tuyến tính liệu: mối quan hệ biến dự báo X biến phụ thuộc Y giả sử tuyến tính Sai số có phân phối chuẩn Phương sai sai số số Các sai số độc lập với Ta thực vẽ thêm biểu đồ để kiểm tra giả định hồi quy này: Input: plot(M1,which=1) plot(M1,which=2) plot(M1,which=3) 49 plot(M1,which=5) Output: Đồ thị 1: Kiểm định mối quan hệ tuyến tính liệu Nhận xét: Đồ thị vẽ giá trị dự báo giá trị thặng dư (sai số) tương ứng Dựa vào đồ thị ta thấy, đường thẳng màu đồ thị gần đường thẳng nằm ngang, tức mối quan hệ biến dự báo X biến phụ thuộc Y xem tuyến tính, thoả mản giả định tuyến tính liệu Ngồi giá trị thặng dư (sai số) phân tán tương đối xung quanh đường thẳng y= (ngoài trừ số giá trị ngoại lai), chứng tỏ phương sai sai số số Đồ thị 2: Đồ thị kiểm tra giả định phân phối chuẩn sai số Nếu điểm thặng dư nằm đường thẳng điều kiện phân phối chuẩn thỏa mãn 50 Nhận xét: Dựa vào đồ thị ta thấy , đa số giá trị thặng dư tập trung thành đường thẳng, khoảng đầu cuối có vài giá trị lệch khỏi đường thẳng, nhiên không đáng kể Vậy ta xem giả định phân phối chuẩn sai số đáp ứng Đồ thị 3: đồ thị vẽ bậc giá trị thặng dư chuẩn hóa giá trị dự báo, dùng để kiểm tra giả định phương sai sai số số Nếu đường màu đỏ đồ thị đường nằm ngang giá trị thặng dư phân tán xung quanh đường thẳng giả định thỏa mãn Nhận xét: Dựa đồ thị ta thấy đường thẳng màu đỏ nằm ngang cong Tuy nhiên, đọ cong tương đối nhỏ giá trị thặng dư phân tán xung quanh đường thẳng nên giả định phương sai số thỏa mãn Đồ thị 4: cho phép xác định ảnh hưởng cao, chúng diện liệu Những điểm outliers, điểm gây nhiễu, gây ảnh hưởng nhiều việc phân tích Nếu có số điểm vượt qua điểm màu đỏ nét đứt (Cook’s distance), nghĩa điểm có ảnh hưởng cao 51 Nhận xét: Dựa vào đồ thị ta thấy quan trắc thứ 3384, 3118, 8363, điểm ảnh hưởng cao liệu, nhiên điểm chưa vượt qua đường Cook’s distance Do điểm chưa thực có ảnh hưởng cao, ta ko cần loại bỏ chúng phân tích  Các giả định mơ hình hồi quy thỏa mãn Dự Báo (Predictions) a) Từ mơ hình bạn chọn câu 4, dùng lệnh predict () để dự báo sản lượng điện lượng ròng theo (PE) – Net hourly electrical energy output: x1: AT = mean (AT), V = mean (V), AP = mean (AP), RH = mean (RH) x2: AT = max (AT), V = max (AT), V = max (AT), V = max (AT) Input: X1 = data.frame(AT= mean(nha_may_dien $AT), V= mean(nha_may_dien $V), AP = mean(nha_may_dien $AP), RH = mean(nha_may_dien $RH)) # Tạo thuộc tính X1 predict_X1 = predict(m1, X1, interval = "confidence") predict_X1 # Dự báo sản lượng điện rịng thuộc tính X1 Output: fit 454.365 lwr 454.2737 upr 454.4564 Input: X2 = data.frame(AT= max(nha_may_dien $AT), V= max(nha_may_dien $V), AP = max(nha_may_dien $AP), RH = max(nha_may_dien $RH)) # Tạo thuộc tính X2 predict_X2 = predict(m1, X2, interval = "confidence") predict_X2 # Dự báo sản lượng điện ròng thuộc tính X2 Output: 52 fit lwr upr 410.4651 409.7346 411.1957 b) Hãy so sánh khoảng tin cậy giá trị dự báo Input: pred = data.frame(rbind(predict_X1,predict_X2) #Tạo bảng thể dự báo sản lượng điện ròng thuộc tính X1,X2 rownames(pred) = c("X1","X2") # Đổi tên dòng thành X1, X2 pred$range =pred$upr - pred$lwr pred Output: fit lwr upr range X1 454.3650 454.2737 454.4564 0.1826951 X2 410.4651 409.7346 411.1957 1.4610754 Nhận xét: Với khoảng tin cậy 95%, ta thấy độ dài khoảng tin cậy giá trị dự báo X1 < X2 nên ta kết luận với tập liệu từ X1, ta thu giá trị dự báo xác so với X2 53 TÀI LIỆU THAM KHẢO [1] Nguyễn Kiều Dung, Bài giảng Xác suất Thống kê [2]Nguyễn Tiến Dũng (chủ biên), Nguyễn Đình Huy, Xác suất – Thống kê & Phân tích số liệu, 2019 [3]Nguyễn Đình Huy (chủ biên), Nguyễn Bá Thi, Giáo trình Xác suất Thống kê, 2018 [4] Introductory Statistics with R, J Jambers – D.Hand – W.Hardle [5] Applied Statistics with R, 2020 [6] Dữ liệu: https://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant https://www.kaggle.com/harlfoxem/housesalesprediction [7]Sách THỐNG KÊ ỨNG DỤNG, tác giả Hoàng Trọng Chu Nguyễn Mộng Ngọc [8] Phân tích số liệu tạo biểu đồ R – Nguyễn Văn Tuấn A B