Báo cáo bài tập lớn môn xác suất thống kê học kì 21

lOMoARcPSD|17160101 ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KĨ THUẬT XÂY DỰNG BÁO CÁO BÀI TẬP LỚN MÔN XÁC SUẤT THỐNG KÊ HỌC KÌ 211 ĐỀ TÀI: PHÂN TÍCH DỮ LIỆU VỀ ĐẶC TRƯNG CƠ LÝ CỦA ĐẤT BÙN SÉT Ở CẦN THƠ Giảng viên hướng dẫn: TS Nguyễn Tiến Dũng Lớp: L18; Nhóm: 02 Danh sách thành viên: STT Họ tên Chiêm Hồng Huấn Võ Thái Bảo Cao Phùng Bảo Phúc Nguyễn Đình Văn MSSV 2013266 2012677 2014153 2015022 Nhóm lớp L18 L18 L18 L18 Downloaded by Free Games Android (vuchinhhp1@gmail.com) Ngành học Kĩ thuật Xây dựng Kĩ thuật Xây dựng Kĩ thuật Xây dựng Kĩ thuật Xây dựng lOMoARcPSD|17160101 MỤC LỤC Danh mục hình ảnh: PHẦN 1: LÝ THUYẾT VỀ CÁC THÔNG SỐ ĐỊA KĨ THUẬT PHẦN 2: CƠ SỞ LÝ THUYẾT THỐNG KÊ 2.1 Hồi quy: 2.1.1 Mơ hình hồi quy tuyến tính bội: 2.1.2 Ước lượng cho tham số mơ hình hồi quy tuyến tính bội: 2.1.3 Các giả thuyết cho phương pháp bình phương cực tiểu cho mơ hình hồi quy tuyến tính bội: 2.1.4 Độ phù hợp mơ hình hồi quy: 2.2 Kiểm định: 2.2.1 Kiểm định phân phối chuẩn: 2.2.2 Phân tích phương sai nhân tố 11 2.2.3 Kiểm tra giả định phân tích phương sai: 15 2.2.4 Phân tích sâu ANOVA 16 PHẦN 3: XỬ LÝ DỮ LIỆU 18 Yêu cầu chung: 18 ĐỀ BÀI: 18 3.1 Đọc liệu 19 3.2 Làm liệu 20 3.3 Làm rõ liệu 21 3.4 Xây dựng mơ hình Anova 26 3.5 Đánh giá mối tương quan đặc tính lý đất 42 3.6 Kết luận 45 CODE 46 Tài liệu tham khảo: 49 Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 Danh mục hình ảnh: Hình 3.3.1 Biểu đồ Histogram cho biến Plasticity_index Hình 3.3.2 Biểu đồ Histogram cho biến Cohesion Hình 3.3.3: Biểu đồ Boxplot Plasticity_index theo hố khoan Borehole Hình 3.3.4: Biểu đồ Boxplot Cohesion theo hố khoan Borehole Hình 3.4.1 Biểu đồ hàm Q-Q Plot Plasticity_index hố khoan Hình 3.4.2 Biểu đồ hàm Q-Q Plot Cohesion hố khoan Hình 3.4.3 Biểu đồ hàm Q-Q Plot Plasticity_index hố khoan Hình 3.4.4 Biểu đồ hàm Q-Q Plot Cohesion hố khoan Hình 3.4.5 Biểu đồ hàm Q-Q Plot Plasticity_index hố khoan Hình 3.4.6 Biểu đồ hàm Q-Q Plot Cohesion hố khoan Hình 3.4.7 Biểu đồ thể khác biệt giá trị trung bình Plasticity_index cặp hố khoan Hình 3.4.8 Biểu đồ thể khác biệt giá trị trung bình Cohesion cặp hố khoan Hình 3.4.9 Biểu đồ phân tán thể mối quan hệ biến Plasticity_index Cohesion Hình 3.5.1 Các biểu đồ thể giả định cần kiểm tra Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 PHẦN 1: LÝ THUYẾT VỀ CÁC THÔNG SỐ ĐỊA KĨ THUẬT Fine_content ( Hàm lượng hạt mịn): hàm lượng đất mà thành phần cấu tạo chủ yếu bùn sét đường kính trung bình tối đa hạt 0.05mm (0.002); Đất hạt mịn: đất, gồm 50% trọng lượng hạt có kích thước nhỏ 0,08 mm; đất hạt mịn, hàm lượng sét chiếm 20% trọng lượng thành phần hạt mịn Liquid_limit ( Giới hạn chảy): hàm lượng nước đất chuyển từ trạng thái dẻo sang trạng thái chảy; ký hiệu WL, biểu diễn % khối lượng; đất có độ ẩm lớn độ ẩm khơng cịn tính dẻo, mà trạng thái chảy Plasticity_index ( Chỉ số dẻo): khoảng hàm lượng nước chứa đất mà khoảng đất thể tính dẻo; Là hiệu số độ ẩm giới hạn chảy giới hạn dẻo, đặc trưng cho tính dẻo đất: 𝑷𝑰 = 𝑾𝑳 − 𝑾𝑷 (%) • t cỏt pha PI = ữ ã t sột pha PI = ữ 17 ã Đất sét PI > 17 Thông thường số dẻo phụ thuộc vào lượng sét có đất Giá trị PI cao cho thấy đất sét dư thừa điều làm cho đất có độ dẻo cao Internal_friction_angle ( Góc ma sát trong): góc có phương tiếp tuyến (tanφ), tỷ số lực cản ma sát dọc theo mặt phẳng khối đất với thành phần lực tác dụng lên mặt phẳng (Khi tính dính 0) Là thơng số đặc trưng cho cường độ kháng cắt đất 𝝉 = 𝒄 + 𝝈′𝒕𝒂𝒏𝝋 Tanφ hệ số ma sát Nên góc nghiêng φ gọi góc ma sát Cohesion ( Lực dính): thuật ngữ sử dụng để mơ tả loại đất có sức chống cắt ( kG/cm2) Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 PHẦN 2: CƠ SỞ LÝ THUYẾT THỐNG KÊ 2.1 Hồi quy: 2.1.1 Mơ hình hồi quy tuyến tính bội: Hồi quy phương pháp thống kê để thiết lập mối quan hệ biến phụ thuộc nhóm tập hợp biến độc lập Mơ hình với biến phụ thuộc với hai nhiều biến độc lập gọi hồi quy bội (hay gọi hồi quy đa biến) Mơ hình hồi quy tuyến tính bội có dạng tổng qt: 𝑌 = 𝛽1 + 𝛽2 𝑋2 + 𝛽3 𝑋3 + +𝛽𝑖 𝑋𝑖 + 𝑢 Trong đó: 𝑌 biến phụ thuộc 𝑋𝑖 biến độc lập 𝛽1 hệ số tự 𝑢 sai số ngẫu nhiên Các 𝛽𝑖 hệ số hồi quy riêng, tác động riêng phần biến 𝑋𝑖 lên 𝑌 với điều kiện biến số khác mơ hình khơng đổi Cụ thể hơn, biến khác mơ hình khơng đổi, giá trị kỳ vọng 𝑌 tăng 𝛽𝑖 đơn vị 𝑋𝑖 tăng đơn vị • Hệ số i > 0: mối quan hệ Y Xi thuận chiều, nghĩa Xi tăng (hoặc giảm) điều kiện biến độc lập khác khơng đổi Y tăng (hoặc giảm) • Hệ số i < 0: mối quan hệ Y Xi ngược chiều, nghĩa Xi tăng (hoặc giảm) điều kiện biến độc lập khác khơng đổi Y giảm (hoặc tăng) • Hệ số i = 0: cho Y Xi khơng có tương quan với nhau, cụ thể Y khơng phụ thuộc vào Xi Xi không thực ảnh hưởng tới Y Dựa vào kết ước lượng với mẫu cụ thể, ta đánh giá mối quan hệ biến phụ thuộc biến độc lập mơ hình cách tương đối Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 2.1.2 Ước lượng cho tham số mơ hình hồi quy tuyến tính bội: Bài toán đặt từ liệu quan sát, cần ước lượng cho hệ số hồi quy 𝛽1 , 𝛽2 , … mơ hình hồi quy Phương pháp thường sử dụng phương pháp bình phương cực tiểu OLS ( Ordinary Least Squares); Hàm hồi quy mẫu (SRF) xây dựng có dạng: ̂1 + 𝛽 ̂2 𝑋2 + 𝛽 ̂3 𝑋3 + +𝛽̂𝑖 𝑋𝑖 ̂𝑖 = 𝛽 𝑌 ̂1 + 𝛽 ̂2 𝑋2 + 𝛽 ̂3 𝑋3 + +𝛽̂𝑖 𝑋𝑖 + 𝑢̂𝑖 Và 𝑌𝑖 = 𝛽 ̂1 , 𝛽 ̂2 , … 𝛽̂𝑖 ước lượng 𝛽1 , 𝛽2 , … 𝛽𝑖 ; 𝑢̂𝑖 ước lượng 𝑢, phần Trong đó: 𝛽 dư quan sát thứ i 2.1.3 Các giả thuyết cho phương pháp bình phương cực tiểu cho mơ hình hồi quy tuyến tính bội: a Hàm hồi quy tuyến tính theo tham số: Điều có nghĩa q trình thực hành hồi quy thực tế miêu tả mối quan hệ dạng: 𝑌 = 𝛽1 + 𝛽2 𝑋2 + 𝛽3 𝑋3 + +𝛽𝑖 𝑋𝑖 + 𝑢 Hoặc mối quan hệ thực tế viết lại ví dụ dạng lấy loga hai vế b E(ui) = : Kỳ vọng yếu tố ngẫu nhiên ui 0: Trung bình tổng thể sai số Điều có nghĩa có số giá trị sai số mang dấu dương số sai số mang dấu âm Do hàm xem đường trung bình nên giả định sai số ngẫu nhiên bị loại trừ nhau, mức trung bình, tổng thể c Cov(ui,uj) = : Khơng có tương quan ui: Khơng có tương quan quan sát yếu tố sai số Nếu ta xem xét chuỗi số liệu thời gian (dữ liệu thu thập từ nguồn nhiều khoảng thời gian khác nhau), yếu tố sai số ui khoảng thời gian khơng có tương quan với yếu tố sai số khoảng thời gian trước d Var(ui) = σ2 : Phương sai với ui: Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 Tất giá trị u phân phối giống với phương sai σ2, cho: Var(ui) = E(𝑢𝑖2 ) = σ2 e ui phân phối chuẩn: Điều quan trọng phát sinh khoảng tin cậy thực kiểm định giả thuyết phạm vi mẫu nhỏ Nhưng phạm vi mẫu lớn hơn, điều trở nên không quan trọng 2.1.4 Độ phù hợp mơ hình hồi quy: Để biết mơ hình giải thích hay % biến động biến phụ thuộc, người ta sử dụng R2 Ta có: ̂𝑖 − 𝑦̅)]2 = ∑[𝑒𝑖 + (𝑦̂𝑖 − 𝑦̅)]2 ∑(𝑦𝑖 − 𝑦̅)2 = ∑[(𝑦𝑖 − 𝑦̂) 𝑖 + (𝑦 Đặt: = ∑ 𝑒𝑖2 + ∑ 𝑒𝑖 (𝑦̂𝑖 − 𝑦̅) + ∑(𝑦̂𝑖 − 𝑦̅)2 ✓ ∑(𝑦𝑖 − 𝑦̅)2 : TSS – Total Sum of Squares ✓ ∑(𝑦̂𝑖 − 𝑦̅)2 : ESS – Explained Sum of Squares ✓ ∑ 𝑒𝑖2 : RSS – Residual Sum of Squares Vì ∑ 𝑒𝑖 𝑦̂𝑖 = 0; ∑ 𝑒𝑖 𝑦̅ = → ∑ 𝑒𝑖 (𝑦̂𝑖 − 𝑦̅) = Nên viết: TSS = ESS + RSS, với: • TSS tổng bình phương tất sai lệch giá trị quan sát Yi giá trị trung bình • ESS tổng bình phương tất sai lệch giá trị biến phụ thuộc Y nhận từ hàm hồi quy mẫu giá trị trung bình chúng Phần đo độ xác hàm hồi quy • RSS tổng bình phương tất sai lệch giá trị quan sát Y giá trị nhận từ hàm hồi quy 𝑅2 = 𝐸𝑆𝑆 𝑅𝑆𝑆 = 1− 𝑇𝑆𝑆 𝑇𝑆𝑆 Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 Tỷ số tổng biến thiên giải thích mơ hình cho tổng bình phương cần giải thích gọi hệ số xác định, trị thống kê “Good of fit” Từ định nghĩa R2 thấy R2 đo tỷ lệ hay số % toàn sai lệch Y với giá trị trung bình giải thích mơ hình Khi người ta sử dụng R2 để đo phù hợp hàm hồi quy ≤ 𝑅2 ≤ • R2 cao nghĩa mơ hình ước lượng giải thích mức độ cao biến động biến phụ thuộc • Nếu R2 = 1, nghĩa đường hồi quy giải thích 100% thay đổi Y • Nếu R2 = 0, nghĩa mơ hình khơng đưa thơng tin thay đổi biến phụ thuộc Y Trong mơ hình hồi quy biến R2 đo độ thích hợp hàm hồi quy Nó tỷ lệ toàn biến đổi biến phụ thuộc Y biến giải thích X gây 2.2 Kiểm định: 2.2.1 Kiểm định phân phối chuẩn: Trong phân tích thống kê, phần lớn phép tính dựa vào giả định biến số phải biến số phân phối chuẩn (Normal Distribution) Do đó, việc quan trọng xem xét kiện phải kiểm định giả thiết phân phối chuẩn biến số Khi muốn kiểm định khác phân nhóm hay việc phân tích mơ hình hồi quy, ln có giả thiết quan trọng biến phân tích phải có phân phối chuẩn ❖ Kiểm định phân phối chuẩn biểu đồ: Dựa vào biểu đồ Histogram với đường cong biểu diễn cho phân phối chuẩn: xét thấy có trùng khớp biến tuân theo phân phối chuẩn ngược lại khơng có trùng khớp ta nói biến khơng tn theo phân phối chuẩn Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 Nhận xét: • Đối với biểu đồ bên trái ta thấy đường cong biểu diễn phân phối chuẩn không khớp với biểu đồ Histogram nên ta nói biến khơng tuân theo phân phối chuẩn • Đối với biển đồ bên phải cho ta thấy trùng hợp đa phần biểu đồ Histogram đường cong nên ta kết luận biến biểu diễn có phân phối chuẩn ❖ Kiểm định phân phối chuẩn Q-Q plot: Biểu đồ Q-Q plot cho ta thấy giá trị quan sát đa phần có nằm đường thảng kì vọng phân phối chuẩn hay khơng; Nếu phần khơng nằm đường kì vọng ta nói biến khơng tn theo phân phối chuẩn Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 Nhận xét: • Đối với biểu đồ Q-Q plot bên trái cho ta thấy quan sát phần lớn không nằm đường thẳng kì vọng phân phối chuẩn nên ta kết luận biến khơng tn theo phân phối chuẩn • Đối với biểu đồ Q-Q plot bên phải nhận thấy đa phần quan sát nằm đường thẳng kì vọng phân phối chuẩn mà ta kết luận biến quan sát có tuân theo phân phối chuẩn ❖ Sử dụng kiểm định Shapiro Wilk: Phát biểu giả thuyết thống kê: H0: Biến cần kiểm định tuân theo phân phối chuẩn H1: Biến cần kiểm định không tuân theo phân phối chuẩn Giá trị thống kê Shapiro-Wilk: (∑𝑛𝑖=1 𝑎𝑖 𝑥𝑖 ) 𝑊= 𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2 Với: 𝑥𝑖 giá trị thứ I nhỏ x số Shapiro-Wilk Code R: shapiro.test(rexam$exam) ## ## Shapiro-Wilk normality test ## ## data: rexam$exam ## W = 0.96131, p-value = 0.004991 Nhìn vào P-value = 0.004991 < 0.05 Ta bác bỏ giả thuyết H0 hay nói cách khác biến exam khơng tn theo luật phân bố chuẩn 10 Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 Nhận xét: Giả thuyết H0: Phương sai Plasticity_index hố khoan Đối thuyết H1: Có hai phương sai Plasticity_index hố khoan khác Dựa vào P-value = 0.08252 lớn mức ý nghĩa 5% kiểm định leveneTest, ta kết luận phương sai số dẻo Plasticity_index hố khoan Cohesion library(car) leveneTest(Cohesion~as.factor(Borehole),data=new_soft_clay) Kết chạy dòng code: Nhận xét: Giả thuyết H0: Phương sai Cohesion hố khoan Đối thuyết H1: Phương sai Cohesion hố khoan khác Dựa vào P-value = 0.0008115 nhỏ mức ý nghĩa 5% kiểm định leveneTest, ta kết luận có phương sai lực dính Cohesion hố khoan khác Vì giả định tính đồng phương sai lực dính Cohesion hố khoan chưa thoả mãn, ta cần cân nhắc kết tiếp tục phân tích phương sai 35 Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 ❖ Thực kiểm định so sánh số dẻo Plasticity_index hố khoan: model_1 𝐹(𝑘−1;𝑛−𝑘);𝛼 = 𝐹(2;50);0.05 = 3.18 nên ta bác bỏ H0 kết luận có khác biệt số dẻo Plasticity index hố khoan, tức có hai trung bình số dẻo khác 36 Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 ❖ Thực kiểm định cho lực dính Cohesion hố khoan: model_2 𝐹(𝑘−1;𝑛−𝑘);𝛼 = 𝐹(2;50);0.05 = 3.18 nên ta bác bỏ H0 kết luận có khác biệt lực dính Cohesion hố khoan 37 Downloaded by Free Games Android (vuchinhhp1@gmail.com) lOMoARcPSD|17160101 ❖ Tiến hành so sánh bội sâu Anova: Plasticity_index Comp_1