Kiến thức nền Hồi quy chính là một phương pháp thống kê đề thiết lập mối quan hệ giữa một biến phụ thuộc và một nhóm tập hợp các biến độc lập.. Giới thiệu mô hình hồi quy tuyến tính bội
Trang 1ĐẠI HỌC QUỐC GIA THÀNH PHÔ HỖ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA BÁO CÁO BÀI TẬP LỚN | MON XAC SUAT THONG KE
NHOM: CK57 Chủ đề: XAC DINH MUC DO ANH HUONG CUA
CAC THONG SO DIEU CHINH TRONG MAY IN
3D DEN CHAT LUONG IN, ĐỘ CHÍNH XÁC VÀ
DO BEN
STT Ho va tén MSSV Lớp Khoa
1 | Nguyễn Ngọc Mai Khoa 2211628 L06 Cơ khí
4 | Hoàng Thị Mỹ Hậu 2210959 L06 Cơ khí
5 | Nguyễn Tuân Đạt 2113150 L02 Cơ khí
Giáo viên hướng dẫn: TS Nguyễn Kiều Dung
Tp Hồ Chí Mình, tháng 12 năm 2023
Trang 2ĐẠI HỌC QUỐC GIA THÀNH PHÔ HỖ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA BÁO CÁO BÀI TẬP LỚN | MON XAC SUAT THONG KE
NHOM: CK57 Chủ đề: XAC DINH MUC DO ANH HUONG CUA
CAC THONG SO DIEU CHINH TRONG MAY IN
3D DEN CHAT LUONG IN, ĐỘ CHÍNH XÁC VÀ
DO BEN
STT Ho va tén MSSV Lớp Khoa
1 | Nguyễn Ngọc Mai Khoa 2211628 L06 Cơ khí
4 | Hoàng Thị Mỹ Hậu 2210959 L06 Cơ khí
5 | Nguyễn Tuân Đạt 2113150 L02 Cơ khí
Giáo viên hướng dẫn: TS Nguyễn Kiều Dung
Tp Hồ Chí Mình, tháng 12 năm 2023
Trang 31 Tong quan dữ liệu
Tập tim “data.csv” chứa bộ dữ liệu của nhóm nghiên cứu khoa Cơ khí Đại hoc Selcuk Mục đích của nghiên cứu là xác định mức độ ảnh hưởng của các thông số điều chính trong may in 3D dén chat lượng m, độ chính xác và độ giãn cua ban in
Bộ dữ liệu bao gồm 50 quan sát với 9 thông số cài đặt và 3 thông số đầu ra được đo lường
Dữ liệu gốc được cung cấp tai: https://www.kaggle.com/afumetto/3dprinter
Các biến chính trong bộ dữ liệu gồm:
= layer_height (mm): D6 cao méi lớp in
" infill pattern: Dạng lưới bên trong chỉ tiết
" nozzle_temperature (°C): Nhiét d6 cua mii in
" bed_temperature (C): Nhiệt độ ban in
= print_speed (mm/s): Téc dé in
= material: Chat liéu (pla hoặc abs)
" roughness (um): D6 nham
"tension strenght (MPA) Strc cang bé mat
# elongation %: D6 gian dài
Các biến liên tục: layer height, nozzle temperature, bed temperature, print speed, roughness, tension strenght, elongation
Cac bién phan loai: infill pattern va material
Trang 42 Kiến thức nền
Hồi quy chính là một phương pháp thống kê đề thiết lập mối quan hệ giữa một biến phụ thuộc và một nhóm tập hợp các biến độc lập Mô hình với một biến phụ thuộc với hai hoặc nhiều biến độc lập được gọi là hồi quy bội (hay còn gọi là hồi quy đa biến)
Ví dụ: Chi tiêu của hộ gia đình về thực phẩm phụ thuộc vào quy mô hộ gia đình, thu
nhập, vị trí địa lý, : Tỷ lệ tử vong trẻ em của một quốc gia phụ thuộc vào thu nhập bình quân đầu người, trình độ giáo dục, ; Lương của một người phụ thuộc vào chức vụ, kimh nghiệm, độ tudi,
2.1 Giới thiệu mô hình hồi quy tuyến tính bội
Mô hình hồi quy tuyến tính bội có dạng tổng quát như sau:
Trong do: Y: bién phụ thuộc
X: biến độc lập
Bi: hệ số tự do (hệ số chặn)
B:: hệ số hồi quy riêng P¡ đo lường tác động riêng phần của biến X; lên Y với điều kiện các biến số khác trong mô hình không đôi Cụ thê hơn, nếu các biến khác trong mô hình không đối, giá trị kỳ vọng của Y sẽ tăng j; đơn vị nếu X; tăng 1 đơn vị u: sai số ngẫu nhiên
Như vậy, "Hồi quy tuyến tính" là một phương pháp đề dự đoán giá trị biến phụ thuộc (Y) dựa trên giá trị của biến độc lập (X) Thuật ngữ tuyến tính dùng đề chỉ rằng bản chất của các thông số của tông thê B¡ và ¡ là tuyến tính (bậc nhất) Nó có thể được sử dụng cho
các trường hợp chúng ta muốn dự đoán một số lượng liên tục Ví dụ: dự đoán thời gian
người dùng dừng lại một trang nào đó hoặc số người đã truy cập vào một website nào đó v.v Bằng dữ liệu thu thập được, ta đi ước lượng hàm hỗi quy của tổng thê, đó là ước lượng các tham số của tổng thê: Bi, Bo, , Bx
2.2 Ước lượng các tham số của mô hình hồi quy tuyến tính bội
2.2.1 Hàm hôi quy tong thé (PRF — Population Regression Function)
Trang 5Với Y là biến phụ thuộc, X¿, X: , X¿ là biến độc lập, Y là ngẫu nhiên và có một phân phối xác suất nào đó Suy ra: Tôn tại E(Y|X›, X: , X,) = giá trị xác định Do vậy, FŒXa, X3, , Xx) = E(Y[X2, X3, , X,) là hàm hồi quy tong thé cua Y theo Xo, X3, , Xk Với một cá thé i, ton tai (X2;, X3;, ., Xi, Yi)
Ta 06: Y; # F(X, X3, , X) > u=Yi-F
Do vay: Y; = E(Y|Xo, X3, , Xx) + ui
H6i quy tong thé PRF:
" Y=E(YIX)+U
" E(Y|X)=F(Œ)
2.2.2 Ham héi quy mau (SRF — Sample Regression Function):
Do không biết tổng thê, nên chúng ta không biết giá trị trung bình tổng thể của biến phụ
thuộc là đúng ở mức độ nào Do vậy chúng ta phải dựa vào dữ liệu mẫu để ước lượng
Trên một mẫu có n cá thể, gọi Ÿ = È(A¿, Xa , X:) làhồi quy mẫu
Với một cá thê mẫu Y; # F(X, X3i, , Xi) sinh ra e; = Yi — FE (Xo, X3, , Xx); e: gor la phan du SRF
Ta có hàm hồi quy mẫu tông quát được viết dưới dạng như sau:
Ji =Bi + Boros + Baxait + Baxni Phan du sinh ra: e¡ = y¡ — Ÿ¡
Kỹ hiệu: Bm là ước lượng của B„ Chúng ta trông doi Bm là ước lượng không chệch của Ba, hơn nữa phải là một ước lượng hiệu quả
Ước lượng SRF: chọn một phương pháp nào đó để ước lượng các tham số của F qua việc tìm các tham số của F và lấy giá trị quan sát của các tham số này làm giá trị xấp xi cho tham sô của F
2.3 Phương pháp bình phương nhỏ nhất (Ordinary Least Squares)
Phương pháp bình phương nhỏ nhất được đưa ra bởi nhà Toán học Dire Carl Friedrich Gauss Tư tưởng của phương pháp này là cực tiêu tổng bình phương của các phần dư Do
đó có thể nói để có được hồi quy thích hợp nhất, chúng ta chọn các ước lượng có tung độ gốc và độ dốc sao cho phần dư là nhỏ
Trang 62.3.1 Các giả thiết của phương pháp bình phương nhỏ nhất cho mô hình hồi quy tuyến tính bội
Phương pháp bình phương nhỏ nhất (OLS) là phương pháp rất đáng tin cậy trong việc ước lượng các tham số của mô hình, tuy nhiên mô hình ước lượng phải thỏa mãn 7 giả thiết Khi thỏa mãn các giả thiết, ước lượng bình phương nhỏ nhất (OLS) là ước lượng tuyến tính không chệch có hiệu quả nhất trong các ước lượng Vì thế phương pháp OLS đưa ra ước lượng không chệch tuyến tinh t6t nhat (BLUE)
Kết quả này được gọi là Định lý Gauss — Markov, theo lý thuyết này ước lượng OLS là BLUE, nghĩa là trong tất cả các tổ hợp tuyến tính không chệch của Y, ước lượng OLS có phương sai bé nhất Các giả thiết như sau:
1 Hàm hỏi quy là tuyến tính theo các hệ sô
Điều này có nghĩa là quá trình thực hành hồi quy trên thực tế được miêu tả bởi mối quan
hệ dưới dạng:
y = Bit Box2 + Bsx3 + Baxy + + Bix, tu
hoặc mối quan hệ thực tế có thê được viết lại ví dụ như dưới dang lay loga ca hai về
2 E(u) =0 : Kỳ vọng của các yêu tô ngẫu nhiên u; bằng 0
Trung bình tổng thể sai số là bằng 0 Điều này có nghĩa là có một số giá trị sai số mang dâu dương và một số sai số mang dấu âm Do hàm xem như là đường trung bình nên có thé gia định rằng các sai số ngẫu nhiên trên sẽ bị loại trừ nhau, ở mức trung bình, trong tổng thê
3 Var(u,) = ơ? : Phương sai bằng nhau và thuần nhất với mọi uụ
Tat ca giá trị u được phân phôi giống nhau với cùng phương sai 0”, sao cho:
Var(u;) = E(u’) = ø?,
4 u¡ phân phối chuẩn
Điều này rất quan trọng khi phát sinh khoảng tin cậy và thực hiện kiểm định giả thuyết trong những phạm vi mẫu là nhỏ Nhưng phạm vi mẫu lớn hơn, điều này trở nên không
may quan trong
Trang 73 Giữa các u¡ thì độc lập với nhau
2.3.2 Ước lượng
Ta đặt: y; ký hiệu giá trị thực của biến y tại quan sat i
$¡ ký hiệu giá trị của hàm hồi quy mẫu
e¡ ký hiệu phần đư y; — $¡
^
Do đó cực tiểu hóa Z(y: — $Ÿ sẽ tương đương với cực tiêu Le? tir do tim ra Bo, ñù , Ö«
Ta có:
Ler = “yi — (B i+ Box, + Bax3, + Bax, — Buxni))?
Chúng ta có thiết lập các điều kiện bậc nhất cho phép tính tối thiêu này như sau:
ô5e; ao â â
OB;
ade; a ậ ậ
= ~ -2yly,-|B,* B;X;¡+ P¿X„+ tB, Xụ }} xa 0
op,
= = -23/y,-[B,+ B)Xa+ Bs Xa +.B, xy | xxi = 0
0 Bi,
Hệ phương trình mà chúng ta có được gọi là hệ phương trình chuẩn của hồi quy mẫu Chúng ta có thể giải k phương trình chuẩn này để tìm k hệ số Ô chưa biết B,, B2, , Bx được gọi là các ước lượng bình phương nhỏ nhất
2.4 Độ phù hợp của mô hình
Đề có thê biết mô hình giải thích được như thế nào hay bao nhiêu % biến động của biến phụ thuộc, người ta sử dụng R7
Trang 8Ta có: *(y¡ — ÿ} = Š[0wi— $0 + (§ — ÿ)Ÿ = * [ei + ($ — ÿ)
=Ee¿ + 2Xe(Š¡ — ÿ) + X(ÿ¡ — ÿŸ
Đặt:
" >(y¡—ÿ} : TSS — Total Sum of Squares
" Z(9,—ÿ) : ESS — Explained Sum of Squares
a Se? : RSS — Residual Sum of Squares
Do Ze(¥i-¥) =0 = Zeyi = 0; Ley = 0)
Ta c6 thé viét: TSS = ESS + RSS
Y nghia cua cac thanh phan:
= TSS la tông bình phương của tất cả các sai lệch giữa cac gia tri quan sat Y; và giá trị trung bình
" ESS là tông bình phương của tất cả các sai lệch giữa các giá trị của biến phụ thuộc Y nhận được từ hàm hồi quy mẫu và giá trị trung bình của chúng Phần này đo độ chính xác của hàm hồi quy
" RSS là tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Y và các giá trị nhận được từ hàm hồi quy
“ TSS được chia thành 2 phần: một phần do ESS và một phần do RSS gay ra
Tir TTS = ESS + RSS, ta chia cả hai về cho TSS, ta có:
'=Tss “TSS ~xX(y,-y)? Ì s(y-gÿ
^
—ESS „ RSS _ I*(y,- ylly:- Ÿ|
TSS TSS I5iy,-y|?)l>(y,- §Ÿ |
Tỷ số giữa tông biến thiên được giải thích bởi mô hình cho tổng bình phương cần được
R7
giải thích được gọi là hệ số xác định, hay là trị thống kê “good of ñt” Từ định nghĩa R? chúng ta thấy R? đo tý lệ hay số % của toàn bộ sai lệch Y với giá trị trung bình được giải thích bằng mô hình Khi đó người ta sử dụng R? để đo sự phù hợp của hàm hồi quy:
0<Rˆ<l
" RỶ cao nghĩa là mô hỉnh ước lượng được giải thích được một mức độ cao biến động của biến phụ thuộc
Trang 9" Nếu R? = I, nghĩa là đường hồi quy giải thích 100% thay đổi của y
" Nếu R? =0, nghĩa là mô hình không đưa ra thông tin nào về sự thay đôi của biến phụ
thuộc y
rong mô hình hồi quy đa biến tỷ lệ của toàn bộ sự khác biệt của biến y do tất cả các biến x; và x: gây ra được gọi là hệ số xác định bội, ký hiệu là R?
›_ B2ŠG¡- Và %)EB3Š(yí: ÿ) Gà: Xs) _ | Zee
š(y,- ÿ X(y,- ÿ)}
2.5 Khoảng tin cậy và kiêm định các hệ số hồi quy
2.5.1 Ước lượng khoảng tin cậy đối với các hệ số hồi quy
Mục ổích của phân tích hồi quy không phải chỉ suy đoán về ÿ¡, ÿ› , mà còn phải kiêm tra bản chất sự phụ thuộc Do vậy cần phải biết phân bố xác suất của ÿ¡, ÿ› ƒk Các phân bố này phụ thuộc vào phân bố của các uị
Với các giả thiết OLS, u¡ có phân phối N (0, ø?) Các hệ số ước lượng tuân theo phân phối chuẩn:
Bi NŒ,, Se(Ô;))
Ước lượng phương sai sai số dựa vào các phần dư bình phương tối thiêu Trong đó k là số
hệ số có trong phương trình hồi quy đa biến:
^23_ È e n-k
" UƯớc lượng 2 phía, ta tìm được ba [n-3)=1- a thỏa mãn:
2
in-3)) < Bi-Bi <P(t,Im3))
—f
" Khoang tin cay | - a cua Bjla:
z
2.5.2 Kiém dinh giá thiết đối với B;
Trang 10Kiểm định ý nghĩa thống kê của các hệ số hồi quy có ý nghĩa hay không: kiểm định rằng biến giải thích có thực sự ảnh hưởng đến biến phụ thuộc hay không Nói cách khác là hệ
sô hồi quy có ý nghĩa thống kê hay không
Co thé dua ra gia thiết nào đó đôi với ;, chang han B; = ;* Nếu giả thiết nay đúng thi:
po BLBL ~7(n—k) Se( Bj)
Ta co bang sau:
Loai gia thict_| Gia thict Ho _| Gia thiet doi Hi | Mien bac bo _|
Hai phia B= B* Bị ý Bử tÍ >t„ (n-k)
Phía phải B.<B# B>B* t>t, (n-k)
Phía trái B= Bp" B¡ < B.* t <-t (n-k)
Kiểm định B;:
" Hạ:;=0 = x¡ không tác động
" H/:;Z0 = x¡ có tác động
Bị <0 = xị có tác động ngược
B.> 0 = x; co tac động thuận
2.6 Kiểm định ý nghĩa của mô hình
Trong mô hình hồi quy đa biến, giả thuyết “không” cho rằng mô hình không có ý nghĩa được hiểu là tất cả các hệ sô hồi quy riêng đều bằng 0
Ứng dụng kiêm định Wald (thường được gọi là kiểm định F) được tiễn hành cụ thê như sau:
" Bước l: Giả thuyết “không” là Hạ: B: =f; = = Bx = 0
Giả thuyết đối là H;: “có ít nhất một trong những giá trị B khác không”
" Bước 2: Trước tiên hồi quy Y theo một số hạng không đổi và X›, X3, ., Xx, sau đó tính tổng bình phương sai số RSSu, RSSạ Phân phối F là tỷ số của hai biến ngẫu nhiên phân phối khi bình phương độc lập Điều này cho ta trị thống kê:
_ JRSSs—RSS,j/(k—m)
Trang 11Vi Ho: Bo = B3 = = Bx = 0, nhan thay rang trị thông kê kiêm định đối với giả thuyết này
sé la:
_ ESS/(k—1)
Fe= Rssi(n—k) ~F(œ k—l,n—k)
" Bước 3: Tra sô liệu trong bảng F tương ứng với bậc tự do (k — L) cho tử số và (n — k) cho mẫu số, và với mức ý nghĩa œ cho trước
“Bước 4: Bác bỏ giả thuyết Họ ở mức ý nghĩa ơ nếu F,> F(œ, k-1, n-k) Đối với phương pháp giá trị p tính giá trị p = PŒ>F.|H) và bác bỏ giả thuyết Họ nếu p < a.