Nội dung bài báo cáo : 1. Một số khái niệm xác suất. 2. Khái niệm về nhận dạng một mô hình thống kê. 3. Phương pháp bình phương bé nhất. 4. Mô hình hồi quy tuyến tính đơn. 5. Mô hình hồi quy tuyến tính bội. Định nghĩa cổ điển về xác suất: giả sử trong mỗi phép thử các kết cục là đồng khả năng và có tất cả n kết cục như vậy. Kí hiệu m là số các kết cục thuận lợi cho biến cố A. Khi ấy xác suất của biến cố A là: P(A) = mn
ĐẠI HỌC BÁCH KHOA TPHCM Môn học: TỐI ƯU HÓA Đề tài: QUY HOẠCH THỰC NGHIỆM Thực hiện: Nhóm Một số khái niệm xác suất Khái niệm nhận dạng mô hình thống kê Phương pháp bình phương bé Mô hình hồi quy tuyến tính đơn Mô hình hồi quy tuyến tính bội 1 Một số khái niệm xác suất 1.1 Xác suất kiện ngẫu nhiên A phép thử Định nghĩa cổ điển xác suất: giả sử phép thử kết cục đồng khả có tất n kết cục Kí hiệu m số kết cục thuận lợi cho biến cố A Khi xác suất biến cố A là: P(A) = Xác Suất P(A) số thực thuộc khoảng (0,1) Biểu thị mức độ chắn kiện A lần thực phép thử Một số khái niệm xác suất 1.1 Xác suất kiện ngẫu nhiên A phép thử Ví dụ: Trong túi có viên bi đỏ, viên bi vàng Tính xác suất bốc ngẫu nhiên viên bi bi đỏ? Giải: Gọi A biến cố bốc ngẫu nhiên bi đỏ Xác suất biến cố A là: P(A) = = = 0,3 Một số khái niệm xác suất 1.2 Đại lượng ngẫu nhiên • Khái niệm: Đại lượng ngẫu nhiên đại lượng ngẫu nhiên nhận số giá trị với xác suất tương ứng xác định • Đại lượng ngẫu nhiên rời rạc số giá trị hữu hạn vô hạn đếm • Đại lượng ngẫu nhiên liên tục tập hợp tất giá trị có lấp đầy khoảng trục số Một số khái niệm xác suất 1.3 Kỳ vọng toán Kỳ vọng toán biến ngẫu nhiên X ký hiệu E(X) xác định sau: E(X) = biến ngẫucủa nhiên rờingẫu rạc nhiên X thực phép thử tương ứng Ý nghĩa: E(X) giá trị trung bìnhnếu (về X mặt xác suất) biến X biến ngẫu nhiên liên tục Một số khái niệm xác suất 1.4 Phương sai Phương sai thông số dùng để đo độ phân tán giá trị mà X nhận xung quanh giá trị trung bình D(X) = 1.5 Độ lệch chuẩn Ký hiệu , tính công thức: = Một số khái niệm xác suất 1.5 Ví dụ Giá trị biến ngẫu nhiên Xi Phân phối xác suất Pi 0,2 0,4 0,3 0,1 Kỳ vọng: E(X) = = 1.0,2 + 2.0,4 + 3.0,3 + 5.0,1 = 2,4 Phương sai: D(X) = 2 2 = (1-2,4) 0,2 + (2-2,4) 0,4 + (3-2,4) 0,3 + (5-2,4) 0,1 = 1,18 Độ lệch chuẩn: = = Một số khái niệm xác suất 1.6 Quy luật phân bố chuẩn Biến ngẫu nhiên liên tục gọi tuân theo quy luật phân bố chuẩn với tham số a và hàm mật độ xác suất X là: Ý nghĩa: a kỳ vọng X phân bố chuẩn, độ lệch chuẩn Một số khái niệm xác suất 1.6 Quy luật phân bố chuẩn Đồ thị f(x) có dạng sau: 141 Mô hình hồi quy tuyến tính bội 5.1 Bài toán Phương trình hồi quy tuyến tính bội có dạng: (3) Đưa dạng ma trận: (4) 142 Mô hình hồi quy tuyến tính bội 5.1 Bài toán Khi (1) có dạng : (3) có dạng : (5) (6) Đặt: Khi (6) có dạng : Ký hiệu: với (7) 143 Mô hình hồi quy tuyến tính bội 5.2 Các công thức tính toán • • Hệ số (8) Trung bình bình phương độ lệch (để ước lượng ) là: (9) (10) • Độ lệch tiêu chuẩn (để ước lượng phương sai ) là: (11) 144 Mô hình hồi quy tuyến tính bội 5.2 Các công thức tính toán • Xác định hệ số để đánh giá chất lượng phương trình hồi quy: (12) • Thống kê F (để kiểm định giả thiết): (13) 145 Mô hình hồi quy tuyến tính bội 5.2 Các công thức tính toán • Thống kê Durbin – Watson (để kiểm định xem có tượng tương quan hay không): (14) • Đánh giá: Hệ số Hệ số gần phương trình hồi quy có chất lượng tốt 146 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ Bảng cho số liệu doanh số bán (Y), chi phí chào hàng (X 2) chi phí quảng cáo (X3) công ty Hãy ước lượng hàm hồi quy tuyến tính doanh số bán theo chi phí chào hàng chi phí quảng cáo 147 Mô hình hồi quy tuyến tính bội Doanh số bán Yi (trđ) Chi phí chào hàng X2 Chi phí quảng cáo X3 1270 100 180 1490 106 248 1060 60 190 1626 160 240 1020 70 150 1800 170 260 1610 140 250 1280 120 160 1390 116 170 1440 120 230 1590 140 220 1380 150 150 148 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ Từ số liệu trên, ta tính tổng sau : ∑ Y = 16956 ∑ X = 188192 ∑ X = 1452 ∑ X X = 303608 ∑ X = 2448 ∑ X = 518504 Y = 1413 ∑ Y = 24549576 X = 121 ∑ Y X = 3542360 X = 204 ∑ Y X = 2128740 2i i 2i 3i 2i 3i 3i i i 3i i 2i 149 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ ∑y ∑x ∑x ∑yx ∑yx ∑x x i 2i = ∑ X − n( X ) = 12500 2i 2 3i = ∑ X − n( X ) = 19112 i = ∑ Yi X i − nY X = 77064 3i i = ∑ Yi − n(Y ) = 590748 i 3i i 3i = ∑ Yi X 3i − nY X = 83336 = ∑ X 2i X 3i − nX X = 7400 150 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ 77064 ×19112 − 83336 × 7400 ˆ β2 = = 4,64951 12500 ×19112 − ( 7400) 83336 × 12500 − 77064 × 7400 ˆ β3 = = 2,560152 12500 ×19112 − ( 7400) βˆ1 = 1413 − 4,64951× 121 − 2,560152 × 204 = 328,1383 Yˆi = 328,1383 + 4,64951X 2i + 2,560152 X 3i 150 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ Hệ số xác định mô hình TSS = ∑ (Yi − Y ) = ∑ Yi − nY ⇒ TSS = 590748 ESS = βˆ2 ∑ yi x2i +βˆ3 ∑ yi x3i => ESS = 571662,67 RSS = TSS − ESS => RSS = 19085 ,33 150 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ Hệ số xác định mô hình ESS 571662,67 R = = = 0,9677 TSS 590478 n −1 R = − (1 − R ) n−k 2 12 − = − (1 − 0,9677) = 0,9605 12 − => Như phương trình hồi quy tuyến tính bội tin cậy 151 Mô hình hồi quy tuyến tính bội 5.4 Một số mô hình thống kê đưa dạng hồi quy tuyến tính bội 5.4.1 Hàm phi tuyến dạng tích: • • • Logarit vế: Đổi biến: Khi dùng hồi quy tuyến tính bội ta xác định hệ số: Riêng 152 Mô hình hồi quy tuyến tính bội 5.4 Một số mô hình thống kê đưa dạng hồi quy tuyến tính bội 5.4.2 Đa thức: Ở biến độc lập thời gian t Để mô tả trạng thái y(t) ta phải xác định hệ số ; i=0,1,2,…,n Các quan sát biến với j=1,2,…,n Khi đa thức ban đầu có dạng Khi dùng hồi quy tuyến tính bội ta xác định hệ số a i ; i=0,1,2,…,n [...]... điều khiển được, người nghiên cứu có thể điều chỉnh theo dự định Được biều diễn bằng vector X Ở đầu vào mỗi vector là một điểm thí nghiệm gồm k yếu tố.X = [] Nếu thực hiện một bộ gồm n điểm thí nghiệm thì ta có một ma trận thí Với là giá trị của biến thứ i tại thí nghiệm thứ j nghiệm như sau: 11 2 Khái niệm về nhận dạng một mô hình thống kê 2.1 Các loại biến • Các biến không điều khiển được: còn gọi là... nhận được : φ ( X1,X2,X3,….,Xk) =, được gọi là phương trình hồi quy thực nghiệm trong đó f( X 1,X2,X3,….,Xk) là ’ các hàm có dạng đã biết cần xác định a j bằng một phương pháp nào đó ,có độ tin cậy xác định được 13 3 Phương pháp bình phương bé nhất 3.1 Giới thiệu chung Gỉa sử có ma trận thí nghiệm a{ a1, a2…an} Kết quả { y1, y2, …yn} Kết quả thực tế { Y1, Y2, …YN} => Tồn tại sai số giữa ya và YN => Phương... hồi quy Y= ax+b Nghĩa là: S = = min Như vậy a, b phải thỏa mãn hệ phương trình sau: Rút gọn ta có hệ sau: 16 3 Phương pháp bình phương bé nhất 3.2 Giải phương trình hồi quy Y= ax+b Đây là hệ 2 phương trình hai ẩn số a và b, n là số lần làm thí nghiệm Giải hệ này ta tìm được a và b như sau: a= ; b= 17 3 Phương pháp bình phương bé nhất 2 3.3 Giải phương trình hồi quy y= ax + bx+c • • • 2 Hàm hồi quy. .. (1) Các độ lệch chuẩn : = Các hệ số của phương trình hồi quy: ; â = - (3) Các độ lệch giữa giá trị thực tế và giá trị tính toán - ; i= 1,2,…,n (4) ; = (2) 27 4 Mô hình hồi quy tuyến tính đơn 4.2 Các công thức tính toán Phương sai dư : = , với = (5) Hệ số xác định để đánh giá chất lượng phương trình hồi quy : =1 - (6) Hệ số tương quan giữa 2 nghiệm x và y : R= (7) Ước lượng độ lệch tiêu chuẩn của :... lượng độ lệch tiêu chuẩn của (8) (9) 28 4 Mô hình hồi quy tuyến tính đơn 4.2 Các công thức tính toán Thống kê Durbin- Watson D kiểm tra giả thiết về sự tương quan của các biến ngẫu nhiên : D= Phương trình hồi quy có chất lượng tốt nếu ≈ 1 đồng thời , các độ lệch phải nhỏ đều về giá trị tuyệt đối và có dấu phân phối không theo quy luật 29 4 Mô hình hồi quy tuyến tính đơn 4.3 Ví dụ xi 2 3 4 5 yi 11,25 15,12... D( )= ; Phân bố : N(0, ) 25 4 Mô hình hồi quy tuyến tính đơn 4.1 Bài toán • Cần phải ước lượng các tham số a,b, theo phương pháp bình phương bé nhất → min • • Lời giải bài toán là : a= ,b=, = dẫn đến phương trình hồi quy y = + Ý nghĩa : Cho n điểm trong mặt phẳng, hãy tìm 1 đường thẳng y = + gần Với n điểm đã cho tức là S( ,) = → min nhất 26 4 Mô hình hồi quy tuyến tính đơn 4.2 Các công thức tính... phương bé nhất được dùng nhằm tìm kiếm sai số bé nhất có thể được 14 3 Phương pháp bình phương bé nhất 3.2 Giải phương trình hồi quy Y= ax+b Vì các cặp số (x1,y1), (x2, y2), … , (xn, yn) nhận được từ thí nghiệm chỉ là những giá trị gần đúng của x, y nên chúng không hoàn toán là nghiệm đúng của phương trình y = ax + b nghĩa là: y1 – ax2 – b = v1 y2 – ax2 – b = v2 ……………… yn – axn – b = vn trong đó các vi... phương bé nhất 3.4 Ví dụ Giải: Vậy áp dụng công thức tính a và a ta được phương trình hồi quy như sau: q = 95,3530 + 2,2337p 0 1 Sai số của phương pháp: 23 3 Phương pháp bình phương bé nhất 3.4 Ví dụ Giải: Sai số xác suất được tính bởi công thức: Vậy hàm hồi quy có dạng sau: q = 95,3530 + 2,2337p ± 1,7 24 4 Mô hình hồi quy tuyến tính đơn 4.1 Bài toán • Giả sử đầu ra có dạng : ; i= 1,2,…,n • • • • • Trong... 6 25,61 7 28,95 30 4 Mô hình hồi quy tuyến tính đơn 4.3 Ví dụ xi 2 3 4 5 yi 11,25 15,12 18,47 22,05 (2)_Các độ lệch tiêu chuẩn: sx = 1 n 2 (x − x ) = 1,87083 ∑ i n − 1 i =1 sy = 1 n 2 (y − y ) = 6,53222 ∑ i n − 1 i =1 6 25,61 7 28,95 31 4 Mô hình hồi quy tuyến tính đơn 4.3 Ví dụ xi 2 3 4 5 yi 11,25 15,12 18,47 22,05 6 25,61 7 28,95 (3)_Các hệ số của phương trình hồi quy: n ∧ b= ∑ (x − x) y i i =1 n... 4,57524 + 3,49143x ∧ ∧ a = y − b x = 4,57524 132 4 Mô hình hồi quy tuyến tính đơn 4.3 Ví dụ xi 2 3 4 5 yi 11,25 15,12 18,47 22,05 6 7 25,61 28,95 ∧ yi (4)_Các độ lệch giữa giá trị thực tế y và giá trị tính toán i ∧ ei = yi − yi ; i = 1,2,… n ei 7,76 11,63 14,98 18,59 22,12 25,46 yi 11,25 15,12 18,47 22,05 25,61 28,95 133 4 Mô hình hồi quy tuyến tính đơn 4.3 Ví dụ xi 2 3 4 5 yi 11,25 15,12 18,47 22,05 ... (2), ta tìm giá trị 141 Mô hình hồi quy tuyến tính bội 5.1 Bài toán Phương trình hồi quy tuyến tính bội có dạng: (3) Đưa dạng ma trận: (4) 142 Mô hình hồi quy tuyến tính bội 5.1 Bài toán Khi... hình hồi quy tuyến tính bội 5.2 Các công thức tính toán • Xác định hệ số để đánh giá chất lượng phương trình hồi quy: (12) • Thống kê F (để kiểm định giả thiết): (13) 145 Mô hình hồi quy tuyến... trình hồi quy có chất lượng tốt 146 Mô hình hồi quy tuyến tính bội 5.3 Ví dụ Bảng cho số liệu doanh số bán (Y), chi phí chào hàng (X 2) chi phí quảng cáo (X3) công ty Hãy ước lượng hàm hồi quy tuyến