tIM HIỂU VỀ PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU

TIM HIỂU VỀ PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂUTrong toán học,phương pháp bình phương tối thiểu, còn gọi là bình phươngnhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối

BỘ NƠNG NGHIỆP VÀ PHÁT TRIỂN NƠNG THƠN

TRƯỜNG ĐẠI HỌC THUỶ LỢI – CS2

BỘ MƠN: TỐN

 

 BÀI TIỂU LUẬN :

PHÂN TÍCH VÀ TỐI ƯU HOÁ HỆ THÔNG

ĐỀ TÀI :

SỬ DỤNG PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU ĐỂ TÌM ĐƯỜNG HỒI QUY CẤP N ỨNG DỤNG TRONG KINH TẾ THUỶ LỢI

GVHD: PGS.TS PHÓ ĐỨC ANHNHÓM 3 –- ĐỀ TÀI 3:

TP.HCM,Tháng 11 năm 2011

BỘ NƠNG NGHIỆP VÀ PHÁT TRIỂN NƠNG THƠN

TRƯỜNG ĐẠI HỌC THUỶ LỢI – CS2

BỘ MƠN: TỐN

 

 BÀI TIỂU LUẬN :

PHÂN TÍCH VÀ TỐI ƯU HOÁ HỆ THÔNG

TP.HCM,Tháng 11 năm 2011

TIM HIỂU VỀ PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU

Trong toán học,phương pháp bình phương tối thiểu, còn gọi là bình phươngnhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối ưu hóa để lựachọn một đường khớp nhất nhất cho một dải dữ liệu ứng với cực trị của tổng các sai

số thống kê giữa đường khớp và dữ liệu

Phương pháp này giả định các sai số của phép đo đạc dữ liệu là ngẫu nhiên.Định lý Gauss-Markov chứng minh rằng kết quả thu được từ phương pháp bìnhphương tối thiểu không thiên vị và sai số của việc đo đạc dữ liệu không nhất thiếtphải tuân theo, ví dụ, phân bố Gauss Một phương pháp mở rộng từ phương pháp này

là bình phương tối thiểu có trọng số)

Phương pháp bình phương tối thiểu thường được dùng trong khớp đườngcong Nhiều bài toán tối ưu hóa cũng được quy về việc tìm cực trị của dạng bìnhphương, ví dụ như tìm cực tiểu của năng lượng hay cực đại của entropy

Đôi khi thay vì tìm giá trị nhỏ nhất của tổng bình phương, người ta có thể tìmgiá trị nhỏ nhất của bình phương trung bình:

Điều này dẫn đến tên gọi bình phương trung bình tối thiểu.

Nếu f không là hàm tuyến tính của các tham số, bài toán trở thành một bài

toán tối ưu hóa tổng quát Bài toán tổng quát này có thể dùng các phương pháp nhưphương pháp tối ưu hóa Newton hay phương pháp trượt dốc Đặc biệt thuật toánGauss-Newton hay thuật toán Levenberg-Marquardt là thích hợp nhất cho bài toánbình phương tối thiểu tổng quát này

Hồi quy tuyến tính :

Trong hồi quy tuyến tính, người ta thay biểu thức

f(xi ) ≈ y i

bằng

f(xi ) = y i + εi

với hệ số nhiễu ε là biến ngẫu nhiên có giá trị trung bình bằng 0

Trong biểu thức của hồi quy tuyến tính x được đo chính xác, chỉ có y chịu nhiễu loạn

ε Thêm nữa, hàm f tuyến tính với các tham số p j

Nếu f không tuyến tính với các tham số, ta có hồi quy phi tuyến, một bài toán phức

tạp hơn nhiều hồi quy tuyến tính

BÌNH PHƯƠNG TỐI THIỂU TUYẾN TÍNH

Khái niệm:

Bình phương tối thiểu tuyến tính là một kỹ thuật trong ngành tối ưu toán học để

tìm một nghiệm gần đúng cho một hệ phương trình tuyến tính không có nghiệm

chính xác Điều này thường xảy ra khi số phương trình là (m) lớn hơn số biến (n)

Theo từ ngữ toán học, chúng ta muốn tìm nghiệm của "phương trình"

,

với A là một ma trận cỡ m-nhân-n (với m > n) và x và b theo thứ tự đó là vectơ cột

với n- và m-hàng Một cách chính xác hơn, ta muốn làm tối thiểu chuẩn Euclidean

bình phương của phần dư Ax − b, nghĩa là, đại lượng

với [Ax] i kí hiệu phần tử thứ i của vectơ Ax Do đó mà có cái tên "bình phương tối

thiểu"

Sử dụng sự kiện bình phương chuẩn của v là vTv, với vT kí hiệu cho phép transpose

của v, ta viết lại biểu thức trên như là

Hai hạng tử ở giữa là như nhau, do đó giá trị tối thiểu có thể được tìm tại zero của

đạo hàm theo biến x,

Do vậy là tối thiểu x là nghiệm của phương trình normal sau đây

Để ý rằng điều này tương đương với một hệ phương trình tuyến tính Ma trận ATA ở phía bên trái là một ma trận vuông, và khả nghịch nếu như A có đầy rank theo cột (nghĩa là, nếu như rank của A là n) Trong trường hợp đó, nghiệm của hệ phương

trình tuyến tính là duy nhất và được cho bởi

Ma trận (A T A) − 1A T gọi là ma trận giả nghịch đảo của A Chúng ta không thể sử dụng

ma trận nghịch đảo thật sự của A (nghĩa là, A − 1), vì nó không tồn tại do A không phải

là một ma trận vuông (m ≠ n).

Một phương pháp chậm hơn nhưng ổn định hơn, vẫn làm việc nếu A không đầy rank,

có thể đạt được bằng cách tính phân tích QR A = Q R Sau đó ta có thể giải

với Q là một ma trận trực giao và R là một ma trận tam giác trên.

Một cách thứ ba là sử dụng singular value decomposition (SVD) Nếu A = UΣV * là

singular value decomposition của A, thì ma trận giả nghịch đảo của A là V Σ + U *, so

với Σ+ là transpose của Σ với mọi phần tử khác 0 được thay bằng phần tử nghịch đảo

Phương pháp này cần dùng nhiều sức máy nhất, nhưng rất hữu ích nếu như ma trận A

rất không ổn định (i.e nếu như số điều kiện của nó nhân với sai số của máy khá lớn).Trong trường hợp đó, thêm vào những giá trị nhỏ nhất của các giá trị singular trong

ma trận nghịch đảo chỉ cộng thêm nhiễu vào đáp số Điều này có thể được chữa bằngtiếp cận sử dụng SVD, cho ra một lời giải chính xác hơn và ổn định hơn, bằng cáchđặt bằng zero tất cả các giá trị singular dưới một ngưỡng nào đó và mặc kệ chúng,trước khi tính toán ma trận giả nghịch đảo

Áp dụng :

Phương pháp bình phương tối thiểu tuyến tính có thể được sử dụng để tìm một hàm

affine Rn → R khớp nhất với một tập hợp dữ liệu cho trước (xem phương pháp bình

phương tối thiểu)

Chúng ta viết hàm tuyến tính cần tìm như là một ma trận 1-nhân-n xT (do đó x thật ra

là 1 vectơ cột, xem thêm biến đổi tuyến tính)

Tập dữ liệu gồm có m (n + 1)-bộ số (x1, , x n , y) Những giá trị này được viết vào

một ma trận m-nhân-n A và một vector b, với mỗi bộ tương ứng với một hàng của A,

Do đó, phương trình normal là

Sau đó,

Và

và đường thẳng tốt nhất là (20/59)x + 152/59 = y.

Hình vẽ các điểm và lời giải

GIỚI THIỆU VỀ HỒI QUY ĐA BIẾN

Ví dụ 1: Rất nhiều các nghiên cứu trên thế giới quan tâm tới mối quan hệ giữa thunhập và trình độ học vấn Chúng ta kỳ vọng rằng, ít ra về trung bình mà nói, học vấncàng cao, thì thu nhập càng cao Vì vậy, chúng ta có thể lập phương trình hồi quy

Thu nhập = β1+ β2 Học vấn + ε

Tuy nhiên, mô hình này đã bỏ qua một yếu tố khá quan trọng là mọi người thường cómức thu nhập cao hơn khi họ làm việc lâu năm hơn, bất kể trình độ học vấn của họthế nào Vậy nên, mô hình tốt hơn cho mục đích nghiên cứu của chúng ta sẽ là:

Thu nhập = β1+ β2Học vấn + β3Tuổi + ε

Nhưng người ta cũng thường quan sát thấy, thu nhập có xu hướng tăng chậm dần khingười ta càng nhiều tuổi hơn so với thời trẻ Để thể hiện điều đó, chúng ta mở rộng

mô hình như sau:

Thu nhập = β1+ β2Học vấn + β3Tuổi + β4Tuổ i2+ ε

Và chúng ta sẽ kỳ vọng rằng, β3 mang dấu dương, và β4 mang dấu âm

Như vậy, chúng ta đã rời bỏ thế giới của hồi quy đơn và bước sang hồi quy đa biến

Ví dụ 2: Nghiên cứu về nhu cầu đầu tư ở Mỹ trong khoảng thời gian từ năm 1968 –1982

Ở Mỹ, thời kỳ này mang dấu ấn lịch sử là cuộc chiến tranh Việt Nam kéo dài, dẫnđến bội chi ngân sách và lạm phát Một năm sau khi chiến tranh kết thúc, lạm phát ở

Mỹ đã đạt tới mức kỷ lục là 9.31% vào năm1976 Điều đó dẫn đến việc ngân hàngtrung ương phải áp dụng mạnh mẽ chính sách tiền tệ chặt, vốn đã được áp dụng trongvài năm trước, và đưa mức lãi suất lên tới mức cao kỷ lục là 7.83% Khi sự dính líucủa Mỹ về quân sự tại Việt

Nam đã hoàn toàn chấm dứt, nguồn nhân lực trước đây phục vụ cho chiến tranh naychuyển ào ạt sang khu vực thương mại Và điều này lại lại làm dấy lên một đợt lạmphát mới, đạt tới 9.44% vào năm 1981, sau đó được đưa về mức 5.99% vào năm

1982 nhờ vào việc nâng lãi suất lên tới 13.42% Như vậy, lịch sử kinh tế Mỹ trongthời kỳ này được đặc trưng bởi chính sách tiền tệ chặt, kéo theo xu hướng cắt giảmliên tục về đầu tư qua các năm

Chính vì vậy, các nhà nghiên cứu Mỹ đã đề xuất mô hình nghiên cứu sau về cầu đầu

tư vào giai đoạn này:

INV = β1+ β2T + β3G + β4INT + ε

Trong đó, INV và G lần lượt là cầu về đầu tư và GNP thực tế, đơn vị trillions dollars; INT là lãi suất; và T là biến xu thế, tính theo thời gian đã trôi qua, kể từ năm 1968 Từ

dấu âm Và vì đây là thời kỳ đầu tư ở Mỹ có xu thế bị co hẹp, chúng ta cũng kỳ vọngrằng β2 mang dấu âm

Sử dụng dữ liệu thống kê vĩ mô của nền kinh tế Mỹ, từ năm 1968 - 1982 [xem bảng

dữ liệu 4.2 phía dưới, kết quả ước lượng của mô hình hồi quy này như sau:

1: Bảng kết xuất mô hình hồi qui các yếu tố ảnh hưởng đến cầu về đầu tư của Mỹ trong giai đoạn từ 1968 - 1982

Dependent Variable: INV

Method: Least Squares

0.0525260.0018800.0524260.001034

-9.694973-8.81952812.78506-2.287282

0.00000.00000.00000.0430

Mean dependent varS.D dependent varAkaike info criterionSchwarz criterionF-statistic

Prob(F-statistic)

0.2033330.034177-7.040816-6.852003129.27840.000000

Dưới dạng báo cáo, kết quả đó có thể được viết tóm tắt như dưới đây:

INV = -0.5092 - 0.0165T + 0.67G - 0.0023 INT

(0.0525) (0.0018) (0.052) (0.001)

R2= 0.972 , N= 15, ESS = 0.00045

Nếu viết dưới dạng sai phân, ta có:

Δ INV = - 0.0165 Δ T + 0.67 Δ G - 0.0023 Δ INT

Nói khác đi, nếu các yếu tố khác được giữ không đổi, cứ sau mỗi một năm, kể từ

Cũng như vậy, nếu bỏ qua yếu tố xu thế và lãi suất, tác động riêng phần của việc tăngGNP lên 0.1 trillions dollars ( G = 0.1), sẽ làm cầu về đầu tư tăng lên thêm 0.067 trillions; và nếu đẩy lãi suất lên thêm 1% ( INT = 1), trong khi giữ nguyên các yếu tố

còn lại, thì sẽ làm đầu tư giảm đi là -0.0023 trillions dollars

Những tính toán trên đây cho thấy có sự tương đồng rõ rệt về cách diễn giải ý nghĩacủa các hệ số ước lượng trong mô hình hồi quy đa biến so với trường hợp đơn biến.Điều đó gợi ý rằng, về mặt bản chất, mô hình hồi quy đa biến sẽ chỉ là sự mở rộng củahồi quy đơn biến

ỨNG DỤNG TRONG PHÂN TÍCH KẾT QUẢ

PHÂN TÍCH HỒI QUI (Simple Linear Regression Analysis)

Phân tích hồi qui tuyến tích đơn giản là tìm sự liên hệ giữa 1 biến số độc lập (biến dựđoán) trên trục hoành x với 1 biến số phụ thuộc (biến kết cục) trên trục tung y Sau đó

vẻ 1 đường thẳng hồi qui và từ phương trình đường thẳng này ta có thể dự đoán đượcbiến y (ví dụ: cân nặng) khi đã có x (ví dụ: tuổi)

Ví dụ 1: Ta có 1 mẫu gồm 6 trẻ từ 1-6 tuổi, có cân nặng như bảng sau:

Nối các cặp (x,y) này ta thấy có dạng 1 phương trình bậc nhất: y=2x+8

(trong đó 2 là độ dốc và 8 là điểm cắt trên trục tung y khi x=0) Trong thống kêphương trình đường thẳng (bậc nhất) này được viết dưới dạng:

y= bx + a [1]

Đây là phương trình hối qui tuyến tính, trong đó b gọi là slope (độ dốc) và a là

intercept (điểm cắt trên trục tung)

Thực ra phương trình hồi qui tuyến tính này chỉ có trên lý thuyết, nghĩa là các trị sốcủa xi (i=1,2,3,4,5,6) và yi tương ứng liên hệ 100% (hoặc hệ số tương quan R=1) Trong thực tế hiếm khi có sư liên hệ 100% này mà thường có sự sai lệch giữa trị sốquan sát yi và trị số yi’ ước đoán nằm trên đường hối qui

Ví dụ 2: Ta có 1 mẫu gồm 6 trẻ em khác có cân nặng theo bảng sau:

Khi vẽ đường thẳng hồi qui, ta thấy các trị số quan sát y3, y4, y5, y6 nhưng y1 và y2

không nằm trên trên đường thẳng này và sự liên hệ giữa xi và yi không còn là 100%

mà chỉ còn 97% vì có sự sai lệch tại y1 và y2 Sự sai lệch này trong thống kê gọi làphần dư (Residual) hoặc Errors

Gọi y1, y2, y3, y4, y5, y6 là trị số quan sát và y’1, y’2, y’3, y’4, y’5, y’6 là trị số ước đoánnằm trên đường hồi qui, e1, e2, e3, e4, e5, e6 là phần dư.

Như vậy e1= y1 –y’1

Như vậy nếu phần dư ei càng nhỏ sự liên hệ giữa x,y càng lớn và ngược lại Phần liên

hệ còn đượi gọi là phần hồi qui Mô hình hồi qui tuyến tích được mô tả:

Dữ liệu= Hồi qui (Regression) + Phần dư (Residual)

Ví dụ 3: Nếu chúng ta chọn một mẫu thực tế gồm 30 em từ 1-6 tuổi và kết quả cânnặng tương ứng của 30 em được vẻ trong biểu đồ sau:

Lúc này ta không thể nối 30 điểm trên biểu đồ mà phải vẽ 1 đường thẳng đi càng gầnvới tất cả các điểm càng tốt Như vậy 3 đường thẳng ở biểu đồ ta chọn đường thẳngnào? Nguyên tắc chọn đường thẳng nào đi gần cả 30 điểm, có nghĩa làm sao để tổngcác phần dư Sei nhỏ nhất:

S ei= S (yi- βx – α)

và tổng bình phương của phần dư:

S (ei)2= S (yi- βx – α)2

Đây là phương trình bậc 2 theo x Trong toán học, muốn tìm trị cực tiểu của 1 phươngtrình bậc 2, người ta lấy đạo hàm và cho đạo hàm triệt tiêu (bằng 0) sẽ tím được trị

cực tiểu của x Giải phương trình này, ta sẽ tính được 2 thông số b và a và từ 2 thông

số này ta sẽ vẽ được đường thẳng hồi qui Phương pháp này trong toán học gọi là

phương pháp bình phương nhỏ nhất (least square method).

Giải phương trình trên ta có:

Vào menu >Analyze> Regression> Linear

Bảng 1 Tóm tắt mô hình

Hệ số tương quan R=0,918 và R2=0,843

Bảng 2 Phân tích ANOVA với biến phụ thuộc là cân nặng

Tổng bình phương phần hồi qui (Regression)=336,14

Tổng bình phương phần dư (Residual)=62,8

Trung bình bình phương hồi qui: 336,14/ 1 (bậc tự do)=336,14

Trung bình bình phương phần dư: 62,8/ 28(bậc tự do=n-2)=2,24

F= = 149,8 và p<0,000

Bảng 3 thông số b và a

Kết quả bảng 3 cho biết độ dốc b= 1,96 và điểm cắt tại trung tung là a=7.773

Phương trình đường thẳng hồi qui là:

Cân nặng= 1,96 x tuồi + 7,77

Như vậy khi em bé tăng lên 1 tuổi thì cân nặng tăng lên 1,96 kg

Vẽ đường thẳng hồi qui trong SPSS

Từ phương trình này ta có thể ước đoán được cân nặng theo tuổi của trẻ, tuy nhiênnằm trong một giới hạn nào đó, chẳng hạn như từ 1-12 tuổi, vì sau tuổi này là thời kỳdậy thì, cân nặng của trẻ sẽ tăng vọt so với tuổi

Ví dụ muốn ước đoán cân nặng của trẻ từ quần thể nghiên cứu này:

7 tuổi ð Cân nặng= 1,96 x7 + 7,77 = 21,49 kg

8 tuổi ð Cân nặng= 1,96 x8 + 7,77 = 23,45 kg

Tham khao tu Nguồn: Ytcchue.blogspot

Đối với các nền đất yếu khi xử lý bằng bấc thấm hoặc giếng cát, quan hệ giữa độ lúnquan trắc thực tế (St) với thời gian (t) có thể mô tả bằng một hàm số toán học dạng S-Curve (hàm mũ) hay dạng Inverse (hàm Hyperbol)

1 Dùng mô hình S-Curve

Phương trình có dạng St = ep+q/t (6)

với p và q (q<0) là các hệ số hồi quy từ số liệu quan trắc lún; S t - độ lún ở thời điểm t;

Ở đây: t, S t là các đại lượng đã biết, hai ẩn số là p và q Như vậy điều kiện cần để xác

định được chúng là có tối thiểu hai số liệu quan trắc Nếu số liệu quan trắc nhiều hơn

2 thì có thể xác định các hệ số nói trên theo nguyên lý số bình phương nhỏ nhất theotrình tự như sau:

- Logarit hóa 2 vế phương trình (6) :

b = …

p

x = q

với p và q là các hệ số hồi quy từ số liệu quan trắc lún; S t - độ lún ở thời điểm t;

- Lập hệ phương trình số hiệu chỉnh theo (1): Ax=b

- Theo (5), các ẩn số của phương trình là các hệ số p và q có nghiệm: x = (AT A)

- Nghịch đảo ma trận = MINVERSE (vùng ma trận muốn nghịch đảo)

- Để lập ma trận chuyển trí, chỉ cần quét vào ma trận gốc, sau đó vào Edit/Copy rồi sang 1 cell trống khác, chọn Edit/Paste Special/Transpose là sẽ thu được ma trận chuyển vị

NHẬN XÉT

1) Kết quả đánh giá từ hai mô hình (6) và (8) không sai khác nhiều;

2) Mô phỏng diễn biến lún theo thời gian bằng phương pháp Bình phương tối thiểu

có độ tin cậy càng cao khi chuỗi số liệu quan trắc càng dài và có quy luật rõ

Điều đó cũng cho thấy là việc quan trắc lún phải rất công phu và nghiêm túc

Trong những thập kỷ qua đặc biệt sau ngày thống nhất đất nước được sự quan tâm củaĐảng và Chính phủ đã đầu tư xây dựng được hệ thống công trình thuỷ lợi đồ sộ: 1967

hồ chứa, 10.000 trạm bơm, 8.000 km đê sông đê biển phục vụ phát triển các ngành kinh tế, phát triển nông nghiệp, phòng tránh giảm nhẹ thiên tai, đào tạo gần trăm nghìn cán bộ làm công tác thuỷ lợi từ Trung ương đến địa phương do vậy góp phần quan trọng đưa Việt nam từ chỗ thiếu lương thực trở thành quốc gia xuất khẩu gạo lớnthứ hai trên thế giới Bộ mặt nông thôn mới không ngừng đổi thay, an ninh lương thực, an toàn trước thiên tai, ổn định xã hội, sử dụng nước sạch và vệ sinh môi trường