BÁO CÁO BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH Bài toán bình phương cực tiểu

BÁO CÁO BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH Bài toán bình phương cực tiểu - HK202 Thầy Đặng Văn Vinh - HCMUT

BÁO CÁO BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH

Bài toán bình phương cực tiểu

GVHD: Đặng Văn Vinh

Tp Hồ Chí Minh, Tháng 05/2021

LỜI CẢM ƠN

Trong thời gian học tập bộ môn Đại số tuyến tính ở lớp, chúng em đã có hội tiếp xúc và làm quen với nhiều kiến thức, là cơ sở để chúng em có thể hoàn thành bài tập lớn này Đây cũng là những kiến thức quý báu phục vụ cho quá trình học tập, làm việc sau này của chúng em Ngoài ra chúng em cảm thấy bản thân có sự tiến bộ trong việc chủ động học tập, tìm kiếm thông tin, trau dồi kĩ năng làm việc nhóm, tạo mối quan hệ gắn kết với các bạn trong nhóm lớp

Để có được kết quả này là nhờ sự tận tâm trong quá trình giảng dạy, truyền đạt kiến thức ở lớp và hướng dẫn chúng em trong quá trình thực hiện bài tập lớn của thầy Đặng Văn Vinh Chúng em xin gửi lời cảm

ơn sâu sắc và chân thành đến thầy

Mục lục

2.1 Tổng quan về phương pháp bình phương cực tiểu 3

2.2 Các định nghĩa 3

2.2.1 Điểm dừng 3

2.2.2 Hệ không nhất quán 3

2.2.3 Nghiệm bình phương cực tiểu 3

2.2.4 Điểm cực tiểu địa phương 3

2.2.5 Bài toán bình phương cực tiểu 4

2.2.6 Gradient của F 4

2.3 Các định lý 4

2.4 Phương pháp bình phương cực tiểu 4

3 Chương trình ứng dụng phương pháp bình phương cực tiểu giải một bài toán cụ thể 5 3.1 Sơ lược về các hàm trong MATLAB 5

3.2 Các ví dụ 5

3.2.1 Tìm phương trình hồi quy 5

3.2.2 Bài toán cụ thể 8

4 Ứng dụng của phương pháp bình phương cực tiểu 9 4.1 Phân tích dãy số thời gian 9

4.1.1 Ví dụ 1 9

4.1.2 Ví dụ 2 10

4.1.3 Ví dụ 3 10

4.2 Ứng dụng trong Địa thống kê 11

4.3 Ứng dụng trong Kinh tế 11

1 Giới thiệu đề tài

1) Nêu cơ sở lý thuyết của bài toán bình phương cực tiểu

2) Viết chương trình ứng dụng phương pháp bình phương cực tiểu giải một bài toán cụ thể

3) Tìm các ứng dụng khác nhau của bài toán bình phương cực tiểu

2.1 Tổng quan về phương pháp bình phương cực tiểu

Khái niệm bình phương cực tiểu bắt nguồn từ công trình tiên phong của Gauss và Lengendre trong khoảng đầu thế kỷ 19 Bình phương cực tiểu được sử dụng nhiều trong thống kê hiện đại và mô hình toán học Mục đích của phương pháp nhằm xấp xỉ một hàm số dưới dạng phức tạp nhiều dạng biểu thức hoặc một hàm số dưới dạng bảng bằng những hàm số đơn giản hơn

Một số bài toán có nhu cầu sử dụng phương pháp bình phương cực tiểu: giải hệ phương trình, tìm đường cong phù hợp nhất ứng với dải dữ liệu cho trước (curve fitting), tìm phương trình hồi quy trong thống kê

2.2 Các định nghĩa

2.2.1 Điểm dừng

Điểm x gọi là điểm dừng của F (x) nếu F′(x) =

0.-2.2.2 Hệ không nhất quán

Giả sử A ∈ Rm×n

, b ∈ Rm

, x ∈ Rn Hệ Ax = B không có nghiệm gọi là hệ không nhất quán

2.2.3 Nghiệm bình phương cực tiểu

Nghiệm x của hệ không nhất quán Ax = b thỏa ||Ax − b||2 nhỏ nhất gọi là nghiệm bình phương cực tiểu

2.2.4 Điểm cực tiểu địa phương

Cho số dương nhỏ δ và hàm số F (x) Điểm x∗ gọi là điểm cực tiểu địa phương của F (x) nếu

F (x∗) ⩽ F (x), ∀x thỏa ||x − x∗|| < δ

2.2.5 Bài toán bình phương cực tiểu

Bài toán bình phương cực tiểu là bài toán tìm điểm cực tiểu địa phương x∗ của F (x) =1

2

m

P

i=1

[fi(x)]2, trong đó filà hàm cho trước và m > n

2.2.6 Gradient của F

Gradient của F là:

F′(x) = ∂F

∂xj(x)



=















∂F 1

∂x1(x)

∂F

∂x n(x)















2.3 Các định lý

• Định lý 1: Nếu x∗ là một điểm cực tiểu địa phương của F (x) thì F′(x) = 0

• Định lý 2: Nếu x là điểm dừng của F (x) và F′′(x) xác định dương thì x là một cực tiểu địa phương của F (x)

• Định lý 3: Nghiệm bình phương cực tiểu của Ax = B là nghiệm x thỏa ATAx = ATb

2.4 Phương pháp bình phương cực tiểu

Đặt vấn đề: Giả sử ta có tập hợp các điểm D = (t1; b1), (t2; b2), (tm; bm)

Tìm hàm f = f (t) = α + βg(t) + γh(t) sao cho đồ thị của nó đi qua (hoặc gần)tất cả các điểm của D

Để xác định được α, β, γ ta sử dụng phương pháp bình phương cực tiểu, tức là: tìm α, β, γ sao cho ϵ(t) =Pm

i=1(α + βg(ti) + γh(t) − bi)2=Pm

i=1ϵ2i nhỏ nhất

Ta tìm cực trị của hàm ϵ(t) có ba biến α, β, γ

Để cho gọn ta kí hiệu g(ti) = gi, h(ti) = hi

Điểm dừng của hàm ϵ(t):















δϵ(t)

δα = 0

δϵ(t)

δβ = 0

δϵ(t)

δγ = 0

⇐⇒











2Pm i=1(α + βg(ti) + γh(t) − bi) = 0

2Pm i=1(α + βg(ti) + γh(t) − bi)gi = 0

2Pm i=1(α + βg(ti) + γh(t) − bi)hi = 0











(Pm

i=11)α + (Pm

i=1gi)β + (Pm

i=1hi)γ = (Pm

i=1bi) (Pm

i=1gi)α + (Pm

i=1g2i)β + (Pm

i=1gihi)γ = (Pm

i=1gibi) (Pm

i=1hi)α + (Pm

i=1gihi)β + (Pm

i=1h2

i)γ = (Pm

i=1hibi)

Xét các ma trận A =













1 g1 h1

1 g2 h2

· · · .

1 gm hm











 , X =









α β γ







 , B =













b1

b2

bm













Hệ phương trình trên được ghi ở dạng ma trậnATAX = ATb

Giải hệ phương trình trên ta được α, β, γ, suy ra f (t)

• Nếu g(t) = t, h(t) = 0 thì ta có đa thức bậc nhất f(t) = α + βt

• Nếu g(t) = t, h(t) = t2thì ta có đa thức bậc hai f (t) = α + βt + γt2

Trong trường hợp tổng quát, ta có hàm f (t) = α0+ α1g1(t) + + αngn(t), ta làm tương tự

giải một bài toán cụ thể

Chương trình ứng dụng phương pháp bình phương cực tiểu ở đây chúng ta chọn chương trình được viết bằng MATLAB

3.1 Sơ lược về các hàm trong MATLAB

• zeros: Tạo ra ma trận mà tất cả phần tử đều là 0

• input: Nhập dữ liệu vào từ bàn phím

• linspace: Lấy các điểm cách đều nhau trong đồ thị

• plot: Vẽ đồ thị

• disp: In ra màn hình

3.2 Các ví dụ

3.2.1 Tìm phương trình hồi quy

Viết chương trình dùng phương pháp bình phương cực tiểu để tìm phương trình hồi quy y = ax + b , y = ax2+ bx + c

3.2.2 Bài toán cụ thể

VD Cho bảng dữ liệu (7;5), (14;6.5), (21;8.2), (28;9.1) trong đó hoành độ cho biết số giờ mà bạn Phú học trong 1 tuần trước khi thi Đại số tuyến tính còn tung độ cho biết số điểm mà bạn Phú đạt được tương ứng với số giờ học Xấp xỉ bảng dữ liệu trên bởi một hàm bậc nhất

LỜI GIẢI

Hàm cần tìm là y = b + at

Ta lần lượt nhập dữ liệu vào theo dạng ma trận

Ta có A =











1 7

1 14

1 21

1 28









 , b =











5 6.5 8.2

9, 1











Ta có hệ ATAX = ATb, X chính là nghiệm mà ta cần tìm

Kết quả ta có như sau:

Đồ thị hàm số f (t) = 3.7 + (0.2) ∗ t sau khi vẽ bằng Matlab

4.1 Phân tích dãy số thời gian

Phân tích dãy số thời gian trong tiếng Anh là Time series analysis Phân tích dãy số thời gian còn gọi là phân tích chuỗi thời gian

Phân tích dãy số thời gian là phương pháp phân tích số liệu thống kê về các quá trình đã diễn ra, được ghi chép theo các khoảng thời gian nối tiếp nhau với mục tiêu sử dụng kinh nghiệm thu được trong quá khứ để dự báo tình hình sẽ xảy ra trong tương lai bất định Như vậy, thông tin dưới dạng dãy số thời gian có thể phục vụ cho các mục tiêu dự báo

Sau đây là một số ví dụ trong thực tế có ứng dụng phương pháp bình phương cực tiểu trong việc phân tích trên:

4.1.1 Ví dụ 1

Hình 1: Tổng lượng tiêu thụ xăng dầu thế giới trong giai đoạn 1980 - 2013 và đường hồi quy tuyến

tính thích hợp

4.1.2 Ví dụ 2

Hình 2: Nhiệt độ hàng giờ tại Sân bay Quốc tế Los Angeles từ 12:53 sáng ngày 1 tháng 5 năm 2016 đến 11:53 tối ngày 5 tháng 5 năm 2016 Đường liền nét là dự đoán của một mô hình hồi quy

4.1.3 Ví dụ 3

Hình 3.1: Mức ozon hàng giờ tại Azusa, California, trong 2 tuần đầu tiên của tháng 7 năm 2014 (Cơ quan Bảo vệ Môi trường California, Ban Tài nguyên Không khí, www.arb.ca.gov) Thời gian đo bắt đầu

lúc 12 giờ sáng ngày 1 tháng 7,và kết thúc lúc 11 giờ trưa ngày 14 tháng 7

4.2 Ứng dụng trong Địa thống kê

Địa thống kê là phương pháp được ứng dụng và phát triển mạnh từ thập niên 1960 để giải quyết các vấn đề trong lĩnh vực địa chất Phương pháp phổ biến trong địa thống kê là Kriging - một nhóm phương pháp địa thống kê dùng để nội suy số liệu của một trường ngẫu nhiên tại một điểm (một vi khối) chưa biết giá trị (ví dụ không lấy được mẫu phân tích) từ những giá trị đã biết ở những điểm lân cận Kriging thuộc nhóm thuật toán bình phương tối thiểu tuyến tính

Từ quan điểm địa chất, phương pháp Kriging dùng để tính tổng khoáng hóa trên diện liên tục từ tập hợp các giá trị đo đạc Giả sử biết trước sự phân bố của khoáng vật trong không gian qua các phương pháp khảo sát địa chất và biểu diễn nó thành một hàm không gian, sau đó cho một tập hợp có thứ tự theo cấp đã đo đạc rồi dùng Kriging để nội suy hàm lượng khoáng vật tại những điểm chưa đo đạc

4.3 Ứng dụng trong Kinh tế

Phân tích hồi quy tuyến tính là một phương pháp phân tích quan hệ giữa biến phụ thuộc Y với một hay nhiều biến độc lập X.Hàm ước lượng thống kê được sử dụng phổ biến nhất là phương pháp bình phương cực tiểu

Hồi quy tuyến tính là một kỹ thuật thống kê rất mạnh mẽ và có thể được sử dụng để tạo ra những hiểu biết sâu sắc về hành vi của người tiêu dùng, hiểu biết về kinh doanh và các yếu tố ảnh hưởng đến lợi nhuận Hồi quy tuyến tính có thể được sử dụng trong kinh doanh để đánh giá xu hướng và đưa ra các ước tính hoặc dự báo Ví dụ: nếu doanh số bán hàng của một công ty tăng đều đặn hàng tháng trong vài năm qua, bằng cách thực hiện phân tích tuyến tính về dữ liệu bán hàng với doanh số hàng tháng, công ty có thể dự báo doanh số bán hàng trong tương lai

Hồi quy tuyến tính cũng có thể được sử dụng để phân tích hiệu quả tiếp thị, giá cả và khuyến mại về doanh số bán sản phẩm Ví dụ: nếu công ty XYZ muốn biết liệu số tiền mà họ đã đầu tư vào việc tiếp thị một thương hiệu cụ thể có mang lại cho họ lợi tức đầu tư đáng kể hay không, họ có thể sử dụng hồi quy tuyến tính

Hồi quy tuyến tính cũng có thể được sử dụng để đánh giá rủi ro trong lĩnh vực dịch vụ tài chính hoặc bảo hiểm Ví dụ: một công ty bảo hiểm xe hơi có thể tiến hành khảo sát để đưa ra bảng phí bảo hiểm dựa trên những rủi ro có thể xảy ra dựa trên các thuộc tính của xe, thông tin tài xế hoặc nhân khẩu học Kết quả của một phân tích như vậy có thể hướng dẫn các quyết định kinh doanh quan trọng

5 Kết luận

Phương pháp bình phương cực tiểu có một số ưu điểm và nhược điểm trong một số tình huống nhất định

Về ưu điểm:

• Tính đơn giản - phương pháp dễ hiểu và dễ thực hiện

• Có thể áp dụng trong hầu hết mọi tình huống

• Tạo nền tảng lý thuyết vững chắc trong thống kê

Về nhược điểm:

• Có thể mang lại kết quả không đáng tin cậy với những mô hình phức tạp hơn trong thực tế hay

dữ liệu phân phối không được đồng đều Điều này có thể được giảm thiểu bằng cách bổ sung nhiều điểm dữ liệu hơn

Bình phương cực tiểu có lẽ là một trong những kỹ thuật phân tích dự đoán phổ biến nhất trong thống

kê và được sử dụng rộng rãi: Y học, Sinh học, Tài chính, Nông nghiệp, Xã hội học và những lĩnh vực khác

Mặc dù đã rất cố gắng, nhưng do trình độ và thời gian có hạn nên bài báo cáo không tránh khỏi những thiếu sót Nhóm chúng tôi mong muốn nhận được sự góp ý của các thầy cô và các bạn để có thể hoàn chỉnh bài báo cáo hơn

Tài liệu

[1] Steven C Chapra Raymond Numerical Methods for Engineers McGraw-Hill Education, 2021

[2] Stephen Boyd Least Squares, EE103 Stanford University

[3] https://www.slideshare.net/thinhtranngoc98/7-huynh-thanhtoan

[4] https://vietnambiz.vn/phuong-phap-binh-phuong-toi-thieu-least-squares-method-la-gi-dac-diem-va-vi-du-20200102093542605 htm

[5] https://vi.wikipedia.org/wiki/Bình_ph\T5\uhorn\T5\ohornng_tối_thiểu

[6] https://magnimetrics.com/least-squares-method-cost-function/

[7] https://vietnambiz.vn/phan-tich-day-so-thoi-gian-time-series-analysis-la-gi-20191202190202544

htm

[8] https://www.jigsawacademy.com/popular-applications-of-linear-regression-for-businesses/