Phương pháp bình phương nhỏ nhất và ứng dụng

Lý do chọn đề tài Trong khoa học kỹ thuật chúng ta thường gặp rất nhiều bài toán tối ưu hóa được quy về tìm cực trị của dạng bình phương ví dụ như tìm cực tiểu của năng lượng hay tìm cự

BỘ GIÁO DỤC VÀ ĐÀO TẠO

ĐẠI HỌC ĐÀ NẴNG

PHẠM LÊ KIM THANH

PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT VÀ ỨNG DỤNG

Chuyên ngành: Phương pháp toán sơ cấp

Mã số: 60 46 01.13

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC

Đà Nẵng –Năm 2016

Công trình được hoàn thành tại ĐẠI HỌC ĐÀ NẴNG

Người hướng dẫn khoa học: TS LÊ HẢI TRUNG

Phản biện 1: TS Lê Hoàng Trí

Phản biện 2: TS.Trịnh Đào Tiến

Luận văn đã được bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Khoa học tại Đại học Đà Nẵng vào ngày 13 tháng 8 năm 2016

Có thể tìm hiểu luận văn tại:

- Trung tâm Thông tin – Học liệu, Đại học Đà Nẵng

- Thư viện trường Đại học Sư phạm, Đại học Đà Nẵng

MỞ ĐẦU

1 Lý do chọn đề tài

Trong khoa học kỹ thuật chúng ta thường gặp rất nhiều bài toán tối ưu hóa được quy về tìm cực trị của dạng bình phương ví dụ như tìm cực tiểu của năng lượng hay tìm cực đại của entropy Trong toán học cũng như trong thực tế ta thường gặp các bài toán liên quan đến khảo sát và tính giá trị của hàmyf x( )nào đó Tuy nhiên trong thực tế không phải lúc nào ta cũng xác định được sẵn hàm số mà chỉ nhận được các dữ liệu rời rạc x tương ứng với giá trị i y Vấn đề đặt i

ra là xây dựng một hàm số biểu diễn cho các giá trị ( ,x y đã cho i i)

Có rất nhiều lớp các bài toán thực tế mà qua khảo sát người ta xác định được nó có dạng tuyến tính như ya x b  , hoặc 2

ya x bx c hoặc các mô hình phức tạp hơn Có nhiều phương pháp để xác định được các hàm đã nêu ví dụ như: Phương pháp nội suy, Phương pháp bình phương nhỏ nhất, Phương pháp Picard… Để tìm hiểu về phương pháp xây dựng hàm số nêu trên và được sự gợi ý

của giáo viên hướng dẫn nên tôi đã lựa chọn đề tài « Phương pháp bình phương nhỏ nhất và ứng dụng » cho luận văn thạc sĩ của

mình

2 Mục tiêu nghiên cứu của đề tài

Mục tiêu của đề tài này là nghiên cứu về phương pháp bình phương nhỏ nhất Đồng thời, nghiên cứu ứng dụng phương pháp bình phương nhỏ nhất vào các bài toán

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

Nghiên cứu xây dựng mô hình tuyến tính bằng phương pháp xấp xỉ bình phương nhỏ nhất

4 Phương pháp nghiên cứu

Nghiên cứu các tài liệu tham khảo liên quan đến đề tài, nắm vững cơ sở lý thuyết, từ đó ứng dụng phần mềm Mathematica để mô

tả nghiệm (gần đúng) và tìm nghiệm gần đúng của bài toán Trong luận văn, các phương pháp sử dụng nằm trong các lĩnh vực sau đây: Toán học giải tích, Giải tích hàm, Giải tích số, Quy hoạch thực nghiệm, Thống kê toán học

5 Bố cục đề tài

Ngoài phần mở đầu và kết luận, luận văn có 3 chương

Chương 1 Kiến thức chuẩn bị Chương này trình bày một số

khái niệm, định lý về sự liên tục của hàm nhiều biến; sơ lược phép tính vi phân hàm nhiều biến; điều kiện đạt cực trị của hàm nhiều biến

Chương 2 Phương pháp bình phương nhỏ nhất và ứng dụng

Chương này trình bày về nội dung của phương pháp bình phương

nhỏ nhất; bài toán phương pháp bình phương nhỏ nhất để xấp xỉ hàm trong thực nghiệm; ưu điểm và hạn chế của phương pháp bình phương nhỏ nhất trong mô hình tuyến tính và một số tiêu chuẩn đánh giá mô hình tuyến tính Ứng dụng của phương pháp bình phương nhỏ nhất

6 Tổng quan tài liệu nghiên cứu

Nghiên cứu từ các tài liệu liên quan đến Toán học giải tích, Giải tích hàm, Giải tích số, Quy hoạch thực nghiệm, Thống kê toán học và các tài liệu liệu về phần mềm Mathematica của tác giả trong và ngoài nước

7 Ý nghĩa khoa học và thực tiễn của đề tài

Đề tài góp phần nghiên cứu phương pháp bình phương nhỏ nhất và ứng dụng phù hợp với chuyên nghành Phương pháp toán sơ cấp

Sau khi cho phép bảo vệ, được sự góp ý của các thầy cô trong hội đồng, luận văn có thể dùng làm tài liệu tham khảo cho sinh viên, giáo viên, học sinh phổ thông và những đối tượng quan tâm lĩnh vực này

Do thời gian nghiên cứu không nhiều nên có thể còn một số nội dung mà luận văn chưa đề cập đến Tôi sẽ tiếp tục nghiên cứu và

bổ sung thường xuyên để nội dung luận văn được phong phú, và có giá trị thực tiễn hơn

CHƯƠNG 1 KIẾN THỨC BỔ TRỢ

1.1 SỰ LIÊN TỤC CỦA HÀM NHIỀU BIẾN

1.1.1 R n và các tập con

1.1.2 Biểu diễn hình học của hàm hai biến số

1.1.3 Giới hạn của hàm nhiều biến số Z = f(x, y)

a Định nghĩa và điều kiện cần của cực trị

Định lý 1.2 Nếu ( , ) f x y đạt cực trị tại M0 và có các đạo hàm riêng tại đó thì các đạo hàm riêng bằng 0

b Điều kiện đủ của cực trị

Định lý 1.3 Giả sử ( , ) f x y có đạo hàm riêng cấp hai liên tục

tại lân cận của điểm dừng ( ,x y0 0) và gọi:

- Nếu > 0 thì hàm số không đạt cực trị tại ( ,x y0 0)

- Nếu = 0 thì chưa kết luận gì được về ( ,x y0 0)

1.5.2 Hệ Cramer

1.5.3 Hệ phương trình tuyến tính tổng quát

1.5.4 Hệ phương trình tuyến tính thuần nhất

CHƯƠNG 2 PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

Giả sử đã đo được các mẫu ( ,x y với i = 1,2,….,n Mục đích i i)

là xác định hàm ( )f x thỏa mãn : ( ) f x y

Giải sử hàm f có thể thay đổi hình dạng phụ thuộc vào một hàm p j với j = 0,1,2,…m, f x( ) f p x( j, ).

Sai số giữa giá trị thực và giá trị ước lượng theo hàm f p x( j, )

n 

điều này dẫn đến tên gọi bình phương trung bình tối thiểu

2.1.2 Lập công thức hồi quy dạng ya xb

Giả sử biết được n giá trị thực nghiệm y i i( 0,1,2, , )n của hàm f(x) tại các điểm x tương ứng Tìm hàm xấp xỉ f(x) là một đa i

Coi S là hàm số 2 biến a và b, như vậy S đạt cực tiểu tại điểm

mà đạo hàm của S theo a và b đồng thời bằng 0:

i i i i i

S

a x b y x a

S

a x b y x b

2

,

Giả thuyết rằng chúng có quan hệ tuyến tính với các thông số vào x , hàm số tương ứng sẽ là: i

0 1 1 2 2 i i k k

ya a x a x  a x  a x (2.1)

Sử dụng phương pháp bình phương nhỏ nhất các giá trị a

0 1 1

0

1

k

a a a a

nj 0

k j

k

n n j

n n n

i i

i i n

n n

i i

i i T

n i i n

i i i

1

1

( ) ( ),.( ),

T T T

,( ) ( )

x y x xy a

xy x y

n x x

y x x xy a

xy x y a

mới, ta được hàm tuyến tính nhiều biến số:

2.1.4 Công thức hồi quy tổng quát dạng đa thức bậc m

Giả sử biết được n giá trị thực nghiệm y i i( 0,1,2, , )n của f(x) tại các điểm tương ứng Tìm hàm xấp xỉ của f(x) là một đa thức cấp

2.1.5 Bình phương tối thiểu tuyến tính

2.2 BÀI TOÁN PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

chỉnh lí trong quá trình tính toán Trong bài toán tìm hàm xấp xỉ trên việc chọn dạng của hàm xấp xỉm( )x là tùy thuộc vào ý nghĩa thực tiễn của hàm ( ).f x

Bài toán 2.2 (Tìm các tham số của hàm có dạng đã biết)

Giả sử đã biết dạng tổng quát của hàm

y f x a a( , 0, , ,1 a m) (2.15) trong đó a i i( 0,1, , )m là những hằng số

Giả sử qua thực nghiệm ta thu được n giá trị của hàm( 1, 2, , )

a Sai số trung bình bình phương

Những hàm trong thực nghiệm thu được thường mắc phải những sai số có tính chất ngẫu nhiên Những sai số này xuất hiện do

sự tác động của những yếu tố ngẫu nhiên vào kết quả thực nghiệm để thu được các giá trị của hàm Chính vì lý do trên, để đánh giá sự sai

số khác nhau giữa hai hàm trong thực nghiệm ta cần đưa ra khái niệm

về sai số (hoặc độ lệch) sao cho một mặt nó chấp nhận được trong thực tế, một mặt lại san bằng những sai số ngẫu nhiên (nghĩa là gạt

bỏ được những yếu tố ngẫu nhiên tác động vào kết quả của thực nghiệm) Cụ thể nếu hai hàm thực chất khá gần nhau thì sai số chúng

 2 1

1( ) ( )

c Ý nghĩa của sai số trung bình bình phương

Để tìm hiểu ý nghĩa của sai số trung bình bình phương ta giả thiết f x và ( ) ( )x là những hàm liên tục trên đoạn  a b, và

f x x dx

b a

Giả sử f x( )( )x có trên đoạn  a b, một số hữu hạn cực trị

và  là một số dương nào đó cho trước Khi đó trên  a b, sẽ có k đoạn riêng biệt a b i, i(i1, 2, , )k sao cho:

f x  x  ( với xa b i, i,i1, 2, ,k)

Gọi là tổng các độ dài của k đoạn nói trên

Với n đủ lớn vànđủ bé, từ (2.17) ta suy ra    ( bé tùy ý)

2(b a)  ,





 

nghĩa là tổng độ dài  của các đoạn sẽ bé tùy ý

Tóm lại vớin đủ bé (n khá lớn) thì trên đoạn a b, (trừ tại những điểm của đoạn a b i, i mà tổng độ dài  bé tùy ý), ta có

  ( )

f x  x  trong đó là một số dương tùy ý cho trước

Từ nhận xét trên ta rút ra nhận ý nghĩa thực tiễn của sai số

trung bình bình phương như sau: Nếu sai số trung bình bình phương

n

 của hai hàm f(x) và ( ) x trên tập hợp n điểm X  a b, (n đủ lớn) mà khá bé thì với tuyệt đối đa số giá trị của x trên  a b, cho sai

số tuyệt đối giữa f(x) và ( ) x khá bé

2.2.3 Xấp xỉ hàm theo nghĩa trung bình phương

2.3 ƯU ĐIỂM VÀ HẠN CHẾ CỦA PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT TRONG MÔ HÌNH TUYẾN

b Phân phối Student

Định lý 2.1 (Xem [1]) Cho t tuân theo luật phân phối Student

với n bậc tự do n1  Khi đó:

(i) Hàm mật độ t là:

1 1

1

12

12

n x n

c Phân phối Fisher

Định lý 2.3 (Xem [1]) Cho biến ngẫu nhiên X có phân phối

2 2

Định lý 2.4 (Xem [1]) Cho X và Y là các biến ngẫu nhiên độc

lập có phân phối chuẩn cùng phương sai (D(X) = D(Y)) Khi đó đại lượng thống kê

2 1 2 2

s F s

 có phân phối Fisher F n1 1, 2 2 n 

d Chuẩn Cochran ( Z lt G Pf n, )

Định lý 2.5 (Xem [6]) Phương sai mẫu của loạt dữ liệu j được

coi là một giá trị ở mức ý nghĩa α nếu Ct vượt quá giới hạn trên giá trị quan trọng CUL CUL phụ thuộc vào α mức ý nghĩa mong muốn, số lượng được coi là hàng loạt dữ liệu N, và số lượng các điểm dữ liệu (n) mỗi chuỗi dữ liệu Lựa chọn các giá trị cho CUL đã được lập bảng ở mức ý nghĩa α = 0.01, α = 0.025, và α = 0.05 CUL cũng có thể được tính toán từ:

CUL : giới hạn trên giá trị quan trọng cho thử nghiệm một chiều trên một thiết kế cân bằng

α : mức ý nghĩa

n : số điểm dữ liệu mỗi chuỗi dữ liệu

Fc : giá trị quan trọng của tỷ lệ F Fisher; Fc có thể thu được từ các bảng phân phối F hoặc sử dụng phần mềm máy tính cho chức năng này

2.4.2 Đánh giá kết quả nhận được bằng phương pháp bình phương nhỏ nhất

a Kiểm định các tham số a j và khoảng xác định sai lệch của chúng

Khi hệ số aˆj nào đó quá nhỏ, ta có quyền nghi ngờ aˆj có thể bằng không, tức là không tồn tại số hạng f x j( )1 x k trong hàm hồi quy thu được Tức là aˆjkhác không do sai số ngẫu nhiên gây ra Ta cần kiểm định xem aˆj0 hay aˆj0

Nếu biểu thức sau tồn tại, tức là aˆjthực sự khác 0

ˆ

2

j jj du

du

S a s

b Kiểm tra bằng nhau của phương sai 2 D y( )i

Các ước lượng 2 thường dùng chưa dựa vào một giả thiết nào

về dạng của mối quan hệ giữa biến ra y và biến vào xi Khi thí nghiệm được lặp lại r lần, phương sai của y khi đó gọi là phương sai tái sinh, kí hiệu (Sts):

Phương sai Sts có bậc tự do là n(r-1) được coi là một ước lượng của 2 D y( )nếu phương sai của y tại điểm thí nghiệm xi được coi

là như nhau

Cần kiểm định giả thuyết đó theo tiêu chuẩn Cochran

Giả sử biến ngẫu nhiên có

i

max S

C S



So sánh Ct với (C r1; ;1n ) bằng bảng phân vị Cochran Nếu C t C r( 1; ;1n )công nhận giả thiết Ho, có nghĩa là phương sai của y gần đúng bằng 2

ts

S F

S

F n m n r

thì coi như thực nghiệm chấp nhận hàm số hồi quy với mức ý nghĩa.

 Sự chênh lệch của Ft và F nhiều hay ít, có sự tương hợp mạnh hay yếu; cùng kết quả thực nghiệm cùng hồi quy, nhưng thay đổi mức ý nghĩa  có thể từ công nhận tương hợp sang không tương hợp

d Tìm khoảng sai lệch y i

0( )

m

j j i ik j

* Trình bày về nội dung của phương pháp bình phương nhỏ nhất; bài toán phương pháp bình phương nhỏ nhất để xấp xỉ hàm trong thực nghiệm; ưu điểm và hạn chế của phương pháp bình phương nhỏ nhất trong mô hình tuyến tính và một số tiêu chuẩn đánh giá mô hình tuyến tính Ứng dụng của phương pháp bình phương nhỏ nhất

* Luận văn là một tài liệu tham khảo hữu ích cho bạn đọc yêu thích tìm hiểu về nội dung phương pháp bình phương nhỏ nhất và ứng dụng

* Trong thời gian thực hiện luận văn không thể tránh khỏi những sai sót, kính mong các thầy đóng góp ý kiến để luận văn thêm

hoàn thiện