Đang tải... (xem toàn văn)
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC TRẦN THỊ THU HƯỜNG PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU TOÀN PHẦN LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN 2019 c ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC[.]
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC - TRẦN THỊ THU HƯỜNG PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU TỒN PHẦN LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2019 c ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC - TRẦN THỊ THU HƯỜNG PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU TỒN PHẦN Chun ngành: Tốn ứng dụng Mã số : 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn Thị Ngọc Oanh THÁI NGUYÊN - 2019 c Möc lưc Trang Líi c£m ìn Líi nâi ¦u Chữỡng Giợi thiằu và phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn 1.1 Mởt số kỵ hiằu v ki¸n thùc cì b£n 1.2 Ph÷ìng phĂp bẳnh phữỡng tối thiu 1.3 1.4 1.2.1 PhƠn tẵch giĂ tr kẳ d 11 1.2.2 Nghiằm bẳnh phữỡng tối thiºu v SVD 14 Phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn 14 1.3.1 Thiát lêp b i to¡n 1.3.2 Nghi»m cì b£n 14 16 Thuêt toĂn bẳnh phữỡng tèi thiºu to n ph¦n 20 Ch÷ìng Mët sè ùng dưng cõa phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn 22 2.1 Hỗi quy ỡn tuyán tẵnh 22 2.2 Hỗi quy phi tuy¸n 26 c Líi c£m ìn Luên vôn ữủc hon thnh dữợi sỹ ch bÊo v hữợng dăn tên tẳnh cừa TS Nguyạn Th Ngồc Oanh Cổ  dnh nhiÃu thới gian hữợng dăn v giÊi ¡p thc mc cõa tỉi st qu¡ tr¼nh l m luên vôn Tổi xin by tọ lỏng biát ỡn sƠu sưc án cổ Tổi xin gỷi tợi cĂc thƯy, cổ khoa ToĂn - Tin cừa Trữớng Ôi hồc Khoa hồc - Ôi hồc ThĂi Nguyản lới cÊm ỡn sƠu sưc nhĐt và cổng lao dÔy dộ suốt quĂ trẳnh hồc têp tÔi trữớng Cuối tổi xin cÊm ỡn Ban giĂm hiằu trữớng THPT Quá Vó số 1, têp th cĂc thƯy cổ giĂo tờ ToĂn-Tin cừa Trữớng, gia ẳnh, bÔn b v ngữới thƠn  quan tƠm, tÔo iÃu kiằn, ởng viản, cờ vụ tổi cõ th hon thnh nhiằm vử cừa mẳnh ThĂi Nguyản, ngy thĂng nôm 2019 Hồc viản TrƯn Th Thu Hữớng c Lới nõi Ưu Phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn (Total least square -TLS) ữủc giợi thiằu bi Golub v Van Loan nhữ mởt k thuêt gi£i c¡c h» "qu¡ x¡c ành" (overdetermined system), tùc l nhỳng hằ cõ số phữỡng trẳnh nhiÃu hỡn số ân cõ dÔng A Rmìn tẳm Vợi B Rmìd v m > n, cho trữợc v AX B , X Rnìd vợi cĂc ma chữa biát, ang cƯn nõi chung khổng cõ nghiằm chẵnh xĂc X cho xĐp x ang tẳm Phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn l sỹ tờng quĂt quĂ cừa phữỡng phĂp bẳnh phữỡng tối thiu (Least square -LS) cÊ ma A v B Ãu b nhiạu Phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn l mởt k thuêt hiằu quÊ ữợc lữủng tham số tuyán tẵnh Bi toĂn ữợc lữủng tham số tuyán tinh  dăn tợi mởt lợp rởng rÂi cĂc lắnh vỹc khoa hồc nhữ xỷ lỵ tẵn hiằu, iÃu khin tỹ ởng, , v nhi·u ùng dưng kh¡c kÿ thuªt, thèng kả, vêt lỵ, kinh tá, sinh hồc, Nõ ữủc bưt Ưu bơng mởt phữỡng trẳnh tuyán tẵnh sau α1 x1 + · · · + αn xn = β â α1 , , αn v β l c¡c bi¸n v x = [x1 , , xn ]T ∈ Rn (0.1) l v²c tì tham sè °c tr÷ng cho h» (0.1) B i to¡n °t l tø dú ki»n o ÷đc no õ cừa cĂc bián, ta xĂc nh mởt ữợc lữủng cừa tham số chữa biát theo mởt cĂch úng nhĐt Gồi A Rmìn i , i = 1, , n l ma trªn câ h ng thù v v²c tì b ∈ Rm chùa β Ax = b c i t÷ìng ùng chùa c¡c dú ki»n Khi õ ta cõ hằ (0.2) l hằ gỗm m phữỡng trẳnh v n ân Vợi cĂch tiáp cên bi toĂn bơng phữỡng phĂp bẳnh phữỡng tối thiu thẳ ma A cừa cĂc dỳ kiằn o i (vá trĂi cừa (0.2)) ữủc giÊ sỷ l chẵnh xĂc, khổng câ sai sè Do â, c¡c sai sè ·u ÷đc tÔo bi vc tỡ quan sĂt b (tực l vá phÊi cừa (0.2)) Tuy nhiản iÃu giÊ sỷ ny khổng mang tẵnh thỹc tá bi tĐt cĂc cĂc sai số cừa mổ hẳnh, sai số o Ôc cụng ữủc tÔo bi cĂc dỳ kiằn cừa ma A Tiáp cên bẳnh phữỡng tối thiu ton phƯn mang ỵ nghắa thỹc tá hỡn xt sai số ữủc tÔo c£ ð v²c tì quan s¡t b v ma dỳ liằu A minh hồa tẵnh hỳu hiằu cừa phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn so vợi phữỡng phĂp bẳnh phữỡng tối thiu, ta cõ th xt mởt vẵ dử trữớng hủp ta cõ mởt tham số, tực l vợi n = Phữỡng trẳnh (0.1) trð th nh αx = β B i to¡n °t l tứ x số (0.3) m o Ôc cừa cĂc bián v , ta i ữợc lữủng tham Ta s³ i gi£i h» (0.2) vỵi A = [a1 , , am ]T v b = [b1 , , bm ]T â vợi , bi bián = a0i + , (0.4) bi = b0i + ∆bi , i = 1, , m, (0.5) l c¡c sai sè cëng v o c¡c dú ki»n ch½nh x¡c a0i , b0i cừa cĂc , Náu l o ữủc chẵnh xĂc, tực l o chựa vá ph£i b ∆ai = 0, â sai sè ch¿ x£y Trong tr÷íng hđp n y ta câ thº sû dửng phữỡng phĂp bẳnh phữỡng tối thiu giÊi phữỡng tr¼nh (0.2), tùc l ta cüc tiºu hâa têng c¡c bẳnh phữỡng cõ dÔng m X (bi x)2 i=1 Trong trữớng hủp ny, bơng cĂch khai trin tờng trản thẳ cỹc tiu hay c ữợc lữủng x0 cõa x ÷đc cho bði cỉng thùc Pn bi x = Pi=1 n i=1 N¸u β khæng câ sai sè, tùc l ∆bi = 0, ta viát lÔi phữỡng trẳnh (0.1) dữợi dÔng = x Sỷ dửng phữỡng phĂp bẳnh phữỡng tối thiu, bơng cĂch cỹc tiu hõa tờng bẳnh phữỡng sai phƠn ta thu ữủc ữợc lữủng tốt nhĐt x00 nhữ sau Pn b x = Pni=1 i i=1 bi Tuy nhiản thỹc tá, cĂc bián ữủc o ln câ sai sè, ngh¾a l v ∆bi 6= 6= Trong trữớng hủp ny, ta cƯn sỷ dửng phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn nghiản cựu bi toĂn, cĂch tiáp cên bi toĂn bơng phữỡng phĂp ny mang nhiÃu ỵ nghắa thỹc tá hỡn Luên vôn ữủc chia lm hai chữỡng Chữỡng giợi thiằu và phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn mởt số kián thực liản quan nhữ: PhƠn tẵch giĂ tr kẳ d, nghiằm bẳnh phữỡng tối thiu, nghiằm bẳnh phữỡng tối thiu cõ chuân nhọ nhĐt, nghiằm bẳnh phữỡng tối thiu ton phƯn, nh lỵ và nghiằm bẳnh phữỡng tối thiu ton phƯn, Chữỡng cừa luên vôn trẳnh by mởt số ựng dửng cừa phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn nghiản cựu hỗi quy ỡn tuyán tẵnh v hỗi quy phi tuyán Mởt số vẵ dử số ữủc trẳnh by minh hồa cho tẵnh hiằu quÊ cừa phữỡng phĂp c Chữỡng Giợi thiằu và phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn Trong chữỡng ny, chúng tổi trẳnh by mởt số kián thực liản quan tợi phữỡng phĂp bẳnh phữỡng tối thiu, phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn v cõ minh hồa mởt vi vẵ dử sỷ dửng hai phữỡng phĂp nõi trản 1.1 Mởt số kỵ hiằu v kián thực cỡ bÊn ã Ma chuyn v cừa ma ã R(S) (tữỡng ựng Rr (S)) cĂc hng) cừa ma l nhƠn cừa ã A S , N (S) kỵ hiằu l khổng gian vc tỡ khổng hoc S Ma ữớng ch²o aij = AT l khæng gian sinh bi cĂc cởt (tữỡng ựng A cù mìn A = diag(1 , à à à , p ), vợi ữỡc kỵ hiằu l vợi i 6= j v ã Ma ỡn v cù ã Cho phữỡng trẳnh aii = i mìm vợi kẵ hiằu l vợi p = {m, n} i = 1, , p ữủc kẵ hiằu l Im hay ỡn giÊn l AX = B â A l ma trªn cï m × n, X c l ma trªn cï I (1.1) n ì d, v B l ma cù m ì d Nghiằm bẳnh phữỡng tối thiu cõ chuân nhọ nhĐt cừa phữỡng trẳnh (1.1) ữủc kỵ hiằu l X 0, nghiằm bẳnh phữỡng tối thiu ton phƯn cõ chuân nhọ nhĐt ữủc kỵ hiằu l Trong trữớng hủp v²c tì • x, b d = 1, ˆ X ta cõ th kẵ hiằu cĂc ma X, B bi cĂc tữỡng ựng Chuân Frobenius cừa ma M cù mìn ữủc nh nghắa bi v u n m q uX X t kM kF = mij = tr(M T M ), (1.2) i=1 i=1 â tr(M ã T M) l vát cừa ma M T M Chu©n hay chu©n Euclide cõa v²c tì y khổng gian n chiÃu ữủc nh nghắa bi v u n uX kyk2 = t yi2 (1.3) i=1 ã PhƠn tẵch giĂ tr kẳ d - SVD Kỵ hiằu SVD cừa ma A cù m ì n, m > n cõ dÔng A = U 0 V 0T , (1.4) â U = [U10 ; U20 ], U10 = [u01 , · · · , u0n ], U20 = [u0n+1 , · · · , u0m ], u0i ∈ Rm , U 0T U = Im , V = [v10 , · · · , vn0 ], vi0 ∈ Rn , V 0T V = In , Σ0 = diag(σ10 , · · · , σn0 ) ∈ Rm×n , σ10 ≥ · · · ≥ σn0 ≥ Ta công kẵ hiằu SVD cừa ma [A; B] cù m ì (n + d), m > n cõ dÔng [A; B] = U ΣV T , c (1.5) â U = [U1 ; U2 ], U1 = [u1 , · · · , un ], U2 = [un+1 , · · · , um ], ui ∈ Rm , U T U = Im , ! V11 V12 V = = [v1 , · · · , vn+d ], vi ∈ Rn+d , V T V = In+d , V21 V22 ! Σ1 Σ= = diag(σ1 , · · · , σn+t ) ∈ Rm×(n+d) , t = min{m − n, d}, Σ2 Σ1 = diag(σ1 , · · · , σn ) ∈ Rn×n , Σ1 = diag(σn+1 , · · · , σn+t ) ∈ R(m−n)×d , v σ1 ≥ · · · ≥ n+t 1.2 Phữỡng phĂp bẳnh phữỡng tối thiu Phữỡng phĂp bẳnh phữỡng tối thiu (LS) l mởt cĂch tiáp cên phờ bián giÊi hằ tuyán tẵnh quĂ xĂc nh, tực l số phữỡng trẳnh nhiÃu hỡn số ân Nõi chung cĂc hằ nhữ vêy khổng cõ nghiằm ta tẳm nghiằm xĐp x cừa hằ bơng cĂch cỹc tiu hõa tờng bẳnh phữỡng cừa sai số ữủc tÔo thnh giÊi mội phữỡng trẳnh ỡn l Xt bi toĂn tẳm x Rn thọa mÂn phữỡng trẳnh Ax = b, õ b Rm  biát v dỳ liằu nhiÃu hỡn số ân, tực l trữớng hđp b∈ / R(A) A ∈ Rm×n Khi sè phữỡng trẳnh m > n thẳ hằ ữủc gồi l h» qu¡ x¡c ành Trong th¼ h» qu¡ x¡c ành khổng cõ nghiằm chẵnh xĂc, vêy ta sỷ dửng kẵ hiằu Ax b Nghiằm bẳnh phữỡng tối thiu ữủc trẳnh by nh nghắa dữợi Ơy nh nghắa 1.1 Xt bi toĂn tẳm cỹc tiu A Rmìn , b ∈ Rm kAx − bk2 , xRn Cỹc tiu x0 (1.6) bĐt ký ữủc gồi l nghiằm bẳnh phữỡng tối thiu cừa hằ Ax b c ... KHOA HỌC - TRẦN THỊ THU HƯỜNG PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU TỒN PHẦN Chun ngành: Tốn ứng dụng Mã số : 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn... bẳnh phữỡng tối thiu ton phƯn mởt số kián thực liản quan nhữ: PhƠn tẵch giĂ tr kẳ d, nghiằm bẳnh phữỡng tối thiu, nghiằm bẳnh phữỡng tối thiu cõ chuân nhọ nhĐt, nghiằm bẳnh phữỡng tối thiu ton... tẳm Phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn l sỹ tờng quĂt quĂ cừa phữỡng phĂp bẳnh phữỡng tối thiu (Least square -LS) cÊ ma A v B Ãu b nhiạu Phữỡng phĂp bẳnh phữỡng tối thiu ton phƯn l mởt k