ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KHOA HỌC TRẦN VĂN PHƢỢNG VỀ BÀI TOÁN TỐI ƢU TRONG HỌC ĐỘ TƢƠNG TỰ LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN 2019 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KHOA HỌC TRẦN[.]
ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KHOA HỌC - TRẦN VĂN PHƢỢNG VỀ BÀI TOÁN TỐI ƢU TRONG HỌC ĐỘ TƢƠNG TỰ LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2019 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KHOA HỌC - TRẦN VĂN PHƢỢNG VỀ BÀI TOÁN TỐI ƢU TRONG HỌC ĐỘ TƢƠNG TỰ Chuyên ngành: Toán ứng dụng Mã số : 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn Thanh Sơn THÁI NGUYÊN - 2019 iii Möc löc BÊng kỵ hiằu M Ưu Chữỡng Bi toĂn tối ữu khổng gian hỳu hÔn chiÃu 1.1 Sì l÷đc v· b i to¡n tèi ÷u 1.1.1 B i to¡n tèi ÷u 1.1.2 Kh¡i qu¡t b i to¡n tèi ÷u câ r ng buëc 1.1.3 Tối ữu hm mửc tiảu bêc hai vợi rng buởc bĐt ng thực 1.2 10 Mët sè ph÷ìng ph¡p gi£i b i to¡n tèi ÷u 1.2.1 Ph÷ìng ph¡p Newton 11 1.2.2 Phữỡng phĂp giÊm sƠu nhĐt 13 1.2.3 Ph÷ìng ph¡p h m chn logarith 15 1.2.4 Phữỡng phĂp chiáu gradient 18 Ch÷ìng B i to¡n håc ë t÷ìng tü 2.1 2.2 11 21 Bi toĂn hồc ở tữỡng tỹ v cĂc kián thực li¶n quan 21 2.1.1 Mët sè kián thực liản quan 21 2.1.2 B i to¡n håc ë t÷ìng tü 25 2.1.3 Tẵnh lỗi cừa bi toĂn 26 2.1.4 Kho£ng c¡ch Mahalanobis 27 Ph÷ìng ph¡p gi£i b i to¡n håc ë t÷ìng tü 28 2.2.1 Tr÷íng hđp kho£ng c¡ch Euclide câ trång sè 28 iv 2.2.2 Phữỡng phĂp chiáu gradient cho bi toĂn hồc ở tữỡng tü 29 2.2.3 V½ dư sè 32 Kát luên Ti liằu tham khÊo 36 37 BÊng kỵ hiằu H khổng gian Hilbert thüc ∇f gradient cõa h m sè, grad ∇2 f Hessian cừa hm số kAk chuân Euclid cừa ma (A) cĂc giĂ tr riảng cừa A0 ma nỷa xĂc nh dữỡng A>0 ma xĂc nh dữỡng x im cüc tiºu hay cüc tiºu f (x∗ ) gi¡ trà cüc tiºu f f v l ma trªn cï A A nìn M Ưu Thá giợi ang bữợc vo Cuởc cĂch mÔng khoa hồc lƯn thự tữ vợi AI (Artifical Intelligence - Trẵ tuằ nhƠn tÔo) v IoT (Internet of Things Internet vÔn vêt) em án nhỳng ởt phĂ b§t ngí v· cỉng ngh» Vai trá cõa nâ èi vợi mởt quốc gia, mởt vũng lÂnh thờ lợn án mực ữủc nhên nh, rơng dăn Ưu và cổng nghằ ny s chián thưng cuởc cÔnh tranh và cổng nghằ, kinh tá Trong thỹc tá, Trẵ tuằ nhƠn tÔo m cử th hỡn nỳa l Hồc mĂy (Machine Learning) ¢ l mët ng nh ph¡t triºn tø lƠu cừa khoa hồc mĂy tẵnh Luên vôn ny s xt mởt bi toĂn nhọ lắnh vỹc rởng lợn ny dữợi gõc ở toĂn hồc, õ l Hồc ở t÷ìng tü Trong mët khỉng gian Euclide, hay têng qu¡t hìn l mët khỉng gian metric, kh¡i ni»m kho£ng c¡ch ÷đc dịng º o kho£ng c¡ch giúa hai èi tữủng ối tữủng l trũng náu khoÊng cĂch bơng 0, gƯn náu khoÊng cĂch nhọ v xa náu khoÊng cĂch lợn BƠy giớ, ta xt mởt têp hủp tờng quĂt hỡn nhữ têp cĂc hẳnh chửp mt ngữới, hay têp cĂc vôn bÊn GiÊ sỷ ta cõ th bián ời cĂc ối tữủng õ thnh cĂc ối tữủng toĂn hồc nhữ vc tỡ hoc ma Ta cƯn phÊi xƠy dỹng mởt php o cõ th phƠn biằt ữủc hai nhõm ối tữủng tữỡng tỹ v kh¡c V· m°t ành l÷đng, hai èi tữủng tữỡng tỹ náu cõ khoÊng cĂch (theo php o vứa ữủc xƠy dỹng) nhọ v hai ối tữủng khĂc s cõ khoÊng cĂch lợn CƠu họi tiáp theo l xƠy dỹng php o õ nhữ thá no? ị tững tỹ nhiản l khĂi quĂt hõa khoÊng c¡ch Euclide Ta câ vỵi kx − ykE = â I q kx − yk2 = q (x − y)T (x − y) = q x, y ∈ Rn thẳ (x y)T I(x y), I bơng mởt ma A v nh nghắa q kx ykA = (x − y)T A(x − y) (0.0.1) l mët ma ỡn v BƠy giớ, ta thay ối xựng nỷa xĂc nh dữỡng Lữu ỵ rơng õ (0.0.1) ch¿ l mët gi£ kho£ng c¡ch, tùc l hai iºm Nhữ vêy, viằc xƠy dỹng khoÊng khĂc cõ th cõ khoÊng cĂch bơng cĂch ữủc quy và viằc tẳm mởt ma ối xựng nỷa xĂc nh dữỡng Náu khổng cõ gủi ỵ gẳ thẳ Ơy l mởt b i to¡n khỉng câ líi gi£i Ð gâc ë Håc mĂy, muốn mĂy phƠn biằt ữủc thá no l hai ối tữủng l tữỡng tỹ, thá no l khổng tữỡng tỹ thẳ ta phÊi dÔy nõ Thổng tin S gủi ỵ Ơy l viằc cho trữợc hai têp èi t÷đng (gi£ sû l nhau, cán D Rn ) m â S v D cõa khæng gian c¡c chùa nhúng èi t÷đng t÷ìng tü chùa nhúng èi t÷đng khỉng t÷ìng tü Mët ph²p o tèt, A, tr÷íng hủp ny c trững bi ma i) KhoÊng cĂch giỳa cĂc ối tữủng thuởc S phÊi thọa mÂn ba i·u: theo ma trªn A c ng nhä c ng tèt; ii) Kho£ng c¡ch giúa c¡c èi t÷đng thc D theo ma A phÊi tữỡng ối lợn; iii) Ma A phÊi thọa mÂn cĂc iÃu kiằn xƠy dỹng ữủc gi£ kho£ng c¡ch, tùc l A ph£i èi xùng v nỷa xĂc nh dữỡng Nhỳng gủi ỵ trản  dăn án bi toĂn tối ữu sau: arg A X kx − yk2A (0.0.2) (xi ,xj )∈S cho X (xi ,xj )∈D kx − ykA ≥ 1, A ≥ (0.0.3) Mửc ẵch cừa à ti l trẳnh b y vi»c gi£i b i to¡n tèi ÷u n£y sinh håc ë t÷ìng tü (0.0.2), (0.0.3) Nëi dung cõa · ti luên vôn ữủc trẳnh by hai chữỡng Chữỡng Bi toĂn tối ữu khổng gian hỳu hÔn chiÃu Nởi dung chẵnh cừa chữỡng ny l cĂc kián thực và tối ữu hõa Chúng tổi nhưc lÔi mởt c¡ch l÷đc c¡c kh¡i ni»m cì b£n cõa b i to¡n tèi ÷u v mët sè ph÷ìng ph¡p cho b i to¡n tèi ÷u khỉng r ng bc Trong â, chóng tỉi i sƠu vo trẳnh by chi tiát phữỡng phĂp chiáu gradient s³ dịng ð Ch÷ìng T i li»u tham kh£o chẵnh cho chữỡng ny l [2], [4] Chữỡng Bi toĂn hồc ở tữỡng tỹ Trong chữỡng ny, luên vôn tr¼nh b y nhúng chõ · kh¡i qu¡t v· b i to¡n håc ë t÷ìng tü Sau â, chóng tỉi i v o trẳnh by chi tiát bi toĂn Hồc ở tữỡng tỹ theo loÔt Cỏn mởt số chừ à rĐt thú v kh¡c nh÷ Håc ë t÷ìng tü online, Håc ë t÷ìng tỹ dỹa trản lỵ thuyát thổng tin  khổng th ữủc trẳnh by khuổn khờ cõ hÔn cừa luên vôn cụng nhữ sỹ hÔn chá và thới gian v nông lỹc Sau cũng, chữỡng ny trẳnh by phữỡng phĂp chiáu gradient cho Bi toĂn hồc ở tữỡng tỹ v vẵ dử số minh hồa cho phữỡng phĂp õ Chữỡng ny tham khÊo cĂc ti liằu [3], [5] Luên vôn ữủc hon thnh tÔi Trữớng Ôi hồc Khoa hồc - Ôi hồc ThĂi Nguyản Trong quĂ trẳnh hồc têp v thỹc hiằn luên vôn ny, Trữớng Ôi hồc Khoa hồc  tÔo mồi iÃu kiằn tốt nhĐt tĂc giÊ hồc têp, nghiản cựu TĂc giÊ xin ữủc by tọ lỏng biát ỡn chƠn thnh án cĂc thƯy, cổ khoa ToĂn - Tin, Trữớng Ôi hồc Khoa hồc - Ôi hồc ThĂi Nguyản c biằt, tĂc giÊ xin by tọ lỏng biát ỡn sƠu sưc tợi TS Nguyạn Thanh Sỡn - Ngữới  tên tẳnh hữợng dăn tĂc giÊ hon thnh luên vôn ny TĂc giÊ cụng xin ữủc gỷi lới cÊm ỡn tợi Ban giĂm hiằu trữớng THPT Nguyạn ông Ôo v têp th cĂc thƯy cổ giĂo tờ ToĂn-Tin cừa Trữớng  tÔo iÃu ki»n gióp ï t¡c gi£ thíi gian t¡c gi£ tham gia hồc cao hồc ThĂi Nguyản, thĂng 04 nôm 2019 TĂc giÊ luên vôn TrƯn Vôn Phữủng Chữỡng Bi toĂn tối ữu khổng gian hỳu hÔn chiÃu Nởi dung chẵnh cừa chữỡng ny l cĂc kián thực và tối ữu hõa Chúng tổi nhưc lÔi mởt c¡ch l÷đc c¡c kh¡i ni»m cì b£n cõa b i to¡n tèi ÷u v mët sè ph÷ìng ph¡p cho b i toĂn tối ữu bao gỗm bi toĂn khổng rng buởc v b i to¡n câ r ng bc Trong â, chóng tỉi i sƠu vo trẳnh by chi tiát phữỡng phĂp chiáu gradient s³ dịng ð Ch÷ìng T i li»u tham kh£o chẵnh cho chữỡng ny l [2], [4] 1.1 Sỡ lữủc và bi toĂn tối ữu Mửc ny s trẳnh by khĂi niằm, kát quÊ cỡ bÊn cõ cĂi nhẳn kh¡i qu¡t v· b i to¡n tèi ÷u 1.1.1 B i to¡n tối ữu Cho f : Rn R Tẳm cỹc tiºu àa ph÷ìng x∗ f (x∗ ) ≤ f (x), ∀x ∈ Ux∗ , â, U x∗ l l¥n cên a phữỡng no õ cừa f (x) x cõa f, ngh¾a l , (1.1.1) x∗ º ngn gån, ta vi¸t (1.1.2)