Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 62 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
62
Dung lượng
2,16 MB
Nội dung
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SỸ KHOA HỌC NGHIÊN CỨU MẠNG HỌC SÂU VÀ ỨNG DỤNG CHO BÀI TOÁN XÁC ĐỊNH HỆ SỐ CỦA PHƯƠNG TRÌNH PHẠM NHẬT DUY duy.pn211304m@sis.hust.edu.vn Ngành Tốn Tin Giảng viên hướng dẫn: TS Tạ Thị Thanh Mai Viện: Chữ kí GVHD Toán ứng dụng Tin học HÀ NỘI, 2022 123doc Mang Ln thay h■■ng l■im■i s■ cam tr■ h■u m■t k■t nghi■m t■im■t s■ cáwebsite nhân mang kho m■ith■ kinh m■ l■i d■n vi■n nh■ng cho doanh ■■u kh■ng ng■■i quy■n chia t■ th■c dùng, l■ s■l■i v■i hi■n t■t công h■n mua ngh■a nh■t 2.000.000 ngh■ báncho tài v■ hi■n ng■■i li■u c■a tài th■ hàng li■u dùng hi■n ■■u ■ thìt■t Khi ■■i, s■p Vi■t c■ khách b■n t■i, l■nh Nam ngh■a online hàng v■c: Táctr■ khơng v■ tài phong thành c■a khác chun c■a thành tíngì d■ng, hàng so nghi■p, viên v■i tri■u cơng c■a b■n hồn nhà ngh■ 123doc g■c bán h■o, thơng B■n hàng ■■ n■p có tin, l■i cao th■ ti■n ngo■i chuy■n tính phóng vào ng■, Khách trách tài giao to,kho■n nhi■m thu sang nh■ c■a ■■i ■■n hàng tùy123doc, v■i v■ ý cót■ng qu■n th■b■n d■ ng■■i lýChào dàng s■ dùng ■■■c m■ng tra c■u M■c h■■ng b■n tàitiêu li■u ■■n nh■ng hàng m■t v■i■■u quy■n cách 123doc c■a l■i123doc.net sau xác,n■p nhanh ti■n tr■ chóng thành website th■ vi■n tài li■u online l■n nh■t Vi■t Nam, cung c■p nh■ng tài li■u ■■c khơng th■ tìm th■y th■ tr■■ng ngo■i tr■ 123doc.net Nhi■u event thú v■, event ki■m ti■n thi■t th■c 123doc luôn t■o c■ h■i gia t■ng thu nh■p online cho t■t c■ thành viên c■a website Mangh■n Luôn Th■a Xu■t Sau Nhi■u 123doc Link h■■ng phát thu■n l■i event cam s■ nh■n xác m■t tr■ t■ h■u k■t s■ thú nghi■m t■i th■c ýxác n■m t■■ng m■t d■ng v■, s■ nh■n s■ website mang event kho m■i ■■■c ■■i, t■o tLink t■ th■ m■ l■i c■ng ki■m ■■ng d■n 123doc CH■P g■i vi■n xác nh■ng cho ■■u ■■ng ti■n v■ th■c h■ kh■ng ng■■i NH■N ■ã ■■a quy■n th■ng thi■t chia t■ng s■ ki■m dùng, l■ ch■ CÁC s■ ■■■c th■c s■ l■i b■■c v■i ti■n email chuy■n ■I■U t■t công h■n mua 123doc g■i online kh■ng nh■t b■n 2.000.000 v■ ngh■ bán KHO■N sang b■ng cho ■■a ■ã tài ■■nh hi■n ■■ng ng■■i li■u ph■n ch■ tài TH■A tài v■ th■ li■u hàng t■o email li■u thông ky, dùng tríhi■n THU■N hi■u c■ c■a b■n ■■u ■b■n tin t■t h■i Khi ■■i, qu■ vui Vi■t xác c■ ■ã khách gia lòng b■n nh■t, minh l■nh ■■ng Nam t■ng Chào ■■ng online hàng uy tài v■c: l■nh thu Tác m■ng ky, tín kho■n tr■ nh■p nh■p khơng b■n tài phong v■c cao thành b■n vui email nh■t tài email online oLink khác chuyên ■■n li■u lòng thành tínb■n Mong c■a xác cho d■ng, ■■ng v■i so nghi■p, viên th■c kinh ■ã t■t 123doc 123doc.net! v■i mu■n công ■■ng nh■p c■a c■ doanh s■ b■n vàcác hoàn mang ■■■c ngh■ 123doc click email ký g■c online thành v■i h■o, Chúng vào l■i thông B■n g■i c■a 123doc.netLink CH■P cho viên linkí Tính ■■ v■ n■p có tơi tin, c■ng c■a cao ■■a th■ ■■n cung NH■N ti■n ngo■i tính website phóng ■■ng ch■ th■i click vào c■p CÁC ng■, Khách trách xác email tài ■i■m D■ch vào xã to,kho■n ■I■U th■c nhi■m h■i thu linkông l■nh b■n tháng V■ nh■ m■t s■ KHO■N c■a ■ã v■c (nh■ ■■i hàng ■■■c tin tùy ngu■n 5/2014; ■■ng 123doc, tài v■i xác ■■■c ý có li■u TH■A g■i t■ng minh th■ tài ky, 123doc v■ mô nguyên b■n b■n d■ ng■■i THU■N tài kinh ■■a t■ dàng kho■n s■ vui v■■t d■■i doanh tri dùng ■■■c ch■ lòng tra th■c m■c email ■ây) email c■u ■■ng Chào online M■c h■■ng quý 100.000 cho tài b■n b■n m■ng tiêu báu, nh■p li■u Tính b■n, ■ã nh■ng ■ã hàng phong m■t l■■t ■■n email ■■ng b■n tùy ■■ng ■■u quy■n cách truy thu■c ■■n th■i phú, c■a ký ky, c■a c■p v■i ■i■m v■i ■a l■i b■n vào 123doc.net m■i 123doc.netLink d■ng, 123doc.net! sau xác, vui tháng vàngày, n■p click lòng “■i■u nhanh giàu 5/2014; ti■n s■ vào ■■ng tr■ giá Kho■n Chúng chóng h■u linkc■a thành tr■ xác 123doc nh■p 2.000.000 website ■■ng th■c Th■a th■ website cung email v■■t s■ vi■n th■i Thu■n ■■■c c■p c■a thành mong m■c tài D■ch v■ li■u g■i viên 100.000 mu■n S■ online v■ V■ ■■ng D■ng click ■■a t■o (nh■ l■■t l■n ký, D■ch ■i■u vào ch■ nh■t ■■■c truy l■t link email ki■n V■” vào c■p Vi■t 123doc môtop sau cho b■n m■i Nam, t■200 ■ây d■■i cho ngày, ■ã cung các (sau ■■ng g■i ■ây) s■ website c■p users ■ây h■u ky, cho nh■ng ■■■c có b■n 2.000.000 b■n, ph■ thêm vui tài bi■n tùy g■i lòng thu li■u thu■c t■t thành nh■t nh■p ■■c ■■ng T■i vào t■i viên khơng t■ng Chính nh■p Vi■t ■■ng th■i “■i■u th■ Nam, email v■y ■i■m, ký, tìm t■ Kho■n c■a l■t 123doc.net th■y l■chúng vào tìm Th■a top ki■m tơi th■ 200 click Thu■n cóthu■c ■■i tr■■ng th■ vào nh■m website c■p v■ top link ngo■i S■ 3nh■t ■áp 123doc Google D■ng ph■ tr■ ■KTTSDDV ■ng 123doc.net bi■n ■ã D■ch Nh■n nhu g■i nh■t c■u V■” ■■■c theo t■i chia sau Vi■t quy■t danh ■ây s■ Nam, tài (sau hi■u li■u t■ ■ây ch■t l■c■ng ■■■c tìm l■■ng ki■m ■■ng g■i thu■c t■t bình ki■m T■i ch■n top ti■n t■ng Google online th■i website ■i■m, Nh■n ki■m chúng ■■■c ti■ntơi online danh có th■ hi■u hi■u c■p qu■ nh■t c■ng ■KTTSDDV uy ■■ng tín nh■t bình ch■n theo quy■t website ki■m ti■n online hi■u qu■ uy tín nh■t Lnh■n 123doc Sau Th■a Xu■t h■■ng phát thu■n cam nh■n m■t t■k■t s■ t■i ýxác n■m t■■ng d■ng s■ nh■n website mang ■■i, t■o t■l■i c■ng ■■ng d■n 123doc CH■P nh■ng ■■u ■■ng h■ NH■N ■ã quy■n th■ng chia t■ng ki■m CÁC s■s■ l■i b■■c ti■n vàchuy■n ■I■U t■t mua online kh■ng nh■t bán KHO■N sang b■ng cho ■■nh thay ng■■i ph■n tài TH■A vìv■ li■u m■i thơng dùng tríTHU■N hi■u m■t c■atin Khi qu■ cá xác khách nhân nh■t, minh Chào kinh hàng uy tài l■nh m■ng doanh tín kho■n tr■ v■c cao thành b■n t■ email nh■t tàith■c ■■n li■u thành b■n Mong hi■n v■i viên kinh ■ã 123doc 123doc.net! mu■n ngh■a ■■ng c■a doanh mang 123doc v■ kýonline c■a v■i Chúng l■ivà 123doc.netLink cho Tính n■p tơi c■ng ■■n cung ti■n s■p ■■ng th■i vào c■p t■i, xác tài ■i■m D■ch xã ngh■a kho■n th■c h■itháng V■ m■t s■ v■ c■a (nh■ ■■■c c■a ngu■n 5/2014; 123doc, ■■■c c■a g■i tài 123doc hàng v■ mô nguyên b■n■■a t■ tri■u s■ v■■t d■■i tri ■■■c ch■ nhà th■c m■c ■ây) email bán h■■ng quý 100.000 cho hàng b■n báu, b■n, nh■ng l■i ■ã phong l■■t chuy■n tùy ■■ng quy■n truy thu■c phú, ky, c■p giao ■a l■i b■n vào m■i sang d■ng, sau vuingày, n■p ■■n lòng “■i■u giàu ti■n s■ ■■ng v■ giá Kho■n h■u qu■n tr■ nh■p 2.000.000 website ■■ng Th■a lý hoàn email th■i Thu■n h■o, c■a thành mong v■ ■■ viên mu■n S■ cao ■■ng D■ng tính click t■otrách ký, D■ch ■i■u vàol■t link nhi■m ki■n V■” vào 123doc top sau cho ■■i 200 ■ây cho v■i ■ãcác (sau g■i t■ng website users ■ây ng■■i ■■■c cóph■ dùng thêm bi■n g■i thu M■c t■t nh■t nh■p T■i tiêu t■i t■ng hàng Chính Vi■tth■i ■■u Nam, v■y ■i■m, c■a t■123doc.net l■ 123doc.net chúng tìm ki■m tơiracó tr■ thu■c ■■i th■ thành nh■m c■p topth■ 3nh■t ■áp Google vi■n ■KTTSDDV ■ng tàiNh■n nhu li■uc■u online ■■■c theo chia l■n quy■t danh s■nh■t tài hi■u li■u Vi■t ch■t Nam, c■ng l■■ng cung ■■ng c■p bình ki■m nh■ng ch■n ti■ntài online website li■u ■■cki■m khơng ti■n th■ online tìm th■y hi■utrên qu■th■ tr■■ng uy tín nh■t ngo■i tr■ 123doc.net Ln Th■a Xu■t Sau Nhi■u 123doc Mang thayh■n h■■ng phát thu■n l■i event m■i cam s■ nh■n m■t tr■ t■ h■u m■t k■t s■ thú nghi■m t■i ýxác n■m t■■ng m■t d■ng v■, s■ cá nh■n website nhân mang event kho m■i ■■i, t■o t■ th■ kinh m■ l■i c■ng ki■m ■■ng d■n 123doc CH■P vi■n nh■ng cho doanh ■■u ■■ng ti■n h■ kh■ng ng■■i NH■N ■ã quy■n th■ng thi■t chia t■t■ng ki■m th■c dùng, l■ CÁC s■ th■c s■ l■i b■■c v■i ti■n hi■n chuy■n ■I■U t■t công h■n mua 123doc online kh■ng ngh■a nh■t 2.000.000 ngh■ bán KHO■N sang b■ng cho tài ■■nh v■ hi■n ng■■i li■u ph■n c■a tài TH■A tài v■ th■ li■u hàng t■o li■u thơng dùng tríhi■n THU■N hi■u c■ c■a ■■u ■ thìtin t■t h■i Khi ■■i, qu■ s■p Vi■t xác c■ khách gia b■n t■i, nh■t, minh l■nh Nam t■ng Chào ngh■a online hàng uy tài v■c: l■nh thu Tác m■ng tín kho■n tr■ nh■p khơng v■ tài phong v■c cao thành b■n c■a email nh■t tài online khác chuyên ■■n c■a li■u thành tínb■n Mong cho d■ng, hàng v■i so nghi■p, viên kinh ■ã t■t 123doc 123doc.net! v■i mu■n tri■u cơng ■■ng c■a c■ doanh b■n hồn nhà mang ngh■ 123doc ký g■c online thành bán v■i h■o, Chúng l■i thơng B■n hàng 123doc.netLink cho viên Tính ■■ n■p có tơi tin, c■ng l■i c■a cao th■ ■■n cung ti■n ngo■i chuy■n tính website phóng ■■ng th■i vào c■p ng■, Khách trách xác tài ■i■m D■ch giao xã to,kho■n th■c nhi■m h■i thu sang tháng V■ nh■ m■t s■ c■a (nh■ ■■i ■■n hàng ■■■c tùy ngu■n 5/2014; 123doc, v■i v■ ■■■c ý cóg■i t■ng qu■n th■ tài 123doc v■ mô nguyên b■n d■ ng■■i lý, ■■a t■ dàng s■ công v■■t d■■i tri dùng ■■■c ch■ tra th■c ngh■ m■c ■ây) email c■u M■c h■■ng quý hi■n 100.000 cho tài b■n tiêu báu, li■u b■n, th■ nh■ng ■ã hàng phong m■t l■■t hi■n tùy ■■ng ■■u quy■n cách truy thu■c ■■i, phú, ky, c■a c■p ■a b■n l■i b■n vào 123doc.net m■i d■ng, sau online xác, vuingày, n■p lịng “■i■u nhanh giàu khơng ti■n s■ ■■ng tr■ giá Kho■n chóng h■u khác thành tr■ nh■p 2.000.000 website ■■ng Th■a gìth■ so email vi■n th■i v■i Thu■n c■a thành b■n mong tài v■ li■u g■c viên mu■n S■ online B■n ■■ng D■ng click t■o l■n cóký, D■ch ■i■u vào th■ nh■t l■t link phóng ki■n V■” vào Vi■t 123doc top sau cho to, Nam, 200 thu ■ây cho ■ã cung nh■ các (sau g■iwebsite tùy c■p users ■ây ý.nh■ng ■■■c cóph■ thêm tài bi■n g■i thu li■u t■t nh■t nh■p ■■c T■it■i khơng t■ng Chính Vi■tth■i th■ Nam, v■y ■i■m, tìm t■123doc.net th■y l■chúng tìm ki■m tơi th■ racóthu■c ■■i tr■■ng th■nh■m c■p top ngo■i 3nh■t ■áp Google tr■ ■KTTSDDV ■ng 123doc.net Nh■n nhu c■u ■■■c theo chiaquy■t danh s■ tài hi■u li■udo ch■t c■ng l■■ng ■■ng vàbình ki■mch■n ti■n online website ki■m ti■n online hi■u qu■ uy tín nh■t Chia m■t u■t Nhi■u Mang Ln 123doc Th■a Xu■t Sau tri■n phát h■n member s■ h■■ng phát khai thu■n l■i event s■ cam nh■n câu t■ m■t tr■ t■ event h■u ýk■t s■ chuy■n thú nghi■m t■i ýkhông t■■ng xác n■m t■■ng m■t d■ng v■, khuy■n s■ nh■n website mang m■y event t■o kho thành m■i ■■i, t■o t■ c■ng th■ n■i m■ l■i c■ng ki■m ■■ng d■n công 123doc CH■P th■ vi■n b■t nh■ng cho ■■ng ■■u ■■ng ti■n n■p h■ c■a kh■ng ng■■i NH■N ■ã quy■n th■ng 123doc thi■t chia ki■m v■i c■ng t■ng ki■m dùng, l■ CÁC s■ nh■ng th■c ti■n s■ l■i b■■c ■■ng v■i ti■n -và ki■m chuy■n ■I■U t■t công online h■n mua 123doc online ■u kh■ng 123doc nh■t 5■ãi 2.000.000 ngh■ bán KHO■N tri■u b■ng sang b■ng cho c■c tài ■■nh ■ã hi■n ch■ tài ng■■i li■u ph■n k■ tài TH■A xu■t li■u tài v■ v■i th■ li■u h■p hàng t■o li■u thông s■c dùng trí hi■u 7hi■n THU■N hi■u d■n tài c■ c■a ■■u ■■■ng li■u! tin qu■ t■t h■i Khi ■■i, qu■ ■■ng Vi■t xác c■ khách gia nh■t, Nghe b■n nh■t, minh l■nh Nam t■ng Chào b■online có uy hàng danh l■ uy tài v■c: l■nh thu Tác v■ tín m■ng nhé, tín kho■n tr■ sách cao nh■p khó khơng tài phong v■c cao tr■■c thành b■n nh■t tin Top email nh■t tài online khác nh■ng chuyên ■■n li■u tiên thành danh tín Mong b■n Mong cho d■ng, v■i ■ây so thu nghi■p, viên kinh ■ã mu■n t■t 123doc 123doc.net! v■i mu■n cao công ■■ng c■a c■ doanh b■n nh■t mang tìm hồn mang ngh■ 123doc s■ ký g■c hi■u online thành tháng v■i l■i hoàn h■o, Chúng l■i thơng B■n thơng cho 123doc.netLink cho viên t■o tồn Tính ■■ n■p có c■ng tơi tin, c■ng tin c■ c■a cao th■ ■■n cung ti■n ngo■i v■ h■i ■■ng tính website phóng ■■ng Khách th■i vào c■p xác gia ng■, Khách trách xác xã tài t■ng ■i■m mà D■ch xã to, hàng h■i kho■n th■c nhi■m h■i BQT thu thu m■t tháng V■ có nh■ m■t s■ nh■p 123doc c■a th■ (nh■ ■■i hàng ngu■n ■■■c tùy ngu■n 5/2014; 123doc, d■ v■i online ■■■c ý có ■ã dàng tài g■i t■ng th■ tài thu 123doc nguyên cho v■ mô nguyên b■n tra d■ ng■■i th■p t■t ■■a t■ c■u dàng s■ v■■t tri d■■i c■ ■■■c tri dùng ■■■c ch■ tài th■c tra th■c m■c li■u ■ây) email c■u sau thành quý M■c h■■ng quý m■t 100.000 cho ■■t tài báu, b■n tiêu báu, viên li■u cách b■n, t■ng nh■ng phong ■ã hàng phong c■a m■t l■■t tùy ■■ng k■t ■■u website phú, quy■n cách truy thu■c phú, doanh xác, ky, c■a c■p ■a ■a nhanh l■i b■n vào d■ng, thu 123doc.net m■i d■ng, sau xác, vui tháng chóng ngày, n■p giàu lịng “■i■u nhanh giàu 11 ti■n giá s■ ■■ng tr■ giá uy Kho■n chóng h■u tr■ tín thành tr■ nh■p ■■ng cao 2.000.000 website ■■ng Th■a th■ nh■t email th■i vi■n th■i Thu■n Mong mong c■a thành mong tài v■ li■u mu■n mu■n viên mu■n S■ online ■■ng D■ng mang t■o click t■o l■n ■i■u ký, D■ch ■i■u vào l■i nh■t l■t cho link ki■n ki■n V■” vào Vi■t c■ng 123doc cho top sau cho Nam, ■■ng cho 200 ■ây cho ■ã cung các (sau g■i xãusers website h■i c■p users ■ây m■t nh■ng có ■■■c cóph■ thêm ngu■n thêm tài bi■n g■i thu thu li■u tài t■t nh■p nh■t nh■p ngun ■■c T■it■i Chính khơng t■ng Chính Vi■t tri th■c th■i vìth■ Nam, vìv■y v■y q ■i■m, tìm 123doc.net t■123doc.net báu, th■y l■chúng tìm phong ki■m tơi th■ phú, có ■■i thu■c ■■i tr■■ng th■ ■Sau nh■m nh■m c■p top ngo■i h■n ■áp 3nh■t ■áp Google m■t ■ng tr■ ■KTTSDDV ■ng 123doc.net n■m nhu Nh■n nhuc■u rac■u ■■i, ■■■c chia theo chia 123doc s■ quy■t danh s■tàitài hi■u li■u ■ã li■u t■ng ch■t ch■t c■ng b■■c l■■ng l■■ng ■■ng kh■ng vàvàki■m bình ki■m ■■nh ch■n ti■n ti■n v■ online online tríwebsite c■a ki■m ti■nl■nh online v■c hi■u tài li■u qu■và vàkinh uy tín doanh nh■t.online Nhi■u Mang Ln 123doc Th■a Xu■t Sau h■n h■■ng phát thu■n l■i event s■ cam nh■n m■t tr■ t■ h■u k■t s■ thú nghi■m t■i ýxác n■m t■■ng m■t d■ng v■, s■ nh■n website mang event kho m■i ■■i, t■o t■ th■ m■ l■i c■ng ki■m ■■ng d■n 123doc CH■P vi■n nh■ng cho ■■u ■■ng ti■n h■ kh■ng ng■■i NH■N ■ã quy■n th■ng thi■t chia t■ng ki■m dùng, l■ CÁC s■ th■c s■ l■i b■■c v■i ti■n vàchuy■n ■I■U t■t công h■n mua 123doc online kh■ng nh■t 2.000.000 ngh■ bán KHO■N sang b■ng cho tài ■■nh hi■n ng■■i li■u ph■n tài TH■A tài v■ th■ li■u hàng t■o li■u thơng dùng tríhi■n THU■N hi■u c■ c■a ■■u ■ tin t■t h■i Khi ■■i, qu■ Vi■t xác c■ khách gia b■n nh■t, minh l■nh Nam t■ng Chào online hàng uy tài v■c: l■nh thu Tác m■ng tín kho■n tr■ nh■p không tài phong v■c cao thành b■n email nh■t tài online khác chuyên ■■n li■u thành tínb■n Mong cho d■ng, v■i so nghi■p, viên kinh ■ã t■t 123doc 123doc.net! v■i mu■n công ■■ng c■a c■ doanh b■n hoàn mang ngh■ 123doc ký g■c online thành v■i h■o, Chúng l■i thông B■n 123doc.netLink cho viên Tính ■■ n■p có tơi tin, c■ng c■a cao th■ ■■n cung ti■n ngo■i tính website phóng ■■ng th■i c■p thay ng■, Khách trách xác ■i■m D■ch xã to, th■c nhi■m m■i h■i thutháng V■ nh■ m■t s■(nh■ ■■i hàng ■■■c tùy ngu■n 5/2014; cáv■i nhân ■■■c ý cóg■i t■ng th■ tài 123doc kinh v■ mơ ngun d■ ng■■i doanh ■■a t■ dàng v■■t d■■i tri dùng ch■ t■ tra th■c m■c ■ây) th■c email c■u M■c quý 100.000 cho tài hi■n b■n tiêu báu, li■u b■n, ngh■a ■ã hàng phong m■t l■■t tùy ■■ng ■■u cách truy v■ thu■c phú, ky, c■a c■a c■p ■a b■n vào 123doc.net m■i d■ng, xác, vuingày, lòng “■i■u nhanh giàu s■p s■ ■■ng tr■ giá t■i, Kho■n chóng h■u thành tr■ ngh■a nh■p 2.000.000 ■■ng Th■a th■ email v■vi■n th■i Thu■n c■a c■a thành mong tài c■a v■ li■u viên hàng mu■n S■ online ■■ng D■ng tri■u click t■o l■n ký, D■ch ■i■u vào nhà nh■t l■t link bán ki■n V■” vào Vi■t 123doc hàng top sau cho Nam, 200 l■i ■ây cho ■ã chuy■n cung các (sau g■iwebsite c■p users ■ây giao nh■ng ■■■c cósang ph■ thêm tài bi■n g■i ■■n thu li■u t■t nh■t v■ nh■p ■■c T■i qu■n t■i không t■ng Chính Vi■t lý th■i quy■n th■ Nam, v■y ■i■m, tìm l■i t■123doc.net th■y l■ sau chúng tìm n■p ki■m tơi th■ ti■n racóthu■c ■■i tr■■ng th■nh■m c■p website top ngo■i 3nh■t ■áp Google tr■ ■KTTSDDV ■ng 123doc.net Nh■n nhu c■u ■■■c theo chiaquy■t danh s■ tài hi■u li■udo ch■t c■ng l■■ng ■■ng vàbình ki■mch■n ti■n online website ki■m ti■n online hi■u qu■ uy tín nh■t luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Lời cam đoan Tơi xin cam đoan nội dung trình bày luận văn trung thực Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thông tin trích dẫn luận văn rõ nguồn gốc Hà Nội, ngày 31 tháng 07 năm 2022 Xác nhận người hướng dẫn khoa học Học viên TS TẠ THỊ THANH MAI PHẠM NHẬT DUY luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Lời cảm ơn Để thực hồn thành luận văn này, tơi nhận hướng dẫn nhiệt tình q Thầy Cơ, động viên ủng hộ gia đình bạn bè suốt thời gian qua Trước hết, xin trân trọng cảm ơn nhiệt tình tạo điều kiện giúp đỡ Viện Toán ứng dụng Tin học, Phòng đào tạo sau đại học Trường Đại học Bách khoa Hà Nội Tôi xin chân thành bày tỏ lòng biết ơn sâu sắc đến TS Tạ Thị Thanh Mai, giảng viên Viện Toán ứng dụng Tin học, Trường Đại học Bách khoa Hà Nội Cô tận tình dành nhiều thời gian tâm huyết hướng dẫn nghiên cứu suốt trình thực đề tài Cơ tận tình giảng dạy, khích lệ, động viên tơi vượt qua khó khăn q trình nghiên cứu Cơ có có góp ý quan trọng cho tơi suốt q trình nghiên cứu để tơi hồn thiện luận văn Cuối cùng, xin chân thành cảm ơn gia đình bạn bè, ln tạo điều kiện, quan tâm, giúp đỡ, động viên tơi suốt q trình học tập hoàn thành luận văn luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Tóm tắt nội dung luận văn Giới thiệu mạng học sâu thuật toán tối ưu thường sử dụng với mơ hình mạng Trình bày cách áp dụng mơ hình mạng học sâu việc giải xấp xỉ phương trình đạo hàm riêng Đề xuất hai phương pháp để giải hai dạng toán việc xác định hệ số phương trình đạo hàm riêng dựa cơng cụ mạng học sâu, áp dụng vào lớp tốn cụ thể đưa ví dụ số nhằm minh họa cho thuật toán đề xuất từ đơn giản đến phức tạp Học viên Phạm Nhật Duy luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Mục lục Lời cam đoan Lời cảm ơn Mục lục Danh mục ký hiệu, chữ viết tắt Danh sách hình vẽ MỞ ĐẦU Cơ sở lý thuyết 1.1 1.2 12 Các thuật toán tối ưu mạng nơ-ron nhân tạo 12 1.1.1 Mạng nơ-ron nhân tạo 12 1.1.2 Thuật toán tối ưu dựa đạo hàm cấp 15 1.1.3 Các thuật toán dựa đạo hàm cấp 18 Phương pháp giải xấp xỉ phương trình đạo hàm riêng mạng học sâu 21 1.2.1 Tiền xử lý liệu 21 1.2.2 Phương pháp giải 22 Phương pháp xác định hệ số phương trình đạo hàm riêng mạng học sâu 2.1 26 Phương pháp tham số hóa 27 2.1.1 λ hệ số phương trình 27 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 2.1.2 2.2 λ giá trị chưa biết điều kiện đầu 30 Xấp xỉ hệ số mạng học sâu 35 2.2.1 Sử dụng mạng học sâu xấp xỉ hệ số nghiệm 35 2.2.2 Kết hợp với phương pháp khác 37 Các ví dụ kết số 3.1 40 Bài toán 40 3.1.1 Phương trình Poisson 40 3.1.2 Phương trình Navier-Stokes 42 3.1.3 Phương trình Black-Scholes nhiều chiều với mơ hình định giá 43 3.2 Bài toán 48 3.2.1 Phương trình Stefan 48 3.2.2 Phương trình khuếch tán 52 KẾT LUẬN 55 Tài liệu tham khảo 56 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Danh mục ký hiệu, chữ viết tắt R tập số thực RN không gian Euclid N chiều x ∈C x thuộc tập C ▽ f (x) gradient hàm f điểm x ∆ f (x) toán tử Laplace hàm f điểm x ∂f ∂x đạo hàm riêng hàm f với biến x ∀x với x PDEs phương trình đạo hàm riêng (partial differential equations) BSDEs phương trình vi phân ngẫu nhiên ngược (backward stochastic differential equations - BSDEs) PINNs mạng nơ-ron thông tin vật lý (physics informed neural networks) ANN mạng nơ-ron nhân tạo (artificial neural networks) luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Danh sách hình vẽ 1.1 Mạng nơ-ron truyền thẳng nhiều lớp (Feed-forward neural network) 13 1.2 Phân bố liệu miền Ω: điểm miền điểm biên 22 1.3 Mơ hình mạng PDEs 24 2.1 Kiến trúc mạng học sâu xấp xỉ u(t = 0, x = X0 ) 33 3.1 Xấp xỉ tham số λ phương trình Poisson mạng học sâu qua bước lặp 42 3.2 Xấp xỉ tham số λ phương trình Navier-Stokes mạng học sâu qua bước lặp 43 3.3 Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.02 44 3.4 Xấp xỉ u(t = 0, x = 0.5) qua vòng lặp với µ = 0.2 45 3.5 Xấp xỉ u(t = 0, x = [100, 100, , 100]) qua vòng lặp 47 3.6 (a) Xấp xỉ hàm u(x,t) mạng học sâu, (b) Hàm u(x,t) biểu diễn qua cơng thức nghiệm xác 50 3.7 (a) Xấp xỉ hàm u(x,t) mạng học sâu, (b) Hàm u(x,t) biểu diễn qua công thức nghiệm xác (góc khác) 51 3.8 Xấp xỉ hàm s(t) mạng học sâu nghiệm xác 51 3.9 Xấp xỉ hàm c(x) mạng học sâu nghiệm xác 53 3.10 (a) Xấp xỉ hàm f (x,t) mạng học sâu, (b) Hàm f (x,t) biểu diễn qua công thức nghiệm xác 54 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep MỞ ĐẦU Mô tả quy luật vận hành trình phát triển tượng tự nhiên toán nhiều nhà nghiên cứu quan tâm có nhiều phương pháp tiến hành, khơng thể khơng kể đến phương pháp mơ hình phương trình tốn học Có hai tốn mà mơ hình cần quan tâm, toán mà biết xác tham số dạng phương trình cần tìm nghiệm hay cịn gọi tốn thuận, ngược lại tốn có thiếu hụt kiện hay tham số phương trình chưa biết cần phải có hỗ trợ số điểm quan sát gọi toán ngược toán phổ biến nhiều lĩnh vực áp dụng khoa học kỹ thuật Do đó, phương pháp giải cho toán ngược ngày đào sâu nghiên cứu phát triển rộng rãi Đề tài luận văn tập trung vào việc giới thiệu phương pháp giải số nhằm xác định hế số cho phương trình đạo hàm riêng dựa mơ hình mạng học sâu quan tâm năm gần Mạng học sâu nhận quan tâm chưa có vài năm qua, xứng đáng vậy, đưa giải pháp mang tính đột phá nhiều lĩnh vực khoa học đa dạng [20][22][21][1] Mặc dù thành công liên tục, tồn nhiều ứng dụng khoa học chưa hưởng lợi từ công nghệ chủ yếu chi phí thu thập liệu cao Ai biết công cụ máy học đại (ví dụ: mạng truyền thẳng, mạng tích chập, mạng hồi quy ) thiếu mạnh mẽ không cung cấp đảm bảo hội tụ hoạt động trường hợp liệu nhỏ, tức trường hợp mà liệu đào tạo có sẵn Trong nghiên cứu Raissi năm 2017 [34], tác giả giới thiệu mạng nơron thông tin vật lý (Physics informed neural networks - PINNs) giải luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 10 pháp khả thi để đào tạo mạng nơ-ron học sâu xấp xỉ nghiệm phương trình đạo hàm riêng (Partial differential equations - PDEs) với số lượng hạn chế liệu, trường hợp liệu đào tạo sẵn có nhỏ tuân theo định luật vật lý định mơ tả hệ phương trình đạo hàm riêng Những trường hợp có nhiều việc nghiên cứu hệ thống vật lý, sinh học kỹ thuật, nơi mà phát triển lâu dài vật lý tốn học làm sáng tỏ nhìn sâu sắc cách hệ thống cấu trúc, tương tác phát triển theo thời gian Nghiên cứu cách mà kiến thức quy luật vật lý giới thiệu cấu trúc giúp điều chỉnh hiệu việc đào tạo mạng nơ-ron cho phép chúng khái quát hóa tốt có vài ví dụ đào tạo Thơng qua tốn khác nhau, Raissi làm bật đặc điểm mạng nơ-ron thông tin vật lý PINNs việc xấp xỉ nghiệm phương trình đạo hàm riêng theo hướng liệu đặc biệt mạng học sâu [33][31] Dựa vào sở hình thành từ việc xấp xỉ nghiệm phương trình đạo hàm riêng mạng học sâu, phần thứ hai nghiên cứu [35], Raissi tập trung vào vấn đề khám phá theo hướng liệu tham số phương trình đạo hàm riêng [30][32][36] Ta xét phương trình đạo hàm riêng có tham số phi tuyến tính dạng tổng quát ut + L(u, λ ) = 0, x ∈ Ω,t ∈ [0, T ], u(t, x) biểu thị nghiệm, L(u, λ ) tốn tử phi tuyến tham số hóa λ , Ω tập Rn với n ∈ N số chiều Thiết lập bao gồm loạt ràng buộc vật lý bao gồm định luật bảo tồn, q trình khuếch tán, hệ phản ứng đối lưu-khuếch tán phương trình động học, Lấy ví dụ cụ thể phương trình chiều Burgers [2] tương ứng với trường hợp L(u, λ ) = λ1 uux − λ2 uxx λ = (λ1 , λ2 ) Ở đây, số phụ biểu thị đạo hàm phần theo thời gian không gian Vấn đề xấp xỉ tham số phương trình đạo hàm riêng theo hướng liệu đặt toán: Với tập hợp nhỏ quan sát phân tán có khả nhiễu trạng thái ẩn (nghiệm) u(t, x) hệ phương trình đạo hàm riêng, ta cần tìm tham số λ mô tả tốt liệu quan sát được, nội dung mà đề tài luận văn tập luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 34 Có ba loại kết nối mạng này: Xtn → φn (θn ) → Ztn mạng nơ-ron truyền thẳng nhiều lớp với nối tắt (ResNet) thời điểm t = tn Trọng số mạng tham số mà ta hướng tới để tối ưu hóa, mạng sử dụng hàm kích hoạt ReLU (Xtn ,Ytn , Ztn , ∆Wn ) → Xtn+1 phép lặp chuyển tiếp cho đầu cuối mạng dạng xấp xỉ u(tN , XtN ) Khơng có tham số tối ưu hóa thành phần kết nối (Xtn , ∆Wn ) → Xtn+1 coi thành phần liệu huấn luyện mạng, kết nối khối thời điểm khác Cũng khơng có tham số tối ưu hóa thành phần kết nối Thuật toán Mạng học sâu xấp xỉ nghiệm t0 = 0, x = Xt0 phương trình 2.3 1: Đầu vào: Xt0 2: Đầu ra: u(t ˆ , Xt0 ) 3: Bước 1: Khởi tạo Yt0 = u(0, X0 ) = 0, Zt0 = σ T (0, Xt0 )▽u(0, Xt0 ) = 0, θ 4: Bước 2: Sinh liệu cho mơ hình: Theo cơng thức 2.8: Xt0 → {Xtn , ∆tn , ∆Wn }Nn=0 (M liệu) 5: Bước 3: Với {Xtn , ∆tn , ∆Wn }Nn=0 M bộ: Theo công thức 2.9: Xt0 ,Yt0 , Zt0 , ∆W0 , ∆t0 → Yt1 Mạng thứ nhất: Xt1 → Zt1 Theo công thức 2.9: Xt1 ,Yt1 , Zt1 , ∆W1 , ∆t1 → Yt2 Mạng thứ N − 1: XtN−1 → ZtN−1 Theo công thức 2.9: XtN−1 ,YtN−1 , ZtN−1 , ∆WN−1 , ∆tN−1 → YtN 6: Bước 4: Tính hàm tổn thất cho M liệu Loss = 7: N−1 M |g(XtiN ) −YtiN |2 +λ ∑ |θi |2 ∑ M i=1 i=1 Bước 5: Cập nhật tham số Yt0 , Zt0 , θ mơ hình mạng học sâu cách sử dụng trình tối ưu hóa dựa gradient SGD, Adam, để làm giảm hàm tổn thất (Loss) 8: Bước 6: Quay lại bước giá trị hàm tổn thất nhỏ ε cho trước đạt tới số vòng lặp tối đa Tại bước 1, ta khởi tạo giá trị ban đầu Yt0 Zt0 , giá trị khởi tạo điểm khởi đầu để mơ hình bắt đầu q trình tối ưu hóa (giá trị khởi tạo luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 35 xa giá trị q trình hội tụ thuật tốn cần nhiều bước lặp thời gian) Đồng thời hai biến Yt0 Zt0 coi tham số mơ hình tham gia vào q trình tối ưu hóa (được cập nhật bước lặp với tham số θ mơ hình) Ở bước lặp thuật tốn phương trình 2.8 ta sinh ngẫu nhiên M {Xtn , ∆tn , ∆Wn }Nn=0 đóng vai trị làm liệu cho q trình huấn luyện mơ hình mạng học sâu Đưa liệu vào mơ hình để thu đầu YtN so sánh với giá trị g(XtN ) biết để tính hàm tổn thất, sau đưa vào trình tối ưu hóa để làm giảm hàm tổn thất cách cập nhật lại tham số θ ,Yt0 , Zt0 mơ hình Sau quay trở lại bước để bắt đầu vòng lặp mới, sinh liệu để bắt đầu q trình tính tốn qua mạng nơ-ron, tính hàm tổn thất cập nhật lại tham số mô hình đạt số vịng lặp tối đa 2.2 Xấp xỉ hệ số mạng học sâu Phương pháp giải lớp tốn có dạng toán nêu hệ số λ khơng cịn số mà hàm phụ thuộc vào điểm không thời gian (t, x) L(u(t, x), λ (t, x)) = f (t, x) (t, x) ∈ [0, T ] × Ω, Ω ⊂ Rd (2.11) Khi đó, ta xấp xỉ hàm λ (t, x) mạng nơ-ron nhân tạo NN(t, x, θ ) λ (t, x) ≈ NN(t, x, θ ) Ta xét phương pháp dùng • Xấp xỉ nghiệm u(t, x) hệ số λ (t, x) mạng học sâu • Xấp xỉ hệ số λ (t, x) mạng học sâu kết hợp với pương pháp giải số khác 2.2.1 Sử dụng mạng học sâu xấp xỉ hệ số nghiệm Với đầu vào điểm liệu nêu phần 2.1.1 {ti , xi , ui }Ni=1 , luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 36 ui giá trị quan sát nghiệm u điểm (ti , xi ) Sifan Wang cộng [39] sử dụng nhiều mạng học sâu để giải hệ phương trình đạo hàm riêng, theo ý tưởng ta xấp xỉ nghiệm u PDEs hàm λ mạng học sâu NNu (t, x, θ ) NNλ (t, x, β ) với NNu (t, x, θ ) = u(t, ˆ x) ≈ u(t, x), NN (t, x, β ) = λˆ (t, x) ≈ λ (t, x) λ Để đơn giản ta sử dụng NNu (t, x, θ ) NNλ (t, x, β ) mạng truyền thẳng mô tả phần 1.2.2 Đặt R := L(u(t, ˆ x), λˆ (t, x)) − f (t, x) Tiếp theo thành phần hàm mục tiêu toán hay gọi hàm tổn thất, ta chọn hàm tổn thất có dạng Loss = LossR + Lossu , N ˆ i , xi ), λˆ (ti , xi )) − f (t, x))2 , LossR = ∑ (L(u(t N i=1 N ˆ i , xi ) − ui )2 Lossu = ∑ (u(t N i=1 Tương tự tốn trước có liệu, mơ hình mạng hàm tổn thất, ta bắt đầu q trình tối ưu hóa hàm mục tiêu trình tối ưu dựa gradient Adam, L-BFGS, cập nhật trọng số mơ hình Thuật tốn tốn mơ tả sau luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 37 Thuật toán Xác định nghiệm hệ số PDEs nhiều mạng nơ-ron 1: Đầu vào: {ti , xi }Ni=1 2: Đầu ra: NNu (t, x, θ ) = u(t, ˆ x), NNλ (t, x, β ) = λˆ (t, x) 3: Khởi tạo: Khởi tạo tham số mô hình mạng θ , β 4: Bước 1: Lan truyền xuôi Đưa liệu {ti , xi }Ni=1 đầu vào mạng nơ-ron Thông qua mạng, tính tốn đầu u(t, ˆ x) λˆ (t, x) Áp dụng phương pháp "automatic differentiation", tính đạo hàm u(t, ˆ x) hàm liên quan ∂ uˆ ∂ uˆ ∂ uˆ ,···, , , ∂t ∂ x ∂ x2 R := L(u(t, ˆ x), λˆ (t, x)) − f (t, x) 5: Bước 2: Tính giá trị hàm tổn thất Loss = LossR + Lossu 6: Bước 3: Lan truyền ngược Cập nhật tham số θ β mơ hình mạng cách sử dụng thuật toán tối ưu hóa dựa gradient như: Adam, SGD, L-BFGS, để giảm thiểu hàm tổn thất 7: Bước 4: Quay lại bước giá trị hàm tổn thất nhỏ ε cho trước đạt tới số vòng lặp tối đa 2.2.2 Kết hợp với phương pháp khác Việc kết hợp mạng học sâu vào phương pháp giải số phương trình đạo hàm riêng nhắc đến nhiều nghiên cứu, có hai nghiên cứu bật • Kết hợp mạng nơ-ron với phương pháp sai phân hữu hạn • Kết hợp mạng nơ-ron với phương pháp phần tử hữu hạn Cách kết hợp với phương pháp phần tử hữu hạn Sebastian K.Mitusch [27] giới thiệu năm 2021, ý tưởng với phương pháp khác, tham số λ (t, x) xấp xỉ mạng học sâu NN(t, x, λ ), ta có giá trị xác định từ đầu mạng λˆ (t, x), ta sử dụng phương pháp phần tử hữu hạn để giải số nghiệm u điểm (t, x) PDEs u(t, ˆ x) ≈ u(t, x) luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 38 Các nghiệm xấp xỉ uˆ so sánh với quan sát u cho trước biết, đồng thời khoảng cách u uˆ lấy làm hàm tổn thất toán Mạng nơ-ron phương pháp sai phân hữu hạn Trong giới hạn luận văn, ta sâu vào phương pháp kết hợp mạng nơ-ron phương pháp sai phân hữu hạn Kailai Xu cộng [40] bước đầu triển khai ý tưởng việc áp dụng lược đồ giải số mạng học sâu cho phương trình đạo hàm riêng Tương tự ý tưởng trước hàm λ (t, x) xấp xỉ mạng học sâu NN(t, x, θ ), ta thường sử dụng mạng truyền thẳng Để áp dụng ý tưởng phương pháp sai phân hữu hạn, ta chọn lược đồ sai phân hữu hạn {F(ti , xi , ui ) = 0}Ni=1 phù hợp cho PDEs Do chưa biết tham số λ (t, x), nên coi tham số lược đồ F, dựa vào quan sát ui biết điểm (ti , xi ) ta thu hàm tổn thất thông qua việc tính tốn lược đồ sai phân hữu hạn N Loss = ∑ (F(ti , xi , ui , NN(ti , xi , θ )))2 N i=1 Việc tối ưu hóa hàm tổn thất (Loss) trình tối ưu hóa dựa gradient Adam, L-BFGS, cập nhật tham số mô hình mạng học sâu NN(t, x, θ ) Thuật tốn cho tốn mơ tả sau luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 39 Thuật toán Mạng nơ-ron nhân tạo với lược đồ sai phân hữu hạn xác định hệ số PDEs 1: Đầu vào: {ti , xi }Ni=1 2: Đầu ra: NN(t, x, θ ) = λˆ (t, x) ≈ λ (t, x) 3: Khởi tạo: Khởi tạo tham số mơ hình mạng θ 4: Bước 1: Lan truyền xuôi Đưa liệu {ti , xi }Ni=1 đầu vào mạng nơ-ron Thơng qua mạng, tính tốn đầu λˆ (t, x) 5: Bước 2: Tính giá trị hàm tổn thất Áp dụng lược đồ sai phân hữu hạn {F(ti , xi , ui , λˆ (ti , xi )) = 0}Ni=1 tính hàm tổn thất Loss = 6: N ∑ (F(ti , xi , ui , λˆ (ti , xi )))2 N i=1 Bước 3: Lan truyền ngược Cập nhật tham số θ mạng cách sử dụng thuật tốn tối ưu hóa dựa gradient như: Adam, SGD, L-BFGS, để giảm thiểu hàm tổn thất (Loss) 7: Bước 4: Quay lại bước giá trị hàm tổn thất nhỏ ε cho trước đạt tới số vòng lặp tối đa luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 40 Chương Các ví dụ kết số Trong đồ án này, ta sử dụng thuật toán Adam kết hợp với thuật tốn L-BFGS để tối ưu hóa tham số đào tạo Hàm kích hoạt chọn cho lớp ẩn hàm hyperbolic (tanh) Ta đào tạo mạng nơ-ron để giải lớp tốn tốn truyền nhiệt, tốn dịng chảy Navier-Stokes mơ hình định giá với phương trình BlackScholes Đối với tất toán này, ta biết giá trị nghiệm số quan sát từ ta tính sai số L2 để đo độ xác mạng nơ-ron áp dụng Gọi u∗ giá trị nghiệm biết uˆ giá trị gần với nghiệm u∗ , N lượng liệu, sau ta đo độ xác uˆ s 2 N ˆ i ) − u∗ (xi ) , L2 = ∑ u(x N i=1 {xi }Ni=1 tập hợp điểm xác định miền Ω toán Các kết chương chạy Google Colab sử dụng Python 3.6.7 Tensorflow 2.1 Mã nguồn, liệu kết số đăng https://github.com/duypham01/PDENet 3.1 3.1.1 Bài toán Phương trình Poisson Xét phương trình Poisson (truyền nhiệt dừng) hai chiều miền Ω −λ ∆u = f , (x, y) ∈ Ω, luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 41 với ∆u = ∂ 2u ∂ x2 + ∂∂ yu2 , Ω = [0, 1]2 f (x, y) = 2π sin(πx)sin(πy), có nghiệm giải tích trường hợp λ = u(x, y) = sin(πx)sin(πy) Ta sử dụng cơng thức nghiệm giải tích để sinh quan sát (giá trị u điểm cho trước) Mục tiêu tốn tìm hệ số λ ∈ R thỏa mãn phương trình toán cho trước số quan sát nghiệm u(x, y) Khơng gian Ω rời rạc hóa cách chia miền Ω thành lưới điểm {xi , yi , ui }Ni=1 , với = x1 < x2 < < xN = 1, = y1 < y2 < < yN = 1, ui = u(xi , yi ), N = 3000 Ta xấp xỉ nghiệm u mạng truyền thẳng NN(x, y, θ ) λ trọng số mơ hình mạng NN khởi tạo 0, NN(x, y, θ , λ ) ≈ u(x, y) Đặt R(x, y) := −∆NN(t, x, θ , λ ) − f ≈ −∆u − f Theo công thức hàm tổn thất nêu mục 2.1.1, ta có hàm tổn thất cho tốn Loss = N N (R(x , y )) + (NN(xi , yi , θ , λ ) − ui )2 i i ∑ ∑ N i=1 N i=1 Áp dụng thuật toán nêu chương 2.1.1, ta thu kết λˆ = 1.05 ≈ hàm tổn thất giảm 0.0032 với sai số nghiệm s N L2err = ∑ (ui − uˆi)2 = 0.042 N i=1 Đồ thị giá trị λ qua bước lặp biểu diễn hình 3.1 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 42 Hình 3.1: Xấp xỉ tham số λ phương trình Poisson mạng học sâu qua bước lặp 3.1.2 Phương trình Navier-Stokes Xét phương trình Navier-Stokes hai chiều phụ thuộc thời gian ∂u − λ ∆u + u · ∇u + ∇p = f ∂t ∇·u = [0, T ] × Ω, [0, T ] × Ω, với u = u(t, x, y) vận tốc, p = p(t, x, y) áp suất Trong toán cụ thể, Ω = [0, 1]2 , T = , f = f (t, x, y) = 0, u = (u(t, x, y), v(t, x, y)), (x, y) ∈ Ω Cơng thức nghiệm giải tích tốn u(t, x, y) = −cos(πx)sin(πy)e−2π v(t, x, y) = sin(πx)cos(πy)e−2π 2tλ 2tλ , , với λ = 0.01 công thức nghiệm giải tích Tương tự ví dụ trước, ta sử dụng cơng thức nghiệm giải tích để tính giá trị quan sát u v Với liệu đầu vào lưới điểm chia {ti , xi , yi , ui , vi }Ni=1 , ui = u(ti , xi , yi ), vi = v(ti , xi , yi ), N = 1000, phương trình hệ viết lại dạng ut − λ (uxx + uyy ) + uux + vuy + px = 0, vt − λ (vxx + vyy ) + uvx + vvy + py = 0, ux + vy = luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 43 Sử dụng mạng truyền thẳng NN(t, x, y, θ , λ ) = [u(t, ˆ x, y), v(t, ˆ x, y), p(t, ˆ x, y)]T ≈ [u(t, x, y), v(t, x, y), p(t, x, y)]T , đặt R1 := ut − λ (uˆxx + uˆyy ) + uˆuˆx + vˆuˆy + pˆx , R2 := vˆt − λ (vˆxx + vˆyy ) + uˆvˆx + vˆvˆy + pˆy , R3 := uˆx + vˆy = 0, hàm tổn thất có dạng N N N 2 Loss = ∑ (R1 ) + ∑ (R2 ) + ∑ (R3 )2 N i=1 N i=1 N i=1 + N N ( u(t ˆ , x , y ) − u ) + (v(t ˆ i , xi , yi ) − vi )2 i i i i ∑ ∑ N i=1 N i=1 Áp dụng thuật toán chương 2.1.1, ta thu kết λˆ = 0.009 ≈ 0.01 hàm tổn thất giảm 0.00006 với sai số nghiệm s N L2err = ∑ [(ui − uˆi)2 + (vi − vˆi)2] = 0.00277722 N i=1 Đồ thị giá trị λ qua bước lặp biểu diễn hình 3.2 Hình 3.2: Xấp xỉ tham số λ phương trình Navier-Stokes mạng học sâu qua bước lặp 3.1.3 Phương trình Black-Scholes nhiều chiều với mơ hình định giá Phương trình chiều Xét phương trình 2.3 với d = 1, x ∈ R, T −t 1 ut + σ x2 uxx + µxux + e [ cos(x)(1 + σ x2 ) + µxsin(x)] = 0, 2 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 44 σ = 1, µ = 0.02, T = Phương trình có nghiệm giải tích u(t, x) = e T −t cos(x), với quan sát u(t = T, x) biết, ta cần tìm điều kiện ban đầu tốn u(t = 0, x) Ta thấy dạng toán nêu chương 2.1.2, xét x = X0 với N = 50, ∆t = 0.02 ∆Wn ∼ N (0, ∆t), bước lặp sinh ngẫu nhiên 64 liệu Khi nghiệm xác t = u(t = 0, x = 0.5) = 1.447 Đồ thị u(t ˆ = 0, x = 0.5) xấp xỉ mơ hình mạng nơ-ron qua thuật toán nêu chương 2.1.2 biểu diễn qua hình sau Hình 3.3: Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.02 Hình 3.3 với đồ thị bên trái biểu diễn phụ thuộc u(t ˆ = 0, x = 0.5) hay Y0 vào số bước lặp với 50 bước thời gian cách tỷ lệ học (learning rate) 0.001 Mơ hình đạt sai số tương đối 0.2% sau 3000 bước lặp 13 phút với xấp xỉ Y0 = u(t ˆ = 0, x = 0.5) ≈ 1.450 Ta thấy thuật toán hội tụ đến giá trị gần u(t = 0, x = 0.5) ta khởi tạo giá trị ban đầu Y0 đâu Trong đồ thị bên trái hình 3.3 khởi tạo Y0 = 2.047 đồ thị bên phải hình 3.3 khởi tạo Y0 = −1.470 (trong trường hợp thuật toán hội tụ sau 4500 bước lặp 19 phút với xấp xỉ Y0 = u(t ˆ = 0, x = 0.5) ≈ 1.453) , hai trường hợp thuật toán hội tụ giá trị 1.447 Đối với trường hợp chiều thời gian tính tốn phương pháp lớn so sánh với phương pháp giải số phần tử hữu hạn (có thể giải phút) Tuy nhiên ta thấy thời luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 45 gian tính tốn tăng chậm kể số chiều tăng lên lớn ví dụ Hình 3.4: Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.2 Trong hình 3.4, ta thay µ = 0.2 thuật tốn sử dụng mạng truyền thẳng ý tưởng Jiequn Han cộng [11] lại gặp vấn đề hội tụ nghiệm, nghiệm hội tụ Y0 = 1.686 sau 3000 bước lặp nhiên không giảm thêm (đồ thị bên trái hình 3.4), sử dụng kiến trúc ResNet cải thiện để đưa giá trị gần Y0 = 1.450 (đồ thị bên phải hình 3.4) Phương trình Black-Scholes phi tuyến tính với rủi ro phá sản (Default Risk) Một vấn đề quan trọng giao dịch cơng cụ tài phái sinh (financial derivatives) định giá cách hợp lý Black Scholes [5] minh họa giá u cơng cụ tài phái sinh thỏa mãn phương trình PDEs parabolic, ngày gọi phương trình Black-Scholes Mơ hình Black-Scholes mở rộng để tính đến số yếu tố quan trọng thị trường thực, bao gồm trường hợp cổ phiếu gặp rủi ro toán, lãi suất vay cao lãi suất cho vay, mơ hình có tính đến chi phí giao dịch (các mơ hình đơn giản thường giả định chi phí giao dịch khơng đáng kể), có tính đến yếu tố bất định, [9][4] Điều khiến cho mơ hình định giá trở nên phi tuyến [4][6][11] Mơ hình Black-Scholes ban đầu khơng tính đến yếu tố bật rủi ro phá sản [6] đặc biệt, khủng hoảng tín dụng khủng hoảng nợ công châu Âu năm 2014 thể tầm quan trọng yếu tố luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 46 Để xem xét mơ hình có tính đến tồn yếu tố ảnh hưởng đến công cụ phái sinh, ta cần giải PDEs phi tuyến với số chiều lớn Tuy nhiên, thuật tốn định giá khơng thể giải vấn đề nói chung tồn kích thước số chiều Để chứng minh tính hiệu phương pháp dựa mạng học sâu, nghiên cứu trường hợp đặc biệt mơ hình định giá đệ quy (the recursive valuation model) với rủi ro phá sản [9][4] Chúng coi giá hợp lý (fair price) xác nhận quyền sở hữu “kiểu châu Âu” (European claim) dựa 100 tài sản (underlying assets) với điều kiện chưa xảy phá sản Khi xảy phá sản người phát hành xác nhận quyền sở hữu (claim’s issuer), người giữ xác nhận quyền sở hữu (claim’s holder) nhận phần nhỏ δ ∈ [0, 1) giá trị Ta coi giá trị 100 tài sản Xt0 không đổi sinh ngẫu nhiên giá trị Xtn ,∆Wn theo công thức 2.8, giá trị {Xtn , ∆Wn }N−1 n=1 mẫu, tập hợp mẫu đầu vào để huấn luyện mơ hình mạng học sâu hay chúng đóng vai trị liệu mơ hình mẫu thơng qua mạng nơ-ron đầu cuối xấp xỉ u(tN = T, XtN ), đầu so sánh với điều kiện cuối toán (u(T, x = XtN ) = g(x = XtN ) biết) nhằm mục đích tính giá trị hàm tổn thất để đưa vào q trình tối ưu hóa (q trình tối ưu hóa q trình ta làm giảm hàm tổn thất cách thay đổi tham số mơ hình theo hướng giảm gradient) Mơ hình mạng học sâu ví dụ đưa nhằm xấp xỉ Y0 = u(t = 0, x = Xt0 ) giá trị coi tham số mơ hình đồng thời tham gia vào q trình tối ưu hóa (tham số cập nhật sau vòng lặp đạt đến số vòng lặp tối đa giá trị hàm tổn thất nhỏ 10−3 ) Mỗi vịng lặp chúng tơi sinh ngẫu nhiên M mẫu dựa Xt0 đưa vào mạng nơ-ron để bắt đầu trình tối ưu hóa Khả phá sản mơ thời gian trình Poisson với cường độ Q, hàm giảm giá trị tại; tức là, khả xảy phá sản cao giá trị xác nhận quyền sở hữu (claim’s value) thấp Ta mơ hình hóa khả phá sản vào hàm f phương trình luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 47 2.3 sau f (t, x, u(t, x), σ T (t, x)▽u(t, x)) = −(1 − σ )Q(u(t, x))u(t, x) − Ru(t, x), [9], R lãi suất tài sản phi rủi ro (interest rate of the risk-free asset) Ta giả định giá tài sản (underlying asset price) di chuyển dạng chuyển động Brown chọn hàm cường độ Q làm hàm tuyến tính khúc giá trị với ba vùng vh < vl , γ h > γ l ) Q(y) = 1(−∞,vh ) (y)γ h + 1[vl ,∞) (y)γ h + 1[vh ,vl ) (y)[ γh − γl (y − vh ) + γ h ], h l v −v [4] Thay vào phương trình 2.3 ta phương trình Black – Scholes phi tuyến [0, T ] × R100 ut + µx.▽u + σ2 d 2∂ u |x | ∑ i ∂ x2 − (1 − δ )Q(u)u − Ru = i=1 i Ta chọn T = 1, σ = 23 , R = 0.02, µ = 0.02, σ = 0.2,vh = 50, vl = 70, γ h = 0.2, γ l = 0.02, điều kiện cuối g(x) = min{x1 , , x100 } với x = (x1 , , x100 ) ∈ R100 với N = 50, ∆t = 0.02 ∆Wn ∼ N (0, ∆t) Đồ thị u(t = 0, x = [100, 100, , 100]) xấp xỉ mơ hình mạng nơ-ron qua thuật toán (chương 2.1.2) biểu diễn qua hình sau Hình 3.5: Xấp xỉ u(t = 0, x = [100, 100, , 100]) qua vịng lặp Hình 3.5 với đồ thị bên trái biểu diễn phụ thuộc u(t = 0, x = [100, 100, , 100]) hay Y0 vào số bước lặp với 50 bước thời gian cách tỷ lệ học (learning rate) 0.001 Do tốn khơng có nghiệm giải tích trường hợp nên luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 48 ta so sánh sai số bước lặp liên tiếp đạt sai số tương đối 0.05% sau 6000 bước lặp 36 phút với xấp xỉ Y0 = u(t = 0, x = [100, 100, , 100]) ≈ 57.117 Ta thấy kể số chiều tăng từ lên đến 100 thời gian tính tốn tăng từ 13 phút lên 36 phút, với phương pháp truyền thống khác việc tăng số chiều dẫn đến tài ngun tính tốn khơng thể đáp ứng u cầu giải số độ phức tạp tính tốn tăng theo cấp số mũ Nghiệm gần t = 0, x = [100, 100, , 100] tính phương pháp Picard [10][14]: u(t = 0, x = [100, 100, , 100]) ≈ 57.300 thời gian 140 phút, lâu nhiều so sánh với thời gian 36 phút phương pháp sử dụng mạng học sâu Để so sánh, không tính đến rủi ro phá sản, nhận u(t = 0, x = [100, 100, , 100]) ≈ 60.616 (đồ thị bên phải hình 3.5) Trong trường hợp này, mơ hình trở thành tuyến tính giải phương pháp Monte Carlo đơn giản Tuy nhiên, việc bỏ qua rủi ro phá sản dẫn đến sai sót đáng kể việc định giá, minh họa Phương pháp dựa mạng học sâu cho phép kết hợp chặt chẽ rủi ro phá sản vào mơ hình định giá Điều làm cho đánh giá cơng cụ tài phái sinh với rủi ro thấp đáng kể cho bên liên quan xã hội 3.2 3.2.1 Bài tốn Phương trình Stefan Phương trình truyền nhiệt với biên thay đổi theo thời gian t Ta xét phương trình: ut − ∆u = (x,t) ∈ Ω = (0, s(t)) × (0, T ), với điều kiện ban đầu biên Neumann: u(x, 0) = u0 (x) x ∈ [0, s(0)], ux (0,t) = g(t) t ∈ [0, T ] luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep