Giải xấp xỉ phương trình đạo hàm riêng bằng deep learning

✁✂ ✄☎ ✆ TR NG ✝ I H C BÁCH KHOA HÀ N I LU✞N V✟N TH C S✠ ✡ ☛ ☞ ✌✍ ✎✏ Gi i x p x ph ng trình o hàm riêng b ng Deep Learning ✑ ✒ NGUY N LÂM TÙNG Tung.NL202889M@sis.hust.edu.vn Ngành Toán Tin ✓ ✙ ✔✕ ✖ Gi ng viên h Vi n: ng d n: ✗ ✘ ✚ ✛ TS T Th Thanh Mai ✜ Toán ng d ng Tin h c ✢ HÀ N I, 06/2021 ✣ ✤ Ch ký c a GVHD C✁NG HÒA XÃ H✁ I CH✂ NGH✄A VI☎T NAM Độ❝ ❧ậ♣ – T  – H✆nh ♣✝✞❝ B✟N XÁC NH✠N CH✡NH S☛A LU✠N V☞N THẠC S✌ H✍ tên tá❝ gi✎ ❧✏ận v✑n : ◆✒✏✓ễn ▲✔♠ ❚✕ng Đề tài luận văn: ●✖ải ①ấ♣ ①✗ ♣✝ương t✘✙nh ✚✆o hà♠ ✘✖r✛✒ ❜✜ng ❉✢✢♣ ▲✢✣✘✛✖✛✒✳ ❈✝✏✓ên ngành: Toán Tin ▼✤ s✥ ❙✦✧ ✷★✷★✷✩✩✾▼ Tác gi✪, Ng✫✬i h✫✭ng d✮n khoa h✯c H✰i ✱✲ng ch✴m lu✵n v✶n xác nh✵n tác gi✪ ✱ã s✸a ch✹a, b✺ sung lu✵n v✶n theo biên b✪n h✯p H✰i ✱✲ng ngày 21/07/2021 v✭i n✰i dung sau: Ch✻nh s✸a l✼i n✰i dung trang s✽ 12 v✿ x✴p x✻ hàm Ch✻nh s✸a l✼i th❀ t❁ tài li❂u tham kh✪ o cho ✱úng chuẩn Ngày ●✖❃❄ viên h❅❆ng d❇n tháng năm T❃❝ giả luận văn ❈❊❋ T❍❈❊ H■❏ ❑❖◆● Lời cam đoan Tôi, Nguyễn Lâm Tùng, cam đoan luận văn thạc sĩ với tiêu đề “Giải xấp xỉ phương trình đạo hàm riêng Deep learning” cơng trình nghiên cứu khoa học riêng tơi Tơi xin xác nhận rằng: • Luận văn thực chủ yếu chương trình Thạc sĩ Khoa học Tốn Tin Viện Toán ứng dụng Tin học, Đại học Bách Khoa Hà Nội • Bất kỳ nội dung luận văn sử dụng tài liệu khác nêu rõ ràng • Tất tài liệu sử dụng để tham khảo trích dẫn đầy đủ Ngồi trích dẫn đó, luận văn hồn tồn kết Chữ ký Đề tài luận văn Tên đề tài: "Giải xấp xỉ phương trình đạo hàm riêng Deep Learning", luận văn gồm ba chương: • Chương Tổng quan phương pháp giải tốn • Chương Kiến thức sở Deep Learning • Chương Giải số ví dụ phương trình đạo hàm riêng Deep Learning Ở chương một, tác giả trình bày cách tổng quan ý tưởng để giải phương trình đạo hàm riêng Deep Learning Chương hai, tác giả trình bày kiến thức sở liên quan đến Deep Learning đồng thời giải thích chi tiết thuật tốn áp dụng phổ biến phổ biến Chương ba tác giả trình bày việc áp dụng Deep Learning vào việc giải phương trình đạo hàm riêng Cụ thể bốn ví dụ bao gồm ví dụ phương trình tuyến tính khơng phụ thuộc thời gian, phương trình tuyến tính có phụ thuộc thời gian, phương trình phi tuyến khơng phụ thuộc thời gian phương trình phi tuyến có phụ thuộc thời gian Giảng viên hướng dẫn Ký ghi rõ họ tên Tóm tắt nội dung Luận văn trình bày việc giải phương trình đạo hàm riêng phương pháp Deep Learning Mạng nơ-ron xấp xỉ tốt hàm số liên tục, với thuật tốn dạng Gradient Descent lại tỏ vơ hiệu việc tìm giá trị nhỏ hàm số Dựa vào điểm mạnh Deep Learning mà phương pháp giải xấp xỉ phương trình đạo hàm riêng Deep Learning hình thành Từ việc giải hệ phương trình   f (u) = a, ⇔ f (u) − a + g(u) − b  g(u) = b =0 thay vào ta giải tốn tương đương tìm giá trị nhỏ hàm số L = f (u) − a 2 + g(u) − b Chương trình giải xấp xỉ phương trình đạo hàm riêng lập trình ngơn ngữ lập trình Python, cụ thể việc sử dụng framework Tensorflow Keras, thuật toán Adam sử dụng để cập nhật tham số Những kiến thức phần trình bày cụ thể thuật tốn tối ưu có chương luận văn Chương luận văn giải xấp xỉ ví dụ cụ thể từ đơn giản đến phức tạp Hướng phát triển tương lai luận văn cải thiện thuật toán cho việc cập nhật tham số nhanh lựa chọn mạng lưới nơ-ron liệu để luyện mơ hình cho tối ưu Học viên Mục lục Lời cam đoan Tóm tắt nội dung TỔNG QUAN VỀ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN BẰNG DEEP LEARNING 11 1.1 Giới thiệu 11 1.2 Ý tưởng chung phương pháp 12 1.3 Áp dụng Deep Learning vào ý tưởng chung để giải toán 14 KIẾN THỨC CƠ SỞ DEEP LEARNING 2.1 2.2 17 Kiến trúc mạng lưới Deep Learning 17 2.1.1 Lan truyền xuôi 18 2.1.2 Lan truyền ngược 20 Các thuật toán tối ưu 21 2.2.1 Gradient Descent 22 2.2.2 Momentum 23 2.2.3 Nesterov Accelerated Gradient (NAG) 24 2.2.4 Adagrad 25 2.2.5 Adadelta 26 2.2.6 RMSprop 27 2.2.7 Adam 28 2.2.8 Nadam 29 2.2.9 Tổng kết 30 MỤC LỤC CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING 31 3.1 Phương trình nhiệt khơng phụ thuộc thời gian 31 3.2 Phương trình nhiệt phụ thuộc thời gian 34 3.3 Phương trình Steady Navier-Stokes 37 3.4 Phương trình Navier-Stokes 40 KẾT LUẬN CHUNG 44 TÀI LIỆU THAM KHẢO 45 Nguyễn Lâm Tùng SHHV: 20202889M Danh sách hình vẽ 1.1 Một số ví dụ liệu lưới vng tốn 2.1 Ví dụ mạng nơ-ron 18 2.2 Ví dụ phụ thuộc nơ-ron vào lớp phía trước 18 2.3 Ý tưởng thuật toán Gradient Descent 21 2.4 Mối quan hệ thuật toán tối ưu 21 3.1 Streamline nghiệm u tốn Kovasznay 3.2 Thí nghiệm tượng cavity 41 3.3 Kết mô cavity giai đoạn 43 15 39 Danh sách thuật toán Gradient Descent 22 Gradient Descent with Momentum 23 Nesterov Accelerated Gradient 24 Adagrad 25 Adadelta RMSprop 28 Adam 28 Nadam 29 27 Danh sách bảng 3.1 Số liệu phương trình Poisson khơng phụ thuộc thời gian 33 3.2 Số liệu phương trình Poisson phụ thuộc thời gian 36 3.3 Số liệu phương trình Steady Navier-Stokes 39 3.4 So sánh tọa độ tâm xốy phương trình Navier-Stokes 10 43 CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING • Bộ liệu Ω1d : Lưới vng 20 ì 20 (400 im) ã B d liu 2d : Lưới vng 50 × 50 (2500 điểm) tính sai số L2 liệu gồm 2000 điểm miền Ω Hàm mát J Mỗi liệu Ωd chia làm hai phần, tập hợp điểm biên, ∂Ωd tập hợp điểm nằm bên miền, Ωin d , số lượng điểm phần Nb Nin Hàm mát ví dụ có dạng J = Jb + Jin Jb = Jin = Nb Nin Nb u−g với xi ∈ ∂Ωd i=1 Nin − ν∆u + u · ∇u + ∇p − f + ∇·u với xi ∈ Ωin d i=1 Mạng lưới Mạng lưới tác giả dùng để luyện có số lớp ẩn 3, số nơ-ron lớp 32 Hàm kích hoạt lớp ẩn hàm Thuật toán điều chỉnh tham số Thuật toán điều chỉnh tham số tác giả sử dụng Adam với tham số η = 0.001, β1 = 0.9, β2 = 0.999, = 10−7 Việc cập nhật tham số theo hướng Mini-batch Gradient Descent, số lượng điểm tập 16 Điều kiện dừng J(Ωd , Wk+100 ) > 0.99 mini≤k {J(Ωd , Wi )} Kết Nguyễn Lâm Tùng 38 SHHV: 20202889M CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING Bảng 3.3: Số liệu phương trình Steady Navier-Stokes Ω1d Bộ liệu Số lớp ẩn 1 3 Số nơ-ron lớp 32 32 1.9 × 10−4 5.2 × 10−6 4.7 × 10−5 3.2 × 10−4 0.0093 0.0011 0.0043 0.0062 Số lần lặp 5901 3148 3192 1025 Thời gian/lần lặp 0.07s 0.08s 0.15s 0.15s Loss L2 Ω2d Bộ liệu Số lớp ẩn 1 3 Số nơ-ron lớp 32 32 1.8 × 10−4 2.3 × 10−6 3.4 × 10−5 1.1 × 10−4 0.0091 0.0009 0.0013 0.0058 Số lần lặp 1092 3176 756 328 Thời gian/lần lặp 0.3s 0.4s 0.7s 0.9s Loss L2 Mô (a) nghiệm u dự đốn (b) nghiệm u xác Hình 3.1: Streamline nghiệm u tốn Kovasznay Bình luận • Khác với hai ví dụ trước đó, tốn Kovasznay ví dụ có thành phần phi tuyến phương trình, nhiên phương pháp giải Deep Learning khơng thay đổi Từ ta thấy ưu điểm việc giải phương Nguyễn Lâm Tùng 39 SHHV: 20202889M CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING trình đạo hàm riêng Deep Learning phương pháp khơng gặp khó khăn giải phương trình phi tuyến 3.4 Phương trình Navier-Stokes Navier-Stokes [57] phương trình mơ dịng chảy chất lưu Phương trình Navier-Stokes cho dịng chảy khơng nén có dạng rút gọn sau    ∂u + (u · ∇)u − ν∆u + ∇p = f (x, t) ∈ Ω × [0, T ], ∂t  div u (x, t) ∈ Ω × [0, T ] =0 với điều kiện ban đầu điều kiện biên Dirichlet x∈Ω u(x, t0 ) = u0 (x) (x, t) ∈ ∂Ω × [0, T ] u(x, t) = uD (x, t) đó: • ν hệ số độ nhớt chất lưu, • u = u(x, t) = u1 (x, t), u2 (x, t), , ud (x, t) ∈ Rd vận tốc dịng chảy vị trí x thời điểm t • p = p(x, t) ∈ R áp suất dịng chảy vị trí x thời điểm t • f = f (x, t) = (f1 (x, t), f2 (x, t), , fd (x, t)) ∈ Rd ngoại lực đơn vị thể tích u, p hai hàm số cần tìm Tác giả giải ví dụ cụ thể có miền tính tốn Ω hình vng đơn vị, thời gian T = 10, hệ số độ nhớt ν = 0.01, hàm ngoại lực f = f (x, t) = f (x1 , x2 , t) = 0, thời điểm ban đầu t0 = với u0 = Ta quy ước biên miền Ω sau: biên b1, biên phải b2, biên b3 biên trái b4, hàm uD có dạng   uD = (0, 0) x ∈ {b1, b2, b4}, t ∈ [0, T ],  u = (1, 0) D x ∈ b3, t ∈ [0, T ] Bài toán cịn gọi tốn lid-driven cavity[58] Nguyễn Lâm Tùng 40 SHHV: 20202889M CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING Hình 3.2: Thí nghiệm tượng cavity Khác với ba ví dụ phía trên, ví dụ khơng có nghiệm xác, bới khơng đánh giá hiệu việc giải tốn thơng qua sai số L2 , thay vào hiển thị mô tượng so sánh tọa độ đặc trưng Cụ thể hơn, tượng sau thời gian khoảng gần giây đạt đến trạng thái ổn định, trạng thái có tâm xốy giữa, sử dụng tọa độ tâm xốy so sánh với tọa độ tâm xốy thí nghiệm khác người nghiên cứu trước thực để đánh giá mức độ hiệu việc giải toán Dữ liệu Tác giả tiến hành giải toán với liệu có mật độ lưới (x, y) 40 × 40 Thời gian t = 10 cố định Hàm mát J Bộ liệu Ωd chia làm ba phần, tập hợp điểm biên, ∂Ωd , tập hợp điểm nằm bên miền, Ωin d , tập hợp điểm thời điểm ban đầu t0 , Ω0d , số lượng điểm phần Nb , Nin N0 Hàm mát ví dụ có dạng J = Jb + Jin + J0 Nguyễn Lâm Tùng 41 SHHV: 20202889M CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING Jb = Nb Jin = Nin Nb u − uD i=1 Nin i=1 (xi , ti ) ∈ ∂Ωd × [0, T ] ∂u + (u · ∇)u − ν∆u + ∇p − f ∂t + div u (xi , ti ) ∈ Ωd × [0, T ] J0 = N0 N0 u − u0 xi ∈ Ωd i=1 Mạng lưới Mạng lưới tác giả sử dụng có lớp ẩn, lớp có 32 nơ-ron Hàm kích hoạt hai lớp ẩn hàm sigmoid, hai lớp ẩn sau hàm Thuật toán điều chỉnh tham số Việc cập nhật tham số theo hướng Mini-batch Gradient Descent, số lượng điểm tập 48 Thuật toán điều chỉnh tham số tác giả sử dụng Adam với tham số β1 = 0.9, β2 = 0.999, = 10−7 Riêng với hệ số η ban đầu đặt 0.001, sau gặp điều kiện giảm hệ số, η giảm 10 lần Điều kiện để giảm hệ số η J(Ωd , Wk+100 ) > 0.9 mini≤k {J(Ωd , Wi )} Nếu η < 10−5 dừng thuật tốn Mơ Nguyễn Lâm Tùng 42 SHHV: 20202889M CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING (a) lần lặp (b) lần lặp 100 (c) lần lặp 200 (d) lần lặp 300 (e) lần lặp 400 (f) lần lặp 500 (g) lần lặp 600 (h) lần lặp 648 Hình 3.3: Kết mô cavity giai đoạn Kết Sau 648 lần lặp, lần lặp khoảng 26s, tọa độ tâm xốy tác giả có (x, y) = (0.61, 0.74) Dưới bảng so sánh Bảng 3.4: So sánh tọa độ tâm xoáy phương trình Navier-Stokes T L Nguyen Ghia et al[59] NSIKE[60] T.T.M.Ta[61] x = 0.61 x = 0.6172 x = 0.6100 x = 0.5950 y = 0.74 y = 0.7344 y = 0.7500 y = 0.7360 Bình luận • Với toán phức tạp Navier-Stokes, phương pháp giải toán Deep Learning không thay đổi so với tốn đơn giản • Những thí nghiệm cavity cho người biết trạng thái ổn định tượng nào, tác giả loại bỏ mạng nơ-ron cho kết tồi giá trị hàm J nhỏ Đa số mạng nơ-ron tác giả thử mang lại kết mơ khơng tốt Cho nên việc mô tượng mà người làm chưa biết trước trạng thái tượng đó, mơ phương pháp không đáng tin cậy Nguyễn Lâm Tùng 43 SHHV: 20202889M KẾT LUẬN CHUNG Tổng kết Luận văn trình bày phương pháp giải phương trình đạo hàm riêng Deep Learning Cụ thể luận văn trình bày vấn đề sau: • Mơ tả chi tiết thuật tốn tối ưu, giúp người đọc có nhìn tổng quan thuật tốn lựa chọn nhiều thuật toán để áp dụng tùy vào trường hợp • Xây dựng mạng nơron với cấu trúc khác để giải tốn phương trình đạo hàm riêng bao gồm tốn tuyến tính, phi tuyến Kết đầu với sai số chấp nhận Qua thấy ưu điểm phương pháp • Với cấu trúc mạng phù hợp, Deep Learning đưa giải pháp tổng quát dựa công thức hàm mát để giải xấp xỉ phương trình đạo hàm riêng mà khơng gặp phải khó khăn miền tính tốn hay thành phần phức tạp phương trình • Có thể giải phương trình nhiều chiều phương trình phi tuyến cách dễ dàng Bên cạnh cịn nhược điểm đáng ý • Khơng kiểm sốt sai số đầu ra, có trường hợp sai số lớn Đối với toán mà khơng có nghiệm xác để xác định sai số, để đánh giá mức độ xác đầu người làm phải dựa vào yếu tố khác 44 CHƯƠNG CÁC VÍ DỤ GIẢI XẤP XỈ PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING • Việc lựa chọn liệu để luyện mạng nơ-ron phải thử nghiệm nhiều Nếu chọn liệu thưa thớt kết đầu khơng tốt, ngược lại liệu dày đặc quá, thời gian luyện mạng nơ-ron lâu, mà kết lại tốt khơng q nhiều • Việc lựa chọn mạng nơ-ron dựa vào việc thử nghiệm, người dùng phải thử giải toán với nhiều mạng nơ-ron khác để tìm mạng nơ-ron ưng ý Hướng phát triển tương lai luận văn Do số chương trình thực thi với thời gian lâu, đặc biệt việc luyện mạng lưới có độ phức tạp cao lượng liệu lớn tốn phức tạp Do hướng phát triển tương lai luận văn cải thiện thuật toán cho việc cập nhật tham số nhanh Lựa chọn mạng lưới xây dựng liệu để luyện mơ hình làm với phương pháp thử chủ yếu, việc thử số lượng lớn mạng lưới có cấu trúc khác nhiều thời gian mà không đảm bảo cho người làm có mạng lưới ưng ý Cho nên hướng phát triển khác luận văn lựa chọn mạng lưới nơ-ron liệu để luyện mơ hình cho tối ưu Nguyễn Lâm Tùng 45 SHHV: 20202889M Tài liệu tham khảo [1] S Balaban, “Deep learning and face recognition: the state of the art,” in Biometric and Surveillance Technology for Human and Activity Identification XII (I A Kakadiaris, A Kumar, and W J Scheirer, eds.), SPIE, May 2015 [2] Y Peng, S Dharssi, Q Chen, T D Keenan, E Agrón, W T Wong, E Y Chew, and Z Lu, “Deepseenet: A deep learning model for automated classification of patient-based age-related macular degeneration severity from color fundus photographs,” Ophthalmology, vol 126, no 4, pp 565 – 575, 2019 [3] X Yuan, Y Chen, Y Zhao, Y Long, X Liu, K Chen, S Zhang, H Huang, X Wang, and C A Gunter, “Commandersong: A systematic approach for practical adversarial voice recognition,” in 27th USENIX Security Symposium (USENIX Security 18), (Baltimore, MD), pp 49–64, USENIX Association, Aug 2018 [4] E G Dada, J S Bassi, H Chiroma, S M Abdulhamid, A O Adetunmbi, and O E Ajibuwa, “Machine learning for email spam filtering: review, approaches and open research problems,” Heliyon, vol 5, no 6, p e01802, 2019 [5] B Wang, J Lu, Z Yan, H Luo, T Li, Y Zheng, and G Zhang, “Deep uncertainty quantification,” in Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, ACM, July 2019 [6] E Strubell, A Ganesh, and A McCallum, “Energy and policy considerations for deep learning in nlp,” Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019 46 TÀI LIỆU THAM KHẢO [7] E Chong, C Han, and F C Park, “Deep learning networks for stock market analysis and prediction: Methodology, data representations, and case studies,” Expert Systems with Applications, vol 83, pp 187 – 205, 2017 [8] A S Alshomrani, “On generalized fourier’s and fick’s laws in bio-convection flow of magnetized burgers’ nanofluid utilizing motile microorganisms,” Mathematics, vol 8, no 7, 2020 [9] S.-F Wu, “One-stage multiple comparisons with the control for exponential median lifetimes under heteroscedasticity,” Mathematics, vol 8, no 9, 2020 [10] C Masood Khalique and O Davies Adeyemo, “Closed-form solutions and conserved vectors of a generalized (3+1)-dimensional breaking soliton equation of engineering and nonlinear science,” Mathematics, vol 8, no 10, 2020 [11] H Jia and C Guo, “The application of accurate exponential solution of a differential equation in optimizing stability control of one class of chaotic system,” Mathematics, vol 8, no 10, 2020 [12] E Cruz-Quintero and F Jurado, “Boundary control for a certain class of reaction-advection-diffusion system,” Mathematics, vol 8, no 11, 2020 [13] K Kamran, Z Shah, P Kumam, and N A Alreshidi, “A meshless method based on the laplace transform for the 2d multi-term time fractional partial integro-differential equation,” Mathematics, vol 8, no 11, 2020 [14] F Jurado and A A Ramírez, “State feedback regulation problem to the reaction-diffusion equation,” Mathematics, vol 8, no 11, 2020 [15] E Salete, A M Vargas, A Garcia, M Negreanu, J J Benito, and F Urena, “Complex ginzburg–landau equation with generalized finite differences,” Mathematics, vol 8, no 12, 2020 [16] A Falcó, L Hilario, N Montés, M C Mora, and E Nadal, “Towards a vector field based approach to the proper generalized decomposition (pgd),” Mathematics, vol 9, no 1, 2021 Nguyễn Lâm Tùng 47 SHHV: 20202889M TÀI LIỆU THAM KHẢO [17] S.-F Wu, “Multiple comparisons for exponential median lifetimes with the control based on doubly censored samples,” Mathematics, vol 9, no 1, 2021 [18] J Hwang, S Shin, M Shin, and W Hwang, “Four-quadrant riemann problem for a × system involving delta shock,” Mathematics, vol 9, no 2, 2021 [19] M Raissi and G E Karniadakis, “Hidden physics models: Machine learning of nonlinear partial differential equations,” Journal of Computational Physics, vol 357, p 125–141, Mar 2018 [20] M Raissi, P Perdikaris, and G E Karniadakis, “Physics informed deep learning (part i): Data-driven solutions of nonlinear partial differential equations,” 2017 [21] M Raissi, P Perdikaris, and G E Karniadakis, “Physics informed deep learning (part ii): Data-driven discovery of nonlinear partial differential equations,” 2017 [22] K Xu, “Deep learning for partial differential equations (pdes),” 2018 [23] Y Guo, X Cao, L Bainian, and M Gao, “Solving partial differential equations using deep learning and physical constraints,” Applied Sciences, vol 10, p 5917, 08 2020 [24] J Han, A Jentzen, and W E, “Solving high-dimensional partial differential equations using deep learning,” Proceedings of the National Academy of Sciences, vol 115, no 34, pp 8505–8510, 2018 [25] A Hasan, J M Pereira, R Ravier, S Farsiu, and V Tarokh, “Learning partial differential equations from data using neural networks,” in ICASSP 2020 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp 3962–3966, 2020 [26] Z Li, N Kovachki, K Azizzadenesheli, B Liu, K Bhattacharya, A Stuart, and A Anandkumar, “Fourier neural operator for parametric partial differential equations,” 2020 [27] Z Long, Y Lu, X Ma, and B Dong, “Pde-net: Learning pdes from data,” 2017 Nguyễn Lâm Tùng 48 SHHV: 20202889M TÀI LIỆU THAM KHẢO [28] X Meng, Z Li, D Zhang, and G E Karniadakis, “Ppinn: Parareal physicsinformed neural network for time-dependent pdes,” Computer Methods in Applied Mechanics and Engineering, vol 370, p 113250, Oct 2020 [29] M Raissi, “Deep hidden physics models: Deep learning of nonlinear partial differential equations,” 2018 [30] L Ruthotto and E Haber, “Deep neural networks motivated by partial differential equations,” Journal of Mathematical Imaging and Vision, vol 62, p 352–364, Sep 2019 [31] M Raissi, A Yazdani, and G E Karniadakis, “Hidden fluid mechanics: A navier-stokes informed deep learning framework for assimilating flow visualization data,” 2018 [32] J Sirignano and K Spiliopoulos, “Dgm: A deep learning algorithm for solving partial differential equations,” Journal of Computational Physics, vol 375, pp 1339 – 1364, 2018 [33] T Dockhorn, “A discussion on solving partial differential equations using neural networks,” 2019 [34] H Xu, H Chang, and D Zhang, “Dl-pde: Deep-learning based data-driven discovery of partial differential equations from discrete and noisy data,” 2019 [35] D C Liu and J Nocedal, “On the limited memory BFGS method for large scale optimization,” Mathematical Programming, vol 45, pp 503–528, Aug 1989 [36] Y G Evtushenko, “Automatic differentiation viewed from optimal control theory,” in Automatic Differentiation of Algorithms: Theory, Implementation, and Application (A Griewank and G F Corliss, eds.), pp 25–30, Philadelphia, PA: SIAM, 1991 [37] Kurt and Hornik, “Approximation capabilities of multilayer feedforward networks,” Neural Networks, vol 4, no 2, pp 251–257, 1991 [38] Z Lu, H Pu, F Wang, Z Hu, and L Wang, “The expressive power of neural networks: A view from the width,” 2017 Nguyễn Lâm Tùng 49 SHHV: 20202889M TÀI LIỆU THAM KHẢO [39] B Hanin, “Universal function approximation by deep neural nets with bounded width and relu activations,” Mathematics, vol 7, p 992, Oct 2019 [40] S Raschka and V Mirjalili, Python Machine Learning, 3rd Ed Birmingham, UK: Packt Publishing, ed., 2019 [41] M SAZLI, “A brief review of feed-forward neural networks,” Communications, Faculty Of Science, University of Ankara, pp 11–17, 2006 [42] C Nwankpa, W Ijomah, A Gachagan, and S Marshall, “Activation functions: Comparison of trends in practice and research for deep learning,” 2018 [43] M Buscema, “Back propagation neural networks,” Substance use and misuse, vol 33, pp 233–70, 02 1998 [44] Y Ying and M Pontil, “Online gradient descent learning algorithms,” Foundations of Computational Mathematics, vol 8, pp 561–596, 01 2008 [45] M Abadi, A Agarwal, P Barham, E Brevdo, Z Chen, C Citro, G S Corrado, A Davis, J Dean, M Devin, S Ghemawat, I Goodfellow, A Harp, G Irving, M Isard, Y Jia, R Jozefowicz, L Kaiser, M Kudlur, J Levenberg, D Mané, R Monga, S Moore, D Murray, C Olah, M Schuster, J Shlens, B Steiner, I Sutskever, K Talwar, P Tucker, V Vanhoucke, V Vasudevan, F Viégas, O Vinyals, P Warden, M Wattenberg, M Wicke, Y Yu, and X Zheng, “TensorFlow: Large-scale machine learning on heterogeneous systems,” 2015 Software available from tensorflow.org [46] F Chollet, “keras.” https://github.com/fchollet/keras, 2015 [47] A Paszke, S Gross, F Massa, A Lerer, J Bradbury, G Chanan, T Killeen, Z Lin, N Gimelshein, L Antiga, A Desmaison, A Kopf, E Yang, Z DeVito, M Raison, A Tejani, S Chilamkurthy, B Steiner, L Fang, J Bai, and S Chintala, “Pytorch: An imperative style, high-performance deep learning library,” in Advances in Neural Information Processing Systems 32 (H Wallach, H Larochelle, A Beygelzimer, F d'Alché-Buc, E Fox, and R Garnett, eds.), pp 8024–8035, Curran Associates, Inc., 2019 Nguyễn Lâm Tùng 50 SHHV: 20202889M TÀI LIỆU THAM KHẢO [48] G Nakerst, J Brennan, and M Haque, “Gradient descent with momentum — to accelerate or to super-accelerate?,” 2020 [49] A Botev, G Lever, and D Barber, “Nesterov’s accelerated gradient and momentum as approximations to regularised update descent,” 2016 [50] R Ward, X Wu, and L Bottou, “Adagrad stepsizes: Sharp convergence over nonconvex landscapes, from any initialization,” 2019 [51] M D Zeiler, “Adadelta: An adaptive learning rate method,” 2012 [52] Y Dauphin, H Vries, J Chung, and Y Bengio, “Rmsprop and equilibrated adaptive learning rates for non-convex optimization,” arXiv, vol 35, 02 2015 [53] D P Kingma and J Ba, “Adam: A method for stochastic optimization,” 2017 [54] S Bock, J Goppold, and M Weiß, “An improvement of the convergence proof of the adam-optimizer,” 04 2018 [55] I Kandel, M Castelli, and A Popoviˇc, “Comparative study of first order optimizers for image classification using convolutional neural networks on histopathology images,” Journal of Imaging, vol 6, no 9, 2020 [56] L G Rebholz and S A Watro, “A note on taylor-eddy and kovasznay solutions of NS-α-deconvolution and leray-α-deconvolution models,” Journal of Nonlinear Dynamics, vol 2014, pp 1–5, Jan 2014 [57] S Bistafa, “On the development of the navier-stokes equation by navier,” Revista Brasileira de Ensino de Física, vol 40, 11 2017 [58] F Hecht, “Freefem documentation,” Journal of Numerical Mathematics, pp 171–173, 2020 [59] U Ghia, K Ghia, and C Shin, “High-re solutions for incompressible flow using the navier-stokes equations and a multigrid method,” Journal of Computational Physics, vol 48, pp 387–411, Dec 1982 [60] M Gorazd and B Mohammadi, “NSIKE - An Incompressible Navier-Stokes Solver for Unstructured Meshes,” Research Report RR-3644, INRIA, 1999 Projet M3N Nguyễn Lâm Tùng 51 SHHV: 20202889M TÀI LIỆU THAM KHẢO [61] T.T.Mai.Ta, “Modélisation des problèmes bi-fluides par la méthode des lignes de niveau et l’adaptation du maillage,” 2015 Nguyễn Lâm Tùng 52 SHHV: 20202889M ... tài: "Giải xấp xỉ phương trình đạo hàm riêng Deep Learning" , luận văn gồm ba chương: • Chương Tổng quan phương pháp giải toán • Chương Kiến thức sở Deep Learning • Chương Giải số ví dụ phương trình. .. mạnh Deep Learning mà phương pháp giải xấp xỉ phương trình đạo hàm riêng Deep Learning hình thành Từ việc giải hệ phương trình   f (u) = a, ⇔ f (u) − a + g(u) − b  g(u) = b =0 thay vào ta giải. .. ĐẠO HÀM RIÊNG BẰNG DEEP LEARNING trình đạo hàm riêng Deep Learning phương pháp khơng gặp khó khăn giải phương trình phi tuyến 3.4 Phương trình Navier-Stokes Navier-Stokes [57] phương trình mơ dịng