(Luận Văn Thạc Sĩ Toán Ứng) Dụng Phương Pháp Ritz Sử Dụng Học Sâu (Deep Learning) Cho Bài Toán Biến Phân Trong Phương Trình Elliptic

BỘ GIÁO DỤC VIEN HAN LAM KHOA HOC VA DAO TAO VA CONG NGHE VIET NAM HOC VIEN KHOA HOC VA CONG NGHE Pham Vu Hoang Son PHUONG PHAP RITZ SU DUNG HOC SAU (DEEP LEARNING) CHO BAI TOAN BIEN PHAN TRONG PHUONG TRINH ELLIPTIC LUAN VAN THAC SI TOAN UNG DUNG Hà Nội - 2023 ————== —=—==-==a._.eEcĂE>+>rr BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC| VIEN KHOA HỌC VÀ CÔNG NGHỆ PHẠM VŨ HOÀNG SƠN PHƯƠNG PHÁP RITZ SỬ DỤNG HỌC SÂU (DEEP LEARNING) CHO BÀI TOÁN BIẾN PHÂN TRONG PHƯƠNG TRÌNH ELLIPTIC LUẬN VĂN THẠC SĨ TOÁN ỨNG DỤNG Mã số: 8460112 NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TSKH Đinh Nho Hào Hà Nội - 2023 LỜI CAM ĐOAN Luận văn này được thực hiện dựa trên sự tìm tòi, học hỏi của cá nhân tôi dưới sự hướng dẫn của thầy Đinh Nho Hào Mọi sự giúp đỡ cho việc thực hiện luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận văn đều được ghi rõ nguồn gốc Tôi xin chịu trách nhiệm về những lời cam đoan Hà Nội, tháng 10 năm 2023 Học viên Qu Phạm Vũ Hoàng Sơn LỜI CẢM ƠN Đầu tiên, tôi xin gửi lời cảm ơn tới thầy hướng dẫn của tôi GS.TSKH Định Nho Hào, thầy không chỉ giúp đỡ tôi hoàn thành luận văn một cách tốt nhất mà còn luôn quan tâm và chỉ bảo tôi trong cuộc sống Tiếp theo tôi xin gửi lời cảm ơn tới quỹ đổi mới sáng tạo (VINIF) đã tài trợ học bổng cho tôi, giúp tôi có thể tập trung hoàn toàn vào việc học tập, nghiên cứu để hoàn thành tốt nhất chương trình thạc sĩ của mình Tôi cũng xin cảm ơn Trung tâm đào tạo sau đại học Viện Toán học và Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã tạo ra một môi trường học tập, nghiên cứu tốt nhất trong suốt quá trình tôi học tập cũng như thực hiện luận văn này Bên cạnh đó tôi xin gửi lời cảm ơn tới anh Dương Xuân Hiệp, anh Văn Bá Công, em Nguyễn Quang Huy - những người bạn cũng như người đồng môn đã hỗ trợ tôi trong quá trình tìm hiểu cũng như giải đáp các vấn đề về lý thuyết trong luận văn Đặc biệt, tôi xin gửi lời cảm ơn tới gia đình của tôi, những người đã luôn làm việc chăm chỉ để tôi có thể thực hiện ước mơ của mình Cảm ơn tình yêu thương vô điều kiện của bố, mẹ và tôi tin họ luôn tự hào về hành trình của tôi Se lhmlý lkm đâu, 11 Mục lục Lời cam đoan Lời cảm ơn ii Mục lục iii Danh mục các hình vẽ, đồ thị Vi Mở đầu 0 Một số kiến thức chuẩn bị 01 Giảichhàm .c.ố Q Ụ 0.2 Phương trình đạo hàm riêng 03 Líthuyếttiưu 1 Bai toán biến phân 1.1 Bài toán điều kiện biên Dirichlet thuần nhất 1.2 Bài toán điều kiện biên Dirichlet không thuần nhất 1.3 Bài toán điều kiện biên Neumann thuần nhất 2_ Phương pháp giải iv 2.1 Phương pháp Ritz cổ đển 2.2 Phuong phap Ritz su dung hoc sau (deep learning) 2.2.1 Téng quan vé Deep Learning 2.2.2 Phương pháp Ritz sử dụng học sâu 2.2.3 Thuật toán Monte Carlo trong xấp xỉ tích phân 3 Một số ví dụ 36 3.1 36 3.2 40 3.3 45 3.4 47 3.5 48 Kết luận và kiến nghị 50 Tài liệu tham khảo 51 Danh sách hình ve 2.1 Cấu trúc mạng nơ-ron đơn giản 2.2 Câu trúc mạng nơ-ron được sử dụng trong phương pháp Ritz với2khối ẶẶẶQỒQẶ 3.1 So sánh kết quả của mạng nơ-ron (trái) và nghiệm chính xác (phải) trong ví dụ l .- 3.2 Sai số của mô hình với 5 khối so với nghiệm chính xác trong vídụl SH HQ HQ Q2 3.3 Giá trị của hàm mắt mát của mạng nơ-ron 5 khối trong ví dụ 1 3.4 Sai số của các mô hình so với nghiệm chính xác trong ví dụ 1 3.5 Sai số của các mô hình so với nghiệm chính xác trong ví dụ 1 3.6 So sánh kết quả của mạng nơ-ron (trái) và nghiệm chính xác (phải) trong ví dụ2 - 42 3.7 Sai số của mô hình với 2 khối so với nghiệm chính xác trong vídỤụ2 L Q Q Q Q.H.Q.H.Q n g Ta 42 3.8 Phương pháp sai phân hữu hạn và sai số trong ví dụ 2 43 3.9 Giá trị của hàm mật mát của mạng nơ-ron 2 khôi trong ví dụ 2 43 3.10 Sai số của các mô hình so với nghiệm chính xác trong ví dụ 2 44 3.11 Kết quả của mạng nơ-ron trong vídụ3 V1 3.12 Phương pháp sai phân hữu hạn trong ví dụ3 3.13 Gid trị của hàm mất mát của mang no-ron trong vi du3 3.14 Giá trị của hàm mất mát cla mang no-ron trong vidu 4 MỞ ĐẦU» Phương pháp Ritz Phương pháp Ritz [1, 2, 3] là phương pháp xấp xỉ nghiệm của bài toán biên cho phương trình vi phân bằng cách biểu diễn nó dưới dạng tổ hợp tuyến tính các hàm cơ sở Trong phương pháp này, các công cụ cổ điển thường là phương pháp phần tử hữu hạn hoặc sai phân hữu hạn Tuy nhiên, với các phương pháp này, số bậc tự do tăng theo hàm mũ khi số chiều của phương trình tăng Trong những năm gần đây, học sâu đã đạt được một số thành tựu lớn trong nhiều lĩnh vực như thị giác máy tính, nhận diện giọng nói và xử lí ngôn ngữ tự nhiên nhờ vào mạng nơ-ron sâu (Deep Neural Networks) Không chỉ vậy, các mạng này còn có thể được sử dụng để giải các phương trình đạo hàm riêng Một ưu điểm rất lớn của các mạng này là số bậc tự do không tăng theo hàm mũ Vậy nên, chúng rất thích hợp để giải các phương trình đạo hàm riêng nhiều chiều Trong phương pháp Ritz sâu, học sâu được sử dụng để ước lượng giá trị của các hàm số, giúp giải bài toán biến phân một cách chính xác hơn Kết quả của các thử nghiệm số trên máy tính cho thấy tính hiệu quả của phương pháp so với các phương pháp số truyền thống, cho thấy nó có thể là một phương pháp hữu ích để giải các bài toán biến phân lớp phương trình elliptic trong nhiều lĩnh vực khác nhau Phương pháp Ritz sâu được Weinen E va Bing Yu đề xuất vào năm 2018 [1] và kể từ đó tới nay đã được rất nhiều công trình trích dẫn [2, 3, 4, 5]; phương pháp này đã được cải biến và ứng dụng để giải nhiều phương trình elliptic khác nhau trong thực tiễn Các kết quả số cho thấy phương pháp hữu hiệu cho các bài toán phi tuyến, có tính kỳ đị cao và đặc biệt là các bài toán có số chiều cao Rất đáng tiếc là các nghiên cứu thú vị này chưa được phát triển ở Việt Nam, nên chúng tôi muốn tiếp cận với chủ đề này, cũng như xem xét khả năng ứng dụng của phương pháp cho các bài toán biến phân khác nhau Đồi tượng nghiên cứu của luận văn Trong luận văn này này, tôi áp dụng phương pháp Ritz sâu cho một số bài toán biên Dirichlet va Neumann lớp phương trình đạo hàm riêng dạng elliptic Trong các thuật toán cổ điển, các điều kiện biên có thể được ràng buộc chính xác bởi các điểm lưới trên biên Tuy nhiên, các điều kiện này lại rất khó để biểu diễn trong các mạng nơ-ron Các điều kiện này thường có nhiều cách xử lí, một trong số đó là thêm 1 số hạng phạt vào các hàm mắt mát để giảm sai số tuyệt đối Thường các số hạng phạt này được biểu diễn theo chuẩn 7° Trong luận văn này, tôi sẽ đưa ra các ví dụ số cụ thể cho các trường hợp này, tuy nhiên sẽ tập trung vào trường hợp tổng quát là số hạng phạt Bồ cục luận văn Luận văn được viết dựa theo tài liệu [6, 7, 8] và được trình bày theo bố CỤC: Chương 0: Một số kiên thức chuẩn bị Chương 1: Giới thiệu về phương pháp biến phân giải phương trình elliptic Chương 2: Giới thiệu các phương pháp giải bài toán biến phân: phương pháp Ritz cổ điển, phương pháp Ritz sâu Chương 3: Một số kết quả thu được