Nghiên cứu mạng học sâu và ứng dụng cho bài toán xác định hệ số của phương trình

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SỸ KHOA HỌC NGHIÊN CỨU MẠNG HỌC SÂU VÀ ỨNG DỤNG CHO BÀI TOÁN XÁC ĐỊNH HỆ SỐ CỦA PHƯƠNG TRÌNH PHẠM NHẬT DUY duy.pn211304m@sis.hust.edu.vn Ngành Tốn Tin Giảng viên hướng dẫn: TS Tạ Thị Thanh Mai Viện: Chữ kí GVHD Toán ứng dụng Tin học HÀ NỘI, 2022 Lời cam đoan Tôi xin cam đoan nội dung trình bày luận văn trung thực Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc Hà Nội, ngày 31 tháng 07 năm 2022 Xác nhận người hướng dẫn khoa học Học viên TS TẠ THỊ THANH MAI PHẠM NHẬT DUY Lời cảm ơn Để thực hồn thành luận văn này, tơi nhận hướng dẫn nhiệt tình q Thầy Cơ, động viên ủng hộ gia đình bạn bè suốt thời gian qua Trước hết, xin trân trọng cảm ơn nhiệt tình tạo điều kiện giúp đỡ Viện Toán ứng dụng Tin học, Phòng đào tạo sau đại học Trường Đại học Bách khoa Hà Nội Tôi xin chân thành bày tỏ lòng biết ơn sâu sắc đến TS Tạ Thị Thanh Mai, giảng viên Viện Toán ứng dụng Tin học, Trường Đại học Bách khoa Hà Nội Cô tận tình dành nhiều thời gian tâm huyết hướng dẫn nghiên cứu suốt trình thực đề tài Cơ tận tình giảng dạy, khích lệ, động viên tơi vượt qua khó khăn q trình nghiên cứu Cơ có có góp ý quan trọng cho tơi suốt q trình nghiên cứu để tơi hồn thiện luận văn Cuối cùng, xin chân thành cảm ơn gia đình bạn bè, ln tạo điều kiện, quan tâm, giúp đỡ, động viên tơi suốt q trình học tập hồn thành luận văn Tóm tắt nội dung luận văn Giới thiệu mạng học sâu thuật toán tối ưu thường sử dụng với mơ hình mạng Trình bày cách áp dụng mơ hình mạng học sâu việc giải xấp xỉ phương trình đạo hàm riêng Đề xuất hai phương pháp để giải hai dạng toán việc xác định hệ số phương trình đạo hàm riêng dựa công cụ mạng học sâu, áp dụng vào lớp toán cụ thể đưa ví dụ số nhằm minh họa cho thuật toán đề xuất từ đơn giản đến phức tạp Học viên Phạm Nhật Duy Mục lục Lời cam đoan Lời cảm ơn Mục lục Danh mục ký hiệu, chữ viết tắt Danh sách hình vẽ MỞ ĐẦU Cơ sở lý thuyết 1.1 1.2 12 Các thuật toán tối ưu mạng nơ-ron nhân tạo 12 1.1.1 Mạng nơ-ron nhân tạo 12 1.1.2 Thuật toán tối ưu dựa đạo hàm cấp 15 1.1.3 Các thuật toán dựa đạo hàm cấp 18 Phương pháp giải xấp xỉ phương trình đạo hàm riêng mạng học sâu 21 1.2.1 Tiền xử lý liệu 21 1.2.2 Phương pháp giải 22 Phương pháp xác định hệ số phương trình đạo hàm riêng mạng học sâu 2.1 26 Phương pháp tham số hóa 27 2.1.1 λ hệ số phương trình 27 2.1.2 2.2 λ giá trị chưa biết điều kiện đầu 30 Xấp xỉ hệ số mạng học sâu 35 2.2.1 Sử dụng mạng học sâu xấp xỉ hệ số nghiệm 35 2.2.2 Kết hợp với phương pháp khác 37 Các ví dụ kết số 3.1 40 Bài toán 40 3.1.1 Phương trình Poisson 40 3.1.2 Phương trình Navier-Stokes 42 3.1.3 Phương trình Black-Scholes nhiều chiều với mơ hình định giá 43 3.2 Bài toán 48 3.2.1 Phương trình Stefan 48 3.2.2 Phương trình khuếch tán 52 KẾT LUẬN 55 Tài liệu tham khảo 56 Danh mục ký hiệu, chữ viết tắt R tập số thực RN không gian Euclid N chiều x ∈C x thuộc tập C ▽ f (x) gradient hàm f điểm x ∆ f (x) toán tử Laplace hàm f điểm x ∂f ∂x đạo hàm riêng hàm f với biến x ∀x với x PDEs phương trình đạo hàm riêng (partial differential equations) BSDEs phương trình vi phân ngẫu nhiên ngược (backward stochastic differential equations - BSDEs) PINNs mạng nơ-ron thông tin vật lý (physics informed neural networks) ANN mạng nơ-ron nhân tạo (artificial neural networks) Danh sách hình vẽ 1.1 Mạng nơ-ron truyền thẳng nhiều lớp (Feed-forward neural network) 13 1.2 Phân bố liệu miền Ω: điểm miền điểm biên 22 1.3 Mơ hình mạng PDEs 24 2.1 Kiến trúc mạng học sâu xấp xỉ u(t = 0, x = X0 ) 33 3.1 Xấp xỉ tham số λ phương trình Poisson mạng học sâu qua bước lặp 42 3.2 Xấp xỉ tham số λ phương trình Navier-Stokes mạng học sâu qua bước lặp 43 3.3 Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.02 44 3.4 Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.2 45 3.5 Xấp xỉ u(t = 0, x = [100, 100, , 100]) qua vòng lặp 47 3.6 (a) Xấp xỉ hàm u(x,t) mạng học sâu, (b) Hàm u(x,t) biểu diễn qua công thức nghiệm xác 50 3.7 (a) Xấp xỉ hàm u(x,t) mạng học sâu, (b) Hàm u(x,t) biểu diễn qua cơng thức nghiệm xác (góc khác) 51 3.8 Xấp xỉ hàm s(t) mạng học sâu nghiệm xác 51 3.9 Xấp xỉ hàm c(x) mạng học sâu nghiệm xác 53 3.10 (a) Xấp xỉ hàm f (x,t) mạng học sâu, (b) Hàm f (x,t) biểu diễn qua cơng thức nghiệm xác 54 MỞ ĐẦU Mô tả quy luật vận hành trình phát triển tượng tự nhiên toán nhiều nhà nghiên cứu quan tâm có nhiều phương pháp tiến hành, khơng thể khơng kể đến phương pháp mơ hình phương trình tốn học Có hai tốn mà mơ hình cần quan tâm, toán mà biết xác tham số dạng phương trình cần tìm nghiệm hay cịn gọi tốn thuận, ngược lại tốn có thiếu hụt kiện hay tham số phương trình chưa biết cần phải có hỗ trợ số điểm quan sát gọi toán ngược toán phổ biến nhiều lĩnh vực áp dụng khoa học kỹ thuật Do đó, phương pháp giải cho toán ngược ngày đào sâu nghiên cứu phát triển rộng rãi Đề tài luận văn tập trung vào việc giới thiệu phương pháp giải số nhằm xác định hế số cho phương trình đạo hàm riêng dựa mơ hình mạng học sâu quan tâm năm gần Mạng học sâu nhận quan tâm chưa có vài năm qua, xứng đáng vậy, đưa giải pháp mang tính đột phá nhiều lĩnh vực khoa học đa dạng [20][22][21][1] Mặc dù thành công liên tục, tồn nhiều ứng dụng khoa học chưa hưởng lợi từ công nghệ chủ yếu chi phí thu thập liệu cao Ai biết công cụ máy học đại (ví dụ: mạng truyền thẳng, mạng tích chập, mạng hồi quy ) thiếu mạnh mẽ không cung cấp đảm bảo hội tụ hoạt động trường hợp liệu nhỏ, tức trường hợp mà liệu đào tạo có sẵn Trong nghiên cứu Raissi năm 2017 [34], tác giả giới thiệu mạng nơron thông tin vật lý (Physics informed neural networks - PINNs) giải 10 pháp khả thi để đào tạo mạng nơ-ron học sâu xấp xỉ nghiệm phương trình đạo hàm riêng (Partial differential equations - PDEs) với số lượng hạn chế liệu, trường hợp liệu đào tạo sẵn có nhỏ tuân theo định luật vật lý định mô tả hệ phương trình đạo hàm riêng Những trường hợp có nhiều việc nghiên cứu hệ thống vật lý, sinh học kỹ thuật, nơi mà phát triển lâu dài vật lý toán học làm sáng tỏ nhìn sâu sắc cách hệ thống cấu trúc, tương tác phát triển theo thời gian Nghiên cứu cách mà kiến thức quy luật vật lý giới thiệu cấu trúc giúp điều chỉnh hiệu việc đào tạo mạng nơ-ron cho phép chúng khái quát hóa tốt có vài ví dụ đào tạo Thơng qua toán khác nhau, Raissi làm bật đặc điểm mạng nơ-ron thơng tin vật lý PINNs việc xấp xỉ nghiệm phương trình đạo hàm riêng theo hướng liệu đặc biệt mạng học sâu [33][31] Dựa vào sở hình thành từ việc xấp xỉ nghiệm phương trình đạo hàm riêng mạng học sâu, phần thứ hai nghiên cứu [35], Raissi tập trung vào vấn đề khám phá theo hướng liệu tham số phương trình đạo hàm riêng [30][32][36] Ta xét phương trình đạo hàm riêng có tham số phi tuyến tính dạng tổng quát ut + L(u, λ ) = 0, x ∈ Ω,t ∈ [0, T ], u(t, x) biểu thị nghiệm, L(u, λ ) toán tử phi tuyến tham số hóa λ , Ω tập Rn với n ∈ N số chiều Thiết lập bao gồm loạt ràng buộc vật lý bao gồm định luật bảo tồn, q trình khuếch tán, hệ phản ứng đối lưu-khuếch tán phương trình động học, Lấy ví dụ cụ thể phương trình chiều Burgers [2] tương ứng với trường hợp L(u, λ ) = λ1 uux − λ2 uxx λ = (λ1 , λ2 ) Ở đây, số phụ biểu thị đạo hàm phần theo thời gian không gian Vấn đề xấp xỉ tham số phương trình đạo hàm riêng theo hướng liệu đặt toán: Với tập hợp nhỏ quan sát phân tán có khả nhiễu trạng thái ẩn (nghiệm) u(t, x) hệ phương trình đạo hàm riêng, ta cần tìm tham số λ mơ tả tốt liệu quan sát được, nội dung mà đề tài luận văn tập 34 Có ba loại kết nối mạng này: Xtn → φn (θn ) → Ztn mạng nơ-ron truyền thẳng nhiều lớp với nối tắt (ResNet) thời điểm t = tn Trọng số mạng tham số mà ta hướng tới để tối ưu hóa, mạng sử dụng hàm kích hoạt ReLU (Xtn ,Ytn , Ztn , ∆Wn ) → Xtn+1 phép lặp chuyển tiếp cho đầu cuối mạng dạng xấp xỉ u(tN , XtN ) Khơng có tham số tối ưu hóa thành phần kết nối (Xtn , ∆Wn ) → Xtn+1 coi thành phần liệu huấn luyện mạng, kết nối khối thời điểm khác Cũng khơng có tham số tối ưu hóa thành phần kết nối Thuật toán Mạng học sâu xấp xỉ nghiệm t0 = 0, x = Xt0 phương trình 2.3 1: Đầu vào: Xt0 2: Đầu ra: u(t ˆ , Xt0 ) 3: Bước 1: Khởi tạo Yt0 = u(0, X0 ) = 0, Zt0 = σ T (0, Xt0 )▽u(0, Xt0 ) = 0, θ 4: Bước 2: Sinh liệu cho mơ hình: Theo cơng thức 2.8: Xt0 → {Xtn , ∆tn , ∆Wn }Nn=0 (M liệu) 5: Bước 3: Với {Xtn , ∆tn , ∆Wn }Nn=0 M bộ: Theo công thức 2.9: Xt0 ,Yt0 , Zt0 , ∆W0 , ∆t0 → Yt1 Mạng thứ nhất: Xt1 → Zt1 Theo công thức 2.9: Xt1 ,Yt1 , Zt1 , ∆W1 , ∆t1 → Yt2 Mạng thứ N − 1: XtN−1 → ZtN−1 Theo công thức 2.9: XtN−1 ,YtN−1 , ZtN−1 , ∆WN−1 , ∆tN−1 → YtN 6: Bước 4: Tính hàm tổn thất cho M liệu Loss = 7: N−1 M |g(XtiN ) −YtiN |2 +λ ∑ |θi |2 ∑ M i=1 i=1 Bước 5: Cập nhật tham số Yt0 , Zt0 , θ mơ hình mạng học sâu cách sử dụng trình tối ưu hóa dựa gradient SGD, Adam, để làm giảm hàm tổn thất (Loss) 8: Bước 6: Quay lại bước giá trị hàm tổn thất nhỏ ε cho trước đạt tới số vòng lặp tối đa Tại bước 1, ta khởi tạo giá trị ban đầu Yt0 Zt0 , giá trị khởi tạo điểm khởi đầu để mơ hình bắt đầu q trình tối ưu hóa (giá trị khởi tạo 35 xa giá trị trình hội tụ thuật toán cần nhiều bước lặp thời gian) Đồng thời hai biến Yt0 Zt0 coi tham số mơ hình tham gia vào q trình tối ưu hóa (được cập nhật bước lặp với tham số θ mơ hình) Ở bước lặp thuật tốn phương trình 2.8 ta sinh ngẫu nhiên M {Xtn , ∆tn , ∆Wn }Nn=0 đóng vai trị làm liệu cho q trình huấn luyện mơ hình mạng học sâu Đưa liệu vào mơ hình để thu đầu YtN so sánh với giá trị g(XtN ) biết để tính hàm tổn thất, sau đưa vào trình tối ưu hóa để làm giảm hàm tổn thất cách cập nhật lại tham số θ ,Yt0 , Zt0 mơ hình Sau quay trở lại bước để bắt đầu vòng lặp mới, sinh liệu để bắt đầu trình tính tốn qua mạng nơ-ron, tính hàm tổn thất cập nhật lại tham số mơ hình đạt số vòng lặp tối đa 2.2 Xấp xỉ hệ số mạng học sâu Phương pháp giải lớp tốn có dạng tốn nêu hệ số λ khơng cịn số mà hàm phụ thuộc vào điểm không thời gian (t, x) L(u(t, x), λ (t, x)) = f (t, x) (t, x) ∈ [0, T ] × Ω, Ω ⊂ Rd (2.11) Khi đó, ta xấp xỉ hàm λ (t, x) mạng nơ-ron nhân tạo NN(t, x, θ ) λ (t, x) ≈ NN(t, x, θ ) Ta xét phương pháp dùng • Xấp xỉ nghiệm u(t, x) hệ số λ (t, x) mạng học sâu • Xấp xỉ hệ số λ (t, x) mạng học sâu kết hợp với pương pháp giải số khác 2.2.1 Sử dụng mạng học sâu xấp xỉ hệ số nghiệm Với đầu vào điểm liệu nêu phần 2.1.1 {ti , xi , ui }Ni=1 , 36 ui giá trị quan sát nghiệm u điểm (ti , xi ) Sifan Wang cộng [39] sử dụng nhiều mạng học sâu để giải hệ phương trình đạo hàm riêng, theo ý tưởng ta xấp xỉ nghiệm u PDEs hàm λ mạng học sâu NNu (t, x, θ ) NNλ (t, x, β ) với NNu (t, x, θ ) = u(t, ˆ x) ≈ u(t, x), NN (t, x, β ) = λˆ (t, x) ≈ λ (t, x) λ Để đơn giản ta sử dụng NNu (t, x, θ ) NNλ (t, x, β ) mạng truyền thẳng mô tả phần 1.2.2 Đặt R := L(u(t, ˆ x), λˆ (t, x)) − f (t, x) Tiếp theo thành phần hàm mục tiêu toán hay gọi hàm tổn thất, ta chọn hàm tổn thất có dạng Loss = LossR + Lossu , N ˆ i , xi ), λˆ (ti , xi )) − f (t, x))2 , LossR = ∑ (L(u(t N i=1 N ˆ i , xi ) − ui )2 Lossu = ∑ (u(t N i=1 Tương tự tốn trước có liệu, mơ hình mạng hàm tổn thất, ta bắt đầu q trình tối ưu hóa hàm mục tiêu trình tối ưu dựa gradient Adam, L-BFGS, cập nhật trọng số mơ hình Thuật tốn tốn mơ tả sau 37 Thuật toán Xác định nghiệm hệ số PDEs nhiều mạng nơ-ron 1: Đầu vào: {ti , xi }Ni=1 2: Đầu ra: NNu (t, x, θ ) = u(t, ˆ x), NNλ (t, x, β ) = λˆ (t, x) 3: Khởi tạo: Khởi tạo tham số mơ hình mạng θ , β 4: Bước 1: Lan truyền xuôi Đưa liệu {ti , xi }Ni=1 đầu vào mạng nơ-ron Thơng qua mạng, tính tốn đầu u(t, ˆ x) λˆ (t, x) Áp dụng phương pháp "automatic differentiation", tính đạo hàm u(t, ˆ x) hàm liên quan ∂ uˆ ∂ uˆ ∂ uˆ ,···, , , ∂t ∂ x ∂ x2 R := L(u(t, ˆ x), λˆ (t, x)) − f (t, x) 5: Bước 2: Tính giá trị hàm tổn thất Loss = LossR + Lossu 6: Bước 3: Lan truyền ngược Cập nhật tham số θ β mơ hình mạng cách sử dụng thuật tốn tối ưu hóa dựa gradient như: Adam, SGD, L-BFGS, để giảm thiểu hàm tổn thất 7: Bước 4: Quay lại bước giá trị hàm tổn thất nhỏ ε cho trước đạt tới số vòng lặp tối đa 2.2.2 Kết hợp với phương pháp khác Việc kết hợp mạng học sâu vào phương pháp giải số phương trình đạo hàm riêng nhắc đến nhiều nghiên cứu, có hai nghiên cứu bật • Kết hợp mạng nơ-ron với phương pháp sai phân hữu hạn • Kết hợp mạng nơ-ron với phương pháp phần tử hữu hạn Cách kết hợp với phương pháp phần tử hữu hạn Sebastian K.Mitusch [27] giới thiệu năm 2021, ý tưởng với phương pháp khác, tham số λ (t, x) xấp xỉ mạng học sâu NN(t, x, λ ), ta có giá trị xác định từ đầu mạng λˆ (t, x), ta sử dụng phương pháp phần tử hữu hạn để giải số nghiệm u điểm (t, x) PDEs u(t, ˆ x) ≈ u(t, x) 38 Các nghiệm xấp xỉ uˆ so sánh với quan sát u cho trước biết, đồng thời khoảng cách u uˆ lấy làm hàm tổn thất toán Mạng nơ-ron phương pháp sai phân hữu hạn Trong giới hạn luận văn, ta sâu vào phương pháp kết hợp mạng nơ-ron phương pháp sai phân hữu hạn Kailai Xu cộng [40] bước đầu triển khai ý tưởng việc áp dụng lược đồ giải số mạng học sâu cho phương trình đạo hàm riêng Tương tự ý tưởng trước hàm λ (t, x) xấp xỉ mạng học sâu NN(t, x, θ ), ta thường sử dụng mạng truyền thẳng Để áp dụng ý tưởng phương pháp sai phân hữu hạn, ta chọn lược đồ sai phân hữu hạn {F(ti , xi , ui ) = 0}Ni=1 phù hợp cho PDEs Do chưa biết tham số λ (t, x), nên coi tham số lược đồ F, dựa vào quan sát ui biết điểm (ti , xi ) ta thu hàm tổn thất thông qua việc tính tốn lược đồ sai phân hữu hạn N Loss = ∑ (F(ti , xi , ui , NN(ti , xi , θ )))2 N i=1 Việc tối ưu hóa hàm tổn thất (Loss) trình tối ưu hóa dựa gradient Adam, L-BFGS, cập nhật tham số mơ hình mạng học sâu NN(t, x, θ ) Thuật tốn cho tốn mơ tả sau 39 Thuật toán Mạng nơ-ron nhân tạo với lược đồ sai phân hữu hạn xác định hệ số PDEs 1: Đầu vào: {ti , xi }Ni=1 2: Đầu ra: NN(t, x, θ ) = λˆ (t, x) ≈ λ (t, x) 3: Khởi tạo: Khởi tạo tham số mơ hình mạng θ 4: Bước 1: Lan truyền xuôi Đưa liệu {ti , xi }Ni=1 đầu vào mạng nơ-ron Thơng qua mạng, tính tốn đầu λˆ (t, x) 5: Bước 2: Tính giá trị hàm tổn thất Áp dụng lược đồ sai phân hữu hạn {F(ti , xi , ui , λˆ (ti , xi )) = 0}Ni=1 tính hàm tổn thất Loss = 6: N ∑ (F(ti , xi , ui , λˆ (ti , xi )))2 N i=1 Bước 3: Lan truyền ngược Cập nhật tham số θ mạng cách sử dụng thuật tốn tối ưu hóa dựa gradient như: Adam, SGD, L-BFGS, để giảm thiểu hàm tổn thất (Loss) 7: Bước 4: Quay lại bước giá trị hàm tổn thất nhỏ ε cho trước đạt tới số vòng lặp tối đa 40 Chương Các ví dụ kết số Trong đồ án này, ta sử dụng thuật toán Adam kết hợp với thuật toán L-BFGS để tối ưu hóa tham số đào tạo Hàm kích hoạt chọn cho lớp ẩn hàm hyperbolic (tanh) Ta đào tạo mạng nơ-ron để giải lớp toán toán truyền nhiệt, tốn dịng chảy Navier-Stokes mơ hình định giá với phương trình BlackScholes Đối với tất tốn này, ta biết giá trị nghiệm số quan sát từ ta tính sai số L2 để đo độ xác mạng nơ-ron áp dụng Gọi u∗ giá trị nghiệm biết uˆ giá trị gần với nghiệm u∗ , N lượng liệu, sau ta đo độ xác uˆ s  2 N ˆ i ) − u∗ (xi ) , L2 = ∑ u(x N i=1 {xi }Ni=1 tập hợp điểm xác định miền Ω toán Các kết chương chạy Google Colab sử dụng Python 3.6.7 Tensorflow 2.1 Mã nguồn, liệu kết số đăng https://github.com/duypham01/PDENet 3.1 3.1.1 Bài tốn Phương trình Poisson Xét phương trình Poisson (truyền nhiệt dừng) hai chiều miền Ω −λ ∆u = f , (x, y) ∈ Ω, 41 với ∆u = ∂ 2u ∂ x2 + ∂∂ yu2 , Ω = [0, 1]2 f (x, y) = 2π sin(πx)sin(πy), có nghiệm giải tích trường hợp λ = u(x, y) = sin(πx)sin(πy) Ta sử dụng cơng thức nghiệm giải tích để sinh quan sát (giá trị u điểm cho trước) Mục tiêu tốn tìm hệ số λ ∈ R thỏa mãn phương trình tốn cho trước số quan sát nghiệm u(x, y) Khơng gian Ω rời rạc hóa cách chia miền Ω thành lưới điểm {xi , yi , ui }Ni=1 , với = x1 < x2 < < xN = 1, = y1 < y2 < < yN = 1, ui = u(xi , yi ), N = 3000 Ta xấp xỉ nghiệm u mạng truyền thẳng NN(x, y, θ ) λ trọng số mơ hình mạng NN khởi tạo 0, NN(x, y, θ , λ ) ≈ u(x, y) Đặt R(x, y) := −∆NN(t, x, θ , λ ) − f ≈ −∆u − f Theo công thức hàm tổn thất nêu mục 2.1.1, ta có hàm tổn thất cho toán Loss = N N (R(x , y )) + (NN(xi , yi , θ , λ ) − ui )2 i i ∑ ∑ N i=1 N i=1 Áp dụng thuật toán nêu chương 2.1.1, ta thu kết λˆ = 1.05 ≈ hàm tổn thất giảm 0.0032 với sai số nghiệm s N L2err = ∑ (ui − uˆi)2 = 0.042 N i=1 Đồ thị giá trị λ qua bước lặp biểu diễn hình 3.1 42 Hình 3.1: Xấp xỉ tham số λ phương trình Poisson mạng học sâu qua bước lặp 3.1.2 Phương trình Navier-Stokes Xét phương trình Navier-Stokes hai chiều phụ thuộc thời gian ∂u − λ ∆u + u · ∇u + ∇p = f ∂t ∇·u = [0, T ] × Ω, [0, T ] × Ω, với u = u(t, x, y) vận tốc, p = p(t, x, y) áp suất Trong toán cụ thể, Ω = [0, 1]2 , T = , f = f (t, x, y) = 0, u = (u(t, x, y), v(t, x, y)), (x, y) ∈ Ω Cơng thức nghiệm giải tích toán u(t, x, y) = −cos(πx)sin(πy)e−2π v(t, x, y) = sin(πx)cos(πy)e−2π 2tλ 2tλ , , với λ = 0.01 cơng thức nghiệm giải tích Tương tự ví dụ trước, ta sử dụng cơng thức nghiệm giải tích để tính giá trị quan sát u v Với liệu đầu vào lưới điểm chia {ti , xi , yi , ui , vi }Ni=1 , ui = u(ti , xi , yi ), vi = v(ti , xi , yi ), N = 1000, phương trình hệ viết lại dạng ut − λ (uxx + uyy ) + uux + vuy + px = 0, vt − λ (vxx + vyy ) + uvx + vvy + py = 0, ux + vy = 43 Sử dụng mạng truyền thẳng NN(t, x, y, θ , λ ) = [u(t, ˆ x, y), v(t, ˆ x, y), p(t, ˆ x, y)]T ≈ [u(t, x, y), v(t, x, y), p(t, x, y)]T , đặt R1 := ut − λ (uˆxx + uˆyy ) + uˆuˆx + vˆuˆy + pˆx , R2 := vˆt − λ (vˆxx + vˆyy ) + uˆvˆx + vˆvˆy + pˆy , R3 := uˆx + vˆy = 0, hàm tổn thất có dạng N N N 2 Loss = ∑ (R1 ) + ∑ (R2 ) + ∑ (R3 )2 N i=1 N i=1 N i=1 + N N ( u(t ˆ , x , y ) − u ) + (v(t ˆ i , xi , yi ) − vi )2 i i i i ∑ ∑ N i=1 N i=1 Áp dụng thuật toán chương 2.1.1, ta thu kết λˆ = 0.009 ≈ 0.01 hàm tổn thất giảm 0.00006 với sai số nghiệm s N L2err = ∑ [(ui − uˆi)2 + (vi − vˆi)2] = 0.00277722 N i=1 Đồ thị giá trị λ qua bước lặp biểu diễn hình 3.2 Hình 3.2: Xấp xỉ tham số λ phương trình Navier-Stokes mạng học sâu qua bước lặp 3.1.3 Phương trình Black-Scholes nhiều chiều với mơ hình định giá Phương trình chiều Xét phương trình 2.3 với d = 1, x ∈ R, T −t 1 ut + σ x2 uxx + µxux + e [ cos(x)(1 + σ x2 ) + µxsin(x)] = 0, 2 44 σ = 1, µ = 0.02, T = Phương trình có nghiệm giải tích u(t, x) = e T −t cos(x), với quan sát u(t = T, x) biết, ta cần tìm điều kiện ban đầu tốn u(t = 0, x) Ta thấy dạng toán nêu chương 2.1.2, xét x = X0 với N = 50, ∆t = 0.02 ∆Wn ∼ N (0, ∆t), bước lặp sinh ngẫu nhiên 64 liệu Khi nghiệm xác t = u(t = 0, x = 0.5) = 1.447 Đồ thị u(t ˆ = 0, x = 0.5) xấp xỉ mô hình mạng nơ-ron qua thuật tốn nêu chương 2.1.2 biểu diễn qua hình sau Hình 3.3: Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.02 Hình 3.3 với đồ thị bên trái biểu diễn phụ thuộc u(t ˆ = 0, x = 0.5) hay Y0 vào số bước lặp với 50 bước thời gian cách tỷ lệ học (learning rate) 0.001 Mơ hình đạt sai số tương đối 0.2% sau 3000 bước lặp 13 phút với xấp xỉ Y0 = u(t ˆ = 0, x = 0.5) ≈ 1.450 Ta thấy thuật toán hội tụ đến giá trị gần u(t = 0, x = 0.5) ta khởi tạo giá trị ban đầu Y0 đâu Trong đồ thị bên trái hình 3.3 khởi tạo Y0 = 2.047 đồ thị bên phải hình 3.3 khởi tạo Y0 = −1.470 (trong trường hợp thuật toán hội tụ sau 4500 bước lặp 19 phút với xấp xỉ Y0 = u(t ˆ = 0, x = 0.5) ≈ 1.453) , hai trường hợp thuật toán hội tụ giá trị 1.447 Đối với trường hợp chiều thời gian tính tốn phương pháp lớn so sánh với phương pháp giải số phần tử hữu hạn (có thể giải phút) Tuy nhiên ta thấy thời 45 gian tính tốn tăng chậm kể số chiều tăng lên lớn ví dụ Hình 3.4: Xấp xỉ u(t = 0, x = 0.5) qua vịng lặp với µ = 0.2 Trong hình 3.4, ta thay µ = 0.2 thuật tốn sử dụng mạng truyền thẳng ý tưởng Jiequn Han cộng [11] lại gặp vấn đề hội tụ nghiệm, nghiệm hội tụ Y0 = 1.686 sau 3000 bước lặp nhiên không giảm thêm (đồ thị bên trái hình 3.4), sử dụng kiến trúc ResNet cải thiện để đưa giá trị gần Y0 = 1.450 (đồ thị bên phải hình 3.4) Phương trình Black-Scholes phi tuyến tính với rủi ro phá sản (Default Risk) Một vấn đề quan trọng giao dịch cơng cụ tài phái sinh (financial derivatives) định giá cách hợp lý Black Scholes [5] minh họa giá u cơng cụ tài phái sinh thỏa mãn phương trình PDEs parabolic, ngày gọi phương trình Black-Scholes Mơ hình Black-Scholes mở rộng để tính đến số yếu tố quan trọng thị trường thực, bao gồm trường hợp cổ phiếu gặp rủi ro toán, lãi suất vay cao lãi suất cho vay, mơ hình có tính đến chi phí giao dịch (các mơ hình đơn giản thường giả định chi phí giao dịch khơng đáng kể), có tính đến yếu tố bất định, [9][4] Điều khiến cho mơ hình định giá trở nên phi tuyến [4][6][11] Mơ hình Black-Scholes ban đầu khơng tính đến yếu tố bật rủi ro phá sản [6] đặc biệt, khủng hoảng tín dụng khủng hoảng nợ công châu Âu năm 2014 thể tầm quan trọng yếu tố 46 Để xem xét mơ hình có tính đến tồn yếu tố ảnh hưởng đến công cụ phái sinh, ta cần giải PDEs phi tuyến với số chiều lớn Tuy nhiên, thuật toán định giá giải vấn đề nói chung tồn kích thước số chiều Để chứng minh tính hiệu phương pháp dựa mạng học sâu, nghiên cứu trường hợp đặc biệt mơ hình định giá đệ quy (the recursive valuation model) với rủi ro phá sản [9][4] Chúng coi giá hợp lý (fair price) xác nhận quyền sở hữu “kiểu châu Âu” (European claim) dựa 100 tài sản (underlying assets) với điều kiện chưa xảy phá sản Khi xảy phá sản người phát hành xác nhận quyền sở hữu (claim’s issuer), người giữ xác nhận quyền sở hữu (claim’s holder) nhận phần nhỏ δ ∈ [0, 1) giá trị Ta coi giá trị 100 tài sản Xt0 không đổi sinh ngẫu nhiên giá trị Xtn ,∆Wn theo công thức 2.8, giá trị {Xtn , ∆Wn }N−1 n=1 mẫu, tập hợp mẫu đầu vào để huấn luyện mơ hình mạng học sâu hay chúng đóng vai trị liệu mơ hình mẫu thông qua mạng nơ-ron đầu cuối xấp xỉ u(tN = T, XtN ), đầu so sánh với điều kiện cuối toán (u(T, x = XtN ) = g(x = XtN ) biết) nhằm mục đích tính giá trị hàm tổn thất để đưa vào trình tối ưu hóa (q trình tối ưu hóa q trình ta làm giảm hàm tổn thất cách thay đổi tham số mơ hình theo hướng giảm gradient) Mơ hình mạng học sâu ví dụ đưa nhằm xấp xỉ Y0 = u(t = 0, x = Xt0 ) giá trị coi tham số mơ hình đồng thời tham gia vào q trình tối ưu hóa (tham số cập nhật sau vòng lặp đạt đến số vòng lặp tối đa giá trị hàm tổn thất nhỏ 10−3 ) Mỗi vịng lặp chúng tơi sinh ngẫu nhiên M mẫu dựa Xt0 đưa vào mạng nơ-ron để bắt đầu q trình tối ưu hóa Khả phá sản mơ thời gian trình Poisson với cường độ Q, hàm giảm giá trị tại; tức là, khả xảy phá sản cao giá trị xác nhận quyền sở hữu (claim’s value) thấp Ta mơ hình hóa khả phá sản vào hàm f phương trình 47 2.3 sau f (t, x, u(t, x), σ T (t, x)▽u(t, x)) = −(1 − σ )Q(u(t, x))u(t, x) − Ru(t, x), [9], R lãi suất tài sản phi rủi ro (interest rate of the risk-free asset) Ta giả định giá tài sản (underlying asset price) di chuyển dạng chuyển động Brown chọn hàm cường độ Q làm hàm tuyến tính khúc giá trị với ba vùng vh < vl , γ h > γ l ) Q(y) = 1(−∞,vh ) (y)γ h + 1[vl ,∞) (y)γ h + 1[vh ,vl ) (y)[ γh − γl (y − vh ) + γ h ], h l v −v [4] Thay vào phương trình 2.3 ta phương trình Black – Scholes phi tuyến [0, T ] × R100 ut + µx.▽u + σ2 d 2∂ u |x | ∑ i ∂ x2 − (1 − δ )Q(u)u − Ru = i=1 i Ta chọn T = 1, σ = 23 , R = 0.02, µ = 0.02, σ = 0.2,vh = 50, vl = 70, γ h = 0.2, γ l = 0.02, điều kiện cuối g(x) = min{x1 , , x100 } với x = (x1 , , x100 ) ∈ R100 với N = 50, ∆t = 0.02 ∆Wn ∼ N (0, ∆t) Đồ thị u(t = 0, x = [100, 100, , 100]) xấp xỉ mơ hình mạng nơ-ron qua thuật toán (chương 2.1.2) biểu diễn qua hình sau Hình 3.5: Xấp xỉ u(t = 0, x = [100, 100, , 100]) qua vịng lặp Hình 3.5 với đồ thị bên trái biểu diễn phụ thuộc u(t = 0, x = [100, 100, , 100]) hay Y0 vào số bước lặp với 50 bước thời gian cách tỷ lệ học (learning rate) 0.001 Do tốn khơng có nghiệm giải tích trường hợp nên 48 ta so sánh sai số bước lặp liên tiếp đạt sai số tương đối 0.05% sau 6000 bước lặp 36 phút với xấp xỉ Y0 = u(t = 0, x = [100, 100, , 100]) ≈ 57.117 Ta thấy kể số chiều tăng từ lên đến 100 thời gian tính tốn tăng từ 13 phút lên 36 phút, với phương pháp truyền thống khác việc tăng số chiều dẫn đến tài ngun tính tốn khơng thể đáp ứng yêu cầu giải số độ phức tạp tính tốn tăng theo cấp số mũ Nghiệm gần t = 0, x = [100, 100, , 100] tính phương pháp Picard [10][14]: u(t = 0, x = [100, 100, , 100]) ≈ 57.300 thời gian 140 phút, lâu nhiều so sánh với thời gian 36 phút phương pháp sử dụng mạng học sâu Để so sánh, khơng tính đến rủi ro phá sản, nhận u(t = 0, x = [100, 100, , 100]) ≈ 60.616 (đồ thị bên phải hình 3.5) Trong trường hợp này, mơ hình trở thành tuyến tính giải phương pháp Monte Carlo đơn giản Tuy nhiên, việc bỏ qua rủi ro phá sản dẫn đến sai sót đáng kể việc định giá, minh họa Phương pháp dựa mạng học sâu cho phép kết hợp chặt chẽ rủi ro phá sản vào mơ hình định giá Điều làm cho đánh giá cơng cụ tài phái sinh với rủi ro thấp đáng kể cho bên liên quan xã hội 3.2 3.2.1 Bài tốn Phương trình Stefan Phương trình truyền nhiệt với biên thay đổi theo thời gian t Ta xét phương trình: ut − ∆u = (x,t) ∈ Ω = (0, s(t)) × (0, T ), với điều kiện ban đầu biên Neumann: u(x, 0) = u0 (x) x ∈ [0, s(0)], ux (0,t) = g(t) t ∈ [0, T ] ... khơng, λ hệ số cần xác định mơ hình Trong mục này, ta xét phương pháp xác định hệ số phương trình đạo hàm riêng mạng học sâu NN(X, θ ) (Trong X đầu vào mạng nơ-ron nhân tạo, θ trọng số mơ hình mạng. .. hàm riêng mạng học sâu Chương trình bày phương pháp xác định hệ số phương trình đạo hàm riêng mạng học sâu cụ thể ý tưởng mạng PINNs Raissi đề xuất năm 2017 biến thể Chương Kết số Chương trình bày... dạng toán việc xác định hệ số phương trình đạo hàm riêng dựa công cụ mạng học sâu, áp dụng vào lớp toán cụ thể đưa ví dụ số nhằm minh họa cho thuật tốn đề xuất từ đơn giản đến phức tạp Học viên