Tap chi so 45a VN final

Tap chi so 45A VN final pdf Tạp chí Khoa học và Công nghệ, Số 45A, 2020 © 2020 Trường Đại học Công nghiệp thành phố Hồ Chí Minh GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO HO DAC QUAN[.]

Tạp chí Khoa học Cơng nghệ, Số 45A, 2020 GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO HO DAC QUAN, HUYNH TRUNG HIEU Industrial University Of Ho Chi Minh City; hodacquan@iuh.edu.vn Tóm tắt Phương trình đạo hàm riêng ứng dụng rộng rãi lĩnh vực khác đời sống vật lý, hóa học, kinh tế, xử lý ảnh vv Trong báo chúng tơi trình bày phương pháp giải phương trình đạo hàm riêng (partial differential equation - PDE) thoả điều kiện biên Dirichlete sử dụng mạng neural truyền thẳng lớp ẩn (single-hidden layer feedfordward neural networks - SLFN) gọi phương pháp mạng neural (neural network method – NNM) Các tham số mạng neural xác định dựa thuật toán huấn luyện mạng lan truyền ngược (backpropagation - BP) Kết nghiệm PDE thu phương pháp NNM xác so với nghiệm PDE giải phương pháp sai phân hữu hạn Từ khố Phương trình đạo hàm riêng, Mạng neural truyền thẳng lớp ẩn, Thuật toán lan truyền ngược SOLVING PARTIAL DIFFERENTIAL EQUATIONS USING ARTICIFICAL NEURAL NETWORKS Abstract Partial differential equations have been widely applied in various fields of human knowledge, such as physics, chemistry, economics, image processing, etc In this paper, we presented a method for solving the problem of partial differential equations (PDEs) with Dirichlet boundary conditions (This method) using single-hidden layer feedforward neural network (SLFN) called neural network method (NNM) The parameters of SLFNs are determined by training the neural network with backpropagation The results show that NNM can obtain accuracy higher finite difference method Keywords Partial differential equations, Single hidden layer feedforward neural network - SLFN, Backpropagation GIỚI THIỆU Trong thực tế tượng khoa học kỹ thuật dẫn đến toán giải phương trình đạo hàm riêng (partial differential equation-PDE) PDE thường xuất toán ứng dụng thực tế vật lý, kỹ thuật, sinh học, kinh tế, xử lý ảnh v.v [1, 2] Vì việc tìm nghiệm PDE yêu cầu quan trọng khoa học thực tiễn Trong số trường hợp đơn giản, nghiệm tìm nhờ vào nghiệm tường minh toán dạng cơng thức sơ cấp, tích phân hay chuỗi hàm Tuy nhiên đại đa số toán thực tế toán phi tuyến, tốn có miền tính tốn phức tạp nghiệm tường minh tốn khơng tìm q phức tạp để tìm chúng Trong trường hợp việc tìm nghiệm PDE phải dựa vào phương pháp giải gần Các phương pháp số tìm nghiệm gần thông thường giải PDE phương pháp phần tử hữu hạn (finite element method - FEM), phương pháp sai phân hữu hạn (finite difference method - FDM) Phương pháp số xác định nghiệm gần cách thay miền xác định liên tục số hữu hạn điểm gọi nút lưới lưới sai phân tính tốn nghiệm PDE nút lưới [3, 4] Như để xác định nghiệm gần PDE điểm miền xác định phương pháp số đòi hỏi phải chia lưới miền tính tốn chứa nút lưới cần tính tính giá trị nút lưới lưới sai phân vừa chia dựa vào điều kiện biên điều kiện ban đầu cho trước PDE Để khắc phục việc giải PDE chia lưới miền tính tốn nêu trên, cách tiếp cận để tìm nghiệm gần PDE dạng hàm sử dụng mạng neural (artificial neural network - ANN) ANN cơng cụ tìm nghiệm PDE thích hợp dựa vào việc điều chỉnh tham số mạng cách tăng cường việc huấn luyện mạng [5] Ưu điểm sử dụng ANN để xác định nghiệm PDE không cần phải tính tốn lại giá trị nút lưới miền xác định dựa điểm chia lưới sai phân tính tốn trước [6] Ngồi ANN xấp xỉ hàm hàm truyền chọn cách thích hợp [7] © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh 24 GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO Trong báo chúng tơi trình bày mạng neural truyền thẳng lớp ẩn sử dụng thuật toán huấn luyện lan truyền ngược để xác định nghiệm phương trình đạo hàm riêng với điều kiện biên Dirichlet Nghiệm NNM PDE thu so sánh với nghiệm giải FDM Bố cục báo tổ chức sau: Mục trình bày phương pháp sai phân hữu hạn Mạng neural truyền thẳng lớp ẩn để giải PDE mô tả Mục Kết thực nghiệm mô tả Mục cuối kết luận PHƯƠNG PHÁP SAI PHÂN HỮU HẠN Cho phương trình đạo hàm riêng cấp với hai biến độc lập [8] ‫ܩ‬൫‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻǡ ‫—׏‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻǡ ‫׏‬ଶ ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ൯ ൌ Ͳǡ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ  ‫ א‬ȳ ‫ ܴ ؿ‬ଶ (1) thoả điều kiện biên Dirichlet ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ൌ ݃ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ‫߲ א‬ȳ G, ݃ hàm cho trước, ‫ ׏‬toán tử vi phân, ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ nghiệm (1), ߲ȳ biên ȳ Trong mặt phẳng (‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ) cho miền chữ nhật ȳ: ȳ ൌ ሼሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻȁܽ ൏ ‫ݔ‬ଵ ൏ ܾǡ ܿ ൏ ‫ݔ‬ଶ ൏ ݀ሽ với a, b, c, d số cho trước, ߲ȳ nằm đường thẳng ‫ݔ‬ଵ = a, ‫ݔ‬ଵ = b, ‫ݔ‬ଶ = c, ‫ݔ‬ଶ = d FDM phương pháp số thường sử dụng tính đơn giản phổ dụng Ý tưởng phương pháp chia hình chữ nhật ȳ thành M đoạn theo trục ‫ݔ‬ଵ ‫ݔ‬ଶ xấp xỉ đạo hàm phương trình (1) sử dụng công thức sai phân Trong báo minh họa giải PDE FDM với phương trình Poisson sau: డమ ௨ሺ௫భ ǡ௫మ ሻ డమ ௨ሺ௫భ ǡ௫మ ሻ ൅ డ௫భమ డ௫మమ ൌ ݂ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻǡ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ  ‫ א‬ȳ ‫ ܴ ؿ‬ଶ  (2) thoả điều kiện biên Dirichlet ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ൌ ݃ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻǡ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ‫߲ א‬ȳ, ݂ǡ ݃ hàm cho trước Khi xấp xỉ đạo hàm cấp hai phương trình Poisson sử dụng sai phân trung tâm biến đổi ta có hệ gồm (M+1)2 phương trình với (M+1)2 ẩn Giải hệ ta tính giá trị nút lưới lưới sai phân 2.1 Lưới sai phân hàm lưới Hình 1: Lưới sai phân hữu hạn Chọn số tự nhiên M>0 Chia miền ȳ thành ô lưới sau: ௕ି௔ Chia đoạn [a,b] thành M đoạn M+1 điểm chia có tọa độ ‫ݔ‬ଵ௜ ൌ ܽ ൅ ሺ݅ െ ͳሻ݄ଵ , ݄ଵ ൌ  ெ độ dài đoạn chia, với i : ặ M+1 â 2020 Trng i hc Cụng nghip thành phố Hồ Chí Minh GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO 25 Chia đoạn [c,d] thành M đoạn M+1 điểm chia có tọa độ ‫ݔ‬ଶ௜ ൌ ܿ ൅ ሺ݅ െ ͳሻ݄ଶ , ݄ଶ ൌ  ௗି௖ ெ độ dài đoạn chia Mỗi điểm ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯tương ứng với nút lưới ሺ݅ǡ ݆ሻ, với i, j : Ỉ M+1 Một hàm số xác định nút lưới gọi hàm lưới Giá trị hàm lưới nút lưới ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯ ký hiệu ‫ݑ‬௜ǡ௝ xác định : ‫ݑ‬௜ǡ௝ ൌ ‫ݑ‬൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯, i, j : ỈM+1 Tập ȳ௛భǡ ௛మ ൌ ሼ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯ȁ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯ ‫ א‬ȳሽ gọi tập nút Tập ߲ȳ௛భ ǡ௛మ ൌ ሼ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯ȁ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯ ‫߲ א‬ȳሽ gọi tập nút biên 2.2 Lược đồ sai phân Từ phương trình డమ ௨ሺ௫భ ǡ௫మ ሻ డమ ௨ሺ௫భ ǡ௫మ ሻ ൅ మ డ௫భ డ௫మమ ൌ ݂ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻǡ ܽ ൏ ‫ݔ‬ଵ ൏ ܾǡ ܿ ൏ ‫ݔ‬ଶ ൏ ݀, để xấp xỉ đạo hàm cấp hai theo biến ‫ݔ‬ଵ ‫ݔ‬ଶ điểm ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯, sử dụng công thức sai phân trung tâm ta ‫ݑ‬௜ିଵǡ௝ െ ʹ‫ݑ‬௜ǡ௝ ൅ ‫ݑ‬௜ାଵǡ௝ ‫ݑ‬௜ǡ௝ିଵ െ ʹ‫ݑ‬௜ǡ௝ ൅ ‫ݑ‬௜ǡ௝ାଵ ൅ ൌ ݂௜ǡ௝ ݄ଵଶ ݄ଶଶ (3) Thay (3) vào (2) biến đổi thành dạng toán sai phân hữu hạn hạn ݄ଶ ‫ݑۓ‬௜ିଵǡ௝ ൅ ‫ݑ‬௜ାଵǡ௝ ൅ ߣ‫ݑ‬௜ǡ௝ିଵ ൅ ߣ‫ݑ‬௜ǡ௝ାଵ െ ʹሺͳ ൅ ߣሻ‫ݑ‬௜ǡ௝ ൌ  ݄ଵଶ ݂௜ǡ௝ ǡ ߣ ൌ ଵଶ  ݄ଶ ۖ ۖ ‫ݑ‬ଵǡ௝ ൌ  ݃௔ ൫‫ݔ‬ଶ௝ ൯ǡ ݆ǣ ͳỈ‫ ܯ‬൅ ͳ (4) (5) ‫ݑ‬ெାଵǡ௝ ൌ  ݃௕ ൫‫ݔ‬ଶ௝ ൯ǡ ݆ǣ ͳỈ‫ ܯ‬൅ ͳ (6) ‫ݑ‬௜ǡଵ ൌ  ݃௖ ሺ‫ݔ‬ଵ௜ ሻǡ ݅ǣ ͳỈ‫ ܯ‬൅ ͳ (7) ‫ݑ‬௜ǡெାଵ ൌ  ݃ௗ ሺ‫ݔ‬ଵ௜ ሻǡ ݅ǣ ͳỈ‫ ܯ‬൅ ͳ (8) Từ phương trình (4) cho ta mối quan hệ ‫ݑ‬௜ǡ௝ bốn nút lưới xung quanh ‫ݑ‬௜ǡ௝ Giải hệ phương trình đại số tuyến tính (4-8) ta xác định giá trị hàm lưới ‫ݑ‬௜ǡ௝ với ݅ǡ ݆ ‫ͳ ׷‬Ỉ‫ ܯ‬൅ ͳ ‫۔‬ ۖ ۖ ‫ە‬ MẠNG NEURAL TRUYỀN THẲNG MỘT LỚP ẨN ĐỂ GIẢI PDE (NNM) 3.1 Mạng truyền thẳng lớp ẩn Nhiều kiến trúc khác mạng neural phát triển mạnh Tuy nhiên người ta chứng minh mạng neural truyền thẳng lớp ẩn (single hidden layer feedfordward neural network SLFN) xấp xỉ hàm số nút ẩn hàm truyền chọn cách thích hợp [7] Kiến trúc SLFN giải PDE với d nút lớp nhập, N nút lớp ẩn nút lớp xuất minh họa hình 2: Hình 2: Kiến trúc tiêu biểu mạng neural lớp ẩn (SLFN) giải PDE © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh 26 GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO Với࢞࢐ ൌ  ሾ‫ݔ‬௝ଵǡ ‫ݔ‬௝ଶ ǡ ǥ ǡ ‫ݔ‬௝ௗ ሿ் ‫ ܴ  א‬ௗ ngõ vào, ‫ݓ‬௠௝ véc tơ trọng số kết nối từ nút nhập j đến nút ẩn thứ m, ‫ܟ‬୫ ൌ ሾ‫ݓ‬௠ଵǡ ‫ݓ‬௠ଶ ǡ ǥ ǡ ‫ݓ‬௠ௗ ሿ் , ܾ௠ độ lệch (bias) nút ẩn thứ m, ߚ௠ vector trọng số kết nối từ lớp ẩn thứ m đến nút xuất , ࢝௠ ή ࢞௝ tích vơ hướng hai vecto ࢝௠ ࢞௝ , ߪሺǤ ሻ hàm truyền (trong nghiên cứu này, tác giả sử dụng hàm sigmoid) Ứng với vector đầu vào ࢞࢐ ngõ xuất ‫݋‬୨ xác định ே (9) ‫݋‬௝ ൌ  ෍ ߚ௠ ߪሺ࢝௠ ή ࢞௝ ൅ ܾ௠ ሻ ௠ୀଵ 3.2 Nghiệm PDE sử dụng SLFN Cho phương trình đạo hàm riêng cấp hai với có dạng tổng quát [9]: ‫ܩ‬൫࢞ǡ ‫ݑ‬ሺ࢞ሻǡ ‫—׏‬ሺ࢞ሻǡ ‫׏‬ଶ ‫ݑ‬ሺ࢞ሻ൯ ൌ Ͳǡ ࢞ ‫ א‬ȳ ‫ ܴ ؿ‬ௗ ǡ ݀ ‫ܰ א‬ (10) thỏa điều kiện biên (boundary conditions – BCs) Dirichlete, với ࢞ ൌ ሺ‫ݔ‬ଵ ǡ ǥ ǡ ‫ݔ‬ௗ ሻ ‫ ܴ  א‬ௗ ǡ ‫ݑ‬ሺ࢞ሻ nghiệm phương trình (10)cần xác định Biên miền ȳ kí hiệu ߲ȳ Nghiệm ‫ݑ‬ሺ࢞ሻ gần (10) xác định cách chia lưới miền ȳ ߲ȳ tìm giá trị ෡ ൌ ൛݆࢞  ‫ א‬ȳǢ ݆ ൌ ͳǡ ǥ ǡ ݊ൟ Rõ ràng việc tìm giá trị u nút lưới ‫ ݑ‬tại nút lưới thuộc miền ȳ ෡ đưa giải hệ phương trình (11) thuộc ȳ ෡, ‫ ܩ‬ቀ࢞௝ ǡ ‫ݑ‬൫࢞௝ ൯ǡ ‫—׏‬൫࢞௝ ൯ǡ ‫׏‬ଶ ‫ݑ‬൫࢞௝ ൯ቁ ൌ Ͳǡ ࢞௝  ‫  א‬ȳ (11) ‫ ݑ‬phải thỏa điều kiện biên Dirichlet ෡ cách giải hệ phương trình, gọi ‫ݑ‬௧ ሺ࢞ǡ ࢖ሻ Thay xác định giá trị nút lưới thuộc ȳ nghiệm gần phương trình (14), p tham số điều chỉnh cho cực tiểu hàm lỗi (12) ଶ ‫ܧ‬ሺ࢖ሻ ൌ ෍ ൫‫ܩ‬ሺ࢞௝ ǡ ‫ݑ‬௧ ሺ࢞࢐ ǡ ࢖ሻǡ ‫ݑ׏‬௧ ሺ࢞࢐ ǡ ࢖ሻǡ ‫׏‬ଶ ‫ݑ‬௧ ሺ࢞࢐ ǡ ࢖ሻሻ൯ ǡ (12) ෡ ࢞ೕ ‫א‬ஐ ‫ݑ‬௧ thỏa điều kiện biên Dirichlet Nghiệm gần ‫ݑ‬௧ ሺ࢞ǡ ࢖ሻ xác định sử dụng SLFN thỏa điều kiện biên Dirichlet viết dạng tổng số hạng [9], ࢖ trọng số SLFN thay ࢃǡ ࢼ (13) ‫ݑ‬௧ ሺ࢞ǡ ࢃǡ ࢼሻ ൌ ‫ܣ‬ሺ࢞ሻ ൅ ‫ܨ‬ሺ࢞ሻܱሺ࢞ǡ ࢃǡ ࢼሻ, ܱሺ࢞ǡ ࢃǡ ࢼሻ ൌ  ࢼࢀ ߪሺࢃ࢞ሻ, ୘ ୘ (14) ሾ࢝ଵ் ǡ ்࢝ଶ ǡ ǥ ǡ ்࢝ே ሿ் ǡ ் ୒୶ୢାଵ với ࢞ ൌ ሾ࢞ ǡ ͳሿ giá trị đầu vào, ‫ ܟ‬ൌ ࢈ ൌ ሾܾଵ ǡ ܾଶ ǡ ǥ ǡ ܾே ሿ ǡ ࢃ ൌ ሾ࢝ǡ ࢈ሿ ‫ א‬ ǡࢼ ൌ ் ሾߚଵ ǡ ߚଶ ǡ ǥ ǡ ߚே ሿ trọng số SLFN, ܱሺ࢞ǡ ࢃǡ ࢼሻ ngõ xuất mạng neural, A(x) hàm không chứa trọng số SLFN thoả điều kiện biên Dirichlet, F(x) hàm không cần thoả điều kiện biên Dirichlet Trong báo nghiệm gần ‫ݑ‬௧ ሺ࢞ǡ ࢃǡ ࢼሻcủa (10) xác định sử dụng SLFN với thuật toán lan truyền ngược để cực tiểu hàm lỗi (12) qua việc điều chỉnh trọng số ࢃǡ ࢼ mạng Như việc xác định nghiệm gần phương trình (10) tương ứng với việc xác định ‫ݑ‬௧ ሺ࢞ǡ ࢃ‫ כ‬ǡ ࢼ‫ כ‬ሻ, vớiࢃ‫ כ‬ൌ ܽ‫ܧ ࢃ݊݅݉݃ݎ‬ሺࢃǡ ࢼሻ, ࢼ‫ כ‬ൌ ܽ‫ܧ ࢼ݊݅݉݃ݎ‬ሺࢃǡ ࢼሻ 3.3 Gradient ngõ xuất đầu vào, trọng số SLFN Để cực tiểu hàm lỗi (12) SLFN huấn luyện để điều chỉnh trọng số mạng cho với giá trị ࢞௝ ta có G(࢞௝ ሻ xấp xỉ với giá trị Một tiếp cận phổ biến để tìm ࢃǡ ࢼ thỏa điều kiện dựa giảm gradient Trong đó, ngõ xuất ܱሺ࢞ǡ ࢃǡ ࢼሻ đạo hàm ngõ xuất ngõ vào, trọng số mạng cần phải xác định 3.3.1 Gradient ngõ xuất ngõ vào SLFN Xét kiến trúc mạng neural SLFN hình 2, với đầu vào࢞ ൌ  ሾ‫ݔ‬ଵǡ ‫ݔ‬ଶ ǡ ǥ ǡ ‫ݔ‬ௗ ሿ் ‫ ܴ  א‬ௗ , ngõ xuất mạng xác định ܱ ൌ  σே ௠ୀଵ ߚ௠ ߪሺ‫ݖ‬௠ ሻ, © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh (15) GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO 27 với ‫ݖ‬௠ ൌ  σௗ௝ୀଵ ‫ݓ‬௠௝ ‫ݔ‬௝ ൅  ܾ௠  Khi ta có: ௗ ே ே ߲ ߲ܱ ௞ ൌ ቌ ෍ ߚ௠ ߪ ቌ෍ ‫ݓ‬௠௝ ‫ݔ‬௝ ൅  ܾ௠ ቍቍ ൌ ෍ ߚ௠ ‫ݓ‬௠௝ ߪ ሺଵሻ ǡ ߲‫ݔ‬௝ ߲‫ݔ‬௝ với ߪ ሺଵሻ ௠ୀଵ డఙሺ௫ሻ ൌ డ௫ (16) ௠ୀଵ ௝ୀଵ Tương tự với đạo hàm bậc k O theo biến ngõ vào ‫ݔ‬௝௞ tính theo cơng thức ߲௞ ܱ ߲‫ݔ‬௝௞ ே ሺ௞ሻ ൌ ෍ ߚ௠ ‫ݓ‬௜௝௞ ߪ௠  (17) ௠ୀଵ với ߪ௠ ൌ ߪሺ‫ݖ‬௠ ሻ, ߪ ሺ௞ሻ đạo hàm bậc k hàm sigmoid ߪ Hơn nữa, ta dễ dàng kiểm chứng [9] ߲ ఒభ ߲ ఒమ ఒ ఒ ߲‫ݔ‬ଵ భ ߲‫ݔ‬ଶ మ ǥ ߲ ఒ೏ ఒ ߲‫ݔ‬ௗ ೏ ே (18) ሺஃሻ ܱ ൌ ෍ ߚ௠ ܲ௠ ߪ௠ ఒ ௠ୀଵ (19) ೖ với ܲ௠ ൌ  ςௗ௞ୀଵ ‫ݓ‬௠௞ ǡ Ȧ ൌ σௗ௠ୀଵ ߣ௠ 3.3.2 Gradient ngõ xuất trọng số SLFN Dựa vào vế trái công thức (18) ta thấy đạo hàm ngõ xuất ܱđối với ngõ vào tương đương với mạng truyền thẳng lớp ẩn (SLFN) Ngõ xuất SLFN gọi ܱௗ với SLFN có trọng số kết nối từ lớp nhập đến nút ẩn thứ m ࢝௠ , độ dịch nút ẩn thứ m ܾ௠ , trọng số kết nối nút ẩn thứ m đến ngõ xuất ሺஃሻ ሺஃሻ ߚ௠ ܲ௠ hàm truyền nút ẩn ߪ௠ ǡnhư ܱௗ ൌ σே ௠ୀଵ ߚ௠ ܲ௠ ߪ௠ Khi từ cơng thức (18) ta có: ߲ܱௗ ሺஃሻ (20) ൌ ܲ௠ ߪ௠ ߲ߚ௠ ߲ܱௗ ሺஃାଵሻ (21) ൌ ߚ௠ ܲ௠ ߪ௠ ߲ܾ௠ ߲ܱௗ ఒ ିଵ ሺஃାଵሻ ሺஃሻ ఒೖ ൌ ‫ݔ‬௝ ߚ௠ ܲ௠ ߪ௠ ൅ ߚ௠ ߣ௝ ‫ݓ‬௠௝ೕ ቌ ෑ ‫ݓ‬௠௞ ቍ ߪ௜ ߲‫ݓ‬௠௝ (22) ௞ୀଵǡ௞ஷ௝ 3.4 Các bước xác định nghiệm PDE NNM với điều kiện biên Dirichlet 3.4.1 Nghiệm phương trình Poisson sử dụng SLFN Để minh họa cho việc xác định nghiệm PDE NNM báo chọn phương trình Poisson hai chiều có dạng [9] : డమ ௨ሺ௫భ ǡ௫మ ሻ డమ ௨ሺ௫ ǡ௫ ሻ ൅ డ௫భమ మ డ௫భమ మ ൌ ݂ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ, với ‫ݔ‬ଵ ‫ א‬ሾͲǡͳሿǡ ‫ݔ‬ଶ ‫ א‬ሾͲǡͳሿǡ (23) thoả điều kiện biên Dirichlet ‫ݑ‬ሺͲǡ ‫ݔ‬ଶ ሻ ൌ  ݂଴ ሺ‫ݔ‬ଶ ሻǡ ‫ݑ‬ሺͳǡ ‫ݔ‬ଶ ሻ ൌ  ݂ଵ ሺ‫ݔ‬ଶ ሻ, ‫ݑ‬ሺ‫ݔ‬ଵ ǡ Ͳሻ ൌ  ݃଴ ሺ‫ݔ‬ଵ ሻǡ ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ͳሻ ൌ  ݃ଵ ሺ‫ݔ‬ଵ ሻ (24) Nghiệm NNM phương trình (23) xác định SLFN thỏa (24) có dạng [9]: ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ ൌ ‫ܣ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ൅ ‫ݔ‬ଵ ሺͳ െ ‫ݔ‬ଵ ሻ‫ݔ‬ଶ ሺͳ െ ‫ݔ‬ଶ ሻܱሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻǡ (25) © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh 28 GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO ˜ዔ‹‫ܣ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ൌ ሺͳ െ ‫ݔ‬ଵ ሻ݂଴ ሺ‫ݔ‬ଶ ሻ ൅ ‫ݔ‬ଵ ݂ଵ ሺ‫ݔ‬ଶ ሻ ൅ ሺͳ െ ‫ݔ‬ଶ ሻሼ݃଴ ሺ‫ݔ‬ଵ ሻ (26) െ ሾሺͳ െ ‫ݔ‬ଵ ሻ݃଴ ሺͲሻ ൅ ‫ݔ‬ଵ ݃଴ ሺͳሻሿሽ ൅ ‫ݕ‬ሼ݃ଵ ሺ‫ݔ‬ଵ ሻ െ ሾሺͳ െ ‫ݔ‬ଵ ሻ݃ଵ ሺͲሻ ൅ ‫ݔ‬ଵ ݃ଵ ሺͳሻሿሽ Để xác định nghiệm gần ‫ݑ‬௧ ሺ࢞ǡ ࢃǡ ࢼሻ phương trình (23) tham sốࢃǡ ࢼ cần điều chỉnh cách huấn luyện SLFN cho hàm lỗi (27) đạt giá trị nhỏ ଵ ‫ܧ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ ൌ  ଶ σ௡௜ୀଵሼ డమ ௨೟ ሺ௫భ೔ ǡ௫మ೔ ሻ డమ ௨೟ ሺ௫భ೔ ǡ௫మ೔ ሻ ൅ െ డ௫భమ డ௫మమ với ሺ‫ݔ‬ଵ௜ ǡ ‫ݕ‬ଶ௜ ሻ  ‫ א‬ሾͲǡͳሿšሾͲǡͳሿ,  డమ ௨ ೟ ሺ௫భ ǡ௫మ ሻ డ௫భమ డమ ௨೟ ሺ௫భ೔ ǡ௫మ೔ ሻ డ௫భమ ݂ሺ‫ݔ‬௜ଵ ǡ ‫ݔ‬௜ଶ ሻሽଶ, ൌ (27) (28) ȁ௫భ ୀ௫భ೔ǡ௫మ ୀ௫మ೔, với n số mẫu huấn luyện mạng 3.4.2 Các bước xác định nghiệm NNM sử dụng thuật toán huấn luyện lan truyền ngược Bước Khởi tạo n mẫu ࢞௝ ൌ ሺ‫ݔ‬ଵ௝ ǡ ‫ݔ‬ଶ௝ ሻ, j = 1,…,n Bước Khởi tạo giá trị ngẫu nhiên trọng số mạng neural ࢃǡ ࢼ Bước Tính giá trị ngõ xuất ‫݋‬௝ SLFN theo công thức (9) பாሺ௫భ ǡ௫మ ǡࢃǡࢼሻ பாሺ௫భ ǡ௫మ ǡࢃǡࢼሻ ǡ  ப‫܅‬ பࢼ Bước Tính giá trị Bước Cập nhật vector trọng số mạng theo công thức (29) பாሺ௫భ ǡ௫మ ǡࢃǡࢼሻ ࢃ௞ = ࢃ௞ିଵ - η , η hệ số học ௞ ௞ିଵ ࢼ =ࢼ - ப‫܅‬ பாሺ௫భ ǡ௫మ ǡࢃǡࢼሻ ߠ பࢼ theo công thức (17), (20-22) , ߠ hệ số học (29) Wk , ࢼ k cập nhật trọng số bước lặp thứ k , ‫ܧ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ hàm lỗi tính theo cơng thức (27) Bước Nếu ‫ܧ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ< ߝ (ߝ số dương) nhảy đến Bước 7, ngược lại quay lại Bước Bước Thay trọng số tính Bước vào cơng thức (25) để tính nghiệm NNM phương trình (23) Bộ trọng số dùng kiểm tra để đánh giá nghiệm NNM so với nghiệm FDM phương trình (23) KẾT QUẢ THỰC NGHIỆM Trong phần minh họa cách xác định nghiệm NNM PDE thuật giải trình bày mục 3.32 so sánh với nghiệm FDM Lỗi nghiệm NNM xác định : Lỗi nghiệm NNM = Nghiệm giải tích – Nghiệm NNM Lỗi nghiệm FDM = Nghiệm giải tích – Nghiệm FDM (30) Xét phương trình PDE sau ߲ଶ‫߲ ݑ‬ଶ‫ݑ‬ ൅ ൌͲ ߲‫ݔ‬ଵଶ ߲‫ݔ‬ଶଶ (31) với Ͳ ൑ ‫ݔ‬ଵ ൑ ͳǡ Ͳ ൑ ‫ݔ‬ଶ ൑ ͳ, với điều kiện biên Dirichlet ‫ݑ‬ሺͲǡ ‫ݔ‬ଶ ሻ ൌ ‫ݔߨʹ݊݅ݏ‬ଶ ǡ ‫ݑ‬ሺͳǡ ‫ݔ‬ଶ ሻ ൌ Ͳ ‫ݑ‬ሺ‫ݔ‬ଵ ǡ Ͳሻ ൌ ‫ݔߨʹ݊݅ݏ‬ଵ ǡ ‫ݑ‬ሺ‫ݔ‬ଵ ǡ ͳሻ ൌ Ͳ (32) Nghiệm giải tích phương trình (30) thỏa điều kiên biên Dirichlet (31): ͳ ሺ•‹Šሾʹߨሺͳ െ ‫ݔ‬ଶ ሻሿ ‫݊ ݅ݏ‬ሺʹߨ‫ݔ‬ଵ ሻ ൅ •‹Šሾʹߨሺͳ െ ‫ݔ‬ଵ ሻሿ ‫݊ ݅ݏ‬ሺʹߨ‫ݔ‬ଶ ሻ •‹Š ʹߨ Dựa vào dạng nghiệm SLFN phương trình (25), nghiệm NNM (30) có dạng: ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ ൌ ‫ܣ‬ሺ‫ ͳݔ‬ǡ ‫ ʹݔ‬ሻ ൅ ‫ݔ‬ଵ ሺͳ െ ‫ݔ‬ଵ ሻ‫ݔ‬ଶ ሺͳ െ ‫ݔ‬ଶ ሻܱሺ࢞ǡ ࢃǡ ࢼሻ ‫ݑ‬௘ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ൌ Trong ‫ܣ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ tính dự vào cơng thức (26) ‫ܣ‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ ൌ ሺͳ െ ‫ݔ‬ଵ ሻ‫ݔߨʹ݊݅ݏ‬ଶ ൅  ሺͳ െ ‫ݔ‬ଶ ሻ‫ݔߨʹ݊݅ݏ‬ଵ © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh (33) (34) (35) GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO 29 Hình 3: Nghiệm FDM phương trình (25) với điều kiên biên Dirichlet (26) Hình 4: Nghiệm NNM ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ phương trình (25) với điều kiên biên Dirichlet (26) © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh 30 GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO Hình 5: Lỗi nghiệm FDM nghiệm giải tích thuộc [-2.10-2, 5x10-3] Hình 5: Lỗi nghiệm NNM nghiệm giải tích ‫ݑ‬௘ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻ െ  ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻthuộc [-1.5.10-4, 2.5.10-4] © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO 31 Để xác định nghiệm gần phương trình (31-32) giải NNM sử dụng SLFN với 10 nút ẩn dựa thuật toán huấn luyện lan truyền ngược, tập huấn luyện cho SLFN chọn 121 điểm (bằng cách chia lưới [0,1]x[0,1] dọc theo ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ) Từ xác định trọng số (Wǡ ࢼ) SLFN xác định ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ Biểu đồ nghiệm FDM, nghiệm NNM, lỗi nghiệm giải tích so với FDM, lỗi nghiệm giải tích so với NNM thực nghiệm thể Hình 3, Hình 4, Hình 5, Hình tương ứng Dựa vào hình cho thấy lỗi nghiệm NNM PDE sử dụng NNM ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ so với nghiệm giải tích ‫ݑ‬௘ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻthuộc đoạn [-1.5.10-4, 2.5.10-4] Dựa vào hình cho thấy lỗi nghiệm FDM PDE sử dụng FDM so với nghiệm giải tích ‫ݑ‬௘ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ሻcó lỗi thuộc đoạn [-2.10-2, 5x10-3] Kết cho thấy nghiệm gần PDE giải NNM xác nghiệm gần giải FDM KẾT LUẬN Trong báo này, chúng tơi trình bày phương pháp NNM để giải phương trình Poisson hai chiều với điều kiện biên Dirichle sử dụng mạng truyền thẳng lớp ẩn với thuật toán huấn luyện mạng lan truyền ngược Các tham số SLFN cập nhật theo công thức (24) số bước lặp Với phương pháp sử dụng NNM nghiệm ‫ݑ‬௧ ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ࢃǡ ࢼሻ cho kết xác so với phương pháp FDM Các tham số cần tìm NNM nhiều so với việc tính giá trị nút lưới lưới sai phân sử dụng FDM u cầu nhớ tính tốn hẳn so với FDM [10] Phương pháp NNM để giải PDE có dạng nghiệm tổng quát áp dụng cho phương trình vi phân, hệ phương trình vi phân PDE dạng khác [9] Hướng phát triển nghiên cứu sử dụng mạng tích chập (convolutional neural network) để giải PDE nhằm tăng độ xác nghiệm PDE sử dụng mạng học sâu (deep learning) để giải dạng PDE bậc cao LỜI CẢM ƠN Bài báo thực với hỗ trợ từ quỹ đề tài nghiên cứu khoa học trường đại học Công nghiệp TP HCM, mã số 182.CNTT01/HD-DHCN TÀI LIỆU THAM KHẢO [1] Ricardo, H.J., A modern introduction to differential equations2009: Academic Press [2] Boyce, W.E., R.C diprima, and D.B Meade, Elementary differential equations and boundary value problems Vol 1992: Wiley New York [3] Smith, G.D., Numerical solution of partial differential equations: finite difference methods1985: Oxford university press [4] Dill, E.H., The finite element method for mechanics of solids with ANSYS applications2011: CRC press [5] Demuth, H., M Beale, and M Hagan, MATLAB User’s Guide, version 4.0: Neural network toolbox Mathworks Inc.: Natick, MA, USA, 2005 [6] Shirvany, Y., M Hayati, and R Moradian, Multilayer perceptron neural networks with novel unsupervised training method for numerical solution of the partial differential equations Applied Soft Computing, 2009 9(1): p 20-29 [7] Huang, G.-B And H.A Babri, Upper bounds on the number of hidden neurons in feedforward networks with arbitrary bounded nonlinear activation functions IEEE Transactions on Neural Networks, 1998 9(1): p 224229 [8] Thomas, J.W., Numerical partial differential equations: finite difference methods Vol 22 2013: Springer Science & Business Media [9] Lagaris, I.E., A Likas, and D.I Fotiadis, Artificial neural networks for solving ordinary and partial differential equations IEEE transactions on neural networks, 1998 9(5): p 987-1000 © 2020 Trường Đại học Công nghiệp thành phố Hồ Chí Minh 32 GIẢI PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO [10] Rudd, K., G Di Muro, and S Ferrari, A constrained backpropagation approach for the adaptive solution of partial differential equations IEEE transactions on neural networks and learning systems, 2014 25(3): p 571584 Ngày nhận bài: 03/05/2019 Ngày chấp nhận đăng: 20/06/2019 © 2020 Trường Đại học Cơng nghiệp thành phố Hồ Chí Minh ... hữu hạn Chọn số tự nhiên M>0 Chia miền ȳ thành ô lưới sau: ௕ି௔ Chia đoạn [a,b] thành M đoạn M+1 điểm chia có tọa độ ‫ݔ‬ଵ௜ ൌ ܽ ൅ ሺ݅ െ ͳሻ݄ଵ , ݄ଵ ൌ  ெ độ dài đoạn chia, với i : Ỉ M+1 © 2020 Trường... ĐẠO HÀM RIÊNG SỬ DỤNG MẠNG NEURAL NHÂN TẠO 25 Chia đoạn [c,d] thành M đoạn M+1 điểm chia có tọa độ ‫ݔ‬ଶ௜ ൌ ܿ ൅ ሺ݅ െ ͳሻ݄ଶ , ݄ଶ ൌ  ௗି௖ ெ độ dài đoạn chia Mỗi điểm ൫‫ݔ‬ଵ௜ ǡ ‫ݔ‬ଶ௝ ൯tương ứng với... kiện biên Dirichlet 3.4.1 Nghiệm phương trình Poisson sử dụng SLFN Để minh họa cho việc xác định nghiệm PDE NNM báo chọn phương trình Poisson hai chi? ??u có dạng [9] : డమ ௨ሺ௫భ ǡ௫మ ሻ డమ ௨ሺ௫ ǡ௫ ሻ ൅