Luận án tiến sĩ Cơ sở toán cho tin học: Tiếp cận máy học trong giải phương trình đạo hàm riêng, ứng dụng trong xử lý ảnh y khoa

LỜI CAM ĐOANTôi cam đoan luận án tiến sĩ ngành: Cơ sở toán cho tin học, với đề tài “Tiếp cận máy học trong giải phương trình đạo hàm riêng, ứng dụng trong xử lý ảnh y khoa” là công trình

HO DAC QUAN

TIEP CAN MAY HOC TRONG GIAI PHUONG TRINH DAO HAM RIENG, UNG DUNG TRONG XU LY ANH Y KHOA

LUẬN AN TIEN SĨ

TP HO CHÍ MINH - NAM 2023

ĐẠI HỌC QUOC GIA TP.HCM

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

HO DAC QUAN

Ngành: Cơ sở toán cho tin học

Mã số ngành: 62460110

Phản biện 1: PGS.TS Hoang Van Dũng

Phản biện 2: TS Nguyễn Viết Hưng

Phản biện 3: TS Huỳnh Thế Đăng

Phản biện độc lập 1: PGS.TS Nguyễn Đình Thuân

Phản biện độc lập 2: PGS.TS Hoàng Văn Dũng

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS TS HUỲNH TRUNG HIẾU

TP HÒ CHÍ MINH - NĂM 2023

LỜI CAM ĐOAN

Tôi cam đoan luận án tiến sĩ ngành: Cơ sở toán cho tin học, với đề tài “Tiếp cận máy

học trong giải phương trình đạo hàm riêng, ứng dụng trong xử lý ảnh y khoa” là công trình

khoa học do Tôi thực hiện dưới sự hướng dẫn của PGS TS Huỳnh Trung Hiếu

Những kết quả nghiên cứu của luận án hoàn toàn trung thực, chính xác và không trùng

lắp với các công trình đã công bô trong va ngoài nước.

Nghiên cứu sinh là tác giả chính của 02 bài báo SCIE [CT2,CT4], một bài báo hội thảo

quốc tế [CT3], một bài báo hội thảo trong nước [CT1]

Nghiên cứu sinh

Hồ Đắc Quán

il

LOI CAM ON

Lời đầu tiên nghiên cứu sinh xin bày tỏ sự kính trong, lòng biết on chân thành đến Thay,

PGS.TS Huỳnh Trung Hiếu, đã chỉ bảo, hướng dẫn tận tình, động viên, tạo mọi điều kiện cho

nghiên cứu sinh trong suốt quá trình học tập, nghiên cứu, và đã đóng góp nhiều ý kiến quý báu,

băng sự nỗ lực của bản thân nghiên cứu sinh đã hoàn thành luận án này.

Nghiên cứu sinh cũng xin gửi lời cảm ơn đến tất cả Quý thầy cô giảng dạy chuyên ngành

Cơ sở toán cho tin học thuộc Khoa Toán trường Đại học Khoa học tự nhiên Tp Hồ Chí Minh, đã

giảng dạy, tạo điều kiện cho nghiên cứu sinh trong suốt thời gian học tập, nghiên cứu Xin cảm

ơn Quý thầy cô phòng Sau Đại học đã tô chức, và tạo điều kiện hỗ trợ nghiên cứu sinh trong quátrình học tập và nghiên cứu Xin cảm ơn các Thầy Cô và các nhà khoa học phản biện, đã nhiệt

tình hỗ trợ và đóng góp ý kiến cho việc hoàn thiện luận án

Nghiên cứu sinh xin gửi lời cảm ơn đến nhà Trường và Khoa Công nghệ thông tin trườngĐại học Công nghiệp thành phố Hồ Chí Minh, nơi nghiên cứu sinh đang công tác đã hỗ trợ nghiên

cứu sinh trong suốt quá trình học tập và nghiên cứu

Cuối lời, tôi chân thành cảm ơn gia đình, bạn bè đồng nghiệp đã góp ý, giúp đỡ, hỗ trợ

trong công việc, cũng như động viên về mặt tinh thần giúp tôi vượt qua khó khăn dé hoàn thành

luận án.

11

TÓM TÁT LUẬN ÁN

Phương trình đạo hàm riêng (Partial Differential Equation - PDE) đóng vai trò quan trọng

trong nhiều lĩnh vực khác nhau của kỹ thuật và khoa học Nhiều bài toán trong các lĩnh vực

vật lý, kỹ thuật, sinh học, kinh tẾ, xử lý ảnh, v.v được mô hình hóa dưới dạng PDE Tuy nhiênviệc xác định nghiệm PDE nói chung không đơn giản và phần lớn không có nghiệm giải tích.Việc xác định nghiệm của PDE bằng phương pháp số như sai phân hữu hạn với độ chính xáccao đòi hỏi miền tính toán phải chia thành các ô lưới thật mịn, vì vậy yêu cầu về chi phí tínhtoán lớn Một trong những tiếp cận gần đây đề tìm nghiệm xấp xỉ của PDE là sử dụng mạngnơron (Artificial Neural Networks - ANN) Luận án này hướng đến các tiếp cận dựa trênANN kết hợp với các phương pháp lay mẫu dé giải lớp bài toán khuếch tán đối lưu Trên cơ

sở tổng quan các phương pháp giải PDE mà trong đó có phân tích tổng hợp điểm yếu, điểm

mạnh giữa các phương pháp, nghiên cứu sinh đề xuất hai thuật toán huấn luyện mạng ELMNN

và ELMNET để giải phương trình đạo hàm riêng tuyến tinh dang elliptic và AD-PDE(Advection Diffusion Partial Differential Equation) Kết quả thực nghiệm cho thấy phươngpháp đề xuất cải thiện về tốc độ huấn luyện mạng cũng như độ chính xác so với các phươngpháp tiếp cận ANN gần đây Trong luận án này, các phương pháp được đề xuất giải PDE ứngdụng trong xử lý ảnh, bao gồm khử nhiễu ảnh và nhận dạng hành vi trong y tế Việc đánh giá

kết quả về khử nhiễu ảnh được thực nghiệm dựa trên tập ảnh hai chiều, trong khi việc nhận

dạng hành vi dựa trên việc giám sát quá trình rửa tay theo quy định của tô chức y tế thế giới

(World Health Organization - WHO).

Các từ khóa: Phuong trình khuếch tán đối lưu; Mạng noron; Thuật toán huấn luyện cực tri;

Vệ sinh tay; Mạng phương trình vi phân đạo hàm riêng; Thuật toán rừng ngẫu nhiên, Mạng

LTC; Mạng hồi qui theo thời gian thực; Phương trình khuếch tán phi tuyến

iv

Partial differential equations (PDE) play an important role in many different fields of engineering and science Some of the key issues in physics, engineering, biology, economics, and image processing are represented by partial differential equations However, determining the solutions of partial partial equations is not always easy process due to lacking analytical solutions Numerical methods as Finite difference method with high accuracy requires the computational domain to be divided into very fine grid cells, which results in a large computational cost This problem can be addressed by using artificial neural network The aim of this thesis is to develope a neural network-based approach that is combined with sampling methods to solve diffusion problems Based on an overview of existing PDE solution methods, new network training algorithms called ELMNN and ELMNET are proposed to solve linear partial differential equations of the form of elliptic and AD-PDE The experimental results indicate that the proposed methods enhance the training speed and accuracy of the network compared to recent neural network approaches In the healthcare application, the proposed methods are applied to solve partial differential equations in image processing, including image denoising and behavioral recognition The 2D image set is used for experimental evaluation of image denoising results, while the behavioral identification is evaluated through monitoring hand washing processes that comply with WHO regulations.

Keywords: Advection-diffusion partial differential equation; Artificial neural network;

Extreme learning machine; Hand hygiene; Ordinary differential equation network; Random

forest; Liquid time-constant network; Continuous-time recurrent neural network; Nonlinear diffusion equation.

MỤC LỤC

LOI CAM ĐOANN 5c 5c 21221 E21E2121121121171111211211 11111111 .11 1111111121101 re ii

LOL CẢM ON iocccscssssssssssssssesssessesssecsssssecssecssessusssscsuessusssecsuetsssssesssessusssesssessesssessseesssseesseeseee iii

Chương 1: GIỚI THIỆU - 2-2 2 E+SE+SE£+EE2EE#EE£EEEEEE2EEEEEEEEEEEEEEEEEEEE171711211211 1111110 1

LL Gidi thigu 8n 11.1.1 Tinh cần thiết tiếp cận máy học giải phương trình đạo ham riêng - 11.1.2 Sự cần thiết của phương trình đạo hàm riêng trong xử lý ảnh -. 21.2 Tổng quan tình hình nghiên cứu - ¿22 2 E+EE££E£EE+EE£EEtEEEEEEEEEEEerkrrkerrsees 41.2.1 Các kết quả liên quan - 2 5¿+5++2+++EE+2EEEEEESEE2EEE2E1221E221 21122122121 41.2.2 Một số tiếp cận giải PDE hiện may -2¿25c©5222S222+vEE+SEE2Exerkrerxrerxees 7

1.3 Mục tiêu nghiÊn CỨU ó5 2111 * TT HH HH 10

1.4 Đối tượng nghiên CỨU ¿- ¿+ k9SE+EE2ESE£EEEEEEE1E11211217111112112117111 1111111 re 11

1.5 Pham vi nghién CUU n6 11 1.6 Phương pháp nghiÊn CỨU - -.- 6 6112111911191 911 1119101 11H TH HH HH 11

2.1.1 Khái niệm phương trình đạo hàm rIÊng - 5 2+2 **+*+*v+vesersesreersses 15

2.1.2 Phân loại phương trình đạo hàm riêng với hai biến độc lập -. - 15

2.1.3 Phuong trinh nhiét 16 2.1.4 Phuong phap sai phan e 18

2.2 Xử ly anh dựa trên phương trình dao ham riÊng - - 6 «+ £+s+srserserees 23

2.3 Một số mạng noron hồi quy ứng dụng trong nhận dạng hành vi - 26

2.3.1 Nhận dạng hành động - c3 32111211 111111131 1111111111111 11 111g ng ng rưy 26 2.3.2 Vệ sinh tay trong ứng dụng nhận dạng hành vi 5+5 +++<s++sex+ses2 27 2.3.3 Mạng noron ODE, c1 9H HH HH TH HH HH 29 2.3.4 Mạng noron CT-RNN LH TH HH HH HH HH HH 31

2.3.5 Mạng noron CT-GR Ác 411111111911 11 11K HH 37

2.4 Histogram of Oriented Gradient (HOG) - Gv HH HH Hư 39 2.4.1 Giới thiỆU: Ghi ng 39

2.4.2 Rut trich HOG trong ah 1n 39

2.4.3 Chuẩn hóa vecto đặc trưng cho từng bIOCK c cesceessessessessesseseseeseesessessesesesees 422.5 Tong két ChUON Nnn 4 43Chương 3: TIẾP CAN MAY HOC TRONG GIẢI PHƯƠNG TRÌNH DAO HAM RIÊNG 44

3.1 GiGi HhiGU Ỷ+ 44

3.2 Bài toán PDE tuyến tính dang elliptiC - 2 2S s+SE£EE2EE2EE2EeEEeEEeEkeExzrrrrerree 463.2.1 Kiến trúc mạng truyền thang một lớp an giải PDE dang elliptic - 47

3.2.2 Thuật toán ELMNN giải bài toán PDE dang elÏIptIC 555 55<<<£+<+2 48

3.3 Bài toán PDE tuyến tính dạng paraboliC -.-:- 2 +¿2c++£x++£x2Exvzx+zrxezrxerreee 503.3.1 Ham phan du AD-PDE va điểm huấn luyện SLFN . : -5 : 52

3.3.2 Thuật toán ELMNET giải AD-PDEE Gà vn ng ng re 55

3.4 Bai todn PDE phi tuy@n ccccccccccscsssessssssesssessssssscssscssecsssssscsuscsssasecsuscsessecssecsseesecases 58

3.4.1 Phurong phap Euler cccccccccscsseesseeseeesecsecesecseeeeeesecesesesecseeeseeseseeseeeeneeeas 58

3.4.2 Xấp xi PDE tuyến tính kết hợp với khai triển Taylor -. 5- 5 525252522 59

3.4.3 Mạng noron nhân fạO - - c1 3113111311119 19111 91v 1H 1H vn nếp 61

3.5 Tổng kết ChUONG ceccecsesscsessessesessessessesscsvcsssessessessesssssssesssssesussussscsessessessesseaneaseaes 65

Chương 4:ỨNG DỤNG PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG TRONG XỬ LÝ ẢNH Y

KHOA 67

4.1 Ứng dụng phương trình dao hàm riêng trong khử nhiễu ảnh - 67

4.2 Thuật toán khử nhiễu anh sử dung NDE dựa trên ANN cc.i.eek« 74

4.3 Ứng dụng phương trình đạo hàm riêng trong nhận dạng hành vi - 774.3.1 Hệ thống giám sát quá trình rửa tay 2¿- 5¿©2++2x++Ex2ExeEEerxrrrkerkrerkesree 78

4.3.2 Cay Liquid Time-Consstant 5G 1119901191 ng HH 81

4.3.3 Giải ODE sử dụng ELMNET 00 eeeeesesseceeceeceseescesesseeseeseeseseceeaeeaesseeseeaeens 85

Chương 5: KET QUA THUC NGHIEM ccsccssscssessesssessessessecsessssssessessessussussssssetsessessnssseeses 88

5.1 Thuật toán ELMNN giải PDE dang elliptic 0 ee ececceseeseeeecneceeeeseeseeeeaeeaeeaes 88 5.1.1 Bai toán Poisson với f(x, y) = Sim (TEX)SEN (TY) - 552cc S<ssscxssxss 88 5.1.2 Bài toán Poisson với f(x, y) =@ — XX — 2 + y3 + OY eee eet eee reels 91 5.2 Thuật toán ELMNET giải AID-PDE S321 S1 2111111 111111111 111 1 nh Hiệp 93

5.2.1 Bai todn 1Dt 0 94

5.2.2 Bai toán 2Dt AD-PDEE, - HH nh TT TH Hà HT nh nành 98

5.3 Ứng dụng phương trình đạo hàm riêng trong khử nhiễu ảnh 102

5.3.1 Thực nghiệm với ảnh thông thường - 5 5 + se rreeerrke 103

5.3.2 Thực nghiệm với ảnh y KhOa - c1 1121191 S1 9 ng ng ng ng 104

5.4 Ứng dụng phương trình đạo hàm riêng trong nhận dạng hành vi 1065.4.1 Mô tả tập dữ liệu và chi tiết hiện thực - 2 2¿+cx++z++2x++rxezrxerxesres 1065.4.2 Đánh giá kết quả thực nghiệm và thảo luận -2- 2-5 s22sz+zz+c++zxezsez 107

5.5 Tổng kết chương - 2 2© S£2EE+EE£EE£EEEEEE2E12E157171711711211111171.211 111111 xe 115

Chương 6: KET LUẬN VÀ HƯỚNG PHAT TRIÉN 2-2 2 x2E£+E++£+z£zrxerxez 118

6.1 Tóm tắt nội dung thực hiện - 2-2 c SE£SE9EE+EE2EEEEEEEEEEEEEEEEEEEEEEEErkrrkrrree 118

6.2 Đánh giá mục tiêu dat được và đóng góp khoa hoc - +5 S+skkseesvks 119

6.3 Hướng phát triỂn ¿- ¿+ ©S+S£+EE£EE£EE£EE2E12E12717171121121121111711211211 11.11 cxe 120DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỒ -2-22- 52c 2E2E2EE22EE2EEEEEEErrrrrrred 121TAI LIEU THAM KHAO We oceccssessessssssssesssesssssessssssssscsecsusasssssssscsessussusssessessessessuesseesessess 122

ix

DANH MỤC CÁC HÌNH VE, DO THỊ

Hiih 2.1 Tap /0 8o 0/1 -aŨ 18

Hình 2.2 Lưới sai phân hữu hạn - c2 2221121111313 1111115 1111111111 Exrer 22

Hình 2.3 Biéu diễn sự khuếch tán ánh 1010 1n 24

Hình 2.4 Cac bước rửa tay theo WHO [6/7] S2 2S Hy ygrey 28

Hình 2.5 Một khối phần dư ResNet [80] - 2 2© ¿25£2E2+EE+EEeEEzEEzEerxerxerkeee 30

J101:0/.189/08011:) 08.9081.7110 33

Hình 2.7 Trường vectơ mẫu của hệ thống động 2 2 +2 +22 ++£++rxzxeez 34Hình 2 8 Lược đồ của CT-RNN, một mạng kết nối hỗn loạn ngẫu nhiên 35

Hinh 2.9 M6 hinh LSTM [84] 36 Hình 2.10 Mô hình GRU [§4] 2G 252191991 9111112111119 TH HH Hư 37

Hình 2 11 Mạng nơron GRU (trái) và Mạng noron CT-GRU (phải) [85] 38

Hình 2 12 Một khối gồm 9 6 [86] - 2-2 £+S£2EE+EE£EE£EEE2EE2EEEEEEEEEEEEEEEEEEErkerkree 39Hình 2 13 Các khối được đặt chồng lên nhau [86] - 2-22 52222 2+£+zzszzse+z 40

Hình 2 14 HOG của ảnh [77 ] 6 6 3111191991191 111 11111911 HH HH 41 Hình 2 15 Thông tin gradient tai pixel theo trục X Và trỤC Y cc+cs<xs+ 41

Hình 3.1 Kiến trúc tiêu biéu cua mang noron một lớp an giải PDE - 48Hình 3.2 Kiến trúc SLEN giải AD-PDE - 2-52-5252 EEEEEEEEEEEEEEEEEerkerkrree 52Hình 3.3 Sơ đồ Time-marching DLM - - 2 2 2+S£2E££E£EE£EE+EE2EZErkerxersrxee 62Hình 3.4 PDE trong miền tính toán - ¿- ¿- ¿ ESE+SE2E£2E£EE£EEEEEEEE2EEZEEEerkerxrrxres 63Hình 3.5 Các thành phần của DPINN [34] - - - 7-5 S221 11s krseesez 64

Hình 4.1 Biéu diễn hướng của Gradient [13] - ¿+55 ++<k*+xseexeeseerseersserees 72Hình 4.2 Biéu diễn mối quan hệ giữa Gradient và độ mờ [13] với công thức (4.5) 72Hình 4.3 Biéu diễn mối quan hệ giữa Gradient và độ mờ [13] với công thức (4.6) 73

X

Đồ thị nghiệm bài toán (5.1-5.2) ceecceccecscessesssesssesseessesssessesssessessesssecsesseessecs 90

Đồ thị nghiệm bài toán (5.5-5.6) :¿- 2 ©5222S+2EEt2EE2EEEEEerkrerkrrrres 92

Nghiệm chính xác, VarNet, và ELMNET của IDt AD-PDE - 96

Biến thiên lỗi VarNet và ELMINETT 2- 22 ©52+S++Ex+EEt£EtzEzrkerkerkrrei 97

Giá trị lỗi của e's, eiC, CDC, total cs-ccccctthEtittrrerree 97

Đồ thị đường cong ROC (Receiver operating characteristic) - 110Biểu đồ boxplot chỉ số Accuracy của 5 mô hình mạng .- 113

XI

DANH MỤC CÁC BANG

Bảng 5.1 Lỗi nghiệm ELMNN và nghiệm trong [90] bài toán (Š.I-5.2) - 89 Bảng 5.2 Lỗi nghiệm ELMNN và nghiệm trong [90] bài toán (Š5.5-5.6) 93

Bang 5.3 So sánh lỗi giữa các số nút ân khác nhau của 1Dt AD-PDE - 95

Bảng 5.4 Lỗi ELMNET, VarNNet 5-5 5 22x22 322121221212121 2121111111121 re 96Bang 5.5 So sánh lỗi giữa các số nút ẩn khác nhau của 2Dt AD-PDE - 98

Bảng 5.6 Nghiệm ELMNET và các phương pháp khác giải PDE - 99

Bang 5.7 Ảnh gốc và ảnh nhiễu ảnh thông thường - 2 2s s+S++£z+£zEze2 103

Bảng 5.8 PSNR và MAE của PM và NDEANN ảnh thông thường 104

Bang 5.9 Ảnh gốc va ảnh nhiễu ảnh y khoa - - 2-52-5252 S£Ee£Ee£+zEzEzEred 104

Bang 5.10 PSNR va MAE của PM và NDEANN ảnh y khoa 5<- 106 Bảng 5.11 Độ chính xác của các bước rửa tay trên tập dữ liệu Hand Wash 107

Bảng 5.12 Độ chính xác của từng bước rửa trên tập Hand Wash 107

Bang 5.13 Các chỉ số đánh giá cho RT6B trên tập Ad-Hoc - 2-5252 109Bang 5.14 Kết quả đánh giá 5 phương pháp khác nhau trên tập Ad-Hoc 111

xH

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIET TAT

Differential Equation doi luu

ANN Artificial neural network Mang noron nhan tao

Mang noron có lớp ân được

BeNN Bernstein neural network nội suy từ da thức

Bernstein

BN Batch Normalization Chuan hóa giá trị đầu vào

Thuật toán lan truyền

BP Backpropagation ,

ngược huân luyện mạng

BVPs Boundary Value Problems Bai toan gia tri bién

CDC The Centers for Disease Control and | Trung tâm Kiểm soát và

Prevention Phong ngtra Dich bénh

Mang nơron có lớp ấn được

ChNN Chebyshev neural network nội suy từ da thức

Chebyshev

CINT Constraint Integration mạng kết hợp Galerkin và

CNN Convolutional Neural Network Mang noron tich chap

; Thuật toán huấn luyện lan

CPROP Constrained Backpropagation

truyén ngược có rang buộc

xiii

CT Computed Tomography Ảnh chụp cắt lớp vi tính

Continuous Time Gates Recurrent | Mạng nút hồi tiếp có công

CT-GRU La

Units theo thời gian thực

Continuous Time Recurrent Neural Mang hồi quy theo thời

CT-RNN

Network gian thuc

DAE Denoising AutoEncoders Bộ tu mã hóa khử nhiễu

DNN Deep neural network Mạng học sâu

Distributed Physics Inform Extreme | Các PIELM được kết hợp

DPIELM

Learning Machine với nhau

Distributed physics informed neural | Cac PINN được kết hợp

DPINN

netwwork voi nhau

DT Decision Trees Thuật toán cây quyết định

Thuật toán huấn luyện cực

ELM Extreme Learning Machine

Mang truyền thang một lớp

Extreme Learning Machine Neural | , ,

ELMNN ân sử dụng thuật toán huân

Network

luyện ELM

XIV

Phương pháp sai phân hữu FDM Finite difference method

han

Phương pháp phan tử hữu

FEM Finite element method

con người

HMM Hidden Markov Model M6 hinh Markov an

Bộ đặc trưng hình dạng anh HOG Histogram of Oriented Gradient

dựa trên phương gradient

UBC Initial and Boundary condition Điều kiện đầu/biên

I/BCs Initial and Boundary Conditions Diéu kién bién dau

IBVPs Initial Boundary Value Problems Bài toán giá trị biên đầu

IC Initial condition Điều kiện đầu

Thuật toán K láng giềng

KNN K-Nearest Neighbor

gần nhất

XV

Một thuật toán huấn luyện

LM Levenberg-Marquardt mang dura trén lan truyén

MAE Mean Absolute Error Sai số tuyệt đối trung bình

Mạng nơron giải phương MANN | Modified Artificial Neural Network

trinh dao ham riéng

Phuong phap Monte Carlo

MC Monte Carlo ,

-trong lây mâu

MLP Multi-Layer Perception Mạng noron nhiều lớp

MRI Magnetic Resonace Imaging Ảnh chụp cộng hưởng từ

Sai số bình phương trung

MSE Mean Square Error

Mạng nơron mà mỗi nút là NODE Neural ODE

một phương trình ODE

Phương trình vi phân đạo ODE Ordinary differential equation

ham riéng

Phuong trinh dao ham

PDE Partial differential equation

riéng

Phương pháp số giải

hương trình phi tuyến khử

PM Perona and Malik P - ` P y

nhiéu do Perona and Malik

dé xuat

Ti s6 ti hiéu cuc dai trén

PSNR Peak-Signal-To Noise Ratio "

nhiêu

RBFNS Radial Basis Function Networks Mang ham cơ sở ban kính

RNN Recurrent Neural Network Mang hồi quy

RTTB Rửa tay từng bước

Rửa tay sáu bước theo

Single Hidden Layer Feedforward Mạng truyền thắng một lớp

SLFN :

Network an

Thuật toán máy vecto hỗ

SVM Support Vector Machine

trợ

Phương pháp chung cho

TFC Theory of Functional Connections ;

nội suy ham

Phương pháp phục hồi ảnh

Trainable Nonlinear Reaction

TNRD dựa trên phương trình phi

Diffusion ,

tuyên khuêch tán

WHO World Health Organization Tổ chức y tế thé giới

Mạng PINN kết hop TFC

Extreme Theory of Functional ¬

X-TFC giải phương trình đạo hàm

Connections

riêng

XVill

Chuong1: GIỚI THIỆU

1.1 Giới thiệu đề tài

1.1.1 Tính cần thiết tiếp cận máy học giải phương trình đạo hàm riêng

Ý tưởng về ứng dụng phương trình đạo hàm riêng (Partial DifferentialEquation - PDE) trong xử lý ảnh đã được nhắc đến từ khoảng đầu năm 80 của thế kỷ

20 Trong khoảng những năm gần đây việc nghiên cứu ứng dụng PDE trong xử lýảnh được các nhà khoa học nghiên cứu quan tâm do có nhiều ưu điểm trong khi thựchiện Ứng dụng PDE trong xử lý ảnh cho phép thực hiện các công việc như làm trơn

(smoothing), tìm biên (edge detection), giảm nhiễu (denoising), phân vùng ảnh, phục

hồi cấu trúc ảnh (reconstruction) trong nhiều lĩnh vực đặc biệt là xử lý anh y khoa

[1].

Phương trình đạo ham riêng là công cu toán cho phép mô ta ban chat và nhậnbiết các hiện tượng sự vật được giải thích thông qua các phương trình Một số phươngtrình có thé kê đến như phương trình nhiệt, phương trình sóng v.v với các tên tuôinoi tiếng như Euler, Poisson, Laplace, Schrodinger v.v Một số phương trình thường

sử dụng trong xử lý ảnh ở dạng phương trình đạo hàm riêng, nhưng phần lớn các

phương trình PDE đều giải theo phương pháp số [13], [19], [115], [138], [139].Phương pháp này đòi hỏi chính xác cao cần phải chia rời rạc miễn tính toán với sốđiểm dày đặc, dẫn đến khối lượng tính toán càng lớn, thời gian giải càng lâu, không

đáp ứng thời gian giải trong trường hợp số lượng biến số lớn [2]

Phần lớn việc xác định nghiệm chính xác PDE khá phức tạp và hầu như không

có nghiệm giải tích Thay vào đó, người ta sử dụng các phương pháp số đề tìm nghiệmxấp xỉ của chúng Hiện nay các phương pháp số được sử dụng phô biến bao gồm cácphương pháp như: sai phân hữu hạn (Finite Difference Method - FDM), phần tử hữuhạn (Finite Element Method - FEM), thé tích hữu han (Finite Volume Method-FVM

[3] Cac phương pháp nay được gọi chung là phương pháp rời rac hóa theo không

gian Đối với các bài toán phụ thuộc thời gian, ta cần thêm công cụ số để rời rạc hóaphương trình vi phân theo biến thời gian Chi tiết của phương pháp này được trình

bay chi tiét boi A Quarteroni va A Valli [4] Cac phương pháp FDM, FEM, FVM

rời rac hóa phương trình dao ham riêng trên cơ sở chia nhỏ miễn tính toán thành mộtlưới gồm những phan tử ràng buộc lẫn nhau trên lưới theo những nguyên tắc xác định(ta gọi chung các phương pháp này là nhóm phương pháp dựa vào lưới) Đề xác định

nghiệm chính xác cao bằng các phương pháp số trên đòi hỏi chia lưới dày miền tính

toán (tăng kích thước lưới) vì vậy phải tăng kích thước bảng tra cứu, vì vậy yêu cầu

về bộ nhớ lớn hơn và chỉ phi tính toán cao [4], [5] Trong luận án này chúng tôi đề

xuất một phương pháp mới sử dụng mạng truyền thăng một lớp an, các điểm huấn

luyện mang được chọn dựa trên phương pháp Monte Carlo dé giải phương trình daohàm riêng tuyến tinh dang elliptic và phương trình khuếch tán đối lưu

1.1.2 Sự cần thiết của phương trình đạo hàm riêng trong xử lý ảnh

Trong những năm gần đây ngoài việc phát triển các phương pháp xử lý ảnhkhác người ta quan tâm nhiều đến tiếp cận xử lý ảnh dựa trên phương trình đạo hàm

riêng do có nhiều ưu điểm [1], [6], [7] Có nhiều hướng tiếp cận trong việc xử lý

Trong xử lý ảnh ứng dụng phương trình khuếch tán làm đồng đều mức xámcủa các điểm ảnh trong vùng ảnh theo những đặc trưng mong muốn Trong đó tham

số thời gian của quá trình bắt đầu loại bỏ nhiễu (từ ảnh bị nhiễu) đến khi ảnh được

khử nhiễu Ưu điểm của xử lý ảnh dựa trên phương trình đạo hàm riêng là dé dàng

mở rộng số chiều một cách đơn giản bằng cách sử dụng một số toán tử Việc ứngdụng phương trình đạo hàm riêng cho xử lý ảnh được nghiên cứu cuối thế kỷ 20, bắt

đầu các bài báo của Salinas, Koenderink va Witkin [8], [9], [10] tiép theo là các công

trình của Osher và Rudin [11], L.AIvarez và L.Mazorra [12], P Perona và J Malik

[13] với các PDE thành phần thực Y.Yzeevi, N.Sochen và G.Gillboa [14], [15], [16]với các PDE thành phan phức Ứng dung PDE trong xử ly anh được xem là hiệu qua

khi thực hiện các tác vụ như giảm nhiễu, tìm biên, phân vùng ảnh được ứng dụng

nhiều lĩnh vực đặc biệt là trong xử lý ảnh y khoa [6], [7], [16], [17] Việc thực hiện

xử lý được thực hiện trên cả phần mềm và phần cứng Quá trình thực hiện được mô

tả bằng PDE dạng khuếch tán

Dé thực hiện các công việc tìm biên, giảm nhiễu trong xử ly ảnh bằng cách rờirạc hóa và thực hiện trên máy tính PDE tuyến tính đăng hướng quen thuộc nhưphương trình truyền nhiệt Sự nghiên cứu cải tiến tiếp theo đưa về việc giải PDE phi

tuyến, bất đắng hướng của hai tác giả P Perona và J Malik giảng dạy ở trường đạihọc Berkey California với bài báo nổi tiếng về quá trình khuếch tán không đăng

hướng (anisotropic) [13] công bố vào tháng 7 năm 1990, các nghiên cứu tiếp theo làthay đối hệ số khuếch tán của phương trình khuếch tán nhằm giảm hệ số này ở các vịtrí biên của ảnh dé giữ lại các chi tiết thông tin có ý nghĩa tại các vị trí này Các tácgiả Guy Gilboa, Nir Sochen, Yehoshua, Y Zeevi và các đồng nghiệp đã áp dụng PDEtuyến tính, phi tuyến phức trong xử lý ảnh [13], [14], [15]

Các thuật toán xử ly anh sử dụng PDE [1], [7] có nhiều ưu điểm:

- PDE thường được sử dụng dé mô tả một số các hiện tượng chuyển

động của nhiệt, âm thanh, độ co giãn hay cơ học lượng tử nói chung

là các hiện tượng biến đổi trong không gian và thời gian Một số

hiện tượng vật lý thường có thể quy về việc giải PDE Vì vậy công

cụ toán học là cầu nối liên hệ và tổng quát hoá nhiều hiện tượng tựnhiên, do đó biến đổi ảnh dựa trên PDE là rất thích hợp

- PDE đã được nghiên cứu, có nền tang lý thuyết toán học chặt chẽ,

phong phú bao gồm sự hội tụ, tính ôn định, lời giải duy nhất v.v Đã

có nhiều dạng sơ đồ rời rạc hóa giải PDE được công bố

- _ Thuật toán được mô tả ngắn gọn không dài dòng phức tạp va dé

hiểu, đễ dàng khái quát mở rộng số chiều một cách đơn giản bằng

cách sử dụng các toán tử laplace, divergence va gradient PDE được

sử dụng trong xử lý ảnh thường ở hai lớp PDE khuếch tán tuyến

tính và PDE khuếch tán phi tuyến

Gần đây nhiều mô hình toán học áp dụng cho xử lý ảnh đã được áp dụng trongthị giác máy tính Trong đó phương trình đạo hàm riêng khuếch tán phi tuyến đã được

áp dụng một cách thông dụng trong xử lý ảnh Mô hình đầu tiên được đề xuất chokhử nhiễu ảnh bởi P Perona và J Malik dựa trên phương trình đạo hàm riêng khuếchtán phi tuyến Thông qua thời gian, sự khuếch tán có thể xóa nhiễu đồng thời tăng

cường biên ảnh Ké từ đó các bộ lọc khuếch tán phi tuyến khác nhau đã được đề xuất

sử dụng rộng rãi dé khử nhiễu và tăng cường biên ảnh [18], [19], [20], [21] Các đặc

tính chung đối với mô hình khuếch tán phi tuyến là hệ số khuếch tán nhỏ khi gradientảnh lớn, tuy nhiên hệ số khuếch tán là một ham tích chập của bộ loc Gauss và nghiệmcủa phương trình đạo hàm riêng khuếch tán phi tuyến, do đó việc khử nhiễu ảnh dựavào việc xác định nghiệm của phương trình đạo hàm riêng khuếch tán phi tuyến.Trong luận án chúng tôi đề xuất một mô hình khử nhiễu dựa trên việc giải phươngtrình đạo hàm riêng khuếch tán phi tuyến bằng cách sử dụng mạng noron và trình bay

ứng dụng phương trình đạo hàm riêng trong nhận dạng hành vi.

1.2 Tong quan tình hình nghiên cứu

1.2.1 Các kết quả liên quan

Một số tác giả trong nước gần đây nghiên cứu giải PDE bằng mạng noron tế

bào (Cellular Neural Network), sử dụng phương trình đạo hàm riêng trong khử nhiễu

đốm của ảnh siêu âm y tế [22] Năm 1998 va năm 2000, Lagaris và các cộng sự [23],

[24] đề xuất phương pháp sử dụng mạng noron dé giải bài toán giá trị đầu và biên

Mang ham cơ sở xuyên tâm (Radial Basis Function Networks - RBFNs) giải PDE

được N Mai Duy va các cộng sự [25], [26], [27], [28] dé xuất từ năm 2001 đến năm

2006 Năm 2009 Mcfall và các cộng sự [29] trình bay mạng nơron giải PDE với biên

có hình dạng tùy ý RBFNs được cải tiến dé giải PDE bởi A Golbabai và các cộng

sự [30] vào năm 2009 và 2011 Năm 2015 một bài báo trình bày giải PDE sử dụng

MANN (Modified Artificial Neural Network - MANN) [31] LNN (Legendre neural

network), và thuật toán huan luyện ELM dé giải PDE dang elliptic Lớp ân của SLFNđược nội suy bang cách kết hợp lớp nhập và các hàm đa thức [31] Các bài báo trênchỉ dừng lại ở mức độ giải các phương trình PDE bang mạng noron với thuật toán lan

truyện ngược.

Hiện nay một s6 tác giả đang sử dụng thuật toán huấn luyện ELM (ExtremeLearning Machine - ELM) trong việc huấn luyện mạng truyền thăng một lớp an(Single Hidden Layer Feedforward Network - SLFN) đề giải PDE Hou và các cộng

sự [32], [33], [34] giới thiệu mô hình mạng BeNN (Bernstein neural network), sử

dụng học máy phân tán giải bài toán thuận và bài toán ngược phương trình đạo hàm

riêng Srinivasan và các cộng sự [35], [36] đề xuất một mô hình PIELM để giảiphương trình khuếch tán đối lưu (Advection Diffusion Partial Differential Equation

— AD PDE) dựa trên PIELM (Physics Inform Extreme Learning Machine) và một mô

hình DPIELM (Distributed Physics Inform Extreme Learning Machine) Y tưởng củaphương pháp DPIELM dựa trên phương pháp thể tích hữu han bang cách chia nhỏmiễn tính toán thành các ô, trên mỗi ô áp dụng PIELM Manoj Kumar và các cộng sự[37] sử dụng thuật toán huấn luyện ELM trong việc huấn luyện SLFN giải PDE dạng

elliptic Suchuan Dong và các cộng sự [38] đề xuất phương pháp giải PDE dạng tuyếntính và phi tuyến Ý tưởng phương pháp này là chia nhỏ miền tính toán thành các

miền con, trên mỗi miền con sử dụng một mạng SLFN với thuật toán huấn luyệnELM để tính nghiệm PDE So với các phương pháp DGM (Deep Galerkin Method),PINN thì nghiệm sử dụng SLEN dựa trên ELM có thời gian huấn luyện cải thiện đáng

kế Mortari và các cộng sự [39] sử dụng một mạng PINN kết hợp với TFC (Theory

of Functional Connections) dé giải nghiệm PDE, gọi là X-TFC (Extreme Theory of

Functional Connections) Trong đó nghiệm PDE là dạng nghiệm thử (trial solution)

được viết thành tổng của hai thành phan Thanh phan thứ nhất thỏa điều kiện biên vàđiều kiện đầu, thành phần thứ hai được định nghĩa không ảnh hưởng đến điều kiệnbiên và điều kiện đầu Cả hai thành phần của nghiệm được tính dựa trên X-TFC.Calabrò và các cộng sự [40] đề xuất phương phương pháp giải PDE dựa trên thuật

toán huấn luyện mạng ELM bằng cách chọn các tham sỐ mạng w, b, hàm kích hoạt

o phù hợp dé cải thiện độ chính xác của nghiệm và hiệu quả tính toán Nói chung cácphương pháp giải PDE sử dụng SLFN dựa trên thuật toán huấn luyện mang ELM tập

trung các dạng sau: (1) Giải các PDE dạng elliptic và không tập trung giải AD-PDE;

(ii) Các phương pháp giải PDE bằng cách chia nhỏ miền tính toán thành các 6, sau

đó tính nghiệm PDE trên mỗi 6 tính toán với mạng SLFN và thuật toán huấn luyệnmang ELM; (iii) Các điểm huấn luyện mang được lấy mau theo phân bố đều, điềunày dẫn đến chỉ phí tính toán lớn, độ chính xác nghiệm không cao

Trong lĩnh vực y khoa và chân đoán hình anh, đữ liệu y tế thu nhận được như

ảnh siêu âm cung cấp các thông tin như ảnh chụp X quang cho biết thông tin về

xương, phối, đạ dày, v.v Ảnh chụp cắt lớp vi tính (Computed Tomography-CT) như

não, gan, v.v Ảnh chụp cộng hưởng từ (Magnetic Resonace Imaging-MRI) cung cấp

ảnh có độ phân giải cao và trình tự thời gian của dữ liệu đo Bên cạnh các kỹ thuật

cao chụp ảnh y tế thì ảnh y tế vẫn còn nhiều hạn chế, đặc biệt ảnh siêu âm có độ phân

giải thấp, mức nhiễu cao Các hạn chế về độ phân giải và nhiễu ảnh gây khó khăn cho

bác sĩ khi chân đoán chính xác, dẫn đến chỉ định điều trị hoặc hội chân phau thuậtkhông chính xác và ảnh hưởng kết quả đến các bước sau Thông thường các ảnh siêu

âm y tế xuất hiện nhiễu đốm (nhiễu nhân) và nhiễu Gauss (nhiễu cộng) [22], [41] ảnh

hưởng đến kỹ thuật chân đoán bệnh lý Hiện nay có nhiều công cụ hữu hiệu cho xử

lý ảnh đã được phát triển, một số tiếp cận như mô hình hóa ngẫu nhiên, wavelet,phương trình đạo hàm riêng, v.v Ngoài các hướng trên, các tiếp cận lai ghép những

ưu thế của từng phương pháp với nhau Mô hình hóa ngẫu nhiên được sử dụng rộngrãi trên lý thuyết trường số ngẫu nhiên Markov, mô hình này xử lý trực tiếp trên ảnh

số Lý thuyết wavelet được thừa hưởng từ các kỹ thuật xử lý tín hiệu và phân rã

Phương pháp xử lý ảnh dựa trên phương trình đạo hàm riêng được phát triển mạnh

từ cuối những năm 1990 Dựa trên tính ưu việt của PDE và ứng dụng của nó trong xử

lý ảnh Gần đây nhiều mô hình toán cho xử lý ảnh đã được áp dụng cho khử nhiễu

ảnh, phân đoạn ảnh, v.v dựa vào phương trình đạo hàm riêng Tuy nhiên việc giải

phương trình đạo hàm riêng hiện nay thường sử dụng phương pháp số thông dụngnhư sai phân hữu hạn, phần tử hữu hạn [42], [43]

1.2.2 Một số tiếp cận giải PDE hiện nay

Cho phương trình đạo hàm riêng tổng quát bậc hai có dạng (1.1) cụ thê sau

[23]:

G(x, u(x), Vu(x), V2u(x)) =0,x € 0C R#,d E€ N*, (1.1)

thoả điều kiện biên (boundary conditions — BCs), với G là ham tùy ý,

x=(xị, ,x¿) € R*, u(x), V là nghiệm và toán tử vi phân của phương trình

(1.1) tương ứng Biên của miền 2 kí hiệu là ô0

1.2.2.1 Phương pháp lưới

PDE đóng một vai trò quan trọng trong xử lý ảnh, đặc biệt là ảnh y khoa.

Những phương pháp giải số giải PDE thông dụng bao gồm các phương pháp FDM,FEM, FVM Nghiệm số của PDE xác định bằng cách xác định nghiệm xấp xi củaPDE tại các điểm rời rạc [39], [40] Với các phương pháp sé này đòi hoi phải roi racmiễn tính toán bang cách chia nhỏ miễn tính toán thành một lưới (mesh) gồm nhữngphan tử ràng buộc lẫn nhau trên lưới theo những nguyên tắc xác định Do đó dé xácđịnh nghiệm xấp xi với độ chính xác cao bằng các phương pháp số thì lưới nên đượcchia càng nhỏ càng tốt (dẫn đến tăng kích thước lưới) khi đó yêu cầu về bộ nhớ rấtlớn [2] Chang han dé tìm nghiệm u(x) gần đúng của (1.1) có thể được xác định bang

cách chia lưới 0 và Ø0 và tìm giá trị u tại các nút lưới thuộc miền Ô = {x; € 0; =

1, ,n} Rõ ràng việc xác định u tại các nút lưới thuộc Ô được biến đổi thành bai

toán giải hệ phương trình (1.2)

G (x;,u(x;),Vu(x,),V?u(x)) = 0,x, € Ô (12)

1.2.2.2 Phương pháp mạng nơron

Mang noron cung cấp một công cụ tìm nghiệm phương trình đạo hàm riêng

hiệu quả bởi vì đặc điểm chúng có thể điều chỉnh các tham số của mạng băng cách

huấn luyện mạng [44], mạng nơron có khả năng xap xi cac ham phi tuyến Một ưu

điểm khác của việc sử dụng mạng noron giải PDE so với các phương pháp số thông

thường là nghiệm PDE dựa trên ANN luôn được biểu diễn dưới dạng tổng hữu hạn

các hàm khả vi vô hạn, vì thế nghiệm của ANN có số tham số cần điều chỉnh ít hơn,

vì thế giảm yêu cầu về bộ nhớ so với phương pháp số như FDM, FEM, FVM [45],

[46] Nghiệm PDE dựa trên ANN xác định trên toàn miền, không cần thiết phải nộisuy như các phương pháp giải số thông thường [47] Một tiếp cận giải PDE sử dụng

ANN dựa trên thuật toán huấn luyện lan truyền ngược Levenberg-Marquardt (LM)

Tiếp cận này được đề xuất dé xác định nghiệm PDE từng bước bang cách huấn luyệnmang dé cực tiểu hàm lỗi Một trong những khó khăn của phương pháp này là thỏamãn điều kiện biên và điều kiện ban đầu của PDE với tập ràng buộc trên miền liên

tục Mặc dù phương pháp này đã cho thấy tính hiệu quả trong việc tìm nghiệm bài

toán giá trị biên (Boundary Value Problems - BVPs) với độ chính xac cao, nhưng

chưa chỉ ra tính hiệu quả với bài toán giá trị biên đầu (Initial Boundary ValueProblems - IBVPs) Một tiếp cận khác tìm nghiệm PDE sử dụng ANN thỏa điều kiệnban dau và điều kiện biên (Initial and Boundary Conditions — I/BCs) là tích hợp vàohàm mục tiêu bằng cách chuyền bài toán tối ưu ràng buộc thành bài toán tối ưu khôngràng buộc [48] Với phương pháp này bai toán hội tụ chậm, nghiệm ANN phải cầnnhiều nút ân hơn, nghiệm tìm được chính xác không cao, vì vậy tiếp cận này khôngphù hợp cho việc tìm nghiệm PDE Một công bố khác của một nhóm tác giả đề xuất

về việc tìm nghiệm PDE bằng mang noron với thuật toán lan truyền ngược, nhóm tác

giả bài báo trình bày phương pháp giải PDE sử dụng mạng nơron với thuật toán lan

truyền ngược các trọng số có ràng buộc (constrained backpropagation — CPROP),

nhăm giảm chiêu của bài toán và thoả điêu kiện đâu và điêu kiện biên một cách chính

xác tại mỗi bước lặp của thuật toán Một phương pháp CINT (Constraint Integration)

[49] được đề xuất dựa trên kết hợp phương pháp Galerkin và sử dụng CPROP để

huấn luyện mạng tìm nghiệm PDE Một số công bé đề xuất trong giải PDE với trọng

số đầu ra của ANN được xác định dựa vào tích vô hướng thay vì sử dụng các phương

pháp huấn luyện thông thường trước đây như thuật toán lan truyền ngược, di truyền,tối ưu bầy đàn [50], [51], [52]

Như vậy với phương pháp tìm nghiệm số sử dụng phương pháp lưới được trìnhbày trong phần 1.2.2.1 là xác định giá trị tại các nút lưới thuộc Ô băng cách giải hệ(1.2) Đối với phương pháp tìm nghiệm PDE sử dụng ANN là sử dụng ANN để xấp

xi ham dựa trên hàm mat mát Gọi nghiệm xấp xi sử dung ANN là 1;„;z¡(x,),

trong đó @ là tham số của ANN Có thé xác định Urriat (X, 8) bang cach cuc tiéu ham

Hau hết phương pháp giải PDE theo phương pháp lưới muốn có nghiệm xấp

xi tốt thì phải chia nhỏ lưới, vì vậy yêu cầu về bộ nhớ và thời gian [2] Mặt khác với

phương pháp này thì khi thay đôi điều kiện của PDE thì phải tính toán lại từ đầu, khó

sử dụng lại kết quả đã tính trước đó

Phương pháp giải PDE sử dụng ANN có ưu điểm không cần chia lưới, chỉ cần

điều chỉnh một số ít các tham số của mạng (bộ trọng số của mạng) do vậy ít yêu cầu

bộ nhớ và giảm đáng ké thời gian so với phương pháp lưới [53] Kết quả giải PDEbằng ANN có thời gian giảm đáng ké so với phương pháp lưới [2]

Tuy nhiên hạn chế tiếp cận giải PDE bằng mạng noron là huấn luyện mạngnoron dựa trên tiếp cận giảm gradient, một trong những thuật toán huấn luyện phébiến cho mạng noron dựa trên tiếp cận giảm gradient là thuật toán lan truyền ngược,

trong đó các trọng số của mạng được cập nhật từ lớp xuất đến lớp nhập Thuật toánnày thường hội tụ chậm, nó cũng dễ dàng gặp phải vấn đề tối ưu cục bộ Mặc dù cónhiều cải tiễn, nhưng đến thời điểm này hầu hết các thuật toán huấn luyện dựa trêngiảm gradient đều khá chậm do yêu cầu nhiều bước lặp [54] Mặt khác huấn luyện

mang dựa trên giảm gradient có nhiêu hạn chê như:

- Chon hệ số học, khi hệ số học quá nhỏ thì thuật toán học lan truyền

ngược hội tụ rất chậm Tuy nhiên hệ số học quá lớn thì giá tri cực tri có

thé bỏ qua

- Mot số van đề khác của thuật toán lan truyền ngược là thuật toán này

có thê bị tôi ưu cục bộ thay vì tôi ưu toan cục.

- Van dé quá khớp xảy ra khi mạng được luyện quá sát với dữ liệu huấn

luyện (kế cả nhiễu), nên nó sẽ trả lời chính xác những gi đã được học,

còn những gì không được học thì nó không quan tâm Như vậy mạng

sẽ không có được khả năng tổng quát hóa

- Phuong pháp hoc dựa trên giảm gradient là mat nhiều thời gian trong

hầu hết các ứng dụng

1.3 Mục tiêu nghiên cứu

Bài toán giải phương trình đạo hàm riêng có ý nghĩa và tầm quan trọng trongcác lĩnh vực khoa học đặc biệt là xử lý ảnh như khử nhiễu ảnh, phân đoạn ảnh Phần

lớn các phương pháp giải nghiệm xấp xi PDE là phương pháp số như FDM, FEM,

FVM Các phương pháp này còn nhiều hạn chế Một tiếp cận khác sử dụng ANN dé

giải một số dạng phương trình PDE, tuy nhiên các phương pháp dùng ANN giải PDE

còn nhiều hạn chế do sử dụng thuật toán huấn luyện lan truyền ngược Ngoai việc

giải PDE ra, các ứng dụng của PDE trong xử lý ảnh chưa được quan tâm nhiều Mục

tiêu chính của luận án là nghiên cứu và đề xuất thuật toán huấn luyện hiệu quả giải

giải phương trình đạo hàm riêng tuyến tính dang elliptic và parabolic và ứng dụngPDE trong khử nhiễu ảnh y khoa và nhận dạng hành vi Đề đạt được mục tiêu chính

của luận án, luận án tập trung nghiên cứu ba mục tiêu cụ thê sau:

10

[O1] Tổng quan các phương pháp giải PDE, phân tích tổng hợp điểm yếu, điểm

mạnh của các phương pháp.

[O2] Nghiên cứu và đề xuất thuật toán huấn luyện mạng hiệu quả dé giải phương

trình dao hàm riêng tuyến tính dang elliptic và AD-PDE đã được công bồ [CT],

CT2].

[O3] Ứng dụng phương trình đạo hàm riêng trong xử lý ảnh y khoa và nhận dạng

hành vi đã được công bố [CT3, CT4]

1.4 Đối tượng nghiên cứu

Luận án tập trung vào hai đối tượng nghiên cứu chính:

- Phuong trình đạo hàm riêng.

- Anh hai chiều, video

1.5 Pham vi nghiên cứu

Do luận án tiếp cận máy học giải PDE và ứng dụng trong xử lý ảnh y khoa,

hầu hết các phương trình PDE ứng dụng trong xử lý ảnh là dang phương trình khuếch

tán đối lưu Khuôn khổ luận án tập trung xem xét các đối tượng nghiên cứu chính

trong phạm vi:

- AD-PDE (Advection Diffusion PDE).

- Anh hai chiều, video

1.6 Phương pháp nghiên cứu

Một số phương pháp được đề xuất sử dụng nhằm thực hiện công việc nghiên

cứu trong luận án này bao gồm:

- Phuong pháp nghiên cứu lý thuyết: dựa trên tổng hợp các bài báo có liên quan

đến việc giải phương trình đạo hàm riêng sử dụng mạng noron, dựa trên các

tài liệu như sách, báo, tạp chí đã công bố trong cộng đồng khoa học và trên

Internet.

11

Phương pháp phân tích tổng hợp: dựa trên các phương pháp giải phương trìnhđạo hàm riêng, từ đó đánh gia ưu nhược điểm, đưa ra thuật toán, mô hình phù

hợp giải phương trình đạo hàm riêng và ứng dụng trong khử nhiễu, nhận dạng

Những đóng góp chính của luận án bao gồm:

Liên quan đến các phương pháp giải PDE

1. Đề xuất một thuật toán huấn luyện ELMNN (Extreme Learning Machine Neural

Network) không lặp, huấn luyện mang truyền thắng một lớp ẩn giải phương

trình đạo hàm riêng tuyến tinh đã được công bố với công trình [CT1]

Đề xuất một thuật toán huấn luyện ELMNET không lặp, huấn luyện mạng

truyền thăng một lớp an giải lớp bài toán phương trình khuếch tán đối lưu tuyến

tính đã được công bồ với công trình [CT2]

Liên quan đến ứng dụng PDE trong xử lý ảnh

3. Ứng dụng phương trình đạo hàm riêng phi tuyến trong việc khử nhiễu ảnh và

thực nghiệm trên ảnh hai chiều [CT3]

Ứng dụng phương trình vi phân đạo hàm riêng trong nhận dạng hành vi Đềxuất một mô xử lý video dựa trên máy học và phương trình vi phân đạo hàmriêng Thực nghiệm trong việc giám sát quá trình rửa tay phục vụ trong y tế

theo quy định của WHO [CT4].

12

1.8 Bô cục của luận án

Bô cục luận án bao gôm 6 chương, trong đó:

Chương 1: Giới thiệu đề tài: Chương này chúng tôi đã trình bày về tính cấpthiết của luận án, trình bày tổng quan về tình hình nghiên cứu và các công bố gần đây

liên quan đên luận án và trình bày các đóng góp của luận án.

Chương 2: Cơ sở lý thuyết: Chương này chúng tôi đã trình bày cơ sở lý thuyết

nền tang bao gồm: (i) Tổng quan về phương trình đạo hàm riêng và phương pháp sai

phân giải PDE, phương trình khuếch tán nhiệt; (ii) Trình bay xử lý anh dựa trên PDE;(iii) Trình bày một số cau trúc mạng hồi quy và ứng dụng trong nhận dạng hành vi

Chương 3: Tiếp cận máy học giải phương trình đạo hàm riêng: Chương này

chúng tôi trình bày tiếp cận máy học trong giải phương trình đạo hàm riêng, đặc biệtgiải bài toán dang elliptic và parabolic Dong góp của chương này đã góp phần hiệnthực phần lý thuyết cho hai mục tiêu O1, O2 của luận án được công bố ở các công

trình [CT1, CT2].

Chương 4: Ứng dụng phương trình đạo hàm riêng trong xử lý ảnh y khoa:

chương nay chúng tôi đã trình bày ứng dụng phương trình đạo hàm riêng trong khử

nhiễu ảnh và ứng dụng phương trình đạo hàm riêng trong nhận dạng hành vi Đónggóp của chương này đã góp phần hiện thực phan lý thuyết cho mục tiêu O3 của luận

án được công bồ ở các công trình [CT3, CT4]

Chương 5: Kết quả thực nghiệm: Chương này chúng tôi đã tập trung trình bày

các số liệu và kết quả thống kê để làm rõ, và chứng minh các phương pháp đề xuất

trong chương 3 và chương 4 Đóng góp của chương này đã góp phần hiện thực phần

thực nghiệm các mục tiêu của luận án được công bố ở các công trình [CT1, CT2,

CT3, CT4].

Chương 6: Kết luận và hướng phát triển: Chương này chúng tôi đã trình baytổng kết lại việc thực hiện các mục tiêu đề ra thông qua các nội dung đã trình bày ở

13

chương 3, 4, 5, từ đó cụ thể hóa các đóng góp trong quá trình thực hiện luận án của

nghiên cứu sinh Trên cơ sở đó các hướng phát triên được dé xuât.

14

Chương 2: CƠ SỞ LÝ THUYÉT

Trong chương nay, chúng tôi trình bày: (i) Phương trình đạo hàm riêng và giới

thiệu phương pháp số giải phương trình đạo hàm riêng; (ii) Xử lý ảnh dựa trên phươngtrình đạo hàm riêng; (iii) Một số mạng nơron hồi quy ứng dụng trong nhận dạng hành

Vi.

2.1 Phương trình dao ham riêng

2.1.1 Khái niệm phương trình đạo hàm riêng

Phương trình đạo hàm riêng cấp hai với hai biến độc lập x, y tong quát có dạng

(2.1) [55]:

=0, x,y€0, (2.1)

trong đó G là hàm bat kỳ, 1a tập con mở bi chặn của IR#, d là số chiều không gian,

Trong luận án này, khi xét các bài toán phương trình đạo hàm riêng chúng tôi

k Âu sa , rata ou Ou 42 2 `

thông nhat sử dụng các kí hiệu tương đương sau: u, = ox? ủy “3y đê chỉ đạo hàm

8?u 9?u 8?u

2x2 Uvy = Gye Uxy = Tay dé chi

riêng cap một của ham số u(x, y) Tương tự uz, =

đạo hàm riêng cấp hai của hàm số u(x, y)

2.1.2 Phân loại phương trình đạo hàm riêng với hai biến độc lập

Các phương trình đạo hàm riêng cấp hai thuần nhất, hai biến độc lập x, y dạng

tổng quát (2.1) có thé viết dưới dang (2.2):

Aux, + Buyy + Cuyy + Duy + Euy +Lu = Ú, (2.2)

trong do A, B, C, D, E, L là các hệ số của phương trình

15

Dựa vào biệt thức B? — 4AC mà phương trình (2.2) được phân thành một trong

3 loại sau:

Nếu B? — 4AC > 0 thì phương trình (2.2) là loại hyperbolic

Nếu B? — 4AC = 0 thì phương trình (2.2) là loại parabolic

Nếu B? — 4AC < 0 thì phương trình (2.2) là loại elliptic

2.1.3 Phương trình nhiệt

Trong các hiện tượng vật lý, quá trình truyền nhiệt hay quá trình khuếch tán làmột quá trình được mô hình hóa dưới dạng phương trình đạo hàm riêng biến thiêntheo không gian và thời gian Phương trình nhiệt là cơ sở lý thuyết giải thích về sựdẫn nhiệt, đắng hướng và đồng nhất trong không gian đã được Joseph Fourier công

bố [56] Phương trình nhiệt chính là phương trình khuếch tán làm cân bằng nhiệt hay

mật độ u tại các vị trí khác nhau trong không gian, thời gian bat kỳ Trong xử lý anh

người ta cũng dùng phương trình nhiệt để khử nhiễu ảnh [13], mặc dù phương trìnhnhiệt có nhiều hạn chế trong xử lý ảnh, nhưng là cơ sở để xây dựng phương trình đạo

hàm riêng khử nhiễu.

Phương trình nhiệt có dạng (2.3):

u,(t, x,y) = div(c(t, x, y)Vu(t, x,y), xy €O,t € (0,T] (2.3)

trong đó Vu là toán tu gradient của u.

Nếu số c là hang số thì (2.3) chính là phương trình khuếch tán nhiệt danghướng Nếu c hàm số thì (2.3) chính là phương trình khuếch tán nhiệt phi tuyến đăng

hướng [13].

Trong thực tế muốn xác định quy luật truyền nhiệt trong vật thể thì phương

trình (2.3) cân có thêm điêu kiện đâu và điêu kiện biên của bài toán.

Tại thời điểm ban đầu t = 0 nhiệt độ u(t, x, y) của vật thể thỏa phương trình

(2.3) theo điều kiện đầu:

16

u(t = 0,x,y) = u(x, y) (2.4)

Phương trình (2.3) với điều kiện (2.4) được gọi là bài toán giá tri dau hay bài

toán Cauchy [55] Bài toán có thé phát biểu cho biết phân bồ nhiệt của vật thé tại thờiđiểm tạ (t = 0) và xác định nhiệt độ của vật thé theo phương trình khuếch tán nhiệt

(2.3) tại thời điểm £; ( = j) nao đó

Điều kiện (2.4) có thể mở rộng để xác định đường biên 00 của miền không

gian © trên toàn khoảng thời gian (0, T], với 0< T < œ, từ đó xác định nhiệt (nghiệm) tại 00 x (0,T].

Điều kiện biên cho phương trình nhiệt bao gồm:

Điều kiện Dirichlet

Giá trị trên biên của hàm u sao cho thỏa phương trình (2.2) tại t > 0 với điềukiện đầu (2.3) đã cho:

u(t,x,y) = ƒ(t,x,y) (t,x,y) € (0,T] x an, (2.5)

trong đó ƒ là hàm cho trước

Điều kiện biên được cho khi biết phân bố nhiệt trên biên trong trang thái biến

đổi của điều kiện nhiệt bên ngoài

Diéu kiện Neumann

Xác định pháp tuyến n theo các biến thời gian, không gian (, x, y) của nhiệt

độ trên biên.

0,u(t, x,y) = ƒ(t,x,y) (t,x,y) € (0,T] x 00, (2.6)

trong điều kiện loại này ngầm định đạo ham @,,u mô tả dòng nhiệt xuyên qua biêntheo hướng pháp tuyến, trong trường hợp biên cách ly theo điều kiện (2.6), điều kiện

biên được đặt với f= 0.

17

Trong xử lý ảnh, khuếch tán là quá trình làm đồng đều mức xám +6 tại mộtvùng các điểm ảnh (x, y) nhất định theo thời gian [13] Quá trình khuếch tán có thé

là khuếch tán đăng hướng hay phi tuyên đăng hướng điều này phụ thuộc chủ yếu vào

cấu trúc của mô hình, hệ số khuếch tán có mặt trong phương trình của mô hình Dựa

vào đặc điểm của hệ số khuếch tán ta có thé phân loại mô hình khuếch tán khử nhiễu

như sau:

- _ Nếu hệ số khuếch tán là hằng số thì gọi mô hình là khuếch tán đăng hướng

- Néu hệ số khuếch tán là một hàm khuếch tán phụ thuộc cấu trúc ảnh cục

bộ thì gọi mô hình là khuếch tan phi tuyến đăng hướng

- Nếu hệ số khuếch tán là một tensor khuếch tán phụ thuộc cấu trúc ảnh cục

bộ thì gọi mô hình là khuếch tán phi tuyến bất đăng hướng

2.1.4 Phương pháp sai phân

Trong mặt phang cho miền chữ nhật Q minh họa như hình 2.1:

O0 ={Œ,y) la < x< b, d< y< e} với a, b, d, e là các sé đương cho trước, Ø0 là

ký hiệu biên 0, 00 nằm trên các đường thắng x=a,x=b,x=dx=e

00.

0)

Hình 2.1 Tập 2 và biên 0.2

8O={x=anx=bnx=dnx=e}Cc(0.

Trong mặt phang (x,y) miền chữ nhật O xét bài toán:

tr, = CÂU = C(Uxx + Uyy) + f(t,x,y), (t,x, y) € (0,T] x Q, (2.7)

với điều kiện đầu u(t = 0,x,y) = g(x,y) (x,y) € 0, (2.8)

18

với điều kiện biên u(t, x, y) = h(,x,y) (t,x,y) € (0,T] x an, (2.9)

trong đó c hằng s6, f, g, h hàm số cho trước

2.1.4.1 Lưới sai phân

Cho ba số nguyên bat kỳ dương N, M, P Chia miền Q thành các 6 lưới nhưsau:

> -a

Gọi hị = , a < b là bước lưới theo phương x với tọa độ x; = a + thy,

=|

O<i<N; h,= — d <e là bước lưới theo phương y với tọa độ y¡ = đ +®

th,0<i<M,r= 5 là bước lưới theo thời gian với tọa độ các điểm t, = kr,0 <

k < P Mỗi điểm (t,, x;, y;) tương ứng với một nút lưới (k, i,j)

Mỗi hàm số xác định tại các nút lưới gọi là hàm lưới Giá tri của hàm lưới tại

u tại nút lưới (th, Xi, y;) ký hiệu uf ie Mỗi ham u(t, x, y) tại mọi (£, x, y) tạo ra hàm

lưới xác định bởi HỆ, = u(t, Xi, Vj)

Tap Ôn,n, = {Œ4¿,j)|(%¡ Vj) € Ô } gọi la tap nut trong

Tập 00n, a, = {(¡,y;)|(¿, yj) € AO } gọi là tập mit biên

Tập 0, = {f„|k = 1 P} gọi là tập nuit trong trong khoảng {t |0 < t < T }.

Tập On, ny = Ô; X On, n, gọi tập các mit trong {(0,T] x 0}

2.1.4.2 Lược đồ sai phân hiện

Sử dụng phương pháp sai phân bằng lược đồ sai phân hiện dé tìm nghiệm xap

xỉ của phương trình đạo hàm (2.7), (2.8), (2.9) Gọi r = 5 là bước lưới theo thời gian

với tọa độ các điểm t„ = kt,0<k <P, uk; = u(x, Yj, t„) là nghiệm xap xi bang

lược do sai phân sau:

(2.10)

19

k+l _ 1k

M7” ui; Ui; + 2E, jt uta © fj-1 + 2uk, jt MÙ pe (2.11)

T h? hệ lở

up; = 9(xi¥;),

Up; = halter Yj) UN; = hạ tụ, Vj), (2.12)

ul = hạ (tự, xi) , uty = hạ( tự, xi), (k, ij) = Qe hy hy?

trong đó g, hạ, hp, h„, hạ là các ham cho trước.

Đặt r= 4,s = — thay vào lược đồ sai phân (2.10) ta được

Lược đồ sai phân xác định bởi phương trình (2.13) với điều kiện đầu, điều kiện

biên (2.11), (2.12) và cho phép tính uf}? khi biét uf, ; mà không phải giải một hệ

phương trình đại số nào được gọi là lược đồ sai phân hiện.

Giả sử là nghiệm của bài toán sai phân (2.13) với các điều kiện đầu và điều

kiện biên cho trước và v là nghiệm của phương trình dao hàm riêng (2.7), (2.8), (2.9)

thì z = — 0 là sai số phương pháp

2.1.4.3 Lược đồ sai phân an

Tương tự như lược đô sai phân hiện, nghiệm xâp xỉ uf; = u(ty, Xi yj) cua

phương trình dao ham (2.7), (2.8), (2.9) được giải gần đúng bằng lược đồ sai phân an

sau

20

Kk+1 k Kk+1 k+1 k+1 k+1 K+1 K+1

Mịj THỊ? — MyijT2ZMjj THj++j | t//+1†2ZMjj +Uij—-a k+1

781/227 TH g HƯU HH, pea, (2.15)

T hy hệ *

với điều kiện đầu uP; = g(%¡,y;), (i,j) © Ôn, nor (2.16)

và điều kiện biên ubj = h„(tw,yj ), ux.) =h, (te, yj),

(2.17)

uky = he(ty, x1) Uy = Na (ty, 3).

—,s= = thay vào lược đồ sai phân (2.15) ta đượcĐặtr = -;,

hị h2

uf +t fit =(1+2r+ 25)u_71 - rit, + uf) - s(uh + uf, (2.18)

Với t= 0 ta có được uP; theo (2.16) uP; = 9(xi,¥;) Voit > 0 ta lập được các

K+1phương trình và mỗi phương trình phải giải gồm 5 ấn Ly

K+1 k+1 Kk+1 k+1

Mị+1,7; Mị—1,7; Ui jer Mị

¡—1-Lược đồ sai phân (2.15) với điều kiện ban đầu (2.16), điều kiện biên (2.17)

được gọi là lược đô sai phân ân.

Gia sử u là nghiệm của bài toán sai phân (2.18) với các điều kiện (2.16), (2.17)

và v là nghiệm của phương trình đạo hàm riêng (2.7-2.9) thì z= — 0 là sai số

phương pháp.

Theo phương trình (2.18), ở mỗi lớp k + 1 của phương trình chứa 5 ấn nên khi

biết uk; ở lớp k, muốn tính uf}? thuộc lớp trên k + 1 phải giải quyết một hệ phươngtrình đại số tuyến tính 5 đường chéo đối với (N — 1)(M - 1) ân số HN

2.1.4.4 Phương pháp sai phân hữu hạn giải PDE dạng elliptic

Xét phương trình elliptic 2 chiều có dang [55] có dạng:

ô?u(x, y) , 02u(x, y) —_

ax2 ay2 — f(xy), x € [a,b],y € [c,d], (2.19)

thoa diéu kién bién Dirichlet

21