Giải thuật điểm gần kề luân phiên cho bài toán ngược phi tuyến và ứng dụng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM NGUYỄN SONG TOÀN GIẢI THUẬT ĐIỂM GẦN KỀ LUÂN PHIÊN CHO BÀI TOÁN NGƯỢC PHI TUYẾN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ TOÁN HỌC Đà Nẵng - 2021 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM NGUYỄN SONG TOÀN GIẢI THUẬT ĐIỂM GẦN KỀ LUÂN PHIÊN CHO BÀI TOÁN NGƯỢC PHI TUYẾN VÀ ỨNG DỤNG Chuyên ngành: TOÁN GIẢI TÍCH Mã số: 8.46.01.02 LUẬN VĂN THẠC SĨ TỐN HỌC Người hướng dẫn TS PHẠM QUÝ MƯỜI Đà Nẵng - 2021 MỤC LỤC LỜI CAM ĐOAN MỞ ĐẦU Chương KIẾN THỨC CƠ SỞ 1.1 Không gian Rn 1.2 Không gian Banach không gian Hilbert 1.2.1 Không gian Banach 1.2.2 Không gian Hilbert 12 1.2.3 Hệ trực chuẩn 14 1.3 Toán tử tuyến tính liên tục, bị chặn 16 1.4 Toán tử liên tục Lipschitz, đạo hàm Fréchet 18 1.5 Hàm lồi 1.6 Hàm nửa liên tục dưới, vi phân 22 20 Chương BÀI TOÁN TỐI ƯU TRONG CHỈNH HÓA THƯA 24 2.1 Phát biểu toán 2.2 Sự tồn nghiệm 2.3 Điều kiện cần cực trị 30 Chương 24 26 GIẢI THUẬT ĐIỂM GẦN KỀ LUÂN PHIÊN CHO BÀI TOÁN TỐI ƯU TRONG CHỈNH HÓA THƯA VÀ ỨNG DỤNG 3.1 Phát biểu giải thuật 32 32 3.2 Sự hội tụ 33 3.3 Ứng dụng phân tích nhân tử ma trận thưa khơng âm 38 3.3.1 Chỉnh hóa đa phạt thưa thưa khơng âm 38 3.3.2 Tốn tử gần 41 3.3.3 Ví dụ 41 KẾT LUẬN 48 TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 51 LỜI CAM ĐOAN Tôi xin cam đoan đề tài luận văn "Giải thuật điểm gần kề luân phiên cho toán ngược phi tuyến ứng dụng" khơng có trùng lặp với đề tài luận văn khác Tôi xin khẳng định luận văn cơng trình nghiên cứu tổng quan hướng dẫn TS Phạm Quý Mười Các kết luận văn tổng hợp từ tài liệu có nguồn gốc rõ ràng Tác giả Sr? NGUYỄN SONG TOÀN LỜI CẢM ƠN Luận văn hoàn thành hướng dẫn giúp đỡ tận tình thầy hướng dẫn TS Phạm Quý Mười, Trường Đại học Sư phạm Đà Nẵng Nhân dịp xin bày tỏ kính trọng lịng biết ơn sâu sắc đến Thầy giúp đỡ tơi suốt q trình học tập thực luận văn Tôi xin gửi lời cảm ơn đến quý Ban lãnh đạo Trường Đại học Sư phạm Đà Nẵng, Phòng Đào tạo Sau Đại học, Khoa Tốn, q thầy giáo giảng dạy lớp cao học K39 dày công giảng dạy suốt khóa học, tạo điều kiện thuận lợi cho tơi trình học tập thực đề tài Nhân xin chân thành cảm ơn hỗ trợ mặt tinh thần gia đình, bạn bè tạo điều kiện giúp đỡ để tơi hồn thành tốt khóa học luận văn Tác giả Sr? NGUYỄN SONG TỒN TRANG THƠNG TIN LUẬN VĂN THẠC SĨ Tên đề tài: Giải thuật điểm gần kề luân phiên cho toán ngược phi tuyến ứng dụng Ngành: Tốn Giải tích Họ tên học viên: Nguyễn Song Toàn Người hướng dẫn khoa học: TS Phạm Quý Mười Cơ sở đào tạo: Đại học Sư phạm Đà Nẵng Tóm tắt: Với đề tài Giải thuật điểm gần kề luân phiên cho toán ngược phi tuyến ứng dụng, luận văn nêu lên tính cấp thiết đề tài: Bài tốn phân tích nhân tử ma trận thưa không âm sử dụng nhiều lĩnh vực khác nhau, ví dụ việc nghiên cứu phần khuôn mặt, đặc điểm ngữ nghĩa văn bản, chuyển biên đa âm âm nhạc, mơ tả đặc điểm đối tượng phân tích quang phổ, đa dạng tổ hợp đầu tư, phân tích biểu gen DNA, phân nhóm tương tác protein, khử nhiễu hình ảnh chỉnh sửa ảnh Từ đó, luận văn trình bày giải thuật điểm gần kề luân phiên cho toán ngược phi tuyến Cụ thể hơn, luận văn thu kết nội dung chương chính: Chương 1: Kiến thức sở Luận văn trình bày kiến thức giải tích hàm giải tích lồi dùng trình nghiên cứu, bao gồm nội dung kiến thức về: Không gian n , Không gian Banach không gian Hilbert; hàm số liên tục, khả vi Fréchet, hàm lồi, hàm nửa liên tục vi phân Các định nghĩa, định lý, kiến thức có liên quan trình bày cách hệ thống Luận văn đưa số chứng minh cho tính chất quan tâm Chương 2: Bài tốn tối ưu chỉnh hóa thưa Từ toán ban đầu, luận văn phát biểu toán tối ưu, đưa vào giả thiết kiểm tra tính đặt chỉnh tốn thơng qua việc chứng minh định lý liên quan Các giả thiết sở để ta đạt kết điều kiện cần cực trị kết hội tụ giải thuật Chương 3: Giải thuật điểm gần kè luân phiên ứng dụng Luận văn trình bày giải thuật cho toán tối ưu đưa ra, phát biểu chứng minh kết hội tụ giải thuật Luận văn đưa ứng dụng giải thuật phân tích nhân tử ma trận thưa khơng âm, kèm theo ví dụ nghiệm số cụ thể giải thuật, cơng việc tính tốn thực chương trình Matlab Đề tài làm sở cho việc nghiên cứu giải thuật khác cho toán tối ưu Luận văn tài liệu tham khảo cho sinh viên, học viên cao học người có nhu cầu tìm hiểu tốn tối ưu chỉnh hóa thưa Từ khóa: Giải thuật điểm gần kề luân phiên Bài tốn phân tích nhân tử ma trận thưa khơng âm Chỉnh hóa thưa Chỉnh hóa thưa khơng âm Bài tốn ngược phi tuyến Xac nhjn cu.a giao vien hmrng din Ngtroi th\fC hi�n tai � Nguy€n Song Toan INFORMATION PAGE OF MASTER THESIS Name of thesis: Alternating proximal algorithm for non-linear inverse problems and application Major: Mathematical analysis Full name of Master student: NGUYEN SONG TOAN Supervisors: PhD PHAM QUY MUOI Training institution: The University of Danang, University of Education Abstract: With the topic Alternating proximal algorithm for non-linear inverse problems and application, the thesis has raised the urgency: The problem of sparse non-negative matrix factorization has been used for various problems in many fields, for example, the problems of learning parts of faces and semantic features of text, polyphonic music transcription, object characterization by reflectance spectra analysis, portfolio diversification, DNA gene expression analysis, clustering of protein interactions, image denoising, and inpainting Since then, the thesis has presented alternating proximal algorithm for non-linear inverse problems More specifically, the thesis has obtained the results that are the content of the main chapters: Chapter 1: Basic knowledge The thesis has presented the basic knowledge of functional analysis and convex analysis used in the research process, including knowledge about: n space, Banach space and Hilbert space; Continuous function, Fréchet difference, convex function, lower and lower differential semicontinuous functions Relevant definitions, theorems, knowledge are presented systematically The thesis also gives some proofs for the properties of interest Chapter 2: Optimization problem in sparse regularization From the original problem, the thesis has stated the optimization problem, put in the assumptions and checked the correctness of the problem through the proof of related theorems These assumptions are needed for us to ensure the wellposedness of the problem as well as achieve the results on the convergence of the algorithm Chapter 3: Alternating proximal algorithm for non-linear inverse problems and application The thesis presents the algorithm for the given optimization problem, states and proves the results of the convergence of the algorithm The thesis also shows the application of the algorithm in solving the problem of sparse non-negative matrix factorization, accompanied by examples of specific solutions of the algorithm, the calculation is done by Matlab program The thesis can serve as a basis for the study of other algorithms for optimization problems The thesis will be a reference for students, graduate students and those who want to learn about optimization problems in sparse regularization Key words: Alternating proximal algorithm Sparse non-negative matrix factorization problem Sparsity regularization Non-linear inverse problems Non-negative sparsity regularization 48 KẾT LUẬN Trong luận văn này, tơi trình bày giải thuật điểm gần kề luân phiên cho toán ngược phi tuyến Cụ thể hơn, luận văn thu kết sau: Luận văn trình bày kiến thức giải tích hàm giải tích lồi dùng trình nghiên cứu Các định nghĩa, định lý, kiến thức có liên quan trình bày cách hệ thống Luận văn đưa số chứng minh cho tính chất quan tâm Luận văn trình bày tốn tối ưu chỉnh hóa thưa Từ tốn ban đầu, luận văn phát biểu toán tối ưu, đưa vào giả thiết kiểm tra tính đặt chỉnh tốn thơng qua việc chứng minh định lý liên quan Các giả thiết sở để ta đạt kết điều kiện cần cực trị kết hội tụ giải thuật Luận văn trình bày giải thuật cho toán tối ưu đưa ra, phát biểu chứng minh kết hội tụ giải thuật Luận văn đưa ứng dụng giải thuật phân tích nhân tử ma trận thưa không âm, kèm theo ví dụ nghiệm số cụ thể giải thuật, cơng việc tính tốn thực chương trình Matlab Đề tài làm sở cho việc nghiên cứu giải thuật khác cho toán tối ưu 49 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Q Mười, Giáo trình Lý thuyết tốn đặt khơng chỉnh, Nhà xuất Thông tin Truyền thông, 2018 [2] Nguyễn Xuân Liêm, Giải tích hàm, Nhà xuất Giáo dục, 1994 [3] Huỳnh Thế Phùng, Cơ sở giải tích lồi, Nhà xuất Giáo dục Việt Nam, 2012 [4] Hà Thị Na (2020), Phương pháp Newton nửa trơn cho tốn ngược phi tuyến với nghiệm thưa khơng âm , Luận văn thạc sĩ Tốn Giải tích – Trường Đại học Sư Phạm – Đại học Đà Nẵng [5] Nguyễn Thị Liêu Noa (2017), Giải thuật cho tốn tối ưu khơng trơn chỉnh hóa thưa ứng dụng, Luận văn thạc sĩ Tốn Giải tích – Trường Đại học Sư Phạm – Đại học Đà Nẵng Tiếng Anh [6] Quy Muoi Pham, Delf Lachmund & Dinh Nho Hào (2020), “Convergence of proximal algorithms with stepsize controls for non-linear inverse problems and application to sparse nonnegative matrix factorization”, Numberical Algorithms, 85, pp.1255-1279 [7] Muoi, P.Q., Hao, D.N., Maass, P., Pidcock, M.: Descent gradient methods for nonsmooth minimization problems in ill- 50 posed problems J Comput Appl Math 298, 105–122 (2016) Tiếng Pháp [8] Moreau, J.: Proximité et dualité dans un espace hilbertien Bulletin de la Société Mathématique de France 93, 273–299 (1965) 51 PHỤ LỤC Giải thuật điểm gần kề luân phiên viết dạng chương trình Matlab có nội dung sau: tic; while stopFlag iter = iter+1; stepCond = false; xudone = 0; sx = updateSHigh( sx ); su = updateSHigh( su ); if iter > try FOld = FNew; catch FOld = F(x,u); end else FOld = F(x,u); end while (stepCond && (xudone>1) ) switch xudone case xNew = shrinkage( iP.constraint, x-sx*gradxFOld, sx*iP.alpha ); 52 hNew = [xNew;u.’]; FNew = Fh(hNew); stepCond = checkStepCondx( hNew, h, sx, FNew, FOld, gradxFOld ); sx = updateSLow( stepCond, sx ); if stepCond xudone = xudone + 1; hk = hNew; graduFOld = graduF(xofh(hk),uofh(hk)); FOld = FNew; end case uNew = shrinkage( iP.constraint,u-su*graduFOld, su*iP.beta ); hNew = [xNew;uNew.’]; FNew = Fh(hNew); stepCond = checkStepCondu( hNew, hk, su, FNew, FOld, graduFOld ); su = updateSLow( stepCond, su ); if stepCond xudone = xudone + 1; end end end uDiffNorm = norm(uNew - u, ’fro’)/norm(u,’fro’); xDiffNorm = norm(xNew - x, ’fro’)/norm(x,’fro’); 53 hDiffNorm = norm(hNew - h, ’fro’)/norm(h,’fro’); x = xNew; u = uNew; h = hNew; if mod(iter,iP.statsGatherInterval) == indexWrite = iter/iP.statsGatherInterval; stats.sx(indexWrite) = sx; stats.su(indexWrite) = su; stats.itVec(indexWrite) = iter; stats.Theta(indexWrite) = Theta( x, u ); stats.F(indexWrite) = F( x, u ); stats.FStand(indexWrite) = FStand( x, u ); stats.uDiffNorm(indexWrite) = uDiffNorm; stats.xDiffNorm(indexWrite) = xDiffNorm; stats.hDiffNorm(indexWrite) = hDiffNorm; end if (iP.verbosity > 0) & & ( mod(iter, iP.verbosityIntervalFactor*iP.statsGatherInterval) == ) if mod(iter,iP.refreshHeaderInterval*iP.verbosityIntervalFactor* iP.statsGatherInterval) == dispStats( ’header’, iP.verbosity, iP.algo ); end dispStats( ’stats’, iP.verbosity, iP.algo, iter, stats ) end 54 if (iter+1 > iP.maxIt) || ( (iter+1 > iP.minIt) & & hDiffNorm < iP.TOL ) stopFlag = true; end end timeHelper = toc; stats.calcTime = timeHelper + timeSoFar; stats.executedIt = iter; iP.F = []; iP.gradxF = []; iP.graduF = []; result.iP = iP; result.stats = stats; result.x = x; result.u = u; ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BIÊN BẢN HỌP HỘI ĐỒNG CHẤM LUẬN VĂN THẠC SĨ Tên đề tài: Giải thuật điểm gần kề luân phiên cho toán ngược phi tuyến ứng dụng Ngành: Tốn giải tích Lớp K39.TGT Theo Quyết định thành lập Hội đồng chấm luận văn thạc sĩ số 2046/QĐ-ĐHSP ngày 28 tháng 10 năm 2021 Ngày họp Hội đồng: ngày 28 tháng 11 năm 2021 Danh sách thành viên Hội đồng: HỌ VÀ TÊN STT CƯƠNG VỊ TRONG HỘI ĐỒNG TS Phan Đức Tuấn Chủ tịch TS Lê Văn Dũng Thư ký TS Chử Văn Tiệp Phản biện PGS.TS Nguyễn Thành Chung Phản biện PGS.TS Kiều Phương Chi a Thành viên có mặt: Ủy viên b Thành viên vắng mặt: Thư ký Hội đồng báo cáo trình học tập, nghiên cứu học viên cao học đọc lý lịch khoa học (có văn kèm theo) Học viên cao học trình bày luận văn Các phản biện đọc nhận xét nêu câu hỏi (có văn kèm theo) Học viên cao học trả lời câu hỏi thành viên Hội đồng 10 Hội đồng họp riêng để đánh giá 11 Trưởng ban kiểm phiếu công bố kết 12 Kết luận Hội đồng a) Kết luận chung: Luận văn đạt yêu cầu Đề nghị hiệu trưởng Trường Đại học Sư phạm – Đại học Đà Nẵng công nhận kết chấm luận văn Hội đồng cấp thạc sĩ cho học viên b) Yêu cầu chỉnh, sửa nội dung: Sửa luận văn theo góp ý thành viên Hội đồng, đặc biệt nhận xét góp ý phản biện c) Các ý kiến khác: không d) Điểm đánh giá: Bằng số: 8,6 Bằng chữ: Tám sáu 13 Tác giả luận văn phát biểu ý kiến 14 Chủ tịch Hội đồng tuyên bố bế mạc THƯ KÝ HỘI ĐỒNG CHỦ TỊCH HỘI ĐỒNG Lê Văn Dũng Phan Đức Tuấn cONG HoA xA nOt cHU NcHIa vtEr NAN,{ D6c ldp - Trr - Hanh ph(rc BAN NHAN xpr LUAN vAN rOr (Danh cho thinh vi6n hOi d6ng li NGHTEe rHAC si ngrldi phfrn tri6n) Ten d,0 td,i,luln udn: Gthi thu6,t di€im gan kO ludn phi€n cho bhi to5,n nguoc phi tuy€n vh, itng dung Chuy€n ngd,nh:To5,n gi6i tfch Atld ngdnh: 8.46.01.02 Hq ud, t€n hoc ui€n: Nguy6n Song Todn IVgudi nh|n rdf: Nguy6n Thdnh Chung (DH QuAng Binh) Hoc hd,m, hoc ui: Ph6 gi6o su, Ti6n si NOI DUNG NHAN xET Il Tinh c6p thiot cta de tii: Vdi su ph5,t tri6n cria khoa hoc ky thu6,t, viOc nghiOn cfru vd c5.c bii to5,n phAn curn drJ IiOu da d6n d6n bh,i to6n ph6,n tich nh6,n trl ma tr6,n thrra khOng Am Bd,i to5,n nb,y d5 duoc fng dung c5,c linh vrtc, ch8,ng han vi6c nghion crlu c5,c phAn tron khuon mdt, ddc di6m ngri nghla cta rd,n b6n, ph6,n tich bidu hi6n gen DNA, khLl nhi6u hinh Anh vh chinh srla 6nh, Bdi to5,n ph6,n tich nhd,n trl ma tr6,n thua kh6ng 6,m d5, duoc nghiOn citu nhi6u trtldng hop to5,n tu tuy€n tfnh Tuy nhi6n, tnldng hop phi tuy6n it drroc nghiOn citu Dd tb,i "Giei thuAt diom gAn kc lu6,n phi6n cho bdi to5,n ngtldc phi tuy6n vh itng dung" trinh bd,y chi tiOt co s6 Ii thuyOt cfra gi&i thu6,t didm gAn kC luAn phiOn cho bdi to6,n t6i uu chinh h6a thr:a Day Id tb,i c6 tinh thi€t thrtc, giirp hoc vi6n c6 th6m nhfrng hidu biOt vO phrrong ph6p chinh h6a thua vh bdi to6n t6i uu chinh h6a thua vd, phuong ph6p giAi n6 III Co sd khoa hoc vd, thgc ti6n: Dd tdi "Giei thuat di6m gan kC 1u6,n phi6n cho bd,i to5,n ngrtoc phi tuyOn vd fing dung" c6 y nghia khoa hgc vh, thrrc ti6n Dua tr6n nhring td,i lieu tham kh6,o ch6t lrtong, d5,ng tin c6y, luAn v5,n trinh bdy co sd li thuyOt va bei to6n t5i rru chinh h5a thua, giAi thuAt di6m gan ke lu6,n phi6n cho ldp bd,i to6n nb.y vb, rlng dung v),o gi6i m6t s6 bai to5,n ngrtoc cu th6 Lu6,n vdn tham kh6o nhtrng tdi li6u c6 uy tin, c6 dO tin cAy cao C6 thd n6i r5,ng lu6,n v5,n ld tdi liOu tham kh6o'bd ictr cho c6c d6i trtong quan t6,m d€n If thuy6t bdi to5,n t6i uu chinh h6a thua v), (rrrg dung III/ Phuong ph5,p nghiOn ciru: Bdng c6ch thu thQp, phAn tich vd, t6ng hop tdi liOu ve bai to6n t6i uu chinh h6a thua, t6,c gi6 de he th6ng drtoc c5.c kiOn thfic li€n quan dOn i6p bdi to5,n nb,y, bao gOm c6ch ddt bb,i to5,n, su tOn tai vd, tinh nh6t nghiem, giSi thudt cli6m gan ko lu6,n phi6n vh, rlng dung, gi(rp ngudi dgc nim b6t drroc v6n d6, fing dung nghiOn cftu, gi6ng day IV I K6t qud, nghi6n cfu: Ngodi ldi md d6,u, k6t lu6,n vd, tdi li€u tham kh6o, lu6,n vdn drroc chia ldm chrrong Chuong dA,nh drj trinh bd,y c6,c kion thirc chud,n bi, bao g6m mQt s6 kfrai ni6m vh tinh ch6t cd bAn vO khdng gian Banach, khOng gian Hilbert, tod,n tfi li6n tuc vi, hhm 16i Trong Chrrong 2, tdc gi6 da trinh bAy cSch ddt bdi to6n, chrlng minh s1r t6n tai nh6t nghi6m, di6u kien cAn cria crtc tri Chrrong ld, n6i dung chinh cua 1u6,n v5,n, t5,c giA dh,nh dc trinh bd,y gi&i thudt di6m gAn kc 1u6,n phi6n cho bb,i to6n t6i rru chinh h6a thua, ddnh gid, sg hoi tu vh, fing dung phan tich nh6,n trr ma tr'6,n thua kh6ng dm Nhrlng kot qu6, nghiOn citu nb,y c6 y nghia khoa hgc v), thtrc ti6n s6u sdc, day ld, tdi li6u tham kh6o b6 ich cho nhrlrrg quan tAm nghien ciru vd li thuy6t be,i to6n t6i uu chinh h6a thrra vb, cd,c v6n d6 li6n quan V/ Hinh thfic lu6,n v5n: Lu6,n v[n duoc trinh bdy 55 trarrg A4 16 rd,ng vd dep 86 cuc lu6,n v5n hop li, logic, vi6c trich d6n tdi lieu tham kh6ro dfing quy dinh VI/ DAnh gi6 chung (Ghi ro dd nghi cho hay kh6ng cho hoc vion bio v6 lu6,n v5n tnr6c HOi ddng ch6m IuA,n vEn thac si): Lu6,n vdn I'Gi6i thudt diem gan kd luan phien cho bAi tod,n nguoc phi tuy6n vd rlng dung" cria hoc vion Nguy6n Song Tob,n duoc trinh bd,y ro rdng, logic, tir vi6c hO th6ng h6a cdc ki6n thfic chud,n bi cten vi6c cung cap gi6i thuAt di