Mục tiêu của nghiên cứu này là để chỉ ra rằng, phương pháp phù hợp để giải quyết bài toán khử nhiễu ảnh toàn phương là xây dựng các thuật toán mà khả năng khử nhiễu của chúng có thể thay đổi theo không gian ảnh, thích nghi với độ phân giải không đều của ảnh toàn phương. Qua trình xử lý cần được thực hiện trực tiếp trên miền không gian ảnh toàn phương mà không thông qua các biến đổi hình học.
ĐẠI HỌC ĐÀ NẴNG QUỸ PHÁT TRIỂN KH&CN TÓM TẮT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP ĐẠI HỌC ĐÀ NẴNG NGHIÊN CỨU MỘT SỐ THUẬT TỐN XỬ LÝ ẢNH TỒN PHƯƠNG ỨNG DỤNG TRONG KỸ THUẬT ĐỊNH VỊ VÀ LẬP BẢN ĐỒ Mã số: B2018-ĐN02-43 Chủ nhiệm đề tài: TS Phan Trần Đăng Khoa Đà Nẵng, 6/2020 HQC DÀ NANG QUY PHÂT TRIÉN KH&CN TOM TAT BAO cÂo TONG KÉT TÀI KHOA HQC vÀ CONG NGHÇ TOAN xÜ' NGHIÊN cim MOT SO DAI HQC DÀ NANG ANH TOÀN PHÜONG (J'NG THUXI' DINH V1 vÀ DVNG TRONG BRN DO Mi sé: B2018-DN02-43 Xic nhân cüa to chfrc chü tri PH6 Chü nhiêm dà tài ho tên) o ị TRNG '0 DAI HQC eoc TS LÊTHIKIMOANH Dà Ning, 6/2020 DANH SÁCH CÁC THÀNH VIÊN THAM GIA NGHIÊN CỨU VÀ ĐƠN VỊ PHỐI HỢP CHÍNH Danh sách thành viên tham gia nghiên cứu TT Họ tên TS Phan Trần Đăng Khoa TS Phạm Công Thắng NCS.ThS Huỳnh Thanh Tùng KS Vũ Vân Thanh Đơn vị công tác lĩnh vực chuyên môn Khoa Điện tử - Viễn thông Khoa Công nghệ thông tin Khoa Điện tử - Viễn thông Khoa Điện tử - Viễn thông Nội dung nghiên cứu cụ thể giao Chủ nhiệm Thành viên Thành viên Thư ký khoa học Đơn vị phối hợp Tên đơn vị ngồi nước Khoa Điện tử - Viễn thông, Trường Đại học Bách khoa – Đại học Đà Nẵng Nhóm nghiên cứu LDA, Trường Đại học Quốc gia Tula, Liên bang Nga Nội dung phối hợp nghiên cứu Họ tên người đại diện đơn vị Phối hợp nghiên cứu thuật toán PGS.TS Nguyễn Văn Tuấn Tư vấn thuật toán PGS.TS Kopylov A.V GS.TSKH Dvoenko S.D MỤC LỤC MỞ ĐẦU 10 Chương CƠ SỞ LÝ THUYẾT 11 1.1 Độ phân giải camera toàn phương 11 1.2 Mơ hình khử nhiễu ROF 11 1.3 Vòng lặp Bregman 11 Chương MƠ HÌNH KHỬ NHIỄU GAUSS CHO ẢNH TỒN PHƯƠNG 12 2.1 Mơ hình đề xuất 12 2.2 Sự tồn tính nghiệm 12 2.3 Phương pháp tính 13 Chương MƠ HÌNH KHỬ NHIỄU POISSON CHO ẢNH TỒN PHƯƠNG .14 2.1 Mơ hình đề xuất 14 2.2 Sự tồn tính nghiệm 15 2.3 Phương pháp tính 15 Chương KẾT QUẢ THÍ NGHIỆM 16 4.1 Đánh giá mơ hình khử nhiễu Gauss cho ảnh tồn phương 16 4.2 Đánh giá mơ hình khử nhiễu Poisson cho ảnh toàn phương 19 KẾT LUẬN .20 DANH MỤC BẢNG BIỂU Bảng 4.1: Kết PSNR SSIM phương pháp khác 14 ảnh Bảng 4.2: Kết PSNR SSIM phương pháp khác ảnh DANH MỤC TỪ VIẾT TẮT TT Từ viết tắt Tên tiếng Anh Tên tiếng Việt TV Total variation Tổng biến phân SLAM BV Bounded variation Biến phân chặn PSNR Peak signal-to-noise ratio Tỉ số tín hiệu nhiễu đỉnh SSIM Structural Similarity Index Hệ số tương đồng cấu trúc Simultaneous localization and mapping Định vị vẽ đồ ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: NGHIÊN CỨU MỘT SỐ THUẬT TỐN XỬ LÝ ẢNH TỒN PHƯƠNG ỨNG DỤNG TRONG KỸ THUẬT ĐỊNH VỊ VÀ LẬP BẢN ĐỒ - Mã số: B2018-ĐN02-43 - Chủ nhiệm: TS Phan Trần Đăng Khoa - Tổ chức chủ trì: Trường Đại học Bách khoa – Đại học Đà Nẵng - Thời gian thực hiện: 24 tháng (Từ 8/2018 – 7/2020) Mục tiêu: Nghiên cứu số thuật toán xử lý ảnh toàn phương, bao gồm khử nhiễu, siêu phân giải trích rút đặc trưng Tính sáng tạo: Xây dựng phương pháp sử dụng hàm trọng số để thay đổi khả khử nhiễu thuật tốn thơng thường theo khơng gian ảnh tồn phương Kết nghiên cứu: - Khảo sát độ phân giải camera tồn phương - Xây dựng thành cơng mơ hình biến phân khử nhiễu Gauss cho ảnh tồn phương sử dụng hàm ổn định hóa biến thiên theo khơng gian ảnh - Xây dựng thành cơng mơ hình biến phân khử nhiễu Poisson cho ảnh toàn phương sử dụng hàm ổn định hóa biến thiên theo khơng gian ảnh thích nghi với tính chất điểm ảnh Tên sản phẩm: - 01 báo SCIE: Phan, Tran Dang Khoa, and Thi Hoang Yen Tran "A SpaceVariant Nonlinear Algorithm for Denoising Omnidirectional Images Corrupted by Poisson Noise." IEEE Signal Processing Letters 27 (2020): 535-539 - 01 báo đăng tạp chí nước: Phan Trần Đăng Khoa “Mơ hình khử nhiễu ảnh dựa tổng biến phân thích nghi” Tạp chí Khoa học Cơng nghệ, Đại học Đà Nẵng Vol 18, No 5.1, 2020, 38-41 - 01 thạc sĩ: Vũ Đình Khơi, lớp K36.KĐT.CT, chun ngành Kỹ thuật Điện tử, đề tài luận văn “Nghiên cứu thuật toán khử nhiễu ảnh dựa phương pháp biến phân”, người hướng dẫn TS Phan Trần Đăng Khoa; Quyết định số 519/QĐ-ĐHBK, ngày 15/3/2019 giao đề tài trách nhiệm người hướng dẫn luận văn thạc sĩ; Quyết định số 97/QĐ-ĐHBK, ngày 09/01/2020 việc công nhận tốt nghiệp cấp thạc sĩ - 01 chương trình máy tính: thực thi thuật tốn xử lý ảnh tồn phương; ngơn ngữ thực thi – Matlab 6 Phtro•ngthü•cchuyån giao, dia chi frng dvng, tåc dQngvå Ivi ich mang két qui nghién cü•u: cüa - Kinh té - xä höi: Két quå nghién ciru g6p phån nång cao chåt ltrqng cüa ånh toån phtrong Tü d6, g6p phån nång cao hi#u quå cüa th6ng dinh vi vå löp bån db, mang loi hiéu quå hoot döng, sån xuåt vå dåm båo an toån - I-lieu quå khoa hoc: Két quå db tåi lå nguån tåi lieu tham khåo nghién cfru vå giång doy cüa giång vién, NCS, hoc vién cao hoc vå Sinh vién ngånh Di#n tir - Vién thöng Ngåy Vethång 7- näm 2-02-0 Chü nhi?rn dBtåi To cht?cchi tri PHO HIEU TRUØNG (k', he vå tén) tén, döng dåu) o TRUd o HO BÅCHK Q _ LÉTH!KIMOANH INFORMATION ON RESEARCH RESULTS General information: Project title: Research on some algorithms for processing omnidirectional images in the field of localization and mapping Code number: B2018-ĐN02-43 Coordinator: Phan Tran Dang Khoa, PhD Implementing institution: University of Science and Technology – The University of Danang Duration: from 8/2018 to 7/2020 Objective(s): Research on some algorithms for processing catadioptric images, including image denoising, superresolution, feature extraction Creativeness and innovativeness: Proposed a new method for processing catadioptric images using a weighted function to adjust the denoising ability of conventional algorithms over the image domain Research results: - Analyzed the resolution of the catadioptric cameras - Developed a variational model for denoising catadioptric images corrupted by Gaussian noise using a space-variant regularizer - Developed a variational model for denoising catadioptric images corrupted by Poisson noise using a space-variant and adaptive regularizer Products: - 01 SCIE-indexed article: Phan, Tran Dang Khoa, and Thi Hoang Yen Tran "A Space-Variant Nonlinear Algorithm for Denoising Omnidirectional Images Corrupted by Poisson Noise." IEEE Signal Processing Letters 27 (2020): 535-539 - 01 article published in a national journal: Phan Trần Đăng Khoa “Mơ hình khử nhiễu ảnh dựa tổng biến phân thích nghi” Tạp chí Khoa học Cơng nghệ, Đại học Đà Nẵng Vol 18, No 5.1, 2020, pp 38-41 - 01 master: Vu Dinh Khoi, K36.KĐT.CT, Major: Electronic Engineering, Supervisor: Dr Phan Tran Dang Khoa, Thesis’ ttitle "Researching an image denoising algorithm based on variational methods"; Decision No 519/QD-DHBK (March 15, 2019) on the thesis’ title and the supervisor assignment; Decision No 97 / QD-ĐHBK (September 01, 2020) on the recognition of graduation and master's degrees - 01 computer program implementing the global image processing algorithm; language - Matlab Effects, transfer alternatives of research results and applicability: - Socio-economic: Research results contribute to enhancing the quality of catadioptric images, improving the efficiency of localization and mapping systems Hence, research results contribute to improving the efficiency in operation, production and safety - Scientific effectiveness: The results of the research are the reference for research and teaching references of lecturers, postgraduate students, graduate students and students of Electronics - Telecommunications major MỞ ĐẦU Camera toàn phương kết hợp camera thông thường gương lồi để thu nhận hình ảnh với goc rộng 360 (H 0.1) Nhờ vào khả thu hình ảnh tồn phương thời gian thực, camera toàn phương sử dụng rộng rãi nhiều lĩnh vực giám sát an ninh, định vị định hướng cho robot,… Tuy nhiên, ảnh hưởng gương lồi, hình ảnh thu camera tồn phương có độ phân giải khơng Điều khiến cho hiệu thuật toán phát triển cho ảnh thông thường áp dụng vào ảnh toàn phương bị giảm Mục tiêu nghiên cứu để rằng, phương pháp phù hợp để giải toán khử nhiễu ảnh tồn phương xây dựng thuật tốn mà khả khử nhiễu chúng thay đổi theo khơng gian ảnh, thích nghi với độ phân giải khơng ảnh tồn phương Qua trình xử lý cần thực trực tiếp miền không gian ảnh tồn phương mà khơng thơng qua biến đổi hình học Để thực mục tiêu này, chúng tơi cải tiến mơ hình khử nhiễu biến phân phổ biến cách đưa vào thành phần điều chỉnh mức độ khử nhiễu theo không gian ảnh Hai loại nhiễu xem xét nhiễu Gauss nhiễu Poisson Thơng qua thí nghiệm, chúng tơi cho thấy hiệu phương pháp đề xuất so với phương pháp phổ biến dùng để xử lý ảnh toàn phương Các đóng góp nghiên cứu bao gồm Thứ nhất, chúng tơi đề xuất mơ hình khử nhiễu biến phân với khả làm mượt ảnh bảo tồn biên thay đổi theo khơng gian ảnh tồn phương Các mơ hình khơng địi hỏi biến đổi ảnh tồn phương sang miền khơng gian khác mà xử lý trực tiếp điểm ảnh ảnh toàn phương nên tránh vấn đề phát sinh nêu Thứ hai, đưa phương pháp giải mơ hình đảm bảo tốc độ tính hội tụ 10 CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Độ phân giải camera toàn phương Các nghiên cứu rằng, độ phân giải camera toàn phương tăng theo khoảng cách điểm gương tâm camera thông thường Điều có nghĩa độ phân giải camera tồn phương tăng theo khoảng cách đến tâm ảnh toàn phương Phân tích áp dụng cho loại camera tồn phương có tâm chiếu khác có kết tương tự 1.2 Mơ hình khử nhiễu ROF Rudin, Osher Fatemi (ROF) đề xuất mơ hình khử nhiễu sử dụng TV sau |∇ | − (1.1) Nhờ vào thành phần TV, mơ hình ROF có khả khử nhiễu đồng thời bảo toàn đường biên Tuy nhiên, thành phần TV làm giảm độ tương phản ảnh tạo nên hiệu ứng bậc thang (staircase effect) Hiệu ứng bậc thang khiến ảnh khử nhiễu hình thành khối ảnh có độ sáng đồng nhất, tạo nên kết không tốt quan sát mắt 1.3 Vòng lặp Bregman Vòng lặp Bregman kỹ thuật để giải toàn tối ưu lồi có ràng buộc với dạng arg với ⋅ subject to = 0, ⋅ hàm lồi Ý tưởng vịng lặp Bregman dựa khoảng cách Bregman 11 (1.2) CHƯƠNG MƠ HÌNH KHỬ NHIỄU GAUSS CHO ẢNH TỒN PHƯƠNG 2.1 Mơ hình đề xuất Xét đến độ phân giải không ảnh tồn phương, chúng tơi đề xuất mơ hình có dạng sau: với hệ số ổn định hóa; Hàm trọng số |∇ | − xây dựng dựa ý tưởng hệ thống thị giác =‖ − ảnh toàn phương, gọi Hàm trọng số = bán kính ‖ khoảng cách từ điểm đến tâm (2.2) , (2.3) , gọi hệ số tăng trưởng (growth rate); xác định ⋅ định nghĩa sau: = với (2.1) hàm trọng số người lấy mẫu không không gian xung quanh Gọi ảnh , =2 số điểm ảnh vòng tròn 2.2 Sự tồn tính nghiệm Định nghĩa Gọi ảnh = ≥ hàm số thực Ω Tổng biến phân có trọng số miền Ω định nghĩa sau: |∇ | (2.4) ≔ sup : ∈ , 12 ,| |≤ ,∀ ∈ , đó, , khơng gian hàm khả vi liên tục ; tập đĩa đơn vị ℝ ; div toán tử phân kỳ Định lý Giả sử , → , |∇ | Định lý Giả sử ảnh ∈ Ω , ta có ≤ lim inf |∇ →∞ Ω Cực tiểu ∗ | (2.5) toán tối ưu 2.3 Phương pháp tính Mơ hình giải phương pháp Split Bregman Bài toán tối ưu gốc phân thành toán giải hiệu thơng qua biến đổi FFT tốn tử shrink Tồn thuật tốn tổng kết lại Thuật tốn Thuật tốn Thuật tốn giải mơ hình khử nhiễu ảnh Gauss cho ảnh toàn phương 1: Biến đầu vào: , , , 2: Khởi tạo: = , 3: While điều kiện dừng không thỏa mãn 4: Tính + 5: Tính + 6: Tính + 7: end while = , , = 13 CHƯƠNG MƠ HÌNH KHỬ NHIỄU POISSON CHO ẢNH TỒN PHƯƠNG 3.1 Mơ hình đề xuất Mơ hình khử nhiễu Poisson cho ảnh tồn phương sau: với ⋅ , |∇ | − log ⋅ , (3.1) ⋅ điều khiển mức độ làm mượt ảnh; thành phần thứ hai gọi tổng biến phân có trọng số Để đơn giản hóa, ta đặt Hàm trọng số = ⋅ xây dựng hàm Gauss cho ảnh toàn phương Hàm mơ hình khử nhiễu ⋅ phụ thuộc với điểm ảnh ảnh khử nhiễu Độ cong trung bình bề mặt mơ tả độ cong cục bề mặt định nghĩa sau: =∇⋅ ∇ √1 |∇ | (3.2) Công thức độ cong trung bình khai triển sau: = (1 −2 ) 2(1 với , , , (3.3) đạo hàm bậc hai , Chúng định nghĩa hàm ⋅ sau: =1− ̅ , với ̅ = ) độ cong trung bình chuẩn hóa Và hàm trọng số ⋅ biểu diễn bởi: 14 (3.4) = với ̅ , (3.5) số dương 3.2 Sự tồn tính nghiệm Định lý Gọi ⋅ hàm dương bị chặn, gọi Ω Khi đó, nghiệm ∗ tốn tối ưu ∈ Ω cho log ∈ 3.3 Phương pháp tính Mơ hình giải phương pháp Split Bregman Bài toán tối ưu gốc phân thành tốn giải hiệu thơng qua biến đổi FFT tốn tử shrink Tồn thuật toán tổng kết lại Thuật toán Thuật tốn Thuật tốn giải mơ hình khử nhiễu ảnh Poisson cho ảnh toàn phương 1: Biến đầu vào: , 2: Khởi tạo: 3: While điều kiện dứng không thỏa mãn 4: Tính + 5: Tính + 6: Tính + 7: Tính + 8: end while = , , , , = , , = , = + 15 CHƯƠNG KẾT QUẢ THÍ NGHIỆM 4.1 Đánh giá mơ hình khử nhiễu Gauss cho ảnh tồn phương Chúng tơi đánh giá mơ hình đề xuất (viết tắt SA-ROF) với hai phương pháp thường sử dụng để xử lý ảnh toàn phương Đối với phương pháp thứ mơ hình ROF áp dụng trực tiếp lên ảnh toàn phương Đối với phương pháp thứ hai, ảnh toàn phương biến đổi qua ảnh toàn cảnh sau mơ hình ROF áp dụng lên ảnh toàn cảnh; cuối cùng, kết khử nhiễu ảnh toàn cảnh biến đổi ngược ảnh toàn phương Bảng 4.1 trình bày kết PSNR SSIM 14 ảnh toàn phương Bảng 4.1 Kết PSNR SSIM phương pháp khác 14 ảnh Images Alaska Birds Board Corridor Cylinder Labo Face Meeting Room1 Temple Room2 Stadium Street Walking Average Images Alaska Birds Board Corridor Cylinder ROF 28.81/0.8387 30.33/0.8915 31.86/0.9090 35.11/0.9432 30.72/0.8814 30.36/0.8974 33.94/0.8711 30.09/0.8757 35.40/0.9408 28.38/0.8511 30.81/0.9194 29.87/0.8889 28.57/0.9008 33.43/0.9056 31.26/0.8939 ROF 25.47/0.7512 27.05/0.8149 28.47/0.8626 32.00/0.9124 27.20/0.7925 = 20 UW-ROF 27.02/0.8201 27.77/0.8756 30.23/0.8942 34.61/0.9453 29.77/0.8851 28.72/0.8773 32.77/0.8959 29.44/0.8738 34.75/0.9442 27.24/0.8381 28.42/0.9152 29.25/0.8578 26.04/0.8863 31.63/0.9001 29.83/0.8864 = 40 UW-ROF 24.77/0.7454 25.86/0.8149 27.86/0.8595 31.99/0.9168 27.09/0.8068 16 SA-ROF 28.84/0.8429 30.44/0.9001 32.10/0.9169 35.81/0.9556 30.91/0.8927 30.50/0.8974 34.78/0.9060 30.28/0.8835 36.02/0.9535 28.45/0.8546 31.07/0.9279 30.06/0.8909 28.67/0.9061 33.64/0.9196 31.54/0.9034 SA-ROF 25.51/0.7603 27.13/0.8342 28.55/0.8740 32.31/0.9308 27.34/0.8095 Labo Face Meeting Room1 Temple Room2 Stadium Street Walking Average 27.00/0.8307 31.65/0.8651 26.88/0.7971 32.10/0.9090 25.24/0.7431 27.40/0.8542 26.54/0.8129 25.00/0.8097 30.28/0.8650 28.03/0.8300 26.31/0.8128 30.97/0.8729 26.76/0.8054 32.07/0.9188 24.8/0.7465 26.29/0.8596 26.27/0.7878 24.03/0.8142 29.40/0.8639 27.47/0.8304 27.07/0.8371 31.83/0.8780 27.02/0.8101 32.37/0.9276 25.31/0.7570 27.61/0.8716 26.65/0.8197 25.13/0.8243 30.42/0.8860 28.16/0.8443 Hình 4.1 thể ảnh khử nhiễu Face phương pháp mức độ nhiễu = 20 (b) Ảnh nhiễu (a) Ảnh gốc 17 (a) Ảnh gốc (c) ROF (b) Ảnh nhiễu (d) UW-ROF (e) SA-ROF Hình 4.1 Ảnh khử nhiễu ảnh Cylinder phương pháp khác mức độ nhiễu 18 = 40 4.2 Đánh giá mơ hình khử nhiễu Poisson cho ảnh tồn phương Chúng tơi thực thí nghiệm ảnh toàn phương (H 4.4) Các ảnh bị gây nhiễu Poisson với giá trị đỉnh = 60, 90 120 Biết rằng, = max , , Bảng 4.2 trình bày kết PSNR SSIM phương pháp khác Bảng 4.2 Kết PSNR SSIM phương pháp khác ảnh Hình 4.2 so sánh ảnh khử nhiễu phương pháp (a) Ảnh gốc (b) Ảnh nhiễu (c) BM3D (d) WTV (e) NLPCA (f) OmniTV Hình 4.2 Ảnh khử nhiễu mơ hình khác với 19 = 60 KẾT LUẬN Trong báo cáo này, chúng tơi trình bày mơ hình biến phân để khử nhiễu Gauss nhiễu Poisson cho ảnh tồn phương Dựa phân tích độ phân giải ảnh tồn phương, chúng tơi đề xuất phương pháp xử lý ảnh toàn phương biến đổi theo không gian ảnh Một hàm trọng số xây dựng để điều chỉnh thành phần ổn định hóa biến đổi theo không gian, giúp cho khả làm mượt ảnh mơ hình thích nghi với độ phân giải khơng ảnh tồn phương Chúng tơi tiến hành thí nghiệm so sánh mơ hình đề xuất với phương pháp khác Kết cho thấy rằng, phương pháp đề xuất để xử lý ảnh toàn phương cho hiệu khử nhiễu tốt phương pháp phổ biến khác Ngoài ra, việc áp dụng trực tiếp phương pháp xử lý ảnh thông thường vào ảnh toàn phương làm giảm hiệu phương pháp 20 ... NAM Độc lập - Tự - Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: NGHIÊN CỨU MỘT SỐ THUẬT TỐN XỬ LÝ ẢNH TỒN PHƯƠNG ỨNG DỤNG TRONG KỸ THUẬT ĐỊNH VỊ VÀ LẬP BẢN ĐỒ - Mã số: B2018-ĐN02-43... phương Đối với phương pháp thứ hai, ảnh toàn phương biến đổi qua ảnh tồn cảnh sau mơ hình ROF áp dụng lên ảnh tồn cảnh; cuối cùng, kết khử nhiễu ảnh toàn cảnh biến đổi ngược ảnh toàn phương Bảng... ngành Kỹ thuật Điện tử, đề tài luận văn ? ?Nghiên cứu thuật toán khử nhiễu ảnh dựa phương pháp biến phân”, người hướng dẫn TS Phan Trần Đăng Khoa; Quyết định số 519/QĐ-ĐHBK, ngày 15/3/2019 giao đề tài