BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC ĐỖ QUỐC VƢƠNG NGHIÊN CỨU CÁC PHƢƠNG PHÁP NÂNG CAO ĐỘ PHÂN GIẢI CỦA ẢNH SỐ LUẬN VĂN THẠC SĨ MÁY TÍNH Chuy n ng nh Khoa học máy t[.]
BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC - - ĐỖ QUỐC VƢƠNG NGHIÊN CỨU CÁC PHƢƠNG PHÁP NÂNG CAO ĐỘ PHÂN GIẢI CỦA ẢNH SỐ LUẬN VĂN THẠC SĨ MÁY TÍNH Chuy n ng nh: Khoa học máy tính M số: 848 Ngƣời hƣớng dẫn khoa học: PGS TS Phạm Thế Anh TS Nguyễn Đình Cơng THANH HĨA NĂM 2 LỜI CAM ĐOAN Tôi xin cam đoan rằng, số liệu kết nghiên cứu luận văn n y trung thực xác v chƣa sử dụng để bảo vệ học vị Tôi xin cam đoan rằng, thơng tin trích dẫn luận văn đƣợc rõ nguồn gốc Thanh Hóa, ngày 20 tháng năm 2021 Ngƣời cam đoan Đỗ Quốc Vƣơng i LỜI CẢM ƠN Sau thời gian tiến hành triển khai nghiên cứu em đ hoàn thành nội dung luận văn “Nghi n cứu phƣơng pháp nâng cao độ phân giải ảnh số” Luận văn đƣợc hoàn thành không công sức thân tác giả mà cịn có giúp đỡ hỗ trợ tích cực nhiều cá nhân tập thể Trƣớc hết em xin gửi lời cảm ơn chân thành sâu sắc đến TS Nguyễn Đình Cơng, ngƣời trực tiếp hƣớng dẫn cho luận văn cho em Thầy đ dành cho em nhiều thời gian, tâm sức cho em nhiều ý kiến nhận xét quý báu, chỉnh sửa cho em chi tiết nhỏ luận văn giúp luận văn em đƣợc hồn thiện mặt nội dung hình thức Thầy đ quan tâm, động viên, nhắc nhở kịp thời để em hồn thành luận văn tiến độ Em xin gửi lời cảm ơn đến PGS,TS Phạm Thế Anh, ý kiến đóng góp quý báu quan tâm, động viên bảo tận tình Thầy vừa giúp em có đƣợc khích lệ tin tƣởng vào thân, vừa tạo động lực nhắc nhở em có trách nhiệm với đề tài mình, giúp em hồn chỉnh luận văn tốt Em xin gửi lời cảm ơn đến Ban Giám hiệu phòng sau Đại học Khoa CNTT&TT trƣờng Đại học Hồng Đức Thầy/Cô giáo trực tiếp giảng dạy chun đề tồn khóa học tập thể đồng nghiệp giáo viên học sinh trƣờng THPT nơi công tác đ tạo điều kiện thuận lợi nhiệt tình giúp đỡ trình học tập nghiên cứu Em xin gửi lời cảm ơn chân thành đến gia đình bạn bè, anh/chị lớp cao học K12-KHMT đ ln động viên, quan tâm giúp đỡ em trình học tập thực luận văn ii Với thời gian nghiên cứu hạn chế đề tài thực tiễn cơng tác khó khăn luận văn khơng tránh khỏi thiếu sót, tác giả mong nhận đƣợc ý kiến đóng góp chân thành từ Thầy/Cô giáo, đồng nghiệp bạn bè Thanh Hóa, ngày 20 tháng năm 2021 Tác giả Đỗ Quốc Vƣơng iii MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN ii MỤC LỤC iv DANH MỤC BẢNG vi DANH MỤC HÌNH vii MỞ ĐẦU Tính cấp thiết đề t i Mục đích v nhiệm vụ nghi n cứu Phƣơng pháp nghi n cứu: Kết đạt đƣợc Nội dung nghi n cứu: Chƣơng CƠ SỞ LÝ THUYẾT Tổng quan xử lý ảnh số Khái niệm ảnh số điểm ảnh Một số cách biểu diễn v thao tác với ảnh số Một số ứng dụng xử lý ảnh số Nâng cao độ phân giải ảnh số Khái niệm độ phân giải ảnh số 2 Giới thiệu số thuật toán nâng cao độ phân giải ảnh số 10 Một số ứng dụng việc nâng cao độ phân giải ảnh số 11 Mạng nơron tích chập 12 Giới thiệu mạng nơron nhân tạo 12 Mơ hình mạng nơron nhân tạo 14 3 Giới thiệu mạng nơron tích chập 15 Ứng dụng mạng nơron sử dụng nâng cao độ phân giải ảnh số 20 Kết luận chƣơng 21 iv Chƣơng CÁC PHƢƠNG PHÁP SỬ DỤNG ĐỂ NÂNG CAO ĐỘ PHÂN GIẢI ẢNH SỐ 22 Giới thiệu 22 2 Các phƣơng pháp sử dụng thuật toán nội suy 22 22 Giới thiệu thuật toán nội suy 23 2 Nội suy láng giềng gần (Nearest Neighbor Interpolation) 24 2 Nội suy tam giác (Affine interpolation) 25 2 Nội suy song khối (Bicubic Interpolation) 26 Các phƣơng pháp sử dụng mạng nơron tích chập 28 23 Giới thiệu 28 Phƣơng pháp EDSR 28 3 Phƣơng pháp tích chập phần ESPCN 31 Phƣơng pháp mơ hình LapSRN 33 Kết luận chƣơng 35 Chƣơng TRIỂN KHAI CÁC HỆ THỐNG THỬ NGHIỆM 37 Giới thiệu 37 Mô tả thí nghiệm 37 32 Giới thiệu liệu 37 2 Mô tả giao thức v thang đo thí nghiệm 38 3 Đánh giá kết 39 33 Đánh giá kết thực nghiệm phƣơng pháp nội suy 39 3 Đánh giá kết thực nghiệm phƣơng pháp mạng nơron tích chập 43 Kết luận chƣơng 48 KẾT LUẬN VÀ HƢỚNG NGHIÊN CỨU 49 TÀI LIỆU THAM KHẢO 51 v DANH MỤC BẢNG Bảng : Bảng so sánh hiệu phƣơng pháp vói tiêu chí PSNR (dB)/SSIM tr n tập sở liệu DIV2K 42 Bảng 2: Bảng so sánh hiệu phƣơng pháp vói tiêu chí PSNR (dB)/SSIM tr n tập sở liệu DIV2K 46 Bảng 3: Thời gian xử tí phƣơng pháp thí nghiệm đƣợc thực tr n máy tính MacOs 2 GHz Intel Core i7 47 vi DANH MỤC HÌNH Hình 1.1: Một số đặc trƣng mức thấp (các điểm góc đƣợc khoanh trịn) [12] Hình 1.2: Phân vùng ảnh ngo i b n trái l ảnh gốc Các kỹ thuật phân vùng khác đƣợc sử dụng [ 3] Hình 1.3: Việc tăng cƣờng độ phân giải ảnh hỗ trợ tác vụ phóng to vùng ảnh cụ thể m giữ đƣợc to n vẹn thơng tin chứa đựng trích nguồn [ 4] Hình 1.4: Việc nhịe vùng đƣợc phóng to (a) hình đầu v o với vùng m u đỏ cần phóng to (b) kết sau thao tác với kỹ thuật truyền thống 10 Hình 1.5: Chất lƣợng đ đƣợc cải thiện (a) hình đầu v o với vùng m u đỏ cần phóng to (b) kết sau thao tác với mạng nơron ti n tiến 11 Hình 1.6: Cơng thức v mơ hình nơron nhân tạo [25] 13 Hình 1.7: Mơ hình mạng nơron nhân tạo với tầng ẩn [26] 15 Hình 1.8: Ví dụ minh họa mạng CNN dùng để phân loại [22] 16 Hình 1.9: Quá trình di chuyển mặt nạ lọc tr n dọc ảnh kết l đồ đặc trƣng [25] 16 Hình 1.10: Ví dụ minh họa filter phát bi n ảnh [3 ] 17 Hình 1.11: Một số h m kích hoạt [ 6] 18 Hình 1.12: Lớp pooling với kích thƣớc 2x2 đƣợc thực [27] 19 Hình 1.13: Lớp kết nối đầy đủ; có cấu trúc tƣơng tự nhƣ mạng nơron thông thƣờng [28] 20 Hình 1.14: Ví dụ kỹ thuật sử dụng mạng nơron nhân tạo việc nâng cao độ phân giải ảnh số [ 4] 20 Hình 1.15: H ng tr n l ảnh ban đầu hình dƣới l hình ảnh đ đƣợc sử dụng kỹ thuật nâng cao độ phân giải ảnh [15] 21 Hình 1: Ví dụ minh hoạ q trình nội suy [6] 24 Hình 2.2: Minh hoạ việc tính giá trị mức xám điểm (u v) so với lân cận [6] 25 Hình 2.3: Hình minh hoạ phép nội suy Affine [6] 25 vii Hình 2.4: Lƣới tọa độ điểm ảnh với điểm nội suy cần tính l (i’ j’) [7] 26 Hình 5: Hình mơ tả kiến trúc mạng dƣ v mạng thẳng [17] 28 Hình 2.6: Cộng trực tiếp v o đầu khối với nhanh lại khối identity block [17] 29 Hình 2.7: B n trái l mơ hình mạng ResNet l mơ hình SRResNet b n phải l mơ hình đề xuất EDSR thay đổi khối dƣ [10] 30 Hình 2.8: Mơ hình mạng EDSR [10] 30 Hình 2.9: Mơ hình SRCNN sử dụng để nâng cao độ phân giải ảnh [18] 31 Hình 2.10: Hệ thống ESPCN thực phép biến đổi từ ảnh có độ phân giải thấp th nh ảnh có độ phân giải cao [ ] 32 Hình 2.11: H ng tr n l tầng đầu ti n v h ng dƣới l tầng cuối lớp tích chập cuối mơ hình Các trọng số mơ hình đ đƣợc huấn luyện tr n tập ImageNet [11] 33 Hình 2.12: Quá trình nâng độ phân giải ảnh dựa v o phƣơng pháp LapSRN [16] 33 Hình 13: cách thiết kế lối tắt khối dƣ mơ hình [16] 34 Hình 3.1: Minh hoạ số hình ảnh đƣợc lấy từ sở liệu DIV2K [19] 37 Hình 3.2: Thí nghiệm ảnh đầu v o với ngữ cảnh đơn giản H ng tr n l thao tác thu nhỏ độ phân giải (/3) h ng dƣới l thao tác nâng cao độ phân giải (x3) 40 Hình 3.3: Thí nghiệm với ảnh đầu v o Lena độ phân giải thấp đƣợc tăng gấp đôi độ phân giải sử dụng phƣơng pháp nội suy khác 40 Hình 3.4: Hình ảnh butterfly với độ phân giải thấp đƣợc nâng cao sử dụng số phƣơng pháp nội suy 41 Hình 3.5: Kết thực nghiệm tr n số hình ảnh phƣơng pháp nội suy v mạng CNN 45 Hình 3.6: Kết đƣợc cắt từ ảnh ban đầu sau nâng cao độ phân giải ảnh gốc l n lần 45 viii MỞ ĐẦU Tính cấp thiết đề tài Ảnh số v ứng dụng ng y c ng trở n n phổ biến x hội đại Thông tin chứa đựng hình ảnh cần phải xác v to n vẹn đảm bảo cho ngƣời dùng tiếp nhận đầy đủ nội dung Chính việc nâng cao hình ảnh kỹ thuật số l cần thiết nhiều l nh vực ứng dụng hình ảnh Nó l m cho ngƣời dùng dễ d ng quan sát v máy móc thực thi tốt nhiệm vụ trích chọn bi n dịch v thực b i toán xử lý thơng tin khác tr n hình ảnh Tr n thực tế nhiều hình ảnh đƣợc chụp từ điện thoại máy scan camera để phục vụ cho nhiệm vụ lƣu trữ tƣ liệu có chất lƣợng khơng tốt nhiều nguy n nhân khác nhƣ: Kỹ ngƣời chụp ảnh giới hạn thiết bị chụp ảnh ánh sáng nhiễu tác động thân vật bị mục nát thời gian dẫn đến l m cho ảnh bị mờ nhịe thơng tin Hoặc ảnh số đƣợc tải từ mạng internet để sử dụng cho mục đích cá nhân có độ phân giải tƣơng đối nhỏ Nếu phóng to xảy tƣợng vỡ khung hình nội dung chứa đựng b n ảnh đơi bị nhịe l m suy giảm rõ rệt chất lƣợng ảnh uất phát từ thực tế n y đ có nhiều cơng trình nghi n cứu khoa học công bố từ sớm tập trung v o phát triển thuật toán nâng cao độ phân giải ảnh số Có xu hƣớng cơng trình nghi n cứu đƣợc cơng bố: Một l dựa tr n phƣơng pháp truyền thống nội suy nhƣ nội suy dựa v o điểm ảnh (pixel) lân cận [11] nội suy tuyến tính [9] v nội suy song khối [13]; hai l dựa v o phƣơng pháp sử dụng mạng nơron nhân tạo với mơ hình ví dụ nhƣ EDSR [12], ESPCN [15], ILO [21] Tuy nhi n phƣơng pháp sử dụng k thuật nội suy bộc lộ số nhƣợc điểm tăng độ phân giải l n tƣơng đối lớn so với kích thƣớc đầu v o l xuất hiệu khối si u điểm ảnh giống gây hiệu ứng tƣơng đối Trong MSE - sai số to n phƣơng trung bình đƣợc tính (10) Max giá trị đối đa pixel ảnh Giả sử pixel đƣợc biểu diễn 8bits giá trị 255 Một cách tổng qt, tín hiệu đƣợc biểu diễn dƣới dạng B bit giá trị mẫu Max 2B - Trong B l số bít cần để biểu diễn ảnh So sánh tƣơng đồng cấu trúc (SSIM - Structural similarity8) số so sánh giá trị dựa sia khác pixel cách tiếp cận khác với MSE PSRN Chỉ số SSIM số đánh gái dựa hệ thống thị giác ngƣời Sự tƣơng đồng đƣợc mô tả dựa thông số cấp độ xám độ tƣơng phản cấu trúc SSIM có giá trị nằm khoảng [-1, 1] Khi giá trị SSIM = ngh a l hai ảnh so sánh hoàn toàn giống v ngƣợc lại SSIM = -1 hai ảnh hồn tồn khác Phần code triển khai cho thực nghiệm luận văn chúng tơi sử dụng ngơn ngữ lập trình Python với thƣ viện Keras9 OpenCV 3.3 Đánh giá kết Trong phần này, mô tả kết thí nghiệm mà chúng tơi đ thực đƣa so sánh v nhận định thí nghiệm nhằm làm rõ hiệu hoạt động phƣơng pháp khác 3.3.1 Đánh giá kết thực nghiệm phương pháp nội suy Để tăng cƣờng độ xác thuật tốn đ triển khai Chúng tơi khơng tự xây dựng mơ hình code phƣơng pháp nội suy mà sử dụng hàm dựng sẵn thƣ viện OpenCV để triển khai Cụ thể hàm dựng sẵn đƣợc gọi CV.resize() với mode khác tƣơng ứng với phƣơng pháp nội suy cụ thể Một số hình ảnh trực quan đƣợc so sánh hình vẽ 3.2 https://www.imatest.com/docs/ssim/ https://keras.io/ 39 Hình 3.2: Thí nghiệm ảnh đầu vào với ngữ cảnh đơn giản Hàng thao tác thu nhỏ độ phân giải (/3), hàng thao tác nâng cao độ phân giải (x3) Kí hiệu đƣợc sử dụng hình vẽ Inter_Nearest: Nội suy láng giềng; Intern_Linear: Nội suy tuyến tính; Inter_Affine: Nội suy tam giác Inter_Bicubic: Nội suy song khối.Hay hình 3.3 với nội dung ảnh phức tạp minh hoạ trƣờng hợp để ảnh dạng ảnh xám đa cấp dạng ảnh màu Hình 3.3: Thí nghiệm với ảnh đầu vào Lena độ phân giải thấp tăng gấp đôi độ phân giải sử dụng phương pháp nội suy khác 40 Ở ví dụ trực quan khác chúng tơi thí nghiệm với hình ảnh butterfly với phƣơng pháp nội suy đƣợc trình b y luận văn Kết hiển thị hình 3.4 Hình 3.4: Hình ảnh butterfly với độ phân giải thấp nâng cao sử dụng số phương pháp nội suy Nhằm đánh giám cách định lƣợng chúng tơi trình b y kết thí nghiệm chúng tơi tr n tập liệu DIV2K nhƣ trình b y tr n mục Chúng sử dụng tập khác để đánh giá thông số PSNR (dB) v SSIM tr n tập Ở tập ảnh kiểm tra sử dụng tham số để nâng cao độ phân giải ảnh cụ thể l x2 x3 x4 Giá trị m đƣa đƣợc tính trung bình tr n to n tập liệu xét Kết mô tả Bảng 3.1 41 Bảng 3.1: Bảng so sánh hiệu phương pháp vói tiêu chí PSNR (dB) / SSIM tập sở liệu DIV2K Dataset Tập Tập Tập Tập Scale Inter_Nearest Inter_Affine Inter_Bicubic x2 33.66 / 0.9299 36.54 / 0.9544 36.66 / 0.9542 x3 30.39 / 0.8682 32.58 / 0.9088 32.75 / 0.9090 x4 28.42 / 0.8104 30.28 / 0.8603 30.48 / 0.8628 x2 30.24 / 0.8688 32.28 / 0.9056 32.42 / 0.9063 x3 27.55 / 0.7742 29.13 / 0.8188 29.28 / 0.8209 x4 26.00 / 0.7027 27.32 / 0.7491 27.49 / 0.7503 x2 29.56 / 0.8431 31.21 / 0.8863 31.36 / 0.8879 x3 27.21 / 0.7385 28.29 / 0.7835 28.41 / 0.7863 x4 25.96 / 0.6675 26.82 / 0.7087 26.90 / 0.7101 x2 26.88 / 0.8403 29.20 / 0.8938 29.50 / 0.8946 x3 24.46 / 0.7349 26.03 / 0.7973 26.24 / 0.7989 x4 23.14 / 0.6577 24.32 / 0.7183 24.52 / 0.7221 Nhận xét: - Trong trình nâng cao độ phân giải ảnh thuận toán nội suy l m cho ảnh trở n n mịn N n độ tƣơng phản điểm ảnh đƣợc thu hẹp - Một số tƣợng cƣa bi n đƣợc khắc phục trình nâng cao độ phân giải ảnh - B n cạnh trình phóng to ảnh gây tƣợng độ sắc nét hình ảnh đƣợc sinh ví dụ nhƣ hình 3 42 - Trong phƣơng pháp trình b y phƣơng pháp nội suy song khối thể hiệu tốt thí nghiệm định lƣợng đƣợc trình b y bảng thơng qua giá trị PSNR B n cạnh phƣơng pháp tạo ảnh có độ tƣơng tự SSIM cao ngh a l ảnh đƣợc tạo gần giống với ảnh thực tế 3.3.2 Đánh giá kết thực nghiệm phương pháp mạng nơron tích chập Để đánh giá hiệu hoạt động phƣơng pháp đƣợc thảo luận luận văn chúng tơi dùng sẵn mơ hình đ đƣợc huấn luyện trƣớc tập liệu lớn Sau kiểm tra lại kết số hình ảnh trực quan để đánh giá định tính kiểm tra tập liệu DIV2K để đánh giá định lƣợng phƣơng pháp Với mơ hình EDSR chúng tơi sử dụng mơ hình huấn luyện sẵn tại10 Với mơ hình ESPCN chúng tơi sử dụng mơ hình huấn luyện sẵn tại11 Và mơ hình LapSRN chúng tơi sử dụng tại12 Bên cạnh theo thí nghiệm mục 3 đ so sánh hiệu l m việc phƣơng pháp nâng cao độ phân giải ảnh sử dụng kỹ thuật nội suy thấy đƣợc phƣơng pháp nội suy song khối (Bicubic interpolation) đạt kết tốt Do để nâng cao tính tổng qt, chúng tơi chọn phƣơng pháp Bicubic để so sánh với mơ hình sử dụng mạng nơron tích chập Hình 3.5 mơ tả số hình ảnh thí nghiệm với phƣơng pháp nội suy song khối mơ hình mạng đƣợc nêu luận văn 10 11 12 https://github.com/Saafke/EDSR_Tensorflow https://github.com/fannymonori/TF-ESPCN https://github.com/fannymonori/TF-LAPSRN 43 44 Hình 3.5: Kết thực nghiệm số hình ảnh phương pháp nội suy mạng CNN Hình 3.6: Kết cắt từ ảnh ban đầu sau nâng cao độ phân giải ảnh gốc lên lần 45 Một cách trực quan thấy việc sử dụng phƣơng pháp CNN mang lại hiệu tốt hình ảnh Phƣơng pháp nội suy song khối l m phần ảnh trở n n mịn mức v l m mờ hẳn cấu trúc hình ảnh Một cách định lƣợng chúng tơi tính ln số PNSR cho kết tƣơng tự phƣơng pháp sử dụng CNN mang lại số PNSR cao hẳn Tiếp theo so sánh phƣơng pháp sử dụng mạng nơron tích chập Hình minh hoạ cho kết trực quan Tuy nhiên từ hình ảnh thấy thật khó để phân biệt xem phƣơng pháp n o mang lại kết cao hình ảnh mang lại kết gần giống độ nét nội dung độ tƣơng phản Tiếp theo thực thí nghiệm mang tính chất định lƣợng sử dụng việc đo đạc số PNSR v số SSIM tr n tập liệu DIV2K Kết đƣợc mô tả tr n Bảng 3.2 Bảng 3.2: Bảng so sánh hiệu phương pháp với tiêu chí PSNR (dB) / SSIM tập sở liệu DIV2K Dataset Scale LapSRN ESPCN EDSR x2 38.11 / 0.9601 38.11 / 0.9602 38.20 / 0.9606 x3 38.11 / 0.9601 34.66 / 0.9280 34.76 / 0.9290 x4 32.46 / 0.8968 32.50 / 0.8973 32.62 / 0.8984 x8 28.09/ 0.8668 27.86 / 0.8614 27.66 / 0.8611 x2 33.92 / 0.9195 33.85 / 0.9198 34.02 / 0.9204 x3 30.52 / 0.8462 30.44 / 0.8452 30.66 / 0.8481 x4 28.80 / 0.7876 28.72 / 0.7857 28.94 / 0.7901 x8 26.12 / 0.7621 25.52 / 0.7591 25.12 / 0.7461 x2 32.32 / 0.9013 32.29 / 0.9007 32.37 / 0.9018 Tập Tập Tập 46 Tập x3 29.25 / 0.8093 29.25 / 0.8091 29.32 / 0.8104 x4 27.71 / 0.7420 27.72 / 0.7418 27.79 / 0.7437 x8 26.51 / 0.7211 24.42 / 0.7111 24.51 / 0.7011 x2 32.93 / 0.9351 32.84 / 0.9347 33.10 / 0.9363 x3 28.80 / 0.8653 28.79 / 0.8655 29.02 / 0.8685 x4 26.64 / 0.8033 26.67 / 0.8041 26.86 / 0.8080 x8 24.13 / 0.7612 23.53 / 0.7451 23.24 / 0.7312 Các phƣơng pháp đƣợc n u Bảng 3.2 thể khác biệt không rõ rệt tr n liệu DIV2K trƣờng hợp nâng cao độ phân giải x2 x3 x4 Tuy nhiên, mơ hình EDSR đạt kết tốt tr n tỉ số tín hiệu tr n nhiễu PSRN (dB) v số tƣơng tự SSIM Điều thú vị xảy tăng lần độ phân giải trở l n kết có khác biệt đảo chiều LapSRN lại đạt kết tốt với trƣờng hợp x8 ảnh ban đầu tr n tập liệu đƣợc xét Tiếp theo để so sánh có phần phong phú v đa dạng tiếp tục đánh giá phƣơng pháp tr n phƣơng diện thời gian xử lí thuật tốn mơ hình Khơng tính tổng qt thời gian xử lý sử dụng ảnh liệu DIV2K sau chuẩn hố kích thƣớc x3 Tiếp theo chúng tơi nâng cao x2 độ phân giải ảnh đo đạc thời gian xử lý sau l lấy kết trung bình mẫu đo Kết đƣợc đƣa Bảng 3.3 Bảng 3.3: Thời gian xử tí phương pháp, thí nghiệm thực máy tính MacOs 2.2 GHz Intel Core i7 Phƣơng pháp Bicubic EDSR ESPCN LapSRN Thời gian (giây) 0.0091 30.501 0.049 0.501 47 EDSR l phƣơng pháp y u cầu thời gian xử lý lâu Ngƣợc lại nội suy song khối v ESPCN nằm nhóm có thời gian xử lý nhanh v phù hợp với dịch vụ y u cầu triển khai thời gian thực 3.4 Kết luận chƣơng Trong chƣơng n y chúng tơi trình b y cách triển khai thí nghiệm chúng tơi từ việc chọn sở liệu tới phƣơng pháp v giao thức để đánh giá thuật tốn mơ hình triển khai Sau chúng tơi lần lƣợt so sánh phƣơng pháp với theo hai nhóm: Nhóm phƣơng pháp sử dụng thuật tốn nội suy nhóm phƣơng pháp sử dụng mạng nơron tích chập Các kết tổng kết đƣợc nhƣ sau: Với phƣơng pháp nội suy nội suy song khối (Bicubic interpolation) đạt kết tốt dựa hai tiêu chí số PSNR SSIM Tuy nhiên số tồn với nhóm làm ảnh mịn dẫn tới việc thông tin vùng ảnh cụ thể Các khối đƣợc sinh không tự nhiên dẫn tới nhiều bị trùng lặp thơng tin; nhóm thứ hai sử dụng mạng CNN kết đƣợc nâng cao rõ rệt Các hình ảnh sinh rõ, tự nhiên giữ lại thông tin nội dung ảnh đƣợc phóng to Trong số phƣơng pháp trình b y EDSR cho kết tốt dựa hai tiêu chí PSNR SSIM tỉ lệ phóng to x2, x3 x4 Tuy nhiên, với tỉ lệ phóng to x8 mơ hình LapSRN lại gi nh ƣu với kết tốt với hai tiêu chí Thời gian xử lý mơ hình sử dụng phƣơng pháp nội suy nhanh gấp nhiều lần so với phƣơng pháp sử dụng mạng CNN Điều dễ dàng giải thích đƣợc độ phức tạp mơ hình CNN Trong mơ hình sử dụng CNN này, ESPCN mơ hình đáp ứng đƣợc yêu cầu thời gian thực Có thể ứng viên tốt để cân thời gian xử lý v độ xác thuật tốn Qua thực nghiệm chúng tơi nhận thấy ESPCN xử lí video với tốc độ gần FPS Do ho n to n đáp ứng đƣợc dịch vụ thời gian thực Do tu ứng dụng cụ thể mà lựa chọn phƣơng pháp phù hợp 48 KẾT LUẬN VÀ HƢỚNG NGHIÊN CỨU Nâng cao độ phân giải ảnh số l ứng dụng v quan trọng cộng đồng nghi n cứu lý ảnh số với mục ti u giữ to n vẹn chất lƣợng v thông tin ảnh số thực tác vụ phóng to vùng định ảnh hiển thị tr n khác thiết bị có độ phân giải khác Trong phạm vi nội dung nghi n cứu n y liệt k thảo luận số nghi n cứu nhằm nâng cao độ phân giải ảnh số Cụ thể nghi n cứu n y đ lần lƣợt điểm qua phƣơng pháp tiếp cận với mục ti u nhằm nâng cao độ phân giải ảnh bao gồm phƣơng pháp nội suy v phƣơng pháp sử dụng mạng nơron tích chập (CNN) Sau chúng tơi so sánh/đánh giá phƣơng pháp với Với phƣơng pháp nội suy thể ƣu điểm độ phức tạp thuật toán thấp thời gian xử lý nhanh Tuy nhi n bộc lộ số nhƣợc điểm việc l m mịn ảnh gây mờ Hiện tƣợng xuất nhiều khối ảnh giống phóng to l n nhiều lần việc chất phƣơng pháp l lấy thông tin từ điểm ảnh cũ điểm ảnh lân cận n n không l m phát sinh thông tin Phƣơng pháp sử dụng mạng CNN thể ƣu việt vƣợt trội theo số đo PSNR v SSIM so với phƣơng pháp nội suy Các hình ảnh thu đƣợc trở n n sinh động v gần với nội dung thực ảnh Tuy nhi n độ phức tạp mơ hình CNN l cao thời gian xử lý y u cầu lâu nhiều so với phƣơng pháp nội suy Chỉ có mơ hình ESPCN cân đƣợc việc bảo to n nội dung thông tin nhƣ thời gian xử lý l mô hình đáp ứng đƣợc ứng dụng li n quan tới xử lí video Hƣớng nghiên cứu Một xu hƣớng nhằm kế thừa v phát triển kỹ thuật tăng cƣờng độ phân giải ảnh l sử dụng mạng nơron học sâu có khả sinh liệu (GAN - Generative Adversarial Networks) Để tiện cho việc theo 49 dõi GAN đƣợc cấu th nh từ mạng l Generator v Discriminator Trong Generator l mạng sinh liệu giống nhƣ thật Discriminator mạng cố gắng phân biệt đâu l liệu đƣợc sinh đâu l liệu thật Kỹ thuật hƣớng nghi n cứu n y l việc sử dụng mạng Generator nhằm tăng kích thƣớc ảnh có độ phân giải thấp sau mạng Discriminator đóng vai trị phân biệt ảnh vừa tạo so với ảnh thực tế nhằm mục đích tối thiểu hố h m mát Sau sử dụng kỹ thuật lan truyền để cập nhật lại tham số nhƣ hệ thống mạng nơron thực Trong nghi n cứu gần [14] đề xuất sử dụng phƣơng pháp PULSE trình tăng v giảm kích thƣớc ảnh đầu v o để l m gi u thông tin cho không gian nén Latent để nội suy ảnh si u độ phân giải Hoặc nghi n cứu [10] đề xuất phƣơng pháp ILO nhằm tối ƣu lớp trung gian mạng Generator đạt kết tốt Việc tiếp tục phát triển nghi n cứu theo hƣớng n y đƣợc kì vọng l mang lại kết tốt cho việc nâng cao độ phân giải ảnh 50 TÀI LIỆU THAM KHẢO Tiếng Việt Nam [1] Phạm Thế Anh, Nguyễn Mạnh An Đỗ Năng To n (2017), Giáo trình Xử lý ảnh, Nhà xuất Giáo dục, Hà Nội [2] Nguyễn Đăng Bình (2011), Giáo trình xử lý ảnh số Đại học Khoa học Huế, Thành phố Huế [3] Phạm Việt Bình Đỗ Năng To n (2007), Giáo trình xử lý ảnh số Đại học Thái Nguyên, Thành phố Thái Nguyên [4] Lƣơng Bá Mạnh, Nguyễn Thanh Thuỷ (2002), Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật, Hà Nội [5] Nguyễn Thị Nguyệt (2009), Nội suy ảnh số ứng dụng, Luận văn thạc s Công nghệ thông tin Đại học Thái Nguyên [6] Đỗ Thị Phƣơng (2 7) Nghiên cứu đánh giá phương pháp nội suy ảnh viễn thám cho toán phân loại lớp phủ đô thị Việt Nam, Luận văn thạc s Công nghệ thông tin, Đại học Quốc Gia Hà Nội Tiếng nƣớc [7] Agustsson, Eirikur, and Radu Timofte (2017), "Ntire 2017 challenge on single image super-resolution: Dataset and study." Proceedings of the IEEE conference on computer vision and pattern recognition workshops [8] D Chao, L Chen Change and H Kaiming (2014), "Learning a Deep Convolutional Network for Image Super-Resolution," ECCV [9] Elazhari, Abbas, and Majid Ahmadi (2013), "Interpolation of low resolution images for improved accuracy in human face recognition." (ICECS) IEEE [10] D Giannis, D Joseph and J Ajil (2021), "Intermediate Layer Optimization for Inverse Problems using Deep Generative Models", preprint arXiv, 2102.07364 51 [11] He, Kaiming, et al (2016), "Deep residual learning for image recognition.", Proceedings of the IEEE conference on computer vision and pattern recognition [12] Lim, B., Son, S., Kim, H., Nah, S., & Mu Lee, K (2017), “Enhanced deep residual networks for single image super-resolution”, CVPR, pp.136-144 [13] Rajarapollu, Prachi R., Vijay R Mankar (2017), "Bicubic interpolation algorithm implementation for image appearance enhancement.", International Journal, 8(2) [14] M Sachit, D Alexandru and H Shijia (2020), "PULSE: SelfSupervised Photo Upsampling via Latent Space Exploration of Generative Models," CVPR [15] Shi, Wenzhe, et al (2016), "Real-time single image and video superresolution using an efficient sub-pixel convolutional neural network.", CVPR, pp 1874-1883 [16] Sundaram Narayanan and K Keutzer (2 ) “Long term video segmentation through pixel level spectral clustering on GPUs ” IEEE International Conference on Computer Vision Workshops (ICCV Workshops), 475-482 [17] Thévenaz, Philippe, Thierry Blu, and Michael Unser (2000), "Image interpolation and resampling", Handbook of medical imaging, processing and analysis, 1.1: 393-420 [18] L Wei-Sheng, H Jia-Bin and A Narendra (2018), "Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks", arXiv, 1710.01992v3 [19] Yamashita, Koki, and Konstantin Markov (2020), "Medical image enhancement using super resolution methods." International Conference on Computational Science, Springer, Cham 52 [20] Yue, Linwei, et al (2016), "Image super-resolution: The techniques, applications, and future.", Signal Processing 128: 389-408 [21] Zhang, Y., Sun, H., Zuo, J., Wang, H., Xu, G., & Sun, X (2018), “Aircraft type recognition in remote sensing images based on feature learning with conditional generative adversarial networks Remote Sensing”, 10(7), 1123 Internet [22] https://ai.googleblog.com/2020/04/efficientdet-towards-scalableand.html [23] https://congngheviet.com/ [24] https://cs231n.github.io/ [25] https://cs231n.github.io/convolutional-networks/#pool [26] https://machinelearningcoban.com/2017/02/24/mlp/ [27] https://medium.com/ [28] https://pbcquoc.github.io/cnn/ [29] https://towardsdatascience.com/ [30] https://www.gopichandrakesan.com/day-31-convolution-neuralnetworkcnn-edge-detect-filter-3x3/ [31] https://www.programmersought.com/article/6050525140/ 53