siêu độ phân giải cho hình ảnh bằng thuật toán truy hồi

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG BỘ MÔN KHOA HỌC MÁY TÍNH LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN ĐỀ TÀI: SIÊU ĐỘ PHÂN GIẢI CHO HÌNH ẢNH BẰNG THUẬT TOÁN TRUY HỒI Người hướng dẫn: Sinh viên thực hiện: Ths Phạm Nguyên Hoàng Huỳnh Duy Thanh Mã số: 1111506 Khóa: K37 Cần Thơ, 05/2015 LỜI CẢM ƠN Để hoàn thành đề tài tiến độ, yêu cầu nổ lực thân chưa đủ, mà giúp đỡ thầy cô, anh chị, bạn bè vô quan trọng Với lòng kính trọng biết ơn sâu sắc, em xin gửi lời cám ơn chân thành đến thầy cô môn, người cung cấp cho em kiến thức Xử lý ảnh, Đại số tuyến tính, Lập trình… để em có áp dụng hoàn thành đề tài Tiếp đến em xin gửi lời cám ơn đến giáo viên hướng dẫn, thầy Phạm Nguyên Hoàng, thầy hướng dẫn, cung cấp tài liệu đưa lời khuyên hợp lý cho em suốt trình làm đề tài Em không quên gửi lời cám ơn đến anh chị trước, người hướng dẫn em, chia sẻ kinh nghiệm quí báo để giúp em hoàn thành đề tài cách tốt nhất, bạn lớp, người giúp em bổ sung, ôn lại kiến thức hữu ích liên quan đến đề tài Cuối em xin gửi lời cám ơn đến anh chị, bạn bè cộng đồng Java Việt Nam, người nhiệt tình giúp đỡ em gặp vấn đề code Java Em cố gắng để hoàn thành đề tài lần này, nhiên khả có hạn nên việc sai sót khó tránh khỏi, em kính mong quý thầy bạn có ý kiến đóng góp để em hoàn thiện hơn, rút kinh nghiệm cho lần sau Em xin chân thành cám ơn DANH MỤC CÁC BẢNG Bảng 2-1 Dữ liệu mẫu Bảng 3-1 Kết so sánh lần thứ 24 Bảng 3-2 Kết so sánh lần thứ hai 24 DANH MỤC CÁC HÌNH Hình 1-1 Những ứng dụng ảnh độ phân giải cao Hình 2-1 Các bước cần thiết xử lý ảnh Hình 2-2 Kỹ thuật single frame Hình 2-3 Kỹ thuật multi frame Hình 2-4 Mô hình quan sát 10 Hình 2-5 Phép toán chuyển dịch 12 Hình 2-6 Mô hình lùi 18 Hình 3-1 Mô hình hoạt động ứng dụng 21 Hình 3-2 Tập ảnh mẫu 22 Hình 3-3 Ảnh kết từ lần đánh giá thứ 24 Hình 3-4 Ảnh kết từ lần đánh giá thứ hai 25 MỤC LỤC TÓM TẮT ABSTRACT CHƯƠNG I: TỔNG QUAN .3 I ĐẶT VẤN ĐỀ II MỤC TIÊU - PHẠM VI ĐỀ TÀI MỤC TIÊU PHẠM VI ĐỀ TÀI CHƯƠNG 2: CƠ SỞ LÝ THUYẾT I TỔNG QUAN VỀ XỬ LÝ ẢNH XỬ LÝ ẢNH LÀ GÌ? NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 2.1 ĐIỂM ẢNH 2.2 ẢNH SỐ .7 2.3 SUBPIXEL 2.4 ĐỘ PHÂN GIẢI ẢNH .7 2.5 MỨC XÁM 2.6 NỘI SUY SONG TUYẾN TÍNH .8 SIÊU ĐỘ PHÂN GIẢI 3.1 KỸ THUẬT SINGLE FRAME 3.2 KỸ THUẬT MULTI FRAME II THUẬT TOÁN TRUY HỒI .10 MÔ HÌNH QUAN SÁT .10 MÔ HÌNH TIẾN 11 2.1 PHÉP TOÁN CHUYỂN DỊCH .12 2.2 PHÉP TOÁN LÀM MỜ 13 2.3 PHÉP TOÁN GIẢM MẪU 15 MÔ HÌNH LÙI – TRUY HỒI .18 III GIỚI THIỆU VỀ JAVA VÀ THƯ VIỆN jBLAS .20 NGÔN NGỮ LẬP TRÌNH JAVA .20 THƯ VIỆN jBLAS 20 CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ỨNG DỤNG 21 I XÂY DỰNG ỨNG DỤNG .21 ĐẶC TẢ ỨNG DỤNG 21 MÔ HÌNH HOẠT ĐỘNG CỦA ỨNG DỤNG 21 II KẾT QUẢ THỰC NGHIỆM .22 CHƯƠNG : KẾT LUẬN – HƯỚNG PHÁT TRIỂN 26 I KẾT LUẬN .26 KẾT LUẬN 26 HẠN CHẾ 26 II HƯỚNG PHÁT TRIỂN 26 TÀI LIỆU THAM KHẢO 27 TÓM TẮT Với phát triển không ngừng công nghệ, đời thiết bị đa phương tiện, nhu cầu sử dụng ảnh độ phân giải cao tỉ lệ thuận theo đặc biệt lĩnh vực giáo dục, y khoa, địa lý… Tuy nhiên giá thành thiết bị thu nhận ảnh độ phân giải cao không rẻ, nên việc áp dụng thuật toán Xử lý ảnh để nâng cao độ phân giải ảnh từ ảnh độ phân giải thấp có sẵn, giải pháp thiết thực tiết kiệm Có nhiều công nghệ Xử lý ảnh hỗ trợ việc này, nhiên công nghệ lại có ưu nhược điểm riêng Trong báo cáo này, mục tiêu trình bày, làm rõ vận dụng mô hình Truy hồi vào việc nâng cao độ phân giải ảnh từ tập ảnh độ phân giải thấp Tiến hành xây dựng thành ứng dụng cụ thể kiểm định tập liệu mẫu, sau so sánh với công nghệ loại để đánh giá cách xác khách quan ABSTRACT With the constant development of technology, the advent of multimedia devices, the demand for higher resolution photos and proportional follow especially in the fields of education, medicine, geography However the cost is not cheap, so the application of image processing algorithms to enhance image resolution from low resolution image is available, the solution the most practical and economical There are many image processing technologies in support of this work, however, each technology has its own advantages and disadvantages In this report, the main objective are to present, clarify and apply models its on improving the resolution of images from sets low-resolution image To build a specific application and testing on sample data set, then compared with a same type of technology to assess accurately and objectively CHƯƠNG I: TỔNG QUAN I ĐẶT VẤN ĐỀ Hình 1-1 Những ứng dụng ảnh độ phân giải cao Ảnh độ phân giải cao dùng trình chiếu ảnh thiết bị đa phương tiện, sử dụng phân tích giảng dạy y khoa, địa lý Với phát triển công nghệ, tivi có độ phân giải Full HD (1920 x 1080 pixel), 2K (2560x1440 pixel), 4K (4096 x 2160 pixel) thiết bị hiển thị độ phân giải cao liên tục đời với giá thành ngày giảm Vì không khó để hộ gia đình sở hữu cho thiết bị này, chí điện thoại thông minh đời trang bị cho hình hiển thị có độ phân giải Full HD 2K Cũng lý mà nhu cầu sử dụng hình ảnh độ phân giải cao để thị thiết bị ngày tăng Ảnh độ phân giải cao thể rõ ràng, chi tiết đối tượng ảnh sử dụng việc nghiên cứu, phân tích giảng dạy y khoa địa lý Ảnh độ phân giải cao sử dụng phổ biến lĩnh vực truyền thông, quảng cáo Chúng ta dễ dàng bắt gặp áp phích, pa nô với hình ảnh cỡ lớn, sắc nét treo tòa nhà, trụ quảng cáo Tuy nhiên để sở hữu hình ảnh độ phân giải cao phải trang bị một thiết bị thu nhận ảnh có cảm biến” lớn, để thu lại khoảnh khắc mà ta mong muốn với độ phân giải cao Vậy cảm biến gì? Cảm thiết bị phần cứng nhỏ, có khả thu nhận ánh sáng hình ảnh sau chuyển thành hình ảnh điện tử Cảm biến định đến số lượng điểm ảnh kích cỡ điểm ảnh ảnh hưởng đến chất lượng ảnh Tuy nhiên giá thành cảm biến chất lượng thường cao, sở hữu cho thiết bị thu nhận ảnh với cảm biến lớn Giải pháp cho khó khăn ứng dụng thuật toán Xử lý ảnh để tạo ảnh độ phân giải cao từ ảnh độ phân giải thấp Kỹ thuật siêu độ phân giải đóng vai trò quan trọng việc xây dựng ảnh độ phân giải cao từ ảnh độ phân giải thấp Kỹ thuật siêu độ phân giải ứng dụng nhiều thiết bị di động, giúp điện thoại thông minh, máy ảnh compact chụp ảnh độ phân giải cao chúng trang bị cảm biến nhỏ Do giúp vượt qua giới hạn phần cứng Hầu hết phần mềm xử lý, chỉnh sửa ảnh tích hợp cho kỹ thuật siêu độ phân giải để người dùng thực chỉnh sửa ảnh hậu kì, thực phóng đại ảnh độ phân giải thấp mà giữ chi tiết độ nét ảnh kết Đây ứng dụng thiết thực kỹ thuật siêu độ phân giải, giúp tiết kiệm chi phí cách hiệu thay phải dùng thiết bị thu nhận ảnh đắt tiền đề chụp lại ảnh cách trực tiếp Sự phát triển công nghệ tính giây, sản phẩm công nghệ liên tục đời làm người dùng cảm thấy thiết bị mau lạc hậu so với phát triển chung, thiết bị thu nhận ảnh độ phân giải cao chịu chung tình cảnh Kỹ thuật siêu độ phân giải giúp vượt qua khó khăn này, giúp thiết bị đời thấp có tính ghi lại ảnh độ phân giải cao thông qua việc nâng cấp phần mềm, firmware Hiện có nhiều kỹ thuật siêu độ phân giải phát triển chia làm ba nhóm chính: Thuật toán nội suy: kỹ thuật mô ảnh độ phân giải cao cách tái tạo điểm ảnh dựa vào điểm ảnh gần Thuật toán học tập sở: phương phát nắm bắt mối tương quan ảnh độ phân giải thấp cao Nó khai thác thông tin tần số cao sót lại tập huấn luyện mẫu để cải tiến chất lượng ảnh Tuy nhiên lượng lớn cặp ảnh độ phân giải cao thấp lưu lại trình đánh giá tương quan Do hao tốn không gian lưu trữ thời gian thực Toán tử dịch chuyển có biểu diễn sau: 𝑏 = 𝑇𝑎 Trong đó: 𝑇𝐴 𝑇=[ 0 𝑇𝐵 𝑇𝐴 0 𝑇𝐶 𝑇𝐷 𝑇𝐶 ] 𝑇𝐴 𝑇𝐵 𝑇𝐴 𝑎1 𝑎 𝑎 = [𝑎2 ] 𝑎4 𝑇𝐴 = (1 − 𝛿𝑥 )(1 − 𝛿𝑦 ), 𝑇𝐵 = 𝛿𝑦 (1 − 𝛿𝑥 ), 𝑇𝐶 = 𝛿𝑥 (1 − 𝛿𝑦 ), 𝑇𝐷 = 𝛿𝑥 𝛿𝑦 Toán tử chuyển vị biểu diễn sau: 𝑎 = 𝑇𝑇 𝑏 Trong đó: 𝑇𝐴 𝑇 𝑇𝑇 = [ 𝐵 𝑇𝐶 𝑇𝐷 𝑇𝐴 𝑇𝐶 0 𝑇𝐴 𝑇𝐵 0 ] 𝑇𝐴 Từ dẫn chứng ta kết luận phép toán dich chuyển 𝑇 ∗ 𝑎 tương đương với việc ta áp dụng phép nội suy lên ảnh với subpixel dịch chuyển 𝛿𝑥 𝛿𝑦 , phép toán 𝑇 𝑇 ∗ 𝑎 áp dụng phép nội suy lên ảnh theo chiều ngược lại với subpixel dịch chuyển 𝛿𝑥 𝛿𝑦 2.2 PHÉP TOÁN LÀM MỜ Như đề cập, mờ xảy nhiều nguyên nhân có nguyên nhân thấu kính mờ hay gọi cảm biến mờ, mô hình hóa 13 việc nhân chập ảnh với ma trận mặt nạ, tương ứng với chức phân rã điểm hệ thống quang học Gaussian lọc sử dụng phổ biến cho mô hình làm mờ ảnh Nó công cụ phổ biến để thực trình tiền xử lý hình ảnh dùng làm liệu đầu vào tốt cho giải thuật Nó giúp làm giảm nhiễu mức độ chi tiết hình ảnh Trong xử lý ảnh, việc ứng dụng lọc Gaussian cho hình ảnh tính tích chập hình với hàm Gaussian Dưới phương trình hàm Gaussian dùng không gian hai chiều 𝑥 +𝑦 − 𝐺 (𝑥, 𝑦) = 𝑒 2𝜎2 2𝜋𝜎 Trong 𝑥 𝑦 tọa độ theo hai trục đứng ngang 𝜎 phương sai chuẩn phân tán Gaussian giá trị định độ lệch điểm bề mặt Gaussian Thao tác làm mờ thực cách chập tuyến tính Giả sử vector có kích cỡ x 4, 𝑎 = [𝑎1 , 𝑎2 , 𝑎3 , 𝑎4 ] nhân mờ 𝑏 = [𝑏0 , 𝑏1 , 𝑏2 ] Việc chập ma trận a ma trận b viết sau (trạng thái “same”): [𝑐 ] = [ 𝑎2 𝑏0 + 𝑎1 𝑏1 , 𝑎3 𝑏0 + 𝑎2 𝑏1 + 𝑎1 𝑏2 , 𝑎4 𝑏0 + 𝑎3 𝑏1 + 𝑎2 𝑏2 , 𝑎4 𝑏1 + 𝑎3 𝑏2 ] Toán tử làm mờ biểu diễn sau: 𝑐 = 𝐵𝑎 Trong 𝑏1 𝑏 𝐵=[ 0 𝑏0 𝑏1 𝑏2 0 𝑏0 ] 𝑏1 𝑏0 𝑏2 𝑏1 Với 𝑏0 , 𝑏1 , 𝑏2 trọng số nhân mờ 𝑎1 𝑎 𝑎 = [𝑎2 ] 𝑎4 Nhân chập ma trận 𝑎 với ma trận ngược ma trận 𝐵, ta có: 14 [𝑐 ] = [ 𝑎2 𝑏2 + 𝑎1 𝑏1 , 𝑎3 𝑏2 + 𝑎2 𝑏1 + 𝑎1 𝑏0 , 𝑎4 𝑏2 + 𝑎3 𝑏1 + 𝑎2 𝑏0 , 𝑎4 𝑏1 + 𝑎3 𝑏0 ] Được biễu diễn dạng: 𝑐 = 𝐵𝑇 𝑎 Trong 𝑏1 𝑏 𝐵𝑇 = [ 0 𝑏2 𝑏1 𝑏0 0 𝑏2 ] 𝑏1 𝑏2 𝑏0 𝑏1 Tương tự phép toán dịch chuyển, phép toán làm mờ 𝐵 ∗ 𝑎 tương đương với việc ta áp dụng phép chập lên nhân mờ lên ảnh, phép toán 𝐵𝑇 ∗ 𝑎 tương với việc ta chập ma trận ngược nhân mờ lên ảnh 2.3 PHÉP TOÁN GIẢM MẪU Giảm mẫu trình giảm tỉ lệ kích thước liệu, trình loại bỏ điểm ảnh khỏi ảnh để thu nhỏ kích thước ảnh làm giảm chất lượng ảnh Xét ma trận 𝐴 có cỡ x sau: 𝑎1 𝑎 𝑎 = [ 𝑎5 𝑎13 𝑎2 𝑎6 𝑎10 𝑎14 𝑎3 𝑎7 𝑎11 𝑎15 𝑎4 𝑎8 𝑎12 ] 𝑎16 Sau giảm mẫu 𝐴 với hệ số giảm mẫu ta thu được: 𝑐1 𝑐 = [𝑐 𝑐2 𝑐4 ] Trong đó: 𝑐1 = 𝑎1 +𝑎2 +𝑎5 +𝑎6 𝑐2 = 𝑎3 +𝑎4 +𝑎7 +𝑎8 𝑐3 = 𝑎9 +𝑎10 +𝑎13 +𝑎14 𝑐4 = 𝑎11 +𝑎12 +𝑎15 +𝑎16 4 4 15 Từ ví dụ toán tử giảm mẫu biểu diễn sau: 𝑐 = 𝐷𝑎 Trong đó: 1 𝐷= [ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0] 𝑎1 𝑎2 𝑎3 𝑎4 𝑎5 𝑎6 𝑎7 𝑎8 𝑎= 𝑎 𝑎10 𝑎11 𝑎12 𝑎13 𝑎14 𝑎15 [𝑎16 ] Từ ta rút kết luận, phép toán giảm mẫu 𝐷 ∗ 𝑎 đồng nghĩa với việc ta áp dùng phép chập trạng thái “valid” ma trận 𝐷 có chiều ℎệ 𝑠ố 𝑔𝑖ả𝑚 𝑚ẫ𝑢 𝑡ℎ𝑒𝑜 𝑥 x ℎệ 𝑠ố 𝑔𝑖ả𝑚 𝑚ẫ𝑦 𝑡ℎ𝑒𝑜 𝑦, phần tử có giá trị (ℎệ 𝑠ố 𝑔𝑖ả𝑚 𝑚ẫ𝑢 𝑡ℎ𝑒𝑜 𝑥 ∗ ℎệ 𝑠ố 𝑔𝑖ả𝑚 𝑚ẫ𝑦 𝑡ℎ𝑒𝑜 𝑦)−1 , ví dụ (theo chiều 𝑥 𝑦) lên ảnh 𝑎 với khoảng cách chập điểm ảnh hệ số giảm mẫu: Toán tử chuyển vị biểu thức giảm mẫu (đồng nghĩa với việc tăng mẫu) biểu diễn sau: 𝑐 = 𝐷𝑇 𝑎 Trong đó: 16 1 0 1 𝐷𝑇 = 0 0 0 [0 0 1 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 1] 𝑎1 𝑎 𝑎 = [𝑎2 ] 𝑎4 Ta thu vector: 𝑎1 𝑎1 𝑎2 𝑎2 𝑎1 𝑎1 𝑎2 𝑎1 𝑎1 𝑎 𝑐 = 𝑎2 ⇔ [𝑎 𝑎3 𝑎3 𝑎4 𝑎4 𝑎3 𝑎3 𝑎4 [𝑎4 ] 𝑎1 𝑎1 𝑎3 𝑎3 𝑎2 𝑎2 𝑎4 𝑎4 𝑎2 𝑎2 𝑎4 ] 𝑎4 Từ phép toán ta kết luận toán tử chuyển vị ma trận giảm mẫu (tăng mẫu) việc ta mở rộng điểm ảnh có thành số điểm ảnh tướng ứng với hệ số giảm mẫu có giá trị giá trị điểm ảnh chia cho tích hệ số 17 giảm mẫu theo hai chiều (trong trường hợp theo chiều 𝑥 theo chiều 𝑦) MÔ HÌNH LÙI – TRUY HỒI Truy hồi công nghệ Michal Irani phát triển từ năm 1990 dựa kỹ thuật multi frame [1] Công nghệ sử dụng phương pháp truy hồi để lặp lại trình xây dựng lỗi ảnh tập ảnh độ phân giải thấp, với ảnh độ phân giải cao mô xử lý mô hình tiến, sau sử dụng thông tin vào việc ước lượng ảnh độ phân giải cao tiếp theo, giúp tăng độ xác giảm sai số đến mức nhỏ Quá trình lặp kết thúc sau số lần định sai khác giảm xuống đến mức chấp nhận ÁNH XẠ LỖI TỚI 𝑋𝑖−1 𝑋̂𝑖 𝑌 S 𝑋0 𝑒𝑖𝐻 S S 𝑌𝑖 sai 𝑒𝑖𝐿 i=n ĐẦU RA Hình 2-6 Mô hình lùi Xây dựng lỗi từ ảnh độ phân giải thấp, sử dụng chúng vào việc ước lượng ảnh độ phân giải cao Từ biểu thức 𝑌𝑖 = 𝐴𝑖 𝑋 + 𝑒𝑖 → 𝑒𝑖 = 𝑌𝑖 − 𝐴𝑖 𝑋, thực tế giả định nhiễu không tương quan phương sai không thay đổi Khi khả tốt xác định giá trị cực tiểu hàm 𝐸(𝑋), đó: 𝐸 (X ) = ‖𝑌 − 𝐴𝑖 𝑋 ‖2 𝑖 Theo tính chất đạo hàm vector theo vector [4], ta tiến hành tính Gradient biểu thức 𝐸(𝑋) theo 𝑋 sau cho kết ta được: ∇𝐸 = ⇔ 𝐴𝑇𝑖 (𝐴𝑖 𝑋 − 𝑌𝑖 ) = ⟹ 𝐴𝑇𝑖 𝐴𝑖 𝑋 = 𝐴𝑇𝑖 Y𝑖 ̂ ảnh độ phân giải cao ước lượng có chiều Từ biểu thức ta giả sử X 128 x 128 𝐴𝑇 𝐴 có chiều 16384 x 16384, lúc để tính (𝐴𝑇 𝐴)−1 điều 18 gần Do ta ước lượng giá trị 𝑋̂ từ 𝐴𝑇 𝐴 𝐴𝑇 Y𝑖 thuật toán truy hồi Với hình ảnh độ phân giải thấp thứ i biểu thức cập nhật viết sau: 𝑋̂𝑗 = 𝑋𝑗−1 + ∑𝑛𝑖=1 𝑇𝑖𝑇 𝐵𝑇 𝐷 𝑇 (𝑌𝑖 − 𝐷𝐵𝑇𝑖 𝑋𝑗−1 ) (1) Bằng việc kết hợp toán tử giảm mẫu, làm mờ, dịch chuyển ta nhận thấy biểu thức 𝐷𝐵𝑇𝑖 = 𝐷𝑇𝑖 𝐵 → 𝐵𝑇𝑖 = 𝑇𝑖 𝐵 Ta chứng minh điều tương tự 𝑇𝑖𝑇 𝐵𝑇 = 𝑇𝑖𝑇 𝐵𝑇 cách chuyển vị biểu thức Khi công thức (1) viết lại sau: 𝑋̂𝑗 = 𝑋𝑗−1 + 𝐵𝑇 ∑𝑛𝑖=1 𝑇𝑖𝑇 𝐷 𝑇 (𝑌𝑖 − 𝐷𝑇𝑖 𝐵𝑋𝑗−1 ) (2) Đặt 𝑍̂𝑗 = 𝐵𝑋̂𝑗 ảnh độ phân giải cao bị mờ Nhân hai vế (2) với 𝐵 ta có: 𝑛 𝐵𝑋̂𝑗 = 𝐵𝑋𝑗−1 + 𝐵𝐵𝑇 ∑ 𝑇𝑖𝑇 𝐷 𝑇 (𝑌𝑖 − 𝐷𝑇𝑖 𝐵𝑋𝑗−1 ) 𝑖=1 𝑛 ⟹ 𝑍̂𝑗 = 𝑍𝑗−1 + 𝐵𝐵 ∑ 𝑇𝑖𝑇 𝐷 𝑇 (𝑌𝑖 − 𝐷𝑇𝑖 𝑍𝑗−1 ) 𝑇 𝑖=1 𝑛 𝑛 = 𝑍𝑗−1 + 𝐵𝐵𝑇 (∑ 𝑇𝑖𝑇 𝐷 𝑇 𝑌𝑖 − ∑ 𝑇𝑖𝑇 𝐷 𝑇 𝐷𝑇𝑖 𝑍𝑗−1 ) 𝑖=1 𝑖=1 Đặt 𝐸𝑖 = ∑𝑛𝑖=1 𝑇𝑖𝑇 𝐷 𝑇 𝑌𝑖 , 𝐹𝑖 = ∑𝑛𝑖=1 𝑇𝑖𝑇 𝐷 𝑇 𝐷𝑇𝑖 Khi ta có: 𝑍̂𝑗 = 𝑍𝑗−1 + 𝐵𝐵𝑇 (𝐸𝑖 − 𝐹𝑖 𝑍𝑗−1 ) Nhận thấy ma trận 𝐵𝐵𝑇 ma trận xác định dương biểu thức lặp (cập nhật) mang trọng số 𝐵𝐵𝑇 Như biết biểu thức lặp hội tụ không mang ma trận trọng số trả kết ma trận xác định dương [2] Khi biểu thức biễu diễn đắn biểu thức cập nhật là: 𝑍̂𝑗 = 𝑍𝑗−1 + (𝐸𝑖 − 𝐹𝑖 𝑍𝑗−1 ) Giả sử tìm 𝑍̂𝑗 , từ biểu thức 𝑍̂𝑗 = 𝐵𝑋̂𝑗 đồng nghĩa với việc tìm ảnh độ phân giải cao bị mờ, mục tiêu 𝑋̂𝑗 Tuy nhiên bỏ qua việc ảnh bị mờ bị mờ ít, 𝑍̂𝑗 kết tối ưu mà ta cần tìm Trong thực tế để khử mờ người ta sử dụng phương pháp phân tách phần đề xuất phương pháp thuật toán khác 19 III GIỚI THIỆU VỀ JAVA VÀ THƯ VIỆN jBLAS NGÔN NGỮ LẬP TRÌNH JAVA Java ngôn ngữ lập trình hướng đối tượng (tựa C++) Sun Microsystem đưa vào thập niên 90 Chương trình viết ngôn ngữ lập trình java chạy hệ thống có cài máy ảo java (Java Virtual Machine) Ngôn ngữ lập trình Java James Gosling công Công ty Sun Microsystem phát triển Đầu thập niên 90, Sun Microsystem tập hợp nhà nghiên cứu thành lập nên nhóm đặt tên Green Team Nhóm GreenTeam có trách nhiệm xây dựng công nghệ cho ngành điện tử tiêu dùng Để giải vấn đề nhóm nghiên cứu phát triển xây dựng ngôn ngữ lập trình đặt tên Oak tương tự C++ loại bỏ số tính nguy hiểm C++ có khả chạy nhiều phần cứng khác Sau không lâu ngôn ngữ với tên gọi Java đời giới thiệu năm 1995 Java tên gọi đảo Indonexia Đây nơi nhóm nghiên cứu phát triển chọn để đặt tên cho ngôn ngữ lập trình Java chuyến tham quan làm việc đảo THƯ VIỆN jBLAS jBLAS thư viện đại số tuyến tính giúp tăng tốc độ tính toán Java, phát triển dựa hai thư viện chuẩn để tính toán ma trận BLAS LAPACK jBLAS sử dụng “một kỹ thuật tiên tiến” để thi hành tính toán thường lệ giống ATLAS, jBLAS nhanh jBLAS phát triển từ cộng đồng Fortran, từ API nguyên thủy mở rộng sang Java, xem công cụ hiệu giá trị để cài đặt chương trình, thuật toán có yêu cầu tính toán lớn, nhiều, nhanh 20 CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ ỨNG DỤNG I XÂY DỰNG ỨNG DỤNG ĐẶC TẢ ỨNG DỤNG Được viết Java, sử dụng công cụ phát triển eclipse thư viện hệ thống JavaSE (Java Standard Edition) phiên 1.8, thừa hưởng mạnh Java nên ứng dụng chạy nhiều hệ điều hành khác nhau, kèm theo tốc độ tính toán nhanh nhờ thư viện jBLAS Với mục đích phục vụ việc báo cáo, giới thiệu thuật toán nên giao diện ứng dụng thiết kế đơn giản tinh gọn Ứng dụng cho phép người dùng lựa chọn ảnh để đánh giá ứng dụng, cho phép lưu ảnh để so sánh, phân tích đánh giá sau Khi thực thi ứng dụng tức khởi động thuật toán xây dựng ảnh độ phân giải cao từ tập ảnh độ phân giải thấp bị mờ nhiễu, trình kết thúc sau số lần lặp định, ta thu ảnh ảnh độ phân giải cao với sai số chấp nhận Ứng dụng hoạt động ổn định, xác, xác suất gặp lỗi Mở ảnh MÔ HÌNH HOẠT ĐỘNG CỦA ỨNG DỤNG Xử lý ảnh thuật toán Lưu ảnh Hình 3-1 Mô hình hoạt động ứng dụng Ảnh người dùng chọn, sau sử dụng thuật toán để xử lý cho kết Mở ảnh: Sử dụng hàm gói thư viện Swing Java để xây dựng giao diện người dùng, sử dụng lớp JFileChooser để người dùng lựa chọn ảnh theo ý muốn để kiểm tra hoạt động ứng dụng Xứ lý ảnh thuật toán: Tiến hành tạo tập độ lệch tương ứng với số ảnh độ phân giải thấp cần xây dựng (trong báo cáo độ lệch có giá trị nhỏ lớn 0) Xây dựng tập ảnh độ phân giải thấp việc áp dụng toán tử giảm mẫu, làm mờ lọc Gaussian, dịch chuyển ảnh tập độ lệch khởi tạo lên ảnh gốc theo mô hình tiến, sau sử dụng thuật toán truy hồi để lặp lại trình xây dựng lỗi từ ảnh ước lượng ảnh quan sát, kiểm tra số lần lặp sau bước lặp để biết thời điểm kết thúc chương trình, sử dụng kết có để cập nhật cho ảnh độ phân giải cao ước lượng, kết Tiến trình kết thúc sau số lần lặp 21 định trước Tiến hành so sánh ảnh kết với ảnh gốc để đưa đánh giá nhận xét Lưu ảnh: cho phép lưu lại ảnh để dễ dàng phân tích, đánh giá sau II KẾT QUẢ THỰC NGHIỆM Để đánh giá thuật toán ta tiến hành sử dụng số ảnh tải từ Internet để làm mẫu Tập ảnh sử dụng để kiểm tra Hình 3-2 Tập ảnh mẫu Ảnh gốc ảnh có độ phân giải 1920 x 1200 pixel Ảnh độ phân giải thấp sử dụng để mô thuật toán truy hồi có độ phân giải 960 x 600 pixel Trong trình thực nghiệm, ta sử dụng giá trị tỉ lệ tín hiệu cực đại với sai số nhiễu (PSNR) cấu trúc đồng dạng (SSIM) để đánh giá thuật toán 22 PSNR tỉ lệ cực đại bình phương với bình phương sai số nhiễu Biểu thức PSNR biễu diễn sau: 𝑃𝑆𝑁𝑅 = 10 log10 2552 𝑀𝑆𝐸 Trong MSE trung bình bình phương sai số ảnh độ phân giải cao xây dựng ảnh gốc (ảnh tham khảo) Biểu thức MSE biểu diễn sau: 𝑀𝑆𝐸 = ‖𝑋 − 𝑋̂ ‖ 𝑁1 𝑁2 Với: 𝑋 ảnh gốc (ảnh tham khảo) 𝑋̂ ảnh độ phân giải cao mô 𝑁1 𝑁2 kích cỡ ảnh Biểu thức cấu trúc đồng dạng hai ảnh SSIM định nghĩa sau: 𝑆𝑆𝐼𝑀 (𝑥, 𝑦) = (2𝜇𝑟 𝜇𝑜 + 𝑐1 )(2𝜎𝑟𝑜 + 𝑐2 ) + 𝜇𝑜2 + 𝑐1 )(𝜎𝑟2 + 𝜎𝑜2 + 𝑐2 ) (𝜇𝑟2 Trong đó: 𝑆𝑆𝐼𝑀 ≤ 𝜇𝑟 , 𝜇𝑜 giá trị trung bình ảnh độ phân giải cao mô ảnh tham khảo 𝜎2𝑟 , 𝜎2𝑜 giái trị phương sai ảnh độ phân giải cao mô ảnh tham khảo 𝜎𝑟𝑜 hiệp phương sai ảnh độ phân giải cao mô ảnh tham khảo 𝑐1 , 𝑐2 hai số có giá trị bằng: 𝑐1 = (0.01 ∗ 255)2 , 𝑐2 = (0.03 ∗ 255) 23 Ở lần đánh giá đầu tiên, tiến hành so sánh ảnh chân dung xử lý thuật toán truy hồi từ ảnh độ phân giải thấp, bị mờ nhiễu với phương pháp nội suy Bicubic SSIM PSNR Truy hồi Bicubic Truy hồi Bicubic Ảnh 0.989826 0.966772 34.04834 29.02973 Ảnh 0.999674 0.998540 34.77856 29.27552 Ảnh 0.968895 0.944723 22.41681 19.87471 Ảnh 0.991467 0.858155 32.72368 28.73401 Ảnh 0.999357 0.998560 34.99602 29.25183 Bảng 3-1 Kết so sánh lần thứ Hình 3-3 Ảnh kết từ lần đánh giá thứ A - Ảnh gốc, B - Ảnh độ phân giải cao sử dụng phương pháp nội suy Bicubic, C - Ảnh kết phương pháp truy hồi Ở lần đánh giá thứ hai, tiến hành so sánh ảnh chân dung xử lý thuật toán truy hồi từ ảnh độ phân giải thấp bị mờ nhiễu nhiều với phương pháp nội suy Bicubic Truy hồi Bicubic Truy hồi PSNR Bicubic SSIM Ảnh 0.97860 0.96713 30.9168 30.0278 Ảnh 0.99894 0.99925 31.1802 30.4793 Ảnh 0.95995 0.94764 20.2468 20.6556 Ảnh 0.94712 0.86084 30.9537 30.1830 Ảnh 0.99876 0.99914 30.5288 30.5686 Bảng 3-2 Kết so sánh lần thứ hai 24 Hình 3-4 Ảnh kết từ lần đánh giá thứ hai A - Ảnh gốc, B - Ảnh độ phân giải cao sử dụng phương pháp nội suy Bicubic, C - Ảnh kết phương pháp truy hồi 25 CHƯƠNG : KẾT LUẬN – HƯỚNG PHÁT TRIỂN I KẾT LUẬN KẾT LUẬN Sau khoảng tháng thực đề tài, em nghiên cứu xây dựng thuật toán giúp xây dựng ảnh độ phân giải cao từ tập ảnh độ phân giải thấp, giải khó khăn chi phí hao tốn phần cứng Đã hoàn thành nội dung mà đề tài yêu cầu việc tìm hiểu thuật toán truy hồi, chứng minh toán tử theo mô hình tiến mô hình lùi, xây dựng thành ứng dụng thực tế từ Java Nhận kết tốt tiến hành kiểm tra, đánh giá tập liệu mẫu HẠN CHẾ Khả lập trình chưa tốt tìm hiểu Java nên ứng dụng đôi lúc xảy lỗi nhỏ Tính giao diện thiết kế đơn giản mức độ báo cáo, trình diễn Đã tiến hành kiểm thử tập liệu mẫu, nhiên tính chất cá nhân nên tập liệu mẫu chưa phong phú, đa dạng, chưa đánh giá thuật toán cách toàn diện đầy đủ Trong trình thực nghiệm, ứng dụng cho ảnh kết không vượt trội so với phương pháp khác, xây dựng ảnh độ phân giải cao từ tập ảnh độ phân giải thấp bị mờ nhiễu nhiều II HƯỚNG PHÁT TRIỂN Với mong muốn chắt lọc kỹ thuật hiệu giúp xây dựng nên ứng dụng nâng cao độ phân giải có chất lượng tốt hơn, em mong nhận ý kiến đóng góp từ Thầy, Cô để cải tiến hạn chế mắc phải theo hướng Xây dựng thêm cải tiến toán tử, hàm chức để xử lý ảnh màu Nâng cao khả lập trình ngôn ngữ Java, cải tiến giao diện, thẩm mỹ hơn, chuyên nghiệp Trong tương lai xây dựng thành ứng dụng hoàn chỉnh, ứng dụng lên lĩnh vực cụ thể Y khoa Địa lý… 26 TÀI LIỆU THAM KHẢO [1] Michal Irani, 1990 Improving Resolution by Image Registration Jerusalem: The Hebrew University of Jerusalem [2] D Betrsekas, 1995 NONLINEAR PROGRAMMING 2th ed Belmont: Massachusetts Institute of Technology [3] Nguyễn Quang Hoan, 2006 Xử Lý Ảnh Hà Nội: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG [4] Steven W Nydick, 2012 Matrix Derivatives the Easy Way Minneapolis: University of Minnesota 27 [...]... cảnh Nó cải thiện độ phân giải ảnh bằng cách hợp nhất những thông tin đó để tạo ra ảnh có độ phân giải cao tốt hơn Hình 2-3 Kỹ thuật multi frame Sử dụng thông tin từ các ảnh độ phân giải thấp để tạo ảnh độ phân giải cao 9 II THUẬT TOÁN TRUY HỒI 1 MÔ HÌNH QUAN SÁT MÔ HÌNH TIẾN Ảnh độ phân giải cao Dịch chuyển Làm mờ ảnh Giảm mẫu Nhiễu Ảnh độ phân giải thấp MÔ HÌNH LÙI Hình 2-4 Mô hình quan sát Ảnh độ. .. )(𝑦𝑥 − 𝑦1 ) 4 SIÊU ĐỘ PHÂN GIẢI Siêu độ phân giải là một kỹ thuật nhằm nâng cao độ phân giải của hình ảnh qua đó cung cấp ảnh rõ hơn, có chi tiết tốt hơn Có hai kỹ thuật chính được sử dụng để tăng độ phân giải ảnh, đó là kỹ thuật single frame và kỹ thuật multi frame 3.1 KỸ THUẬT SINGLE FRAME Kỹ thuật single frame: là kỹ thuật làm tăng chất lượng ảnh bằng cách loại bỏ mờ ra khỏi ảnh bằng việc phân tích... giá và nhận xét Lưu ảnh: cho phép lưu lại ảnh để dễ dàng phân tích, đánh giá sau này II KẾT QUẢ THỰC NGHIỆM Để đánh giá thuật toán ta tiến hành sử dụng một số ảnh được tải từ Internet để làm mẫu Tập ảnh được sử dụng để kiểm tra Hình 3-2 Tập ảnh mẫu Ảnh gốc là ảnh có độ phân giải 1920 x 1200 pixel Ảnh độ phân giải thấp được sử dụng để mô phỏng bằng thuật toán truy hồi có độ phân giải là 960 x 600 pixel... điểm ảnh Máy tính hay máy in sử dụng những ô vuông nhỏ này để hiển thị hay in ra bức ảnh 2.3 SUBPIXEL Trong ảnh màu, mỗi một điểm ảnh được tạo thành từ subpixel màu đỏ, xanh lá và xanh lam 2.4 ĐỘ PHÂN GIẢI ẢNH Độ phân giải ảnh là số điểm ảnh (pixel) có trên 1 đơn vị chiều dài của hình ảnh đó Độ phân giải ảnh được tính bằng đơn vị ppi (pixels per inch) hoặc dpi (dots per inch) Hình ảnh có độ phân giải. .. lớp JFileChooser để người dùng lựa chọn một ảnh theo ý muốn để kiểm tra hoạt động của ứng dụng Xứ lý ảnh bằng thuật toán: Tiến hành tạo tập độ lệch tương ứng với số ảnh độ phân giải thấp cần xây dựng (trong báo cáo này độ lệch có giá trị nhỏ hơn 1 và lớn hơn 0) Xây dựng tập ảnh độ phân giải thấp bằng việc áp dụng các toán tử giảm mẫu, làm mờ bằng bộ lọc Gaussian, dịch chuyển ảnh bằng tập độ lệch đã... lặp nhất định, hoặc khi ta thu được một ảnh được một ảnh độ phân giải cao với một sai số chấp nhận được Ứng dụng hoạt động ổn định, chính xác, xác suất gặp lỗi ít 2 Mở ảnh MÔ HÌNH HOẠT ĐỘNG CỦA ỨNG DỤNG Xử lý ảnh bằng thuật toán Lưu ảnh Hình 3-1 Mô hình hoạt động của ứng dụng Ảnh được người dùng chọn, sau đó sử dụng thuật toán để xử lý rồi cho ra kết quả Mở ảnh: Sử dụng các hàm trong gói thư viện Swing... nghệ này phục hồi lại đường biên của ảnh bị mờ gây ra bởi việc phóng đại ảnh Do đó nó có thể cải thiện chất lương và màu sắc của ảnh được tái tạo 8 Hình 2-2 Kỹ thuật single frame Phân tích, xử lý những thông tin từ ảnh độ phân giải thấp để tạo ảnh độ phân giải cao 3.2 KỸ THUẬT MULTI FRAME Kỹ thuật multi frame: là kỹ thuật sử dụng sự dịch chuyển của các subpixel giữa những ảnh độ phân giải thấp của... độ phân giải cao sau khi xử lý qua các toán tử theo mô hình tiến sẽ cho ra ảnh độ phân giải thấp Trong quá trình thu nhận, ảnh có thể bị mất thông tin dẫn đến bị mờ, nhiễu, răng cưa do sự biến dạng quang học, giới hạn của tốc độ màn chập, mật độ cảm biến không đủ, nhiễu do cảm biến hoặc trong quá trình chuyển đổi Nhiệm vụ của thuật toán là phải tạo được ảnh có độ phân giải cao từ những ảnh độ phân giải. . .Thuật toán tái tạo dựa trên tập cơ sở: là kỹ thuật cho phép một hoặc nhiều ảnh độ phân giải cao bằng cách khai thác thông tin từ tập ảnh độ phân giải thấp của cùng một khung cảnh Có một khó khăn là hầu hết những kỹ thuật siêu độ phân giải được định nghĩa trong miền tần số, do đó nó sẽ bị hạn chế khi theo dõi chuyển động và không gian tuyến tính bất biến mờ Do đó những kỹ thuật trong miền... trên Kỹ thuật truy hồi là một trong những kỹ thuật được phát triển trong miền không gian II MỤC TIÊU - PHẠM VI ĐỀ TÀI 1 MỤC TIÊU Với đề tài này em hy vọng sẽ chắt lọc được một thuật toán tốt, giúp xây dựng ra hình ảnh có độ phân giải cao từ những ảnh độ phân giải thấp Giúp giảm hao tốn phần cứng, tiết kiệm chi phí cho những công cụ đắt tiền để ghi và hiển thị ảnh độ phân giải cao Cung cấp giải pháp ... ảnh độ phân giải thấp Kỹ thuật siêu độ phân giải đóng vai trò quan trọng việc xây dựng ảnh độ phân giải cao từ ảnh độ phân giải thấp Kỹ thuật siêu độ phân giải ứng dụng nhiều thiết bị di động,... )(