Giải thuật hiệu quả cho kỹ thuật siêu phân giải ảnh

Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong TÓM TẮT Trong hầu hết ứng dụng ảnh số ngày này, cách ảnh với độ phân giải cao quan tâm chờ đợi Các kỹ thuật công nghệ cảm biến ảnh CCD CMOS chưa đem lại hài lịng người Các lí thuyết khơi phục siêu phân giải ảnh đem lại nhiều lợi ích để khắc phục vấn đề Tuy nhiên, giải thuật siêu phân giải ảnh khó để thực dừng lại ứng dụng điện toán Trong đề tài này, chúng tơi tìm hiểu giải thuật hiệu để chuyển kỹ thuật siêu phân giải sang phần cứng Chúng chọn giải thuật tương quan pha đăng ký ảnh để tạo sức mạnh xử lí siêu phân giải Ưu điểm giải pháp tốc độ thực thi Vì hạn chế kit DSP TMS320C6711 nên thực thi phần cứng phần cơng đoạn đăng ký ảnh Tồn khâu ước lượng chuyển động xoay ảnh thực thi kit DSP TMS320C6711 cho kết xác Chúng tơi kết hợp Matlab với kit DSP TMS320C6711 để thực hoàn chỉnh giải thuật khôi phục siêu phân giải ảnh Kết ảnh ngõ ấn tượng Mặc dù tương lai chúng tơi cịn phải hồn chỉnh thêm giải thuật phần cứng tài liệu hữu ích để tham khảo, nghiên cứu i HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong ABSTRACT In most electronic applications, images with high resolutions are always desired and required The current CCD and CMOS technique can’t bring the satisfaction to future demand The new digital processing theory for image super-resolution gives much of advantages However, the superresolution is very difficult to find the efficient algorithm for applications Most of current algorithms are just applied on computer aid In this paper, we try to an efficient algorithm that it can be applied in hardware We use the phase correlation for registration in image super-resolution This algorithm is good in robust and fast image super-resolution Because of the limitation of our DSP TMS320C6711 kit, a part of the registration is implemented on DSP kit The whole step of rotation estimation of image registration was coded in DSP kit and it gave good result We also incorporate both Matlab and DSP TMS320C6711 kit to simulate the whole of super resolution algorithm using phase correlation in registration This gave impressive output There are lots of works in the future that we improve but this document can be helpful for us to research Keywords: Super-resolution, high-resolution, low-resolution, phase correlation, registration ii HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong MỤC LỤC Chương GIỚI THIỆU 1-1 1.1 PHÂN GIẢI ẢNH 1-2 1.2 KHÔI PHỤC SIÊU PHÂN GIẢI ẢNH 1-2 1.3 TỔNG QUAN VỀ TÌNH HÌNH NGHIÊN CỨU HIỆN NAY 1-3 1.4 MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU 1-5 1.4.1 Mục tiêu 1-5 1.4.2 Đối tượng phạm vi nghiên cứu 1-6 1.5 NỘI DUNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU .1-6 1.5.1 Nội dung 1-6 1.5.2 Phương pháp nghiên cứu 1-6 1.6 Ý NGHĨA ĐỀ TÀI 1-7 Chương CƠ SỞ SIÊU PHÂN GIẢI ẢNH VÀ GIẢI THUẬT HIỆU QUẢ .2-1 2.1 LẤY MẪU ẢNH .2-1 2.1.1 Phương pháp lấy mẫu đa kênh 2-2 2.1.2 Phương pháp lấy mẫu đa kênh với tín hiệu băng thơng giới hạn .2-4 2.1.3 Ví dụ 2-6 2.2 ALIASING .2-9 2.3 KHÔI PHỤC SIÊU PHÂN GIẢI ẢNH .2-11 2.3.1 Mơ hình quan sát 2-11 2.3.2 Khôi phục siêu phân giải ảnh miền tần số 2-14 2.3.3 Phương pháp chuẩn hóa Lagrange 2-15 2.3.4 Phương pháp ML (Maximum-Likehood) .2-16 2.3.5 Phương pháp MAP 2-17 2.3.6 Phương pháp Bayesian 2-19 2.3.7 Khôi phục siêu phân giải ảnh giải thuật POCs .2-22 2.3.8 Khôi phục siêu phân giải ảnh phương pháp lấy mẫu không đồng 2-24 2.4 SO SÁNH CÁC PHƯƠNG PHÁP 2-24 2.5 GIẢI THUẬT HIỆU QUẢ 2-26 2.5.1 Đăng ký ảnh dùng tương quan pha 2-27 2.5.2 Tăng mẫu không đồng 2-28 Chương ĐĂNG KÝ ẢNH 3-1 3.1 SƠ LƯỢT VỀ CÁC PHƯƠNG PHÁP ĐĂNG KÝ ẢNH .3-1 3.1.1 Phương pháp nhận dạng đặc điểm 3-1 3.1.2 Phương pháp liên kết đặc điểm .3-2 3.1.3 Phương pháp đường biên Crambo-Rao 3-4 3.1.4 Phương pháp ước lượng dùng biến đổi mơ hình 3-6 3.2 ĐĂNG KÝ ẢNH SỬ DỤNG PHƯƠNG PHÁP TƯƠNG QUAN PHA .3-7 3.2.1 Phân tích Fourier không gian ảnh 1D 3-7 3.2.2 Phân tích Fourier khơng gian ảnh 2D 3-11 3.2.3 Phân tích tương quan pha .3-12 3.2.4 Đăng ký ảnh sử dụng phương pháp tương quan pha 3-14 Chương TĂNG MẪU VÀ KHÔI PHỤC ẢNH 4-1 4.1 TĂNG MẪU 4-1 4.2 BỘ LỌC KHÔI PHỤC 4-4 4.3 ĐÁNH GIÁ CHẤT LƯỢNG ẢNH KHÔI PHỤC 4-7 Chương DSK TMS320C6711 .5-1 5.1 DSK TMS320C6711 5-1 5.1.1 DSK board 5-2 iii HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong 5.1.2 Bộ xử lí C6711 5-2 5.1.3 Tiện ích CCS 5-3 5.2 KIẾN TRÚC VÀ TẬP LỆNH TMS320C6711 .5-4 5.2.1 Kiến trúc C6711 5-5 5.2.2 Một số lệnh thường gặp 5-7 5.3 GIAO TIẾP RTDX 5-14 5.3.1 Cấu hình RTDX 5-15 5.3.2 Gởi liệu dùng RTDX 5-16 5.3.3 Nhận liệu dùng RTDX .5-17 Chương GIẢI THUẬT VÀ KẾT QUẢ VỚI MATLAB 6-1 6.1 GIẢI THUẬT SIÊU PHÂN GIẢI ẢNH 6-1 6.2 GIẢI THUẬT ĐĂNG KÝ ẢNH .6-3 6.2.1 Ước lượng xoay 6-3 6.2.2 Ước lượng trượt 6-5 6.3 GIẢI THUẬT TĂNG MẪU ẢNH ẢNH SIÊU PHÂN GIẢI 6-6 6.4 KẾT QUẢ CHẠY MÔ PHỎNG .6-7 6.4.1 Mô đăng ký ảnh .6-7 6.4.2 Mô siêu phân giải ảnh 6-13 6.4.3 So sánh độ lệch ảnh với ảnh ngõ vào khác 6-14 6.4.4 So sánh với phương pháp khác .6-17 6.4.5 Chất lượng ảnh yếu tố ảnh hưởng 6-18 Chương KẾT HỢP MATLAB VỚI TMS320C6711 ĐỂ MÔ PHỎNG SIÊU PHÂN GIẢI ẢNH 7-1 7.1 GIẢI THUẬT ƯỚC LƯỢNG XOAY TRÊN TMS320C6711 7-1 7.2 KẾT QUẢ MÔ PHỎNG 7-2 Chương KẾT LUẬN 8-1 8.1 NHỮNG VẤN ĐỀ ĐẠT ĐƯỢC .8-1 8.2 HƯỚNG PHÁT TRIỂN TƯƠNG LAI 8-2 8.2.1 Những hạn chế đề tài 8-2 8.2.2 Hướng phát triển đề tài .8-2 iv HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong DANH SÁCH HÌNH Hình 1-1 Ảnh LR bên trái ảnh SR bên phải 1-1 Hình 1-2 Sơ lượt giải thuật siêu phân giải ảnh 1-3 Hình 1-3 So sánh hai phương pháp khơi phục siêu phân giải ảnh Bayesian MAP 1-4 Hình 1-4 Sơ đồ ảnh hưởng dẫn đến ảnh chất lượng thấp 1-5 Hình 2-1 Lấy mẫu đồng .2-2 Hình 2-2 Lấy mẫu không đồng 2-2 Hình 2-3 Lấy mẫu đa kênh 2-3 Hình 2-4 Lấy mẫu đa kênh lấy mẫu đơn kênh (a) Lấy mẫu đa kênh với M =2, bao gồm tập hợp mẫu y0 y1 (b) Lấy mẫu đơn kênh 2-4 Hình 2-5 Lấy mẫu với tín hiệu tuần hoàn 2-6 Hình 2-6 Lấy mẫu với tín hiệu đa thức bậc hai 2-7 Hình 2-7 Lấy mẫu với tín khơng liên tục 2-8 Hình 2-8 Mơ hình giám sát siêu phân giải ảnh 2-11 Hình 2-9 Sự cần thiết việc tăng mẫu lên ma trận HR 2-12 Hình 2-10 PSF cảm biến ảnh LR .2-12 Hình 2-11 Phổ ảnh Aliased ảnh gốc 2-14 Hình 2-12 Hàm tiềm Huber .2-18 Hình 2-13 Hàm tiềm Huber .2-18 Hình 2-14 Minh họa phương pháp chiếu 2-22 Hình 2-15 Giải thuật POCs kết hợp miền tần số miền khơng gian 2-23 Hình 2-16 Siêu phân giải dùng phương pháp lẫy mẫu không đồng 2-24 Hình 2-17 Kết siêu phân giải từ tạp chí IEEE (a) siêu phân giải dùng phương pháp lấy tăng mẫu không đồng đều, (b) Phương pháp chuẩn hóa Lagrange, (c) Phương pháp MAP, (d) Phương pháp POCs 2-25 Hình 2-18 Siêu phân giải ảnh dùng tương quan pha 2-26 Hình 3-1 Ảnh gốc ảnh cần đăng ký 3-1 Hình 3-2 Ảnh đại diện cho phương pháp đăng ký ảnh dùng tưong quan pha 3-2 Hình 3-3 Ảnh đại diện cho đăng ký ảnh dùng phương pháp MI 3-3 Hình 3-4 Các ảnh dùng mơ hình biến đổi tồn diện cục 3-7 Hình 3-5 Phổ tín hiệu rời rạc .3-8 Hình 3-6 Tính chu kỳ đối xứng hệ số W 3-9 Hình 3-7 Ví dụ tính FFT với N = dùng giải thuật Radix .3-11 Hình 3-8 Mơ hình biến đổi Fourier 2D 3-11 Hình 3-9 Biến đổi FFT cho ảnh 2D 3-12 Hình 3-10 Tương quan pha ảnh chụp liên tiếp 3-13 Hình 3-11 Giải thuật ước lượng có tỉ lệ 3-15 Hình 3-12 Phổ hai ảnh tương quan 3-16 Hình 3-13 Phổ tương quan pha hai ảnh 3-17 Hình 4-1 Tăng mẫu làm hồi phục lượng tín hiệu gốc 4-1 Hình 4-2 Hàm đáp ứng lân cận 4-2 Hình 4-3 Đáp ứng tần số hàm lân cận 4-2 Hình 4-4 Đáp ứng tần số tăng mẫu dùng phương pháp tuyến tính 4-3 Hình 4-5 Phổ hàm lõi Bicubic 4-4 Hình 4-6 Đáp ứng lọc thông thấp không gian 2D 4-5 Hình 4-7 Bộ lọc nghịch đảo kết hợp với triệt nhiễu Wavelet 4-6 Hình 4-8 Kết hợp lọc CLS triệt nhiễu Wavelet 4-6 Hình 4-9 Mơ hình lọc khơi phục ảnh với giải thuật redundant 4-6 Hình 4-10 Chi tiết Wavelet redundant 4-7 v HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Hình 4-11 Sự phụ thuộc chất lượng khơi phục ảnh số ảnh ngõ vào .4-7 Hình 4-12 Sự phụ thuộc vào độ xác giải thuật 4-8 Hình 5-1 Ảnh DSK TMS320C6711 5-1 Hình 5-2 Các khối giao tiếp DSK TMS320C6711 5-2 Hình 5-3 Các bước thực để nạp chương dịch chương trình cho DSK 5-3 Hình 5-4 Kiến trúc vi xử lí C6711 5-5 Hình 5-5 Sơ đồ truy xuất vùng nhớ C6711 5-6 Hình 5-6 Sơ đồ giao tiếp HSRTDX 5-14 Hình 5-7 Cửa sổ cho phép sử dụng công cụ RTDX 5-15 Hình 5-8 Cửa sổ cấu hình giao tiếp RTDX 5-15 Hình 5-9 Cửa sổ cấu hình tốc độ, mode truyền liệu 5-16 Hình 6-1 Giao diện chương trình 6-1 Hình 6-2 Giải thuật siêu phân giải ảnh .6-2 Hình 6-3 Giải thuật đăng ký ảnh .6-3 Hình 6-4 Sơ đồ khối thực ước lượng góc xoay 6-4 Hình 6-5 Sơ đồ ước lượng dịch chuyển trượt 6-5 Hình 6-6 Giải thuật tăng mẫu ảnh .6-6 Hình 6-7 Ảnh dùng để mơ ước lượng dịch chuyển(a) θ = −1 , x=-1,y=-1; (a) θ = , x=2,y=2; θ = −2 , x=-2,y=-2; θ = , x=3,y=3; θ = −3 , x=-3,y=-3; θ = , x=4,y=4; θ = −4 , x=-4,y=-4; 6-8 Hình 6-8 Ảnh lâu đài áp dụng để so sánh phương pháp đăng ký ảnh .6-10 Hình 6-9 Ảnh dùng để phân tích độ xác đăng ký ảnh dùng tương quan pha 6-12 Hình 6-10 Ảnh đùng để phân tích độ xác đăng ký ảnh dùng tương quan pha 6-13 Hình 6-11 Ảnh ngõ SR với độ phân giải nhân đơi .6-13 Hình 6-12 So sánh độ rõ ảnh vùng ảnh LR ảnh SR 6-14 Hình 6-13 4xẢnh LR Lena ngõ vào 6-14 Hình 6-14 Ảnh siêu phân giải Lena ngõ .6-15 Hình 6-15 Ảnh Lena phóng to để so sánh 6-15 Hình 6-16 4xẢnh LR text ngõ vào 6-16 Hình 6-17 Ảnh SR text ngõ 6-16 Hình 6-18 Ảnh text phóng to để so sánh 6-16 Hình 6-19 So sánh kết siêu phân giải với giải thuật khác nhau: (a) giải thuật tương quan phase, (b) giải thuật marcel, (c) giải thuật Lucchese, (d) giải thuật Karent 6-17 Hình 6-20 Ảnh phóng lớn để dễ quan sát chất lượng ảnh 6-17 Hình 6-21 Quan hệ MSE số ảnh ngõ vào 6-18 Hình 6-22 Quan hệ MSE độ đăng ký ảnh 6-19 Hình 7-1 Giao tiếp MATLAB TMS320C6711 để mơ 7-1 Hình 7-2 Giải thuật kết hợp MATLAB TMS320C6711 trình ước lượng góc dịch chuyển 7-1 Hình 7-3 Giải thuật tìm maximum correlation TMS320C6711 7-2 Hình 7-4 Kết siêu phân giải ảnh sử dụng TMS320C6711 MATLAB 7-3 Hình 8-1 Mơ hình siêu phân giải ảnh sử dụng Wavelet triệt nhiễu 8-2 Hình 8-2 Ảnh khôi phục siêu phân giải tác giả Nhat Nguyen với giải thuật Wavelet 8-3 vi HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong DANH SÁCH BẢNG Table 2-1 Bảng so sánh ưu khuyết điểm giải thuật .2-25 Table 6-1 Kết ước lượng với độ xác 0.001 6-8 Table 6-2 Kết ước lượng với độ xác 0.05 6-9 Table 6-3 Bảng so sánh độ lệch đăng ký ảnh với giải thuật Marcel, Lucchese, Karent 6-11 Table 6-4 Bảng so sánh độ xác đăng ký ảnh với ảnh khác 6-12 Table 6-5 So sánh giải thuật .6-18 vii HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong CÁC THUẬT NGỮ VIẾT TẮT GIẢI THÍCH (TIẾNG ANH) CLS Constraint least square DCT Discrete cosine transform EA Efficient algorithm FFT Fast fourier transform FOV Feild of view GN Gauss-Newton HD Hausdorff distance HR High resoluttion ICA Inverse compositional algorithm IR Infared JPEG Joint photographic expert group LM Levenberg-Marquardt LR Low resolution MPEG Moving picture expert group OA Orginal algorithm PSF Point spread function PSNR Peak signal to noise ratio RMSE Root mean square error ROI Region of interest SR Supper resolution SRIR Super resolution image reconstruction SSD Sum of square differences VOP Video object plane ZOS Zero order statics viii HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Chương GIỚI THIỆU Trong hầu hết ứng dụng, thường mong chờ yêu cầu ảnh có độ siêu phân giải (HR) Các ảnh siêu phân giải đề cập đến ảnh có mật độ pixel cao, ảnh siêu phân giải cho chi tiết rõ ràng hơn, ứng dụng nhiều thực tế Ta lấy ví dụ điển hình y học, ảnh y học hữu ích cho bác sỹ khảo sát hay chuẩn bệnh xác, làm cho việc phân tích ảnh dễ dàng hơn, tiến hành việc nhận dạng đối tượng từ đối tượng tương tự môi trường máy tính tốt sử dụng ảnh siêu phân giải Kể từ năm 1970, cảm biến ảnh CHARGE-COUPLED device (CCD) CMOS sử dụng rộng rãi xử lí ảnh Mặc dù cảm biến phù hợp cho hầu hết ứng dụng, nhiên độ phân giải giá khơng đáp ứng nhu cầu tương lai Chẳng hạn máy ảnh chuyên dụng cho chất lượng tốt phí hàng ngàn USD khiến cho việc phổ thông ảnh siêu phân giải hạn hẹp Từ lí thiết thực này, việc tìm kiếm giải pháp để tăng độ phân giải điều cần thiết Hình 1-1 Ảnh LR bên trái ảnh SR bên phải Giải pháp trực tiếp sử dụng nhiều tăng cường không gian phân giải cách giảm kích cỡ pixel (tức tăng mật độ sensor đơn vị diện tích) sử dụng công nghệ sản xuất cảm biến đại Cùng với việc giảm kích cỡ pixel, đem lại phiền toái chất lượng ảnh giảm Nó tạo nhiễu nhiệt ảnh đáng để quan tâm Do cơng nghệ cảm biến phải kèm với việc khử nhiễu điều dĩ nhiên việc giảm kích cỡ cảm biến ảnh phải đạt đến giới hạn định Và hầu hết công nghệ cảm biến đạt đến giới hạn Cách tiếp cạnh khác dựa sở việc thay đổi cấu trúc phần cứng thiết bị thu ảnh tăng cường kích cỡ chip Giải pháp nhìn chung giảm nhiễu mà nhà cơng nghệ phải đối đầu giải pháp Tuy nhiên, cịn thiếu sót mà cần phải khắc phục Đó tốc độ thực thi, độ nhạy cảm biến phải quan tâm nhiều 1-1 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Nó đem lại nhiều chi phí cho việc sử dụng ống kính quang học đắt tiền Chúng ta tìm thấy thiếu sót cho cách tiếp cận Môt giải pháp đem lại nhiều hứa hẹn đề cập đề tài ứng dụng phương pháp xử lí tín hiệu số để tạo ảnh siêu phân giải Giải pháp nghiên cứu tích cực với tên gọi chung: khơi phục siêu phân giải ảnh (image super-resolution reconstruction) Với giải pháp này, chất lượng hình ảnh tăng lên đáng kể khơng làm tăng chi phí sản xuất (hình 1.1) Các tiếp cận xử lí tín hiệu số thay thay đổi công nghệ phần cứng để tăng cường độ siêu phân giải ảnh Các đặc trưng số chuỗi ảnh phân tích ước lượng nhằm xây dựng thông tin chi tiết ảnh lượt bỏ Chúng ta tìm hiểu chi tiết phần sau Tầm quan trọng khả ứng dụng phương pháp khẳng định từ thành tựu thực tế Khó khăn lớn kỹ thuật siêu phân giải ảnh dùng xử lí số độ phức tạp tính tốn Chính hầu hết giải pháp nghiên cứu khôi phục siêu phân giải ứng dụng mơi trường điện tốn Với mục đích mở rộng hướng ứng dụng, xin giới thiệu giải thuật siêu phân giải ảnh hiệu cho kỹ thuật siêu phân giải ảnh để phần cứng hóa lí thuyết Chúng tơi kết hợp phương pháp miền tần số kỹ thuật tương quan pha phương pháp lấy mẫu không đồng miền không gian để giảm bớt khối lượng tính tốn mà đảm bảo chất lượng ảnh 1.1 PHÂN GIẢI ẢNH Trước tiên phải xác định hiểu thuật ngữ siêu phân giải ảnh gì? Nếu có ảnh có kích cỡ 10x20 sau phóng to lên kích thước 20x40 Vậy độ phân giải ảnh có thay đổi khơng? Câu trả lời xác độ phân giải ảnh khơng xác định kích thước ảnh Ta tìm hiểu cơng thức độ phân giải: S= R A (1.1) Trong S độ phân giải ảnh, R tổng số pixel ảnh, A diện tích ảnh Đối với hệ thống máy in, đơn vị DPI thường sử dụng xác định DOTs/INCH Cịn xử lý đồ họa người ta dùng độ phân giải hình Nó đặc trưng cho số lượng pixel hình tương ứng Độ phân giải ảnh ứng dụng nhiều trong lĩnh vực imaging Nó dùng để xác định chất lượng ảnh 1.2 KHÔI PHỤC SIÊU PHÂN GIẢI ẢNH Như đề cập lúc giới thiệu đề tài này, khôi phục siêu phân giải ảnh (SR) phương pháp khôi phục thông tin chi tiết ảnh bị đánh q trình lấy mẫu hay lí Phương pháp khơi phục siêu phân giải ảnh phương pháp xử lí số khơng gian 2-D 1-2 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong σ= µ= N N ∑ (x − x N ∑ x −x i =1 i i0 )2 (6.1) N i =1 (6.2) i0 i Để áp dụng công thức (6.2) (6.1), áp dụng giải thuật đăng ký ảnh với 150 trường hợp khác ảnh hình 6-7 Kết chạy độ lệch so với phương pháp Lucchese, Kerent, Marcel: Table 6-3 Bảng so sánh độ lệch đăng ký ảnh với giải thuật Marcel, Lucchese, Karent Kiểu ước lượng Xoay Phase correlation µ σ 0.029 Lucchese µ σ 0.038 1.999 11.522 Dịch 0.126 chuyển Thời gian chạy Marcel 5’ Karent µ σ µ σ 0.327 0.417 0.019 0.027 0.191 19.03 79.086 0.142 0.181 0.053 0.071 4’ 6’ 15’ Với kết từ bảng so sánh, ta thấy độ xác giải thuật tương quan phase chấp nhận so với giải thuật khác So với giải thuật Karent kết thi xác chi phí tính toán giảm bớt Một vấn đề cần quan tâm phụ thuộc đăng ký ảnh có phụ thuộc vào loại ảnh 6-11 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Hình 6-9 Ảnh dùng để phân tích độ xác đăng ký ảnh dùng tương quan pha Table 6-4 Bảng so sánh độ xác đăng ký ảnh với ảnh khác Kiểu ước lượng Xoay Ảnh 1.8a σ Ảnh 1.8b µ Ảnh 1.8c µ σ σ µ 0.029 0.038 0.025 0.027 0.020 0.031 Dịch 0.126 chuyển 0.191 0.063 0.066 0.256 0.316 Như độ xác đăng ký ảnh phụ thuộc vào đặc trưng ảnh Đối với ước lượng trượt, tất ảnh cho kết xác Đối với ước lượng xoay, hình 18.c cho kết sai lệch, điều dễ giải thích phương pháp tương quan pha cho kết xác số ảnh khơng có chiều rõ ràng 6-12 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong 6.4.2 Mô siêu phân giải ảnh Trong phần thực mô đăng ký ảnh dùng tương quan pha Trong phần này, ứng dụng kết vào kỹ thuật siêu phân giải ảnh Để đơn giản, se thực mô với chuỗi ảnh ngõ vào 4, tỉ lệ tăng phân giải 2x2 Hình 6-10 Ảnh đùng để phân tích độ xác đăng ký ảnh dùng tương quan pha Hình 6-11 Ảnh ngõ SR với độ phân giải nhân đôi 6-13 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong (a) (b) (c) (d) Hình 6-12 So sánh độ rõ ảnh vùng ảnh LR ảnh SR Quan sát vùng ảnh LR SR, ta thấy độ phân giải ảnh tăng lên đáng kể Thời gian để thực tồn q trình mơ 65 phút 6.4.3 So sánh độ lệch ảnh với ảnh ngõ vào khác Trong phần mô áp dụng giải thuật siêu phân giải với nhiều loại ảnh khác Mục đích có kết luận độ xác giải thuật với loại ảnh Hình 6-13 4xẢnh LR Lena ngõ vào 6-14 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Hình 6-14 Ảnh siêu phân giải Lena ngõ Hình 6-15 Ảnh Lena phóng to để so sánh 6-15 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Hình 6-16 4xẢnh LR text ngõ vào Hình 6-17 Ảnh SR text ngõ Hình 6-18 Ảnh text phóng to để so sánh Nhận thấy kết khôi phục siêu phân giải hình Lena cho kết tốt Nguyên nhân chủ yếu phương pháp miền tần số thể nhược điểm với ảnh chi tiết, chiều ảnh 6-16 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong 6.4.4 So sánh với phương pháp khác Hình 6-19 So sánh kết siêu phân giải với giải thuật khác nhau: (a) giải thuật tương quan phase, (b) giải thuật marcel, (c) giải thuật Lucchese, (d) giải thuật Karent Hình 6-20 Ảnh phóng lớn để dễ quan sát chất lượng ảnh 6-17 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Hình 6-19 6-18 kết siêu phân giải ảnh thực với giải thuật khác Thời gian mô giải thuật tương quan pha thấp so với giải thuật khác Về chất lượng ảnh, thấy phương pháp Karent cho kết xác Ta thấy thông qua bảng so sánh: Table 6-5 So sánh giải thuật Giải thuật Phase correlation Marcel Lucchese Kerent MSE 45 120 80 42 6.4.5 Chất lượng ảnh yếu tố ảnh hưởng 400 Castle Building 350 300 MSE 250 200 150 100 50 0 10 So anh ngo vao 12 14 16 Hình 6-21 Quan hệ MSE số ảnh ngõ vào Quan sát hình 6-20 ta thấy số lượng ảnh ngõ vào ảnh hưởng lớn đến chất lượng ảnh khôi phục, với số lượng ảnh ngõ vào nhỏ, độ sai lệch bình phương lớn Với số lượng ảnh ngõ vào lớn 4, chất lượng ảnh chấp nhận Hình 6-20 thực mơ với độ tăng phân giải chiều Nếu hệ số tăng phân giải thay đổi, số lượng ảnh ngõ vào cần thiết để chấp nhận tăng lên Cũng hình 6-20 ta thấy số lượng ảnh ngõ vào ảnh hưởng đến chất lượng ảnh ngõ đến giới hạn định Nếu với số lượng ảnh ngõ vào lớn 12, chất lượng ảnh khôi phục không thay đổi 6-18 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Hình 6-21 ảnh hưởng độ xác thực đăng ký ảnh lên kết ảnh ngõ Mô với số lượng ảnh ngõ vào hệ số nhân phân giải Như vậy, hai yếu tố quan trọng ảnh hưởng đến siêu phân giải ảnh dùng giải thuật miền tần số kết hợp tăng mẫu không đồng miền không gian là: ™ Số lượng ảnh ngõ vào ™ Độ xác giải thuật đăng ký ảnh Do thực giải thuật siêu phân giải ảnh, cần phải lựa chọn thơng số cho phù hợp với mục đích sử dụng Với số lượng ảnh ngõ vào vừa đủ độ xác giải thuật tương đối, ta có kết chấp nhận phần mơ phía Trong đề tài này, chúng tơi chọn số ảnh ngõ vào độ xác 0.1 giá trị mà hiệu để thực thiết bị phần cứng 450 Castle Building 400 350 MSE 300 250 200 150 100 50 0.1 0.2 0.3 0.4 0.5 0.6 0.7 Do chinh xac dang ky anh 0.8 0.9 Hình 6-22 Quan hệ MSE độ đăng ký ảnh 6-19 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Chương KẾT HỢP MATLAB VỚI TMS320C6711 ĐỂ MÔ PHỎNG SIÊU PHÂN GIẢI ẢNH Với mục tiêu đề tài chọn giải thuật hiệu để thực thi phần cứng, tạo bước đột phá cách áp dụng phần giải thuật kit DSK TMS320C6711 Hình 7-1 thể mơ hình hoạt động Hình 7-1 Giao tiếp MATLAB TMS320C6711 để mơ Vì có hạn chế thời gian thực đề tài nên thực việc ước lượng góc dịch chuyển TMS320C6711 Tất giải thuật khác hoàn toàn giống chương 7.1 GIẢI THUẬT ƯỚC LƯỢNG XOAY TRÊN TMS320C6711 Giải thuật ước lượng góc xoay dùng MATLAB TMS320C6711 hình 7-2: INPUT IMAGE REFERENCE IMAGE FFT2D FFT2D H FUNCTION H FUNCTION CONVOL FIND THE MAXIMUM CORRELATION ROTATION ANGLE Hình 7-2 Giải thuật kết hợp MATLAB TMS320C6711 trình ước lượng góc dịch chuyển 7-1 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Như khối tính tích chập tìm giá trị tương quan maximum thực DSK TMS320C6711 Chi tiết giải thuật, hình 7-3 thể điều READ DATA FROM RTDX BUFFER N END READING? Y I=0 I = I+1 C[I] = A[I] * B[I] IMAX = I N I = N? C[I] >= CMAX Y SEND IMAX TO PC Hình 7-3 Giải thuật tìm maximum correlation TMS320C6711 Để thực giao tiếp với MATLAB, dùng tiện ích giao tiếp truyền nhận liệu thời gian thực RTDX TMS320C6711 Các liệu thu từ RTDX cất giữ mảng chiều A B Sau bước thực nhân tích chập tìm giá trị maximum thực hình 7-3 Kết tính tích chập lưu vào mảng chiều C đồng thời so sánh để tìm vị trí có tương quan pha lớn Kết gởi ngược lại cho PC thông qua giao tiếp RTDX 7.2 KẾT QUẢ MÔ PHỎNG Thực thi giải thuật siêu phân giải ảnh DSP MATLAB với bốn ảnh màu ngõ vào Tỉ lệ tăng mẫu 2, độ xác 0.1 Kết thực hình 7-4 Chất lượng ảnh ngõ ấn tượng so với mơ MATLAB hồn tồn khơng có khác biệt Thời gian mơ lớn so với mơ MATLAB hồn tồn Tuy nhiên, phần lớn chênh lệch thời gian truyền liệu 7-2 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong (a) (b) (c) (d) Hình 7-4 Kết siêu phân giải ảnh sử dụng TMS320C6711 MATLAB 7-3 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Chương KẾT LUẬN Sau thời gian sáu tháng làm việc nghiên cứu, chúng tơi kết hợp phân tích lí thuyết siêu phân giải ảnh tại, lựa chọn giải pháp thích hợp thực thi lí thuyết Trong chương tóm tắt lại số vấn đề đạt đưa hạn chế Trên sở đó, chúng tơi định hướng phát triển 8.1 NHỮNG VẤN ĐỀ ĐẠT ĐƯỢC Bây tóm tắt lại nội dung mà suốt trình thực đề tài Bắt đầu với số mô hình quan sát siêu phân giải ảnh để đưa khái niệm siêu phân giải ảnh Chúng đề cập đến sở số phương pháp siêu phân giải ưu khuyết điểm Các phương pháp đề cập từ đơn giản phương pháp lấy mẫu không đồng đến phương pháp cho chất lượng tốt tốn lượng tính tốn giải thuật POCs Tiếp theo chúng tơi phân tích phương pháp tương quan pha miền tần số với số đặc điểm phương pháp Ưu diểm khả áp dụng thiết bị phần cứng cho kết hội tụ nhanh Chúng chọn giải pháp giải thuật hiệu xử lí ảnh để triển khai phần cứng Bên cạnh đó, chúng tơi kết hợp phương pháp hồi phục ảnh dùng ngun lí lấy mẫu khơng đồng để giảm bớt tính phức tạp đề tài Và cuối việc thực thi giải thuật hiệu thiết bị phần cứng Vì hạn chế thiết bị thí nghiệm (chúng tơi dùng kit DSP TMS320C6711 Texas Instrument) thời gian thực đề tài nên phần giải thuật đăng ký ảnh triển khai phần cứng Những khối khác siêu phân giải ảnh, sử dụng hỗ trợ MATLAB Để thấy mối quan hệ số lượng ảnh ngõ vào chất lượng ảnh ngõ ra, thực mô với số lượng ảnh ngõ vào thay đổi Kết cho thấy số lượng ảnh ngõ vào ảnh hưởng lớn đến chất lượng khôi phục siêu phân giải ảnh, nhiên ảnh hưởng đạt đến giới hạn định Tại điểm ngưỡng đó, mức độ xác đăng ký ảnh ảnh hưởng nhiều so với số lượng ảnh ngõ vào Điều nói lên rằng, hai thơng số độ xác đăng ký ảnh số lượng ảnh ngõ vào ảnh hưởng trực tiếp đến kết siêu phân giải phải cân yếu tố Nhìn chung, việc triển khai mơ lí thuyết MATLAB cho kết thuyết phục Ảnh ngõ cho kết chất lượng hoàn mỹ với tỉ lệ 2:1, số lượng ảnh ngõ vào Chúng tơi phân tích so sánh phương pháp với số phương pháp khác Lucent, hay Kerent , kết cho thấy khả ứng dụng phương pháp khả quan Việc mô phần cứng chương cho thấy kỹ thuật siêu phân giải ảnh khơng cịn mơi trường điện tốn Điều mở hướng cho kỹ thuật siêu phân giải cách tích hợp vào thiết bị chụp ảnh quay video Chúng ta có ảnh phân giải mong muốn mà khơng cần phải bỏ chi phí phần cứng Khi đó, độ phân giải ảnh khơng cịn giới hạn 8-1 HVTH: Lê Xn Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong 8.2 HƯỚNG PHÁT TRIỂN TƯƠNG LAI 8.2.1 Những hạn chế đề tài Thực ra, phương pháp tương quan pha cịn nhiều hạn chế có ưu điểm xử lí Trước tiên, phương pháp áp dụng cho ảnh gốc HR có băng thơng giới hạn, chuyển động ảnh có tính chất planar có chi tiết thị hướng Chúng ta thấy phần mơ chương 6, sai số trung bình bình phương MSE ảnh khơi phục phụ thuộc vào loại ảnh Do đó, mặt chất lượng phương pháp cho kết không ổn định Do đó, cần phải khắc phục nhược điểm tìm giải pháp khác hiệu Tiếp theo, phần tăng mẫu khôi phục, phương pháp Bicubic với lọc ngược Weiner thể yếu điểm lọc nhiễu Nhiễu xuất lớn ảnh khôi phục Cuối việc thực phần cứng, phần giải thuật thực phần cứng nên khơng thấy rõ ứng dụng thực tế Nguyên nhân chủ yếu vấn đề đầu tư chưa triệt để vào đề tài 8.2.2 Hướng phát triển đề tài Với phân tích có từ q trình thực đề tài, chúng tơi đề nghị mơ hình cho kỹ thuật siêu phân giải sau: Hình 8-1 Mơ hình siêu phân giải ảnh sử dụng Wavelet triệt nhiễu Việc cải tiến cách thêm triệt nhiễu dùng Wavelet nhằm cải thiện chất lượng ảnh Chúng ta thấy điều thông qua kết thu từ tác giả Nhat Nguyen [57] ví dụ minh họa hình 8-2 Tác giả sử dụng kỹ thuật triệt nhiễu Wavelet kỹ thuật siêu phân giải So với kết đạt phương pháp tại, kỹ thuật triệt nhiễu Wavelet cho kết tốt nhiều, nhiễu ảnh khơng cịn xuất phóng to ảnh 8-2 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong LR image SR image Hình 8-2 Ảnh khơi phục siêu phân giải tác giả Nhat Nguyen với giải thuật Wavelet Giải thuật có độ phức tạp thêm phần triệt nhiễu dùng Wavelet cơng đoạn hồi phục Do đó, để thực toàn giải thuật siêu phân giải, kit xử lí mạnh dùng xử lí ảnh cần đầu tư Nếu dùng DSP TI nên sử dụng dịng 64xx Cịn điều kiện cho phép, nên kết hợp FPGA DSP q trình xử lí ảnh FPGA đảm nhận việc giao tiếp với liệu điều khiển DSP hoạt động Trong lúc đó, DSP thực phép toán phức tạp liên quan đến dấu chấm động Với hướng phát triển này, kỹ thuật siêu phân giải ảnh thiết bị phần cứng có kết khả quan 8-3 HVTH: Lê Xuân Hiển ... Giới thiệu: Giới thiệu sơ lượt kỹ thuật siêu phân giải ảnh mục đích ý nghĩa đề tài Chương II: Cơ sở siêu phân giải giải thuật hiệu quả: Tìm hiểu lí thuyết lấy mẫu sở giải thuật siêu phân giải ảnh. .. cho kỹ thuật SRIR 1-7 HVTH: Lê Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Chương CƠ SỞ SIÊU PHÂN GIẢI ẢNH VÀ GIẢI THUẬT HIỆU QUẢ... Xuân Hiển Giải thuật hiệu cho kỹ thuật siêu phân giải ảnh GVHD: PGS.TS Lê Tiến Thường PGS.TS Nguyễn Đức Phong Để thực mục tiêu này, kết hợp hai kỹ thuật siêu phân giải ảnh tại: Kỹ thuật phân tích