Phương pháp subspace ứng dụng cho các ảnh chồng lấn phổ trong kỹ thuật siêu phân giải

Đại Học Quốc Gia Tp Hồ Chí Minh TRƢỜNG ĐẠI HỌC BÁCH KHOA =====o0o===== HUỲNH PHẠM THÀNH NHÂN PHƯƠNG PHÁP SUBSPACE ỨNG DỤNG CHO CÁC ẢNH CHỒNG LẤN PHỔ TRONG KỸ THUẬT SIÊU PHÂN GIẢI Chuyên ngành: Kỹ Thuật Điện Tử LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 02 năm 2011 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hƣớng dẫn khoa học : PGS TS Lê Tiến Thƣờng (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Đặng Thành Tín (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : Thạc Sĩ Tống Văn On (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ đƣợc bảo vệ Trƣờng Đại học Bách Khoa, ĐHQG TP HCM ngày 04 tháng 01 năm 2011 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) PGS.TS Lê Tiến Thƣờng TS Đặng Thành Tín THẠC SĨ Tống Văn On TS Phan Hồng Phƣơng TS Hoàng Trang Xác nhận Chủ tịch Hội đồng đánh giá LV Bộ môn quản lý chuyên ngành sau luận văn đƣợc sửa chữa (nếu có) Chủ tịch Hội đồng đánh giá LV Bộ môn quản lý chuyên ngành TRƢỜNG ĐẠI HỌC BÁCH KHOA PHÒNG ĐÀO TẠO SĐH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Tp HCM, ngày…… tháng… năm …… NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: HUỲNH PHẠM THÀNH NHÂN Phái: Nam Ngày, tháng, năm sinh: 30-07-1979 Nơi sinh: BR-VT Chuyên ngành: Kỹ Thuật Điện Tử MSHV: 09140999 I- TÊN ĐỀ TÀI: Phƣơng pháp Subspace ứng dụng cho ảnh chồng lấn phổ Kỹ thuật siêu phân giải II- NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu phƣơng pháp Kỹ thuật siêu phân giải Tìm hiểu phƣơng pháp subspace ứng dụng cho ảnh chồng lấn phổ Thực mô Matlab thuật toán đƣợc giới thiệu, so sánh kết với thuật toán khác nhƣ Karen, Marcel, Lucchese… Nếu thực phần cứng ARM 32 bit III- NGÀY GIAO NHIỆM VỤ (Ngày bắt đầu thực LV ghi QĐ giao đề tài): 05 – 07 - 2010 IV- NGÀY HOÀN THÀNH NHIỆM VỤ: 06 – 12 - 2010 V- CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): PGS.TS Lê Tiến Thƣờng CÁN BỘ HƯỚNG DẪN (Học hàm, học vị, họ tên chữ ký) CN BỘ MÔN QL CHUYÊN NGÀNH LỜI CẢM ƠN Luận văn kết trình học tập Trường Đại học Bách Khoa Thành phố Hồ Chí Minh Với tình cảm chân thành, tác giả xin bày tỏ lịng biết ơn đến q thầy tham gia giảng dạy lớp cao học khoá 2009, chuyên ngành Kỹ Thuật Điện Tử Kế đến xin cảm ơn Phòng đào tạo - Sau Đại học, Khoa Điện – Điện Tử Trường Đại học Bách Khoa Thành phố Hồ Chí Minh,cũng xin cảm ơn Thầy Đỗ Hồng Tuấn tận tình giúp đỡ, tạo điều kiện cho tác giả q trình học tập hồn thành đề tài luận văn Đặc biệt tác giả xin bày tỏ lòng biết ơn sâu sắc đến Thầy hướng dẫn PGS TS Lê Tiến Thường tận tình hướng dẫn, giúp đỡ tác giả nghiên cứu đề tài hoàn chỉnh luận văn Mặc dù thân cố gắng chắn luận văn khơng tránh khỏi thiếu sót, mong nhận ý kiến đóng góp bổ sung quý thầy cô đồng nghiệp Thành phố Hồ Chí Minh, tháng 12 năm 2010 Tác giả luận văn Huỳnh Phạm Thành Nhân LỜI MỞ ĐẦU Luận văn trình bày phƣơng pháp siêu phân giải cho ảnh ảnh bị chồng lấn phổ Ảnh bị chồng lấn phổ đƣợc chia thành ảnh bị chồng lấn phổ phần ảnh bị chồng lấn phổ toàn phần Và luận văn chủ yếu nghiên cứu ảnh bị chồng lấn phổ phần (các ảnh thƣờng tƣơng tự nhƣ vậy) Đối với ảnh bị chồng lấn phổ toàn phần giới thiệu số phƣơng pháp đăng ký cho ảnh chƣơng cuối luận văn Kỹ thuật siêu phân giải đƣợc chia thành hai phần chính: phần đăng ký ảnh phần tái tạo ảnh Luận văn tìm hiểu giới thiệu thuật toán đăng ký ảnh cho ảnh bị chồng lấn phổ phần Từ thực mô Matlab để tạo ảnh độ phân giải cao từ tập ảnh phân giải thấp, so sánh với số phƣơng pháp đăng ký ảnh khác Đồng thời, thực chạy thử phần cứng ARM 32bit Nội dung luận văn bao gồm sáu chƣơng: Chƣơng I giới thiệu số khái niệm kỹ thuật siêu phân giải Chƣơng II trình bày mơ hình tốn học liên quan Chƣơng III phần ứng dụng kiến thức Chƣơng II vào ảnh bị chồng lấn phần Chƣơng IV phần chạy mô ảnh chụp thực tế Chƣơng V giới thiệu hai phƣơng pháp đăng ký ảnh cho ảnh bị chồng lấn phổ toàn phần Và cuối phần kết luận CÁC THUẬT NGỮ THƯỜNG DÙNG Các Thuật Ngữ HR : High Resolution; LR : Low resolution; A/D : Analog to Digital; CCD : Charge coupled device; CMOS : Complementary metal oxide semiconductor; ISO : International Organization for Standardization; MTF : Modulation transfer function; PSF : Point spread function; SFR : Spatial frequency response; Ký Hiệu Biến Các ký tự thường đâm biểu diễn vector (y,α, etc); Các ký tự hoa đậm biểu diễn Ma trận (D,F, etc); ⨂ ký hiệu tích Kronecker; DANH MỤC HÌNH Hình 1.2: Cài đặt siêu phân giải lý tưởng Hình 1.2: Minh họa aliasing ảnh số Hình 2.1: Phân loại phương pháp lấy mẫu Hình 2.2: Minh họa phương pháp lấy mẫu Hình 2.3: Minh họa biến khác với M=2 sở Fourier Hình 2.4 (a) Hàm giới hạn băng thơng với hai tập hai mẫu… Hình 2.5: Ví dụ tín hiệu 𝑓(𝑡) với hệ số 𝐿 = Hình 2.6: Các ví dụ aliasing cho tín hiệu khác Hình 2.7: Nếu ảnh đăng ký khơng tốt, nên dùng phương pháp nội suy Hình 2.9: Minh họa đường cong không gian mở rộng hai cột ∅𝑙𝑡 Hình 2.10: Ví dụ giải pháp ký sinh (parasitic solutions) Hình 3.1: Biên độ biến đổi Fourier ảnh quay gócnhư ảnh miền khơng gian Hình 3.2: Ước lượng quay Hình 3.3: Khó khăn việc ước lượng quay Hình 3.4: Khi có diện aliasing Hình 3.5: Sai số trung bình bình phương (MSE) ảnh Hình 3.6 Các ảnh phân giải cao dùng mơ Hình 3.7, 3.8: Cài đặt mơ Hình 3.9, 3.10: Nếu đăng ký ảnh kém, tốt dùng ảnh đơn… Hình 3.11: Thuật toán đề xuất hoạt động tốt ảnh có phân bố tần số mạnh Hình 4.1: Điện thoại LG KM-555 (Camera 3.0 Mega pixels) Hình 4.2: Giao diện chương trình siêu phân giải Hình 4.3: Các ảnh đầu vào LR có độ phân giải 320x240 pixels Hình 4.4 Ảnh HR (640x480) thuật tốn 3.1 Hình 4.5 Ảnh HR (640x480) thuật tốn Marcel et al Hình 4.6 Ảnh HR (640x480) thuật tốn Lucchese Cortelazzo Hình 4.7 Ảnh HR (640x480) thuật tốn Keren et al Hình 4.8 Một ảnh LR (320x240) đầu vào Hình 4.9 Ảnh HR (640x480) thuật tốn 3.1 Hình 4.10 Ảnh HR (640x480) thuật tốn Marcel et al Hình 4.11 Ảnh HR (640x480) thuật tốn Lucchese Cortelazzo Hình 4.12 Ảnh HR (640x480) thuật tốn Keren et al Hình 4.13, 4.15 Ảnh HR khử nhiễu Trung bình Hình 4.14, 4.16 Ảnh HR qua khử nhiễu Guassian Hình 5.1: Thuật tốn tái tạo tín hiệu dùng phương pháp hạn ma trận Hình 5.3: Thuật tốn tái tạo tín hiệu dùng phương pháp chiếu DANH MỤC BẢNG Thuật toán 3.1 : Ảnh siêu phân giải cho ảnh aliased phần Bảng 3.1 : ước lượng dịch quay Bảng 3.2 : ước lượng dịch Bảng 3.3 : ước lượng dịch quay không dùng cửa sổ Bảng 3.4 : Ước lượng quay hoạt động tốt ảnh có định hướng mạnh Bảng 3.5 : Hiệu tốt dùng ảnh lớn Bảng : Lưu đồ chương trình mơ Bảng 4.1 : Bảng kết tham số ước lượng chuyển động Bảng 4.2 : Bảng kết tham số ước lượng chuyển động Bảng 4.3 : Bảng đánh giá kết thuật toán siêu phân giải Bảng 4.4 : Bảng đánh giá kết hiệu chỉnh ảnh MỤC LỤC CHƢƠNG I: GIỚI THIỆU 01 1.1 Đặt vấn đề 01 1.2 Độ phân giải 01 1.3 Ảnh siêu phân giải 02 1.4 Chồng lấn phổ 03 CHƢƠNG II: CÁC VẤN ĐỀ LIÊN QUAN 04 2.1 Các phƣơng pháp lấy mẫu 04 2.1.1 Lấy mẫu đa kênh 06 2.1.2 Lấy mẫu đa kênh cho tín hiệu giới hạn băng thơng 08 2.1.3 Ví dụ 10 2.1.4 Nhân lấy mẫu 13 2.2 Chồng lấn phổ - Aliasing 14 2.3 Ảnh siêu phân giải 18 2.3.1 Đăng ký ảnh 19 2.3.2 Tái tạo ảnh 21 2.3.3 Các biến thể siêu phân giải 22 2.4 Tính giải pháp 23 2.4.1 Trƣờng hợp tổng quát 23 2.4.2 Tín hiệu giới hạn băng thơng 23 2.4.3 Tín hiệu đa thức 28 Luận Văn Cao Học PGS.TS Lê Tiến Thường Hình 4.10 Ảnh HR (640x480) thuật tốn Marcel et al Hình 4.11 Ảnh HR (640x480) thuật toán Lucchese et al Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 62 Luận Văn Cao Học PGS.TS Lê Tiến Thường Hình 4.12 Ảnh HR (640x480) thuật toán Keren et al 4.2.3 Hiệu Chỉnh Ảnh Đầu Ra: Với ảnh đầu thuật toán 3.1 (dùng phương pháp tái tạo nội suy khối) thực hiệu chỉnh khử nhiễu tăng cường độ nét có ảnh sau Hình 4.13 Ảnh HR khử nhiễu (dùng phương pháp trung bình) Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 63 Luận Văn Cao Học PGS.TS Lê Tiến Thường Hình 4.14 Ảnh HR qua hiệu chỉnh Gaussian Hình 4.15 Ảnh HR khử nhiễu (dùng phương pháp trung bình) Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 64 Luận Văn Cao Học PGS.TS Lê Tiến Thường Hình 4.16 Ảnh HR qua hiệu chỉnh Guassian 4.3 Nhận xét Trong hai thí nghiệm trên, thấy thuật tốn giới thiệu Chương cho kết tốt Ứng với bốn ảnh đầu vào, tái tạo ảnh đầu có độ phân giải cao với chất lượng tốt Thuật toán 3.1 thuật toán Keren cho kết gần giống kết tốt nhất, thuật toán Lucchese, thuật tốn Marcel cho kết khơng tốt (xem thêm bảng 4.3) Với thuật toán Chương 3, ảnh đầu vào có phân bố tần số có tính định hướng cao ảnh đầu cho kết tốt đồng thời độ phân giải ảnh đầu vào ảnh hưởng đến kết ảnh đầu (ảnh vào có độ phân giải cao ảnh đầu cho chất lượng tốt hơn), nhiên phải trả giá thời gian tính tốn Việc thực hiệu chỉnh ảnh đầu ra, giúp cho chất lượng ảnh sau tái tạo tốt Để biết tốt ta thực phép đo sau: Chọn ảnh chụp làm ảnh góc, chia ảnh thành tám ảnh nhỏ (downsampling), sau dùng thuật tốn siêu phân giải 3.1 để tạo ảnh HR có kích thước với ảnh góc Thực hiệu chỉnh ảnh HR cách loại nhiễu trung bình phương pháp Guasian, sau thực đo MSE, PSNR với ảnh góc Ta nhận thấy ảnh sau qua hiệu chỉnh cho chất lượng tốt so với ảnh HR chưa điều chỉnh (tham khảo bảng 4.3) Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 65 Luận Văn Cao Học PGS.TS Lê Tiến Thường Bảng 4.3: So sánh kết phương pháp siêu phân giải Ảnh góc Trong nhà Ngồi trời Thuật toán 3.1 MSE PSNR 315.2379 23.1444 504.8662 21.0990 Thuật toán Marcel MSE PSNR 739.4546 19.4417 935.3095 18.4213 Thuật toán Lucchese MSE PSNR 566.6971 20.5973 643.2918 20.0467 Thuật toán Keren MSE PSNR 214.4342 24.8179 442.7225 21.6695 Bảng 4.4: So sánh kết ảnh HR ảnh HR qua hiệu chỉnh Ảnh góc Trong nhà Ngồi trời Ảnh HR có từ thuật toán 3.1 Ảnh khử nhiễu dùng phương pháp trung bình MSE 315.2379 504.8662 MSE 310.9688 467.4196 PSNR 23.1444 21.0990 PSNR 23.2036 21.4337 Ảnh khử nhiễu dùng phương pháp Guassian MSE 294.9844 472.7287 PSNR 23.4328 21.3847 Bảng 4.4 Thực thuật toán siêu phân giải ảnh đầu vào 80x60 để có ảnh đầu 320x240, thực khử nhiễu Kết đánh giá dựa hai thông số MSE PSNR, hiệu thuật toán tốt MSE thấp PSNR cao Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 66 Luận Văn Cao Học PGS.TS Lê Tiến Thường CHƢƠNG 5: GIỚI THIỆU ĐĂNG KÝ ẢNH CHO ẢNH BỊ ALIASED TOÀN PHẦN Nếu tất phổ tín hiệu lấy mẫu bị aliased, 𝑁 < 𝐾, việc đăng ký theo cặp tín hiệu chương khơng cịn dùng Tất tín hiệu trường hợp cần đăng ký liên kết trước thực phần tái tạo Từ ta cần phải giải biểu thức phi tuyến trình bày chương Trong phần 5.1, ta giới thiệu phương pháp dùng hạn ma trận để tính tham số đăng ký [113] Phương pháp dựa việc phân tích chuỗi Fourier tín hiệu, nên áp dụng cho tín hiệu giới hạn băng thơng Và phần 5.2, phương pháp dùng chi tín hiệu khơng gian Hilbert bất kỳ, cách chiếu tín hiệu lên khơng gian Hilbert chiều để tính toán độ dịch 5.1 Phương Pháp Hạn Ma Trận Như công thức (2.15), biến đổi Fourier rời rạc 𝑌𝑚 tập mẫu thứ 𝑚 viết Trong 𝐹𝑁 ma trận hình vng 𝑁 × 𝑁, 𝐹 ∗ ma trận IDFT 𝑁 × 𝐿, 𝐷𝑡 𝑚 ma trận 𝑙 đường chéo 𝐿 × 𝐿 với phần tử 𝐷𝑡 𝑚 𝑙, 𝑙 = 𝑧𝑚 (−𝐾 ≤ 𝑙 ≤ 𝐾) Nếu ta mở rộng 𝛼 để có chiều dài bội số 𝑁, ta chia vector hệ số Fourier 𝛼 thành khối 𝛼𝑖 có chiều dài N, ta có (xem thêm (2.16)) Trong 𝐷𝑡′ 𝑚 phần trung tâm 𝑁 × 𝑁 ma trận × 𝐿 𝐷𝑡 𝑚 Vector 𝛼𝑖 thể phần bị chồng lấn phổ lấy mẫu, số phần tính 𝑆 = 𝐿/𝑁 Điều có nghĩa tập mẫu, 𝐷𝑡′ 𝑚−1 𝑌𝑚 kết hợp tuyến tính 𝑆 phần phổ Fourier 𝛼𝑖 : Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 67 Luận Văn Cao Học PGS.TS Lê Tiến Thường Hay nói cách khác, vector 𝐷𝑡′ 𝑚−1 𝑌𝑚 thuộc không gian mở rộng 𝑆 chiều ( 𝛼𝑖 𝑖= −(𝑆−1)/2 … (𝑆−1)/2 ) Nếu số tập mẫu ta có nhiều 𝑆 (𝑀 > 𝑆), 𝑁 ≥ 𝑆, hạn ma trận chứa tất tập mẫu phải S Ví dụ 5.1.1 Ta hiểu rõ thơng qua ví dụ Giả sử có tín hiệu giới hạn băng thơng với 𝐿 = hệ số Fourier 𝛼 = (𝛼−2 𝛼−1 𝛼0 𝛼1 𝛼2 )𝑇 Ta lấy mẫu tín hiệu với ba tập bốn mẫu 𝑦0 , 𝑦1 , 𝑦2 (𝑀 = 3, 𝑁 = 4) Sẽ có 𝑆 = 𝐿/𝑁 = phần bị chồng lấn phổ, biến đổi Fourier tín hiệu mẫu Ta nhân vector biến đổi Fourier với ma trận đường chéo 𝐷𝑡′ 𝑚−1 tương ứng, kết hợp vào ma trận 𝑌𝑡𝐷 sau: Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 68 Luận Văn Cao Học PGS.TS Lê Tiến Thường Ma trận có hạn 2, tất cột kết hợp tuyến tính vector hệ số 𝛼0 𝛼1 Trong trường hợp tổng quát, offset 𝑡 ước lượng có giá trị khơng đúng, hạn 𝑌𝑡𝐷 > 𝑆 Với hầu hết giá trị offset 𝑡 , ma trận 𝑌𝑡𝐷 có giá trị hạn đầy đủ 𝑀 (𝑀 > 𝑆) Giá trị offset t tìm giá trị mà hạn ma trận trở S Hình 5.1 sơ đồ mơ tả thuật tốn hồn chỉnh phương pháp Construct 𝑌𝑡𝐷 using an initial guess 𝑡 for t Rank (𝑌𝑡𝐷 ) = S? Y Solve 𝑦 = Φ𝑡 α N update 𝑡 𝑎𝑛𝑑 𝑌𝑡𝐷 Hình 5.1: Thuật tốn tái tạo tín hiệu dùng phương pháp hạn ma trận Việc ước lượng offset 𝑡 ma trận mẫu 𝑌𝑡𝐷 tương ứng cập nhật qua lần lặp Khi việc ước lượng đủ tốt tham số tín hiệu 𝛼 tìm 5.2 Phương Pháp Chiếu Từ biểu thức (2.7), ta thấy 𝑦 thuộc vào không gian mở rộng Φt Tuy nhiên, điều xảy ma trận Φt tái tạo giá trị tập offset 𝑡 (ngoại trừ trường hợp suy biến) Đối với tập offset 𝑡 khác (có giá trị khơng đúng), (2.7) khơng cịn vector 𝑦 khơng cịn thuộc vào khơng gian mở rộng Φt Dùng bổ đề 2.4.1, ta kiểm tra xác vector offset cách kiểm tra phép chiếu 𝑦 vector mẫu 𝑦 lên Φt cung vector 𝑦, ta có cơng thức Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 69 Luận Văn Cao Học PGS.TS Lê Tiến Thường Do đó, dùng để tìm giá trị offset 𝑡 Ta tìm giá trị 𝑡 cho hàm sau cực tiểu: Bằng cách tìm offset tập mẫu 𝑦𝑚 , ta suy thuật tốn để tái tạo lại tín hiệu 𝑓(𝑡) từ tập kết hợp mẫu 𝑦 Sơ đồ khối thuật tốn trình bày hình 5.3 Create initial guess for 𝑡 Project y onto span Φt 𝑦−𝑦 < 𝑡𝑕𝑟𝑒𝑠𝑕𝑜𝑙𝑑? Y Solve 𝑦 = Φ𝑡 α N update 𝑡 Hình 5.3: Thuật tốn tái tạo tín hiệu dùng phương pháp chiếu Ước lượng cho 𝑡 cập nhật cách lặp Khi giá trị ước lượng đủ tốt tham số tín hiệu 𝛼 tìm Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 70 Luận Văn Cao Học PGS.TS Lê Tiến Thường CHƢƠNG VI: KẾT LUẬN 6.1 Tóm Tắt Luận Văn Với ảnh bị aliased, tần số lấy mẫu lớn tần số lớn có ảnh (nhỏ lần tần số lớn này) có phần tần số thấp ảnh không bị aliased Với tần số không bị aliased này, phương pháp đăng ký ảnh dựa sở Fourier cho ảnh giới thiệu Bằng cách biến đổi ảnh từ miền khơng gian sang miền Fourier, sau thực ước lượng cho ảnh với phần ước lượng dịch ước lượng quay cách riêng lẽ (xem ảnh chuyển động mặt phẳng song song với mặt phẳng ảnh chuẩn) Đầu tiên ước lượng quay để tìm tham số góc quay hai ảnh với phép chiếu hai ảnh Sau với góc quay ước lượng ta tìm tham số dịch Với ảnh bị aliased toàn phần (tần số lấy mẫu nhỏ tần số lớn ảnh) biểu thức phần khơng cịn sử dụng Các ảnh cần đăng ký liên kết với thông tin đăng ký lấy từ phần tần số bị aliased Luận văn giới thiệu hai phương pháp cho ảnh Phương pháp hạn ma trận Phương pháp chiếu Chương trình bày việc thực kỹ thuật siêu phân giải với thuật toán đề xuất số thuật toán thuật toán Marcel et al [8], Lucchese Cortelazzo [7], Keren et al [6], với ảnh đầu vào ảnh chụp điện thoại di động Bằng bốn ảnh đầu vào độ phân giải (320x240) ta tái tạo ảnh phân giải cao đầu (640x480) từ kết đạt ta thấy phương pháp Keren thuật toán 3.1 cho kết tốt, thuật toán Lucchese Cortelazzo, thuật toán Marcel cho kết Với ảnh đầu phương pháp đề xuất, ta thực lọc nhiễu, hiệu chỉnh ảnh để có ảnh đầu chất lượng Tóm lại, với phương pháp giới thiệu luận văn với ảnh đầu vào đủ lớn có tính định hướng kết đạt tốt với bốn ảnh đầu vào ta tạo ảnh đầu có độ phân giải gần gấp đôi Điểm bất lợi thuật tốn cần thời gian tính tốn (với máy tính Dualcore 1.8Ghz, Ram 2G cần khoảng 22s) nên khơng thể áp dụng cho ứng dụng địi hỏi thời gian thực Ý tưởng việc thực mô phần cứng ARM 32 bit Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 71 Luận Văn Cao Học PGS.TS Lê Tiến Thường Dùng Matlab chuyển ảnh đầu vào thành dạng nhị phân Chuyển vào ARM 32 bit Dùng thuật toán 3.1 cho Arm để thu độ lệch offset hai ảnh Cứ chạy với ảnh lại ta giá trị offset ảnh đầu vào với ảnh gốc Chương trình Matlab dùng giá trị offsets để tái tạo lại ảnh Tuy nhiên thời gian không đủ nên chương trình Arm khơng thể thực Xin cảm ơn 6.2 Hướng Nghiên Cứu Trong Tương Lai Kỹ thuật siêu phân giải giải pháp cực tốt để tăng độ phân giải ảnh: ảnh vệ tinh, máy chụp hình… Nhưng thuật tốn luận văn lại cần thời gian tính tốn lâu Cần phải cải tiến để tốc độ thực thi tốt áp dụng vào thiết bị cần thời gian thực Luận văn giới thiệu đăng ký ảnh cho ảnh bị aliased toàn phần Nên sau có thời gian thực nghiên cứu sâu thực chạy mô Phương Pháp Subspace Trong Kỹ Thuật Siêu Phân Giải HVTH: Huỳnh Phạm Thành Nhân 72 TÀI LIỆU THAM KHẢO [1] Patrick Vandewalle, “Super-Resolution from Unregistered and Totally aliased Signals using Subspace methods”, IEEE Transactions on Signal Processing, Vol.55, No.7, July 2007 [2] Lê Tiến Thường, Nguyễn Văn Dương, “Phương Pháp siêu phân giải kết hợp phép biến đổi miền tần số miền Wavelet”, Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT, Tập V-1, Số 1, Tháng 04/2009 [3] Nguyễn Cao Thái, “Wavelets in Super-Resolution”, Luận văn cao học trường Sư Phạm Kỹ Thuật, Bảo vệ năm 2010 [4] Patrick Vandewalle, “Super Resolution From Unregistered Aliased Images”, Ph.D Thesis, Polytechque, France 2006 [5]Patrick Vandewalle, “A Frequency Domain Approach to Registration of Aliased Images with Application to Super-Resolution”, EURASIP Jounal on Applied Signal Processing, Vol 2006, Article ID 71459, Pages 1-14 [6] D Keren, S Peleg, and R Brada, Image sequence enhancement using sub-pixel displacement, in Proceedings IEEE Conference on Computer Vision and Pattern Recognition, June 1988, pp 742-746 [7] L Lucchese and G M Cortelazzo, A noise-robust frequency domain technique for estimating planar roto-translations, IEEE Transactions on Signal Processing, vol 48, no 6, pp 1769-1786, June 2000 [8] B Marcel, M Briot, and R Murrieta, Calcul de Translation et Rotation par la Transformation de Fourier, Traitement du Signal, vol 14, no 2, pp 135-149, 1997 [9] Tuan Q Pham, Lucas J van Vliet and Klamer Schutte, Robust Fusion of Irregularly Sampled Data Using Adaptive Normalized Convolution, EURASIP Journal on Applied Signal Processing, Vol 2006, Article ID 83268, 12 pages, 2006 [10] M Irani and S Peleg, Improving resolution by image registration, Graphical Models and Image Processing, 53:231-239, 1991 [11] A Zomet, A Rav-Acha, and S Peleg, Robust Super-Resolution, Proceedings international conference on computer vision and pattern recognition (CVPR), 2001 [12] P Vandewalle, S Săusstrunk, and M Vetterli, “A Frequency Domain Approach to Registration of Aliased Images with Application to Super- Resolution,” accepted to EURASIP Journal on Applied Signal Processing, Special Issue on Super-Resolution Imaging, 2005 [Reproducible] Available: http://lcavwww.epfl.ch/reproducible research/VandewalleSV05 [13] Wikipedia, “Projection operator — wikipedia, the free encyclopedia,” 2005, [Online; accessed 13-March-2006] [Online] Available: http://en.wikipedia.org/w/index.php?title=Projectionoperator&oldid=28924331 [14] B Zitov´a and J Flusser, “Image registration methods: a survey,” Image and Vision Computing, vol 21, no 11, pp 977–1000, 2003 [15] S Zokai and G Wolberg, “Image registration using log-polar mappings for recovery of largescale similarity and projective transformations,” IEEE Transactions on Image Processing, vol 14, no 10, pp 1422–1434, Oct 2005 [16] S Alliney, “Digital Analysis of Rotated Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 15, no 5, pp 499–504,May 1993 [17] P E Anuta, “Spatial registration of multispectral and multitemporal digital imagery using fast fourier transform techniques,” IEEE Transactions on Geoscience Electronics, vol 8, no 4, pp 353– 368, Oct 1970 [18] S Baker and T Kanade, “Limits on super-resolution and how to break them,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 24, no 9, pp 1167–1183, Sept 2002 [19] A Zomet, A Rav-Acha, and S Peleg, “Robust super-resolution,” in Proceedings International Conference on Computer Vision and Pattern Recognition (CVPR), Dec 2001 [20] S Chaudhuri and J Manjunath, Motion-Free Super-Resolution Springer, 2005 [21] C B Barber, D P Dobkin, and H Huhdanpaa, “The Quickhull algorithm for convex hulls,” ACM Transactions on Mathematical Software (TOMS), vol 22, no 4, pp 469–483, Dec 1996 [22] J R Bergen, P Anandan, K J Hanna, and R Hingorani, “Hierarchical model-based motion estimation,” Proc Second European Conference on Computer Vision, Lecture Notes in Computer Science, pp 237–252, May 1992 [23] S Borman and R Stevenson, “Spatial resolution enhancement of lowresolution image sequences - a comprehensive review with directions for future research,” University of Notre Dame, Tech Rep., 1998 [24] D S Early and D G Long, “Image reconstruction and enhanced resolution imaging from irregular samples,” IEEE Transactions on Geoscience and Remote Sensing, vol 39, no 2, pp 291– 302, Feb 2001 [25] S C Cain, M M Hayat, and E E Armstrong, “Projection-Based Image Registration in the Presence of Fixed-Pattern Noise,” IEEE Transactions on Image Processing, vol 10, no 12, pp 1860– 1872, Dec 2001 [26] M Elad and A Feuer, “Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images,” IEEE Transactions on Image Processing, vol 6, no 12, pp 1646–1658, December 1997 [27] M Elad and A Feuer, “Superresolution Restoration of an Image Sequence: Adaptive Filtering Approach,” IEEE Transactions on Image Processing, vol 8, no 3, pp 387–395, Mar 1999 [28] S Chaudhuri, Ed., Super-resolution Imaging Kluwer Academic Publishers, 2001 [29] S Farsiu, M Elad, and P Milanfar, “Multi-Frame Demosaicing and Super-Resolution of Color Images,” IEEE Transactions on Image Processing, vol 15, no 1, pp 141–159, Jan 2006 [30] S Farsiu, D Robinson, and P Milanfar (2004) MDSP resolution enhancement software [Online] Available: http://www.soe.ucsc.edu/ ∼milanfar/SR-Software.htm [31] S Farsiu, M D Robinson, M Elad, and P Milanfar, “Fast and robust multiframe super resolution,” IEEE Transactions on Image Processing, vol 13, no 10, pp 1327–1344, Oct 2004 [32] W S Hoge, “A subspace identification extension to the phase correlation method,” IEEE Transactions on Medical Imaging, vol 22, no 2, pp 277– 280, Feb 2003 [33] International Organization for Standardization, “ISO 12233:2000 – Photography - Electronic still picture cameras - Resolution measurements,” 2000 [34] H Foroosh, J B Zerubia, and M Berthod, “Extension of Phase Correlation to Subpixel Registration,” IEEE Transactions on Image Processing, vol 11, no 3, pp 188–200, Mar 2002 [35] B Galvin, B McCane, K Novins, D Mason, and S Mills, “Recovering motion fields: An evaluation of eight optical flow algorithms,” in Proceedings of the British Machine Vision Conference, Sept 1998, pp 454–460 [36] M Irani and S Peleg, “Improving resolution by image registration,” CVGIP: Graphical Models and Image Processing, vol 53, no 3, pp 231– 239, May 1991 [37] M Irani, B Rousso, and S Peleg, “Computing occluding and transparent motions,” International Journal of Computer Vision, vol 12, no 1, pp 5–16, Feb 1994 [38] M V Joshi, S Chaudhuri, and R Panuganti, “Super-resolution imaging: use of zoom as a cue,” Image and Vision Computing, vol 22, no 14, pp 1185–1196, Dec 2004 [39] M G Kang and S Chaudhuri, Eds., IEEE Signal Processing Magazine, special issue on superresolution, vol 20, no 3, May 2003 [40] D Keren, S Peleg, and R Brada, “Image sequence enhancement using sub-pixel displacement,” in Proceedings IEEE Conference on Computer Vision and Pattern Recognition, June 1988, pp 742– 746 [41] S P Kim, N K Bose, and H M Valenzuela, “Recursive reconstruction of high resolution image from noisy undersampled multiframes,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol 38, no 6, pp 1013–1027, June 1990 [42] S P Kim and W.-Y Su, “Subpixel accuracy image registration by spectrum cancellation,” in Proceedings IEEE International Conference on Acoustics, Speech and Signal Processing, vol 5, Apr 1993, pp 153–156 [43] Z Lin and H.-Y Sum, “Fundamental Limits of Reconstruction-Based Superresolution Algorithms under Local Translation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 26, no 1, Jan 2004 [44] L Lucchese and G M Cortelazzo, “A noise-robust frequency domain technique for estimating planar roto-translations,” IEEE Transactions on Signal Processing, vol 48, no 6, pp 1769–1786, June 2000 [45] D G Luenberger, Optimization by Vector Space Methods John Wiley & Sons, Inc., 1969 [46] B Marcel, M Briot, and R Murrieta, “Calcul de translation et rotation par la transformation de Fourier,” Traitement du Signal, vol 14, no 2, pp 135–149, 1997 [47] P Marziliano and M Vetterli, “Reconstruction of irregularly sampled discrete-time bandlimited signals with unknown sampling locations,” IEEE Transactions on Signal Processing, vol 48, no 12, pp 3462–3471, Dec 2000 [48] Mathworks (The), “Matlab function reference: griddata,” 2006 [Online] Available: http://www.mathworks.com/access/helpdesk/help/techdoc/ ref/griddata.html [49] M Ng, T Chan, M G Kang, and P Milanfar, Eds., EURASIP journal on applied signal processing, special issue on super-resolution, 2006 [50] N Nguyen and P Milanfar, “A Wavelet-Based Interpolation-Restoration Method for Superresolution,” Circuits, Systems, and Signal Processing, Special Issue on Advanced Signal and Image Reconstruction, vol 19, no 4, pp 321–338, Aug 2000 [51] H Nyquist, “Certain topics in telegraph transmission theory,” Trans Amer Inst Elect Eng., vol 47, pp 617–644, 1928 [52] A Papoulis, Systems and Transforms with Applications in Optics McGraw-Hill Book Company, 1968 [53] A Papoulis, “Generalized sampling expansion,” IEEE Transactions on Circuits and Systems, vol 24, no 11, pp 652–654, Nov 1977 [54] S C Park, M K Park, and M G Kang, “Super-resolution image reconstruction: A technical overview,” IEEE Signal Processing Magazine, vol 20, no 3, pp 21–36, May 2003 [55] A J Patti, M I Sezan, and A M Tekalp, “Superresolution video reconstruction with arbitrary sampling lattices and nonzero aperture time,” IEEE Transactions on Image Processing, vol 6, no 8, pp 1064–1076, Aug 1997 [56] T Q Pham, L J van Vliet, and K Schutte, “Robust Fusion of Irregularly Sampled Data Using Adaptive Normalized Convolution,” EURASIP Journal on Applied Signal Processing, vol 2006, 2006 [57] D Rajan, S Chaudhuri, and M V Joshi, “Multi-objective superresolution: Concepts and examples,” IEEE Signal Processing Magazine, vol 20, no 3, pp 49–61, May 2003 [58] B S Reddy and B N Chatterji, “An FFT-based technique for translation, rotation and scaleinvariant image registration,” IEEE Transactions on Image Processing, vol 5, no 8, pp 1266–1271, Aug 1996 [59] D Robinson and P Milanfar, “Fast Local and Global Projection-Based Methods for Affine Motion Estimation,” Journal of Mathematical Imaging and Vision, vol 18, pp 35–54, 2003 [60] D Robinson and P Milanfar, “Fundamental performance limits in image registration,” IEEE Transactions on Image Processing, vol 13, no 9, pp 1185–1199, Sept 2004 [61] D Robinson and P Milanfar, “Statistical performance analysis of superresolution,” accepted to IEEE Transactions on Image Processing, 2005 [62] C E Shannon, “A mathematical theory of communication,” The Bell System Technical Journal, vol 27, pp 379–423, July 1948 [63] H S Stone, M T Orchard, E.-C Chang, and S A Martucci, “A fast direct Fourier-based algorithm for subpixel registration of images,” IEEE Transactions on Geoscience and Remote Sensing, vol 39, no 10, pp 2235–2243, October 2001 [64] T Strohmer, “Computationally attractive reconstruction of bandlimited images from irregular samples,” IEEE Transactions on Image Processing, vol 6, no 4, pp 540–548, Apr 1997 [65] A M Tekalp, M K Ozkan, and M I Sezan, “High-Resolution Image Reconstruction from LowerResolution Image Sequences and Space-Varying Image Restoration,” in Proc IEEE International Conference on Acoustics, Speech and Signal Processing, vol 3, Mar 1992, pp 169–172 [66] B C Tom and A K Katsaggelos, “Resolution enhancement of monochrome and color video using motion compensation,” IEEE Transactions on Image Processing, vol 10, no 2, pp 278–287, Feb 2001 [67] R Y Tsai and T S Huang, “Multiframe image restoration and registration,” in Advances in Computer Vision and Image Processing, T S Huang, Ed JAI Press, 1984, vol 1, pp 317–339 [68] M Unser, “Sampling—50 Years after Shannon,” Proceedings of the IEEE, vol 88, no 4, pp 569– 587, Apr 2000 [69] M Unser and J Zerubia, “Generalized sampling: Stability and performance analysis,” IEEE Transactions on Signal Processing, vol 45, no 12, pp 2941–2950, Dec 1997 [70] M Unser and J Zerubia, “Generalized sampling without bandlimiting constraints,” in Proceedings IEEE International Conference on Acoustics, Speech, and Signal Processing, vol 3, Apr 1997, pp 2113–2116 [71] P Vandewalle, L Sbaiz, S Săusstrunk, and M Vetterli, Registration of Aliased Images for Super-Resolution Imaging,” in SPIE/IS&T Visual Communications and Image Processing Conference, vol 6077, Jan 2006, pp 13–23, (invited paper) [72] P Vandewalle, S Săusstrunk, and M Vetterli, “Superresolution images reconstructed from aliased images,” in SPIE/IS&T Visual Communication and Image Processing Conference, T Ebrahimi and T Sikora, Eds., vol 5150, July 2003, pp 1398–1405 [73] P Vandewalle, S Săusstrunk, and M Vetterli, Double resolution from a set of aliased images,” in Proc SPIE/IS&T Electronic Imaging 2004: Sensors and Camera Systems for Scientific, Industrial, and Digital Photography Applications V, vol 5301, Jan 2004, pp 374–382 ... phƣơng pháp siêu phân giải cho ảnh ảnh bị chồng lấn phổ Ảnh bị chồng lấn phổ đƣợc chia thành ảnh bị chồng lấn phổ phần ảnh bị chồng lấn phổ toàn phần Và luận văn chủ yếu nghiên cứu ảnh bị chồng lấn. .. ngành: Kỹ Thuật Điện Tử MSHV: 09140999 I- TÊN ĐỀ TÀI: Phƣơng pháp Subspace ứng dụng cho ảnh chồng lấn phổ Kỹ thuật siêu phân giải II- NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu phƣơng pháp Kỹ thuật siêu phân giải. .. pixels ảnh số thường xem độ phân giải ảnh Việc đòi hỏi cần tăng độ phân giải cao đưa đến đời kỹ thuật siêu phân giải Ngoài ra, cịn dùng cho nhiều ứng dụng tăng độ phân giải ảnh chụp vệ tinh, ảnh