Ứng dụng biến đổi curvelet xử lý ảnh siêu phân giải và triển khai trên kit ARM 32 bit

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ CAO KHOA ỨNG DỤNG BIẾN ĐỔI CURVELET XỬ LÝ ẢNH SIÊU PHÂN GIẢI VÀ TRIỂN KHAI TRÊN KIT ARM 32 BIT Chuyên ngành : Kĩ Thuật Điện Tử Mã số: 605270 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 07 năm 2013 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS.TS LÊ TIẾN THƯỜNG Cán chấm nhận xét : TS CHẾ VIẾT NHẬT ANH Cán chấm nhận xét : TS HOÀNG TRANG Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng 07 năm 2013 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS TS LÊ TIẾN THƯỜNG TS HOÀNG TRANG TS CHẾ VIẾT NHẬT ANH TS TRƯƠNG QUANG VINH TS VÕ NGUYỄN QUỐC BẢO Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: LÊ CAO KHOA MSHV: 11140024 Ngày, tháng, năm sinh: 17/08/1988 Nơi sinh: Quãng Ngãi Chuyên ngành: Kỹ Thuật Điện Tử Mã số : 605270 I TÊN ĐỀ TÀI: Ứng dụng biến đổi Curvelet xử lý ảnh siêu phân giải triển khai vi điều khiển ARM 32-bit II NHIỆM VỤ VÀ NỘI DUNG: Đề tài gồm nhiệm vụ nội dung sau :  Tìm hiểu khái niệm ảnh siêu phân giải giải thuật siêu phân giải ảnh cơng bố  Tìm hiểu biến đổi Curvelets ưu nhược điểm biến đổi so với biến đổi Wavelet biến đổi Fourier truyền thống  Đề xuất giải thuật nhắm đến mục tiêu nâng cấp chất lượng thời gian tính tốn cho ảnh siêu phân giải so với giải thuật đưa trước  Tiến hành mơ giải thuật đề xuất công cụ Matlab  So sánh chất lượng ảnh có từ phương pháp đề xuất với ảnh từ phương pháp có  Kiểm nghiệm triển khai giải thuật đề xuất trên kit ARM 32 bit  Rút kết ưu điểm nhược điểm phương pháp đề xuất qua kiến nghị hướng phát triển cho đề tài nhằm khắc phục nhược điểm  Tiến hành viết báo cáo cho đề tài, đồng thời tiến hành đúc kết nghiên cứu thành báo để gởi cho hội nghị nước III NGÀY GIAO NHIỆM VỤ : 02/07/2012 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 21/06/2013 V CÁN BỘ HƯỚNG DẪN : PGS TS LÊ TIẾN THƯỜNG Tp HCM, ngày 02 tháng 07 năm 2013 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ LỜI CẢM ƠN Em xin bày tỏ lịng kính trọng cảm ơn chân thành, sâu sắc đến thầy PGS.TS Lê Tiến Thường –Phó giáo sư Tiến sĩ Viễn Thông trường ĐHBK-ĐHQG TPHCM Thầy tận tình hướng dẫn, động viên, giúp đỡ tạo điều kiện tốt để em hoàn thành luận văn tốt nghiệp Những hướng dẫn mặt khoa học kinh nghiệm nghiên cứu khoa học mà thầy truyền đạt chia sẻ cho em hành trang quý báu theo em suốt trình học tập làm việc sau Kính chúc thầy gia đình nhiều sức khỏe hạnh phúc, riêng thầy tiến xa đường nghiên cứu khoa học Em gửi lời cảm ơn chân thành đến quý thầy cô giảng dạy trường ĐHBK TPHCM, đặc biệt thầy cô khoa Điện-Điện tử, mơn Viễn Thơng hết lịng dạy dỗ, truyền đạt kiến thức kinh nghiệm cho em học đại học học cao học Những kiến thức tảng mà q thầy truyền dạy giúp đỡ em nhiều trình hồn thành luận văn Con vơ biết ơn cha mẹ, người sinh thành, nuôi dưỡng, dạy dỗ con, quên giúp đỡ, động viên bước đời Con xin nhớ ơn cha mẹ kính chúc cha mẹ ln dồi sức khỏe tràn đầy hạnh phúc Xin gửi lời cảm ơn anh chị, bạn giúp đỡ tơi suốt q trình học tập thực luận văn Chúc anh chị, bạn nhiều sức khỏe thành cơng sống Tp Hồ Chí Minh tháng 06 năm 2013 Học viên Lê Cao Khoa TÓM TẮT ĐỀ TÀI Kĩ thuật siêu phân giải ảnh hướng đến việc trích nhiều thơng tin từ ảnh có độ phân giải thấp (ảnh LR) điền vào ảnh (ảnh HR) để có kết cuối ảnh HR có độ phân giải cao hơn- nhiều chi tiết Kĩ thuật siêu phân giải ảnh gồm bước chính: dự đốn chuyển động ảnh, hồi phục ảnh giảm mờ cho ảnh Sự xác bước điều có ảnh hưởng lớn đến kết sau Luận văn tập trung vào kĩ thuật phục hồi ảnh (restoration) mà cụ thể giải thuật nội suy ảnh Trong này, phương pháp Keren dùng cho q trình dự đốn chuyển động để tạo lưới HR Hiện có nhiều phương pháp hồi phục ảnh đề tài chọn biến đổi curvelets cho nhiệm vụ biến đổi curvelets chứng minh xử lý tốt cạnh, đường cong hướng việc nội suy dựa biến đổi curvelets cho kết tốt pixel lân cận cho xấp xỉ tốt yếu tố cạnh đường cong so với yếu tố wavelets Do đề tài này, biến đổi curvelets với kĩ thuật nội suy lần đề xuất để tăng cường chất lượng ảnh sau Giải thuật thực Mablab phần cứng kit ARM AT91SAM9RL-EK Trên phần cứng giải thuật nội suy miền curvelet áp dụng matlab dùng để xử lý tham số ngõ vào đọc, xuất ảnh, tính biến đổi curvelets gởi/nhận liệu từ cổng COM Kết có từ phần cứng Matlab so sánh với sau so sánh đánh giá với phương pháp khác Bên cạnh đó, phương pháp đề xuất so sánh với nội suy lý tưởng để đánh giá sai lệch Phương pháp đề xuất nộp cho hội nghị ATC 2013 (The 2013 International Conference on Advanced Technologied for Communications) Việt Nam ABSTRACT Super resolution technique aims to extract as much information from the LR images as possible These informations are inserted to one image to make the HR image which contains more detail than each LR images The super resolution technique includes main steps: motion estimation, image restoration and deblurring The accuracy in each step has great influence to the final result, the HR image My thesis focuses on the restoration technique, which in detail is the interporlation In this thesis, Keren estimation algorithm is utilized Currently, there are many methods, proposed for restoring the HR image Nevertheless, the curvelet transform is choosed for this task because it is proved to be well handling lines, edges and curves Thus, the curvelet transform is expected to expose better approximation for lines and curves than wavelets In this thesis, we proposed the double-interpolation algorithm for increasing the HR image’s quality My algorithm is implemented on matlab and on hardware The hardware version is implemented on the AT91SAM9RL evaluation kit for the curvelet interpolation step only Therefore, only the interpolation algorithm on the curvelet domain is implemented Matlab is used for helping the extrafunction such as reading, writing, calculating and sending/receiving image over the Usart interface The result from our algorithm is then compared and evaluated with other methods Moreover, the proposed method is then compared with the ideal interpolation for error evaluating The proposed method is also submitted to the ATC 2013 (The 2013 International Conference on Advanced Technologied for Communications) at Vietnam LỜI CAM ĐOAN Tôi xin cam đoan tất kết giải thuật thực đề tài chưa công bố đề tài khoa học trước Người cam đoan Lê Cao Khoa MỤC LỤC MỤC LỤC i DANH MỤC HÌNH iv DANH MỤC BẢNG v BẢNG TỪ VIẾT TẮT vi INTRODUCTION vii GIỚI THIỆU ĐỀ TÀI viii ẢNH SIÊU PHÂN GIẢI 1.1 GIỚI THIỆU ẢNH SIÊU PHÂN GIẢI 1.2 CƠ SỞ LÝ THUYẾT 1.2.1 Đăng kí ảnh 1.2.1.1 Dự đoán chuyển động mặt phẳng 1.2.1.2 Dự đoán chuyển động xoay 1.2.1.3 Dự đoán chuyển động dịch 1.2.1.4 Ước lượng dịch chyển cho ảnh chồng lấn phần 1.2.2 Tái tạo ảnh 1.2.2.1 Nearest neighbor 1.2.2.2 Bilinear Interpolation 1.2.2.3 Bicubic 1.2.3 Tiêu chuẩn đánh giá chất lượng ảnh 10 KHẢO SÁT CÁC NGHIÊN CỨU 11 2.1 PHƯƠNG PHÁP CỦA VANDELWALLE 11 2.1.1 Ước lượng xoay 11 2.1.2 Giải thuật tổng quát 12 2.2 PHƯƠNG PHÁP CỦA KAREN 13 2.2.1 Giới thiệu 13 2.2.2 Phương pháp ghi pixels phụ 13 2.3 CÁC NGHIÊN CỨU KHÁC 15 2.3.1 Cách tiếp cận 15 2.3.2 Cách tiếp cận 17 BIẾN ĐỔI CURVELETS 18 3.1 GIỚI THIỆU 18 3.2 TỪ WAVELETS CỔ ĐIỂN TỚI CURVELETS 21 3.2.1 Quá trình phát triển 21 i 3.2.2 Tại cần curvelets 22 3.3 BIẾN ĐỔI CURVELETS LIÊN TỤC TRONG R2 25 3.3.1 Các hàm cửa sổ 25 3.3.2 Các hàm curvelets hệ thống 28 3.3.3 Support miền tần số 29 3.3.4 Support miền thời gian tính dao động 29 3.3.5 Các moment biến 29 3.4 ĐỊNH NGHĨA BIẾN ĐỔI CURVELETS LIÊN TỤC 30 3.5 BIẾN ĐỔI CURVELETS NHANH 31 3.5.1 Tại biến đổi Curvelets rời rạc 31 3.5.2 Một biến đổi curvelets rời rạc 34 3.5.3 Các biến đổi curvelets liên tục theo thời gian 35 3.5.4 Các biến đổi curvelets số 38 3.5.4.1 Số hóa vành (digital coronization) 38 3.5.4.2 Biến đổi curvelets số thông qua UFFTs 41 3.5.4.3 Biến đổi curvelets số thông qua Wrapping 43 3.5.5 Kiến trúc FDCT 46 3.5.6 FDCT thông qua USFFTs 46 3.5.6.1 Nội suy 46 3.5.6.2 Các đại diện Riesz lưới kép 48 3.5.6.3 Biến đổi liên hợp 50 3.5.7 Biến đổi ngược 51 3.5.8 Biến đổi Fourier nhanh không 51 3.5.9 Giải thuật 52 3.5.10 Phân tích lỗi 53 3.5.11 Tích chập USFFT 54 3.5.12 Ma trận Gram 54 3.6 CÁC ỨNG DỤNG GẦN ĐÂY 55 3.6.1 Giảm nhiễu ảnh 55 3.6.1.1 Giảm nhiễu ảnh cho nhiễu cộng 55 3.6.1.2 Giảm nhiễu cho ảnh SAR (Synthetic Aperture Radar) 56 3.6.2 Tăng chất lượng ảnh 57 3.6.3 Nén cảm biến (Compressed Sensing) 58 3.7 CÁC THÁCH THỨC TRONG TƯƠNG LAI [2][7][8] 60 3.7.1 Giảm độ phức tạp 60 3.7.2 Hàm lấy ngưỡng tốt 60 GIỚI THIỆU KIT ARM AT91SAM9RL-EK 61 4.1 BOARD AT91SAM9RL-EK [22] 61 ii 4.2 LAYOUT [22] 62 4.3 VI ĐIỀU KHIỂN AT91SAM9RL64 [22] 63 4.3.1 Bộ nhớ 66 4.3.2 Mạch clock 66 4.3.3 Mạch reset 66 4.3.4 Truyền thông xa 66 4.3.5 Giao diện người dùng 66 4.3.6 Giao diện Debug 66 4.3.7 Khe cắm mở rộng 66 4.4 CÁC JUMPER 66 4.5 SƠ ĐỒ MẠCH 67 4.5.1 Sơ đồ mạch lớp Top 68 4.5.2 Nguồn cung cấp 69 4.5.3 Giao diện nối tiếp 69 4.5.4 Hiển thị TFT LCD 70 4.5.5 Bộ nhớ nối tiếp 70 GIẢI THUẬT ĐỀ XUẤT 71 5.1 GIAO DIỆN CHƯƠNG TRÌNH 71 5.2 GIẢI THUẬT THỰC HIỆN 73 5.2.1 Tiền phân giải 73 5.2.2 Nội suy miền Curvelets 74 5.2.3 Hậu xử lý 75 5.2.4 Giải thuật thực 75 5.2.5 Kết 78 5.3 KẾT LUẬN 83 5.3.1 Ưu điểm 84 5.3.2 Hạn chế 84 5.4 HƯỚNG PHÁT TRIỂN TƯƠNG LAI 85 TÀI LIỆU THAM KHẢO 86 PHỤ LỤC 88 iii ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 81 GVHD: PGS.TS LÊ TIẾN T ƯỜNG Các kết thực nghiệm cho thấy giải thuật đề nghị cho ảnh có chất lượng cao bảo toàn tốt độ tương phản ảnh R R Hình 5.8, 5.10 5.12 thể ảnh tái tạo với giải thuật khác Do chất lượng phương pháp thứ (Iterated back projection) thấp nên không đưa vào Thứ tự giải thuật cho h nh theo thứ tự là: Iterated Curvelets interpolation (ICI), Robust Super resolution (RSR), POCS, Structured adaptive normalize convolution (SANC), phương pháp đề xuất ảnh gốc 5-9 So sánh histogram ảnh Mandrill gốc ảnh p ươ g p áp đề xuất (a) ICI (b) RSR (c) POCS (d) SANC (e) Proposed (f) Original 5-10: Ả [128x128] p ó g to p ầ ả camera man [512x512] với giải t uật k ác au Hình phóng to phần ảnh Mandrill cho thấy ảnh có theo phương pháp SANC có xu hướng làm trơn ảnh so với ảnh gốc Ảnh có phương pháp POCS bị mờ ảnh phương pháp RSR th khơng trơn có xu hướng khơng liên tục Trong đó, ảnh tái tạo phương pháp đề xuất có tượng làm trơn ảnh so với phương pháp SANC th trơn Chương 5: Giải thuật đề xuất HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI GVHD: PGS.TS LÊ TIẾN T ƯỜNG 82 5-11 So sánh histogram ảnh Camera man gốc ảnh p ươ g p áp đề xuất Dựa vào hình 5.10 5.11 ta nhận thấy phương pháp đề xuất bảo quản tốt dạng histogram cho hình camera man Ảnh camera man có yếu tố cạnh rõ ràng ảnh Mandrill nên histogram bảo quản tốt (a) ICI (b) RSR (c) POCS (d) SANC (e) Proposed (f) Original 5-12: Ả [128x128] p ó g to p ầ ả lena [512x512] với giải t uật k ác au 5-13 So sánh histogram ảnh Lena gốc ảnh p ươ g p áp đề xuất Kết so sánh hình 5.13 thể rõ điều này, ảnh lena gốc ảnh có sau phương pháp đề xuất có hình dạng gần Chương 5: Giải thuật đề xuất HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI GVHD: PGS.TS LÊ TIẾN T ƯỜNG 83 Từ hình ta thấy giải thuật đề xuất xấp xỉ tốt ma trận ảnh phức tạp ảnh gốc so với ảnh có phương pháp “Structured adaptive normalize convolution”-SANR Ảnh từ phương pháp SANR làm trơn ảnh mức nên việc biểu diễn ảnh gần với ảnh thực tế nhiên mặt cảm quan lại dễ nhìn so với phương pháp đề xuất ảnh gốc Về mặt histogram th phương pháp đề xuất bảo tồn tốt hình dạng histogram cho ảnh có tính góc cạnh cao Bả g 5-3 So sánh p ươ g p áp đề xuất với nội suy lý tưởng theo PSNR GT Precisely interpolation Lena 34.54 Camera man 37.28 Mandrill 31.85 40.5 42.57 37.41 Bảng 5.3 thể so sánh phương pháp đề xuất nội suy xác Trong luận văn này, thuật ngữ nội suy xác dùng để ảnh có cách điền pixel ảnh gốc vào ảnh R (ảnh R có sau đăng kí ảnh) Trong bảng trên, phương pháp đề xuất sai lệnh khoảng 5dB so với giá trị tối đa việc nội suy (khi giá trị pixel nội suy với giá trị pixel gốc) V giải thuật đề nghị bị hạn chế PSNR tr nh giảm lấy mẫu từ ảnh gốc để tăng tỷ số PSNR tr nh nội suy th giải thuật đăng kí với chất lượng tốt quan trọng 5.3 KẾT LUẬN Trong báo cáo biến đổi curvelets áp dụng cho bước tái tạo ảnh giải thuật siêu phân giải Ảnh sau đăng kí lưới HR tái tạo thơng qua phương pháp nội suy đề xuất Trước nội suy miền curvelets, giải thuật nội suy thực để xấp xỉ ảnh hưởng điểm ảnh ban đầu lên hệ số curvelets điểm ảnh có (có từ bước đăng kí ảnh) đó, giảm tác dụng tối, kết ảnh hưởng điểm pixels trống (có giá trị 0) Tất hệ số bị nội suy từ lân cận chúng thang tốt hệ số điểm ảnh biết giá trị lưới R sau đăng kí giữ ngun khơng đổi Biến đổi ngược hệ số bị phép nội suy thay đổi giá trị bù trừ cách gán ma trận ảnh HR lên ma trận ảnh sau phép biến đổi ngược Do phép biến đổi curvelets xấp xỉ tốt yếu tố cạnh nên phép nội suy miền curvelet hi vọng cung cấp kết nội suy tốt Dựa Chương 5: Giải thuật đề xuất HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 84 GVHD: PGS.TS LÊ TIẾN T ƯỜNG kết thử nghiệm, cải thiện PSNR MSE chứng minh giả định Nội suy curvelets dựa nearest thể hiệu suất tốt so với nội suy nearest-neighborhood khoảng 0.8 dB đến 0.94 dB khơng có lọc 1.9dB (cho ảnh camera man) với lọc sym8 lấy ngưỡng mềm cực đại mức Giải thuật siêu phân giải đề xuất kiểm tra ảnh xám: Lena, Camera man, Mandrill kích thước 512x512 phần cứng mô matlab Từ kết có được, số ưu nhược điểm phương pháp đề xuất so với phương pháp khác tr nh bày bên 5.3.1 Ưu điểm Giải thuật đề xuất có ưu điểm so với phương pháp khác sau:  Thời gian tính tốn phương pháp tái tạo đề xuất nhanh khoảng đến lần so với giải thuật [14] với chất lượng ảnh  Kết PSNR MSE từ ảnh tái tạo cho thấy cải thiện đáng kể phương pháp đề xuất so với giải thuật khác so sánh vấn đề thời gian tính tốn khơng đặt nặng  Giải thuật đề xuất chứng minh tính vượt trội biến đổi Curvelets việc xử lý cạnh đường cong  Giải thuật thực phần cứng chứng minh tính khả thi giải thuật áp dụng cho ứng dụng liên quan 5.3.2 Hạn chế Tuy giải thuật đề xuất cho thấy kết cải thiện so với phương pháp khác nhiên giải thuật hạn chế phải khắc phục sau:  Giải thuật nội suy giá trị hệ số cần tìm miền curvelet cịn đơn giản nên sai số cao  Giải thuật đăng kí có chất lượng khơng cao giới hạn tỷ số PSNR ảnh nội suy miền curvelet  Chưa thực tăng cường chất lượng ảnh cho ảnh sau q trình khơi phục Với ưu điểm so với phương pháp trước, phương pháp đề xuất nộp cho hội nghị ATC 2013 (The 2013 International Conference on Advanced Technologies for Communications) Việt Nam (bản báo nằm phần phụ lục) tên: An improvement of SuperResolution Image Processing Implemented on ARM AT91SAM9RL Chương 5: Giải thuật đề xuất HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 85 GVHD: PGS.TS LÊ TIẾN T ƯỜNG 5.4 HƯỚNG PHÁT TRIỂN TƯƠNG LAI Do curvelets công nghệ chưa trưởng thành nên có nhiều hạn chế, cần phải giải Một cải tiến biến đổi curvelets làm giảm dư thừa qua làm giảm thời gian xử lý thuật toán đề xuất ơn nữa, thuật toán nâng cao chất lượng ảnh miền curvelets sử dụng kết tốt Trong chương tr nh thực hiện, lọc wavelets sử dụng điều làm giảm tốc độ thuật toán cách đáng kể Tuy nhiên, lọc thích hợp dựa curvelets tích hợp tốt vào thuật tốn đề xuất đó, tăng tốc độ- thời gian xử lý tăng chất lượng ảnh sau lọc Ngoài ra, với phần cứng mạnh hơn, áp dụng số nội suy phức tạp chẳng hạn [15] để có xấp xỉ tốt đó, chất lượng tốt Bên cạnh đó, việc áp dụng giải thuật đăng kí ảnh phù hợp làm giảm sai lệch việc xấp xỉ giá trị điểm ảnh chưa biết điểm ảnh lân cận góp phần làm tăng chất lượng lưới HR ảnh sau giải thuật nội suy Vì giải thuật nội suy miền curvelets giải thuật tính trung b nh đơn giản nên kết điểm cần tính có độ xác chưa cao phần giảm kết giải thuật Một giải thuật nội suy giá trị điểm thiếu dựa lý thuyết curvelets cải thiện đáng kể giải thuật đề xuất Giải thuật tiền nội suy đơn giản nên chất lượng ảnh ban đầu chưa cao Một giải thuật tiền nội suy với chất lượng cao tăng chất lượng ảnh sau phân giải Do giải thuật đề xuất thực miền curvelet thể tính cartoon ảnh [20][21] mà khơng thể tính kết cấu (texture) ảnh làm giảm đường nét tần số cao ảnh Một giải thuật kết hợp nội suy hai miền cho ảnh kết kết khơng trơn mà cịn sắc cạnh Ngồi ra, để giảm sai lệch gây việc đăng kí ảnh sai, giải thuật nội suy lặp vịng cho giá trị ‘0’ chưa biết cho giá trị điểm ảnh có sau đăng kí có vị trí khơng phải số ngun Việc làm xấp xỉ giá trị điểm ảnh với vị trí số thực Chương 5: Giải thuật đề xuất HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 86 GVHD: PGS.TS LÊ TIẾN T ƯỜNG TÀI LIỆU THAM KHẢO [1] Donoho D.L and Duncan M.R, "Digital Curvelet Transform: Strategy, Implementation and Experiments," , November,1999 [2] Jianwei Ma and Plonka G., "The Curvelet Transform," in Signal Processing Magazine, IEEE, vol 27, March 2010, pp 118-133 [3] Long Gang, Xiao Lei, and Chen Xuequan, "Overview of the Applications of Curvelet Transform in Image Processing," in Journal of Computer Reasearch and Development, Dec 2005, pp 1331-1337 [4] S.C Park, M.K Park, and M.G KANG, "Super-Resolution Image Reconstruction: A Technical Overview," in IEEE Signal Processing Magazine, vol 20, May 2003, pp 21-36 [5] Patrick Vandewalle, "Super-Resolution From Unregistered Aliased Images," École Polytechnique Fédérale De Lausanne, PhD Thesis 2006 [6] Dannny Keren, Shmuel Peleg, and Rafi Brade, "Image Sequence Enhancement Using SubPixel Displacements," Dept of computer science, The Hebrew Uinversity of Jerusalem, 1988 [7] E Candès, L Demanet, D Donoho, and L Ying, "Fast discrete curvelet transforms," in Multiscale Model Simul., vol 5, 2006, pp 861-899 [8] M.J Fadili and J.-L Starck, "Curvelets and Ridgelets," in Encyclopedia of Complexity and Systems Science, Meyers and Robert, Eds New York: Springer, 2009, pp 1718-1738 [9] P Vandewalle, S Susstrunk, and M Vetterli, "A Frequency domain Approach to Registration of Aliased Images with Application to Superresolution," in EURASIP Journal on Applied Signal Processing, 2006, pp 1-14 [10] T Le-Tien et al., "Super-Resolution Algorithm Implemented on TMS320C5515 EZDSP USB-stick," in Proceeding of The 2011 International Symposium on Electrical-Electronics Engineering, ISEE, Hochiminh city, Vietnam, Nov 2011, pp 82-97 [11] D Keren, S Peleg, and R Brada, "Image Sequence Enhancement Using Sub-Pixel Displacements," in Proceedings IEEE Conference on Computer Vision and pattern Recognitions, Ann Arbor, Mich, USA, June 1988, pp 742-746 [12] A A Patil and J Singhai, "Discrete Curvelet Transform Based Superresolution using Sub-pixel Image Registration," in International Journal of Signal Processing and Pattern Recognition, vol 4, Korea, June 2011, pp 41-50 [13] T Le-Tien, C Nguyen-Hung, L Marie, C Bui-Thu, and H Nguyen-Duc, "An improved Nearest-Neighborhood Algorithm for Efficient SuperTài liệu tham khảo HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 87 GVHD: PGS.TS LÊ TIẾN T ƯỜNG Resolution Images Implemented on ARM9 AT91SAM9RL," in The 10th IASTED International Conference on Visualization, Imaging, and Image Processing, VIIP2012, Banff, Canada, July 2012 [14] T Le-Tien, L Nguyen-Tan, G Le-Thach, and C Bui-Thu, "Curvelet Transform Based Super-Resolution Image Processing," in ISSPIT 2012, IEEE Conference, Hochiminh city, Vietnam, Dec 2012 [15] C M Zwart and D H Frakes, "Soft Adaptive Gradient Angle Interpolation of Grayscale Images," in ICASSP Conference 2012, Kyoto, Canada, 2012, pp 845-848 [16] S C Park, M K Park, and M G Kang, "Super-Resolution Image Reconstruction: A Technical Overview," in IEEE Signal Processing Magazine, vol 20, May 2003, pp 21-36 [17] Katsaggelos A K and Molina R., "Super-resolution (special issue)," The Computer Journal, pp 395-396, 2009 [18] M Kang and S Chaudhuri, "Super-resolution image reconstruction," IEEE Signal Process Mag., vol 20, pp 19-20, 2003 [19] M Ng, T Chan, M Kang, and P Milanfar, "Super-resolution imaging: Analysis, algorithms, and applications," EURASIP J Appl Signal Process., vol 2006, 2006 [20] M.J Fadili, J.-L Starck, M Elad, and D.L Donoho, "MCALab: Reproducible Research in Signal and Image Decomposition and Inpainting," IEEE Computing in Science and Engineering, vol 12, pp 4462, 2010 [21] M.J Fadili, J-L Starck, and F Murtagh, "Inpainting and Zooming using Sparse Representations," The Computer Journal, vol 52, pp 64-79, 2007 [22] (2007, Mar.) ATMEL Cooperation Web site, AT91SAM9RL-EK Evaluation Board User Guide [Online] http://www.atmel.com/tools/SAM9RL-EK.aspx Tài liệu tham khảo HVTH: Lê Cao Khoa Submitted to the ATC2013 Conference PHỤ LỤC The 2013 International Conference on Advanced Technologies for Communications, Hochiminh City, Vietnam, October 16 -18, 2013 Submitted to the ATC2013 Conference An Improvement of Curvelet Based SuperResolution Image Processing Implemented on ARM AT91SAM9RL Thuong Le-Tien, Khoa Le-Cao Hochiminh city University of Technology, HCMUT, Vietnam Email: thuongle@hcmut.edu.vn, khoalecao@gmail.com Abstract—This paper copes with the problem of improving the quality of the curvelet interpolation in super-resolution reconstruction The curvelet interpolation is proposed by some authors The quality of the reconstructed image from their implementation is not as high as expected and the processing time is also their problem To improve the curvlet interpolation in PSNR and time processing, a 2-stage interpolation algorithm in the curvelet domain, a filtering and a reimbursement step is proposed The interpolated images are compared with that of other HR reconstruction methods and to the ideal interpolation The experiments show appropriate improvements of PSNR and MSE in comparison with the other methods Keywords— Nearest neighborhood image restoration; image super-resolution; curvelets interpolation; AT91SAM9RL; fast discrete curvelet transform I INTRODUCTION With the fast evolution of digital devices, more and more pixels are compacted into a digital image However, the demand for acquiring an image of a scene with high spatial resolution is still available This demand is hindered due to a number of theoretical and practical limitations such as the sensor resolution, the Rayleigh resolution limits, the increased cost, data transfer rate and the amount of shot noise due to the size of the digital sensor An increase in the number of pixel in camera devices means the decrease in sensor’s size which leads to the degradation in quality of each pixel On the other hand, for a camera to improve their pixels quality, the sensor’s size must be increased This dilemma situation could be bypassed by a technique called super resolution Thanks to the greatly development of computational power, super-resolution methods, the once heavily computational algorithms, could now be used to overcome the mentioned limitations The process in super-resolution imaging is to fuse some 'low' resolution images into one 'higher' resolution image The principle behind this scene is that the motion of camera in capture’s process does provide additional data Although super resolution is a rich literature, it is still a promising investigated topic and many algorithms have been proposed for this technique In general, super resolution approach has three stages, named estimation or registration, interpolation and de-blurring process [8] A suitable interpolation method is an essential part of such algorithm There are many algorithms which are proposed to handle this step and wavelets-based method is one of them Even though, wavelets have had a great influence in digital image processing, they fail to efficiently represent objects with highly anisotropic elements like lines, curves or edges In contrast, curvelets, a non-mature technology, exhibit highly directional sensitivity and are highly anisotropic [1] They gain much success in many image processing applications like de-noising, de-convolution, watermarking, and contrast enhancement [2] As mentioned in [1], a simple shift-invariant block-thresholding on the curvelet domain could offer up to 6dB better than that of wavelet in the case of Gaussian corrupted images Because of its advantages, this paper is intended to apply the curvelet transform for super resolution imaging Traditional algorithms such as nearest neighborhood and bi-cubic expose a limited quality in term of visualization and measurement Many other methods have been proposed for instance iterated back projection, robust super resolution, POCS (Projection onto Convex Set) or structured adaptive normalize convolution However, the first three methods portray low quality HR image The last one could achieve higher PSNR but the computational burden is considered its problem The algorithm proposed by Nguyen T.L [6] is implemented on the curvelet domain but their quality is lower than that of the structured adaptive normalize convolution method despite the fact that the processing time of [6] is much faster In order to improve the quality of high resolution image as well as the speed of the reconstruction step, we propose a 2-stages interpolation in combination with an enhancement filter for smoothing the final result Without looping, the proposed algorithm decreases the processing time than that of [6] while the quality is much better The 2D fast discrete curvelet transform via wrapping is implemented in this paper for image reconstruction The 2013 International Conference on Advanced Technologies for Communications, Hochiminh City, Vietnam, October 16-18, 2013 Submitted to the ATC2013 Conference The rest of this paper is organized as follows Section II provides the mathematical theory of the fast discrete curvelet transform and its implementation A short description over the registration is discussed in section III Section IV is utilized to introduce the proposed algorithm The flowchart and hardware specifications are included in section V Section VI gives the result and discussion Meanwhile, the conclusion and future development are drawn in Section VII II FAST DISCRETE CURVELET TRANSFORM (FDCT) The second generation Curvelet transform is used in our algorithm because it shows many advantages over the first one It reduces the number of indexing structure from seven to three parameters: scale, orientation, and location Moreover, it also lowers the redundancy and uses only FFT, instead of the ridgelet transform, for the calculation Thus, the second generation curvelet transform performs faster than the first one [2] The output coefficients cD(j, k, l) are given by [1]: (1) c D  j, k , l    f t1 , t2  Dj, k , l t1 , t2  0t1 ,t2  n There are two different implementations: USFFT (UnequiSpaced FFT) and Wrapping DCT which is based on the way of handling the sheared grid ST b We use the second method Fig Wrapping data into a rectangle by periodicity [1][2] In this ideal case, the LR images which are shifted with a special value (half pixel) These pixels are then correctly mapped on the HR grid to form a HR image The final HR image has higher resolution than the LR images However, this is not what happens in the real life situation because the shift and rotate parameters cannot always as special as we mentioned Furthermore, the registration process is based on the estimation of these parameters and the result of estimation process varies on different algorithms which in turn degrades the HR image l to our algorithm The FDCT via Wrapping for an NxN image has some steps as follows [1, 2]: Apply the 2D FFT and obtain Fourier samples N N fˆ  n1 , n2  ,   n1 , n2  2 For each scale j and angle l a Form the product U [n , n ] fˆ [n , n ] j ,l 2 b Wrap this product around the origin and obtain (2) f j , l  n1 , n2   W U j , l fˆ  n1 , n2    (0 ≤ n1L1,j and ≤ n2